編譯沒有錯誤，運行只能爬取root url，接著就顯示craw fialed是什么原因？感覺是parser那里出了問題，大家?guī)兔纯?，就是爬取百科里的python
from bs4 import BeautifulSoup
import re
import urlparse
class HtmlParser(object):
? ? def _get_new_urls(self, page_url, soup):
? ? ? ? new_urls=set()
? ? ? ? links=soup.find_all('a', href=re.compile(r"/item/"))
? ? ? ? for link in links:
? ? ? ? ? ? new_url=link['href']
? ? ? ? ? ? new_full_url=urlparse.urljoin(page_url,new_url)
? ? ? ? ? ? new_urls.add(new_full_url)
? ? ? ? ? ??
? ? ? ? return new_urls??
? ? def _get_new_data(self, page_url, soup):
? ? ? ? res_data={}
? ? ? ? res_data['url']=page_url
? ? ? ? #<dd class="lemmaWgt-lemmaTitle-title"> <h1>Python</h1>
? ? ? ? title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
? ? ? ? res_data['title']=title_node.get_text()
? ? ? ? #<div class="lemma-summary" label-module="lemmaSummary">
? ? ? ? summary_node=soup.find('div',class_="lemma-summary")
? ? ? ? res_data['summary']=summary_node.get_text()
? ? ? ??
? ? ? ? return res_data
? ? def parse(self,page_url,html_cont):
? ? ? ? if page_url is None or html_cont is None:
? ? ? ? ? ? return
? ? ? ? soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
? ? ? ? new_urls=self._get_new_urls(page_url,soup)
? ? ? ? new_data=self._get_new_data(page_url,soup)
? ? ? ? return new_urls,new_data
? ??
2019-02-14
問題已解決，建議有類似問題的同學(xué)，去掉try模塊，看一下有沒有報錯，根據(jù)錯誤改一下，就好了
ps.我是getcode中間多加了個下劃線，導(dǎo)致downloader不能正常運行l(wèi)ol