為什么運(yùn)行之后是這樣的？
craw 1 : http://baike.baidu.com/view/21087.htm
craw failed
Iocay
2016-05-14
7 回答
舉報(bào)
0/150
提交
取消
2016-07-30
2016-05-27
我的也是這樣的，代碼改了一遍，還是沒(méi)用，求大神指點(diǎn)
2016-05-16
代碼敲錯(cuò)了
2016-05-15
import re
import urlparse
from bs4 import BeautifulSoup
class HtmlParser(object):
? ? def _get_new_urls(self,page_url,soup):
? ? ? ? new_urls=set()
? ? ? ? links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))
? ? ? ? for link in links:
? ? ? ? ? ? new_url=link['href']
? ? ? ? ? ? new_full_url=urlparse.urljoin(page_url,new_url)
? ? ? ? ? ? new_urls.add(new_full_url)
? ? ? ? return new_urls
? ? def _get_new_data(self,page_url,soup):
? ? ? ? res_data={}
? ? ? ? #url
? ? ? ? res_data['url']=page_url
? ? ? ??
? ? ? ? #<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>
? ? ? ? title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title")
? ? ? ? res_data['title']=title_node.get_text()
? ? ? ? #<div class="lemma-summary" >
? ? ? ? summary_node=soup.find('div',class_="lemma-summary")
? ? ? ? res_data['summary']=title_summary.get_text()
? ? ? ? return res_data
? ? def parse(self,page_url,html_cont):
? ? ? ? if page_url is None or Html_cont is None:
? ? ? ? ? ? return
? ? ? ? soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
? ? ? ? new_urls=self._get_new_urls(page_url,soup)
? ? ? ? new_data=self._get_new_data(page_url,soup)
? ? ? ? return new_urls,new_data
? ? ? ??
代碼就是按照視頻敲的，不知道哪錯(cuò)了
2016-05-15
我也是這樣的
2016-05-15
我之前也是這樣的 ?不過(guò)現(xiàn)在解決了 應(yīng)該是html_parser.py 有問(wèn)題，找找代碼是不是有錯(cuò)誤，或者你把代碼貼上來(lái) ，我?guī)湍阏艺??，我也是早上剛找到的錯(cuò)誤
2016-05-14
我也是這樣的 ?請(qǐng)問(wèn)你解決了嗎？