-
網(wǎng)頁解析查看全部
-
三種實(shí)現(xiàn)URL管理的方法查看全部
-
URL管理器的功能查看全部
-
爬蟲架構(gòu)運(yùn)行流程查看全部
-
爬蟲架構(gòu)查看全部
-
爬蟲簡介查看全部
-
網(wǎng)頁解析器類型查看全部
-
三種方法查看全部
-
第三種查看全部
-
def _get_new_data(self, page_url, soup): res_data = {} #url res_data['url'] = page_url #標(biāo)題 #<dd class="lemmaWgt-lemmaTitle-title"> #<h1>Python</h1> title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find("h1") res_data['title'] = title_node.get_text() #簡介 #<div class="lemma-summary" label-module="lemmaSummary"> summary_node = soup.find('div', class_="lemma-summary") res_data['summary'] = summary_node.get_text() return res_data def parse(self, page_url, html_cont): if page_url is None or html_cont is None: return soup = BeautifulSoup(html_cont, 'html.parse', \ from_encoding='utf-8') new_urls = self._get_new_urls(page_url, soup) new_data = self._get_new_data(page_url, soup) return new_urls, new_data查看全部
-
from bs4 import BeautifulSoup import re import urlparse #用于url拼接 class HtmlParser(object): from bs4 import BeautifulSoup import re import urlparse #用于url拼接 class HtmlParser(object): def _get_new_urls(self, page_url, soup): new_urls = set() #/view/2561555.htm links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm")) for link in links: new_url = link['href'] new_full_url = urlparse.urljoin(page_url, new_url) new_urls.add(new_full_url) return new_urls查看全部
-
class UrlManager(object): #初始化兩個(gè)集合 def __init__(self): self.new_urls = set() self.old_urls = set() def add_new_url(self, url): ''' 向URL管理器中添加一個(gè)新的URL ''' if url is None: return if url not in self.add_new_urls and url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self, urls): ''' 向URL管理器中批量添加新的URL ''' if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url) def has_new_url(self): ''' 判斷URL管理器中是否有新的待爬取的URL ''' return len(self.new_urls) != 0 def get_new_url(self): ''' 從URL管理器中獲取一個(gè)新的帶爬取的URL ''' #返回一個(gè)URL并從中移除這條URL new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url查看全部
-
#創(chuàng)建bs4對象 from bs4 import BeautifulSoup #根據(jù)html網(wǎng)頁字符串創(chuàng)建bs對象 soup = BeautifulSoup( html_doc, #html文檔字符串 'html.parser' #html解析器 from_encoding='utf8' #html文檔的編碼 ) #搜索節(jié)點(diǎn)find_all, find #方法:find_all(name, attrs, string) #查找所有標(biāo)簽為a的節(jié)點(diǎn) soup.find_all('a') #查找所有標(biāo)簽為a，鏈接符合/view/123.html形式的節(jié)點(diǎn) soup.find_all('a', href='/view/123.html') soup.find_all('a', href=re.compile(r'/view/\d+\.html')) #查找所有標(biāo)簽為a，class為abc，文字為python的節(jié)點(diǎn) soup.find_all('div', class_='abc', string='python') #訪問節(jié)點(diǎn)信息 #獲取節(jié)點(diǎn)標(biāo)簽名稱 node.name #鏈接 node['href'] #文字 node.get_text()查看全部
-
#python爬蟲 #urllib2下載網(wǎng)頁方法1： import urllib2 #直接請求 response = urllib2.urlopen('http://www.baidu.com') #獲取狀態(tài)碼，是200表示獲取成功 print response.getcode() #讀取內(nèi)容 cont = response.read() #方法2 import urllib2 #創(chuàng)建request對象 request = urllib2.Request(url) #添加數(shù)據(jù) request.add_data('a', '1')#eg #添加http的header request.add_header('User-Agent', 'Mozilla/5.0') #發(fā)送請求讀取結(jié)果 response = urllib2.urlopen(request) #方法3：特殊情形，如cookies，重定向 import urllib2, cookielib #創(chuàng)建cookie容器 cj = cookielib.CookieJar() #創(chuàng)建1個(gè)opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj)) #給urllib2安裝opener urllib2.install_opener(opener) #使用帶有cookie的urllib2訪問網(wǎng)頁 response = urllib2.urlopen("http:/www.baidu.com")查看全部
-
urllib3下載網(wǎng)頁 特殊情景查看全部
舉報(bào)
0/150
提交
取消