-
URL管理器查看全部
-
簡單爬蟲架構——運行流程查看全部
-
爬蟲調度端：啟動，停止，監(jiān)控運行情況； URL管理器：管理待爬取和已爬取的URL； 網(wǎng)頁下載器：接收待爬取URL，將網(wǎng)頁內容下載為字符串，給解析器； 網(wǎng)頁解析器：一方面解析出有價值的數(shù)據(jù)，一方面解析出其他關聯(lián)URL，傳回URL管理器進行循環(huán)。查看全部
-
爬蟲的價值：可以充分利用互聯(lián)網(wǎng)這一開放平臺，抓取滿足自己需求的數(shù)據(jù)，進行分析研究，得到有意義，有價值的研究結果查看全部
-
爬蟲：一段自動抓取互聯(lián)網(wǎng)信息的程序查看全部
-
基礎課程，主要是針對靜態(tài)加載的網(wǎng)頁進行爬蟲抓取查看全部
-
分析目標查看全部
-
實現(xiàn)爬蟲查看全部
-
示例練習代碼： # coding:utf-8 from bs4 import BeautifulSoup import re html_doc = "" #引用段落自http://www.crummy.com/software/BeautifulSoup/bs4/doc/#searching-the-tree，其中的短文，因筆記字數(shù)要求有限，無法直接復制過來 soup = BeautifulSoup(html_doc, 'html.parser', from_encoding="utf-8") print u"獲取所有的鏈接" links = soup.find_all('a') for link in links: print link.name, link['href'], link.get_text() print u"獲取lacie的鏈接" link_node = soup.find('a', ) print link_node.name, link_node['href'], link_node.get_text() print u"正則匹配" link_node = soup.find('a', href=re.compile(r"ill")) print link_node.name, link_node['href'], link_node.get_text() print u"獲取p段落文字" p_node = soup.find('p', class_="title") print p_node.name, p_node.get_text()查看全部
-
訪問節(jié)點信息查看全部
-
搜索節(jié)點(find_all, find)查看全部
-
Beautiful Soup語法3 創(chuàng)建BeautifulSoup對象查看全部
-
Beautiful Soup語法2查看全部
-
Beautiful Soup語法查看全部
-
安裝Beautiful Soup查看全部
舉報
0/150
提交
取消