亚洲?成人?综合?另类?小说,欧美人与动交zozo

首頁免費(fèi)課 Python最火爬蟲框架Scrapy入門與實(shí)踐問答

Python最火爬蟲框架Scrapy入門與實(shí)踐

                
                大壯老師
            Python工程師

                    查看講師更多課程 
                    大壯老師講師的其他課程
                
移動端Python爬蟲實(shí)戰(zhàn) 數(shù)據(jù)抓取+數(shù)據(jù)可視化
實(shí)戰(zhàn)·中級·1839

                                                                                                                                    ￥348.00
                                            
網(wǎng)絡(luò)安全高薪人才培養(yǎng)計劃-8大網(wǎng)絡(luò)攻防場景實(shí)戰(zhàn)
實(shí)戰(zhàn)·中級·103

                                                                                                                                    ￥499.00
                                            
0基礎(chǔ)開發(fā)簡單爬蟲
慕課微課·入門·3188

                                                                                                                                    ￥88.00
                                            
Python爬蟲實(shí)戰(zhàn)數(shù)據(jù)可視化分析
慕課微課·初級·4276

                                                                                                                                    ￥69.00
                                            
                難度初級
            
                時長 1小時31分
            
                學(xué)習(xí)人數(shù)
            
綜合評分9.53
                            55人評價
                        查看評價
                                9.7
                                內(nèi)容實(shí)用
                            
                                9.4
                                簡潔易懂
                            
                                9.5
                                邏輯清晰

全部評論問答未解決精華

AttributeError: 'DoubanPipeline' object has no attribute 'post'

最贊回答 / SeaRhyme

有可能是數(shù)據(jù)庫初始化函數(shù)里面的內(nèi)容沒有運(yùn)行到，__init__(self)這個名字init左右都是雙下劃線，pycharm寫對了會變色的

10 回答 2351 瀏覽 2-8 保存數(shù)據(jù)

2018-09-11

intrude解析錯誤

講師回答 / 大壯老師

請貼出詳細(xì)Log

1 回答 1173 瀏覽 2-8 保存數(shù)據(jù)

2018-09-02

分頁，回調(diào)沒成功

已采納回答 / qq_蔚藍(lán)色的天空_3

這個是scrapy中回調(diào)時被過濾了? 解決方法在?allowed_domains?中加入 url?在 scrapy.Request() 函數(shù)中將參數(shù)?dont_filter=True?設(shè)置為 True修改這一行代碼如下，我個人采取第二種方式dont_filter=Ture：

yield?scrapy.Request("https://movie.douban.com/top250"+next_link,?callback=self.parse,?dont_filter=True)

1 回答 1193 瀏覽 2-7 spider文件的編寫（2）

2018-08-31

我想問一下，老師是不是在centos服務(wù)器上搞得項(xiàng)目，為何會有pycharm在本地修改代碼呢？原諒我見識少

講師回答 / 大壯老師

樓上正解

5 回答 1432 瀏覽 2-4 新建scrapy項(xiàng)目

2018-08-30

Ubuntu關(guān)閉了防火墻，ip端口都設(shè)置了，還是連接不上MongoDB

講師回答 / 大壯老師

是虛擬機(jī)嗎，還是公網(wǎng)上的服務(wù)器？

2 回答 2802 瀏覽 2-4 新建scrapy項(xiàng)目

2018-08-30

執(zhí)行douban_spider出現(xiàn)問題

已采納回答 / qq_MakiseKurisu_0432

你用virtualenv的時候，運(yùn)行文件時，是否workon切換到正確的解釋器了

1 回答 3063 瀏覽 2-1 scrapy的安裝、和安裝中遇到的問題

2018-08-29

scrapy crawl douban_spider 出錯

講師回答 / 大壯老師

settings里設(shè)置
ROBOTSTXT_OBEY?=?False

4 回答 2511 瀏覽 2-6 spider文件的編寫（1）

2018-08-26

No module named 'win32api'

已采納回答 / 一嘆千年4267468

pip install pypiwin32裝一下這個模塊再運(yùn)行就好了

2 回答 2175 瀏覽 2-4 新建scrapy項(xiàng)目

2018-08-20

簡介”introduce”在不用循環(huán)語句時信息全，但寫了循環(huán)語句，只有第二行信息

已采納回答 / Accidie漠然

只顯示“1994?/?美國?/?犯罪劇情”是因?yàn)樵趂or循環(huán)里，douban_item['introduce']的值被覆蓋了，如果想全部爬取的話，可以聲明douban_item['introduce']為一個數(shù)組，把i_content循環(huán)append到數(shù)組里就可以了

4 回答 1410 瀏覽 2-7 spider文件的編寫（2）

2018-08-19

老師，你的阿布云代理用不了嗎

最贊回答 / 慕田峪6327257

第五行寫錯了，應(yīng)該是encode_pass_code?=?base64.b64encode(proxy_name_pass)

10 回答 2286 瀏覽 2-9 ip代理中間件編寫

2018-08-13

循環(huán)抓取后頁的問題

講師回答 / 大壯老師

貼上你的代碼

1 回答 1648 瀏覽

2018-08-13

老師問一下，response.text可以打印出top250頁面。但是i_item無法打印，可能是什么原因造成的？

已采納回答 / qq_客欲遠(yuǎn)行_0

貼一下完整代碼一起看看

4 回答 1567 瀏覽 2-7 spider文件的編寫（2）

2018-08-10

mongodb安裝問題

講師回答 / 大壯老師

yum報錯貼出來

3 回答 627 瀏覽 2-3 mongodb數(shù)據(jù)庫的安裝

2018-08-06

python正則表達(dá)式匹配一字符串不匹配另一字符串，我要匹配http://example.webscraping.com/places/default/view/Antigua-and-Barbuda-10 不匹配http://example.webscraping.com/places/default/user/login?_next=/places/default/view/Antigua-and-Barbuda-10

講師回答 / 大壯老師

^((?!login).)*$

1 回答 1070 瀏覽 2-7 spider文件的編寫（2）

2018-08-04

有的xpath里面可以獲得數(shù)據(jù)沒有問題但是scrapy里面將xpath語句復(fù)制過來得到的[]

講師回答 / 大壯老師

很多網(wǎng)站，瀏覽器里解析出來的結(jié)果和scrapy解析的結(jié)果是不同的。使用scrapy Request網(wǎng)頁后，可以將網(wǎng)頁保存到本地，查看一下

1 回答 975 瀏覽

2018-08-03

開始學(xué)習(xí)

課程須知: 1、具有一定的Python基礎(chǔ) 2、具有一定的linux系統(tǒng)管理基礎(chǔ)，編譯安裝軟件，yum包管理工具等 3、具有一定的Mongdb數(shù)據(jù)庫管理基礎(chǔ)，增刪改查

老師告訴你能學(xué)到什么？: 1、scrapy框架簡介、數(shù)據(jù)在框架內(nèi)如何進(jìn)行流動 2、scrapy框架安裝、mongodb數(shù)據(jù)庫安裝 3、scrapy抓取項(xiàng)目如何創(chuàng)建 4、scrapy抓取項(xiàng)目如何進(jìn)行數(shù)據(jù)解析 5、scrapy抓取項(xiàng)目如何繞過反爬機(jī)制抓取數(shù)據(jù) 6、scrapy抓取項(xiàng)目如何存儲數(shù)據(jù)到不同的格式

微信掃碼，參與3人拼團(tuán)

熱搜

最近搜索清空

Python最火爬蟲框架Scrapy入門與實(shí)踐