爬蟲小白問個不知道關(guān)于scrapy爬取json動態(tài)生成列表的問題
3 回答
HUWWW
TA貢獻1874條經(jīng)驗 獲得超12個贊
對于只是讀取某幾個網(wǎng)站更新內(nèi)容的爬蟲完全沒必要在python代碼中實現(xiàn)增量的功能，直接在item中增加Url字段。 item['Url'] = response.url 然后在數(shù)據(jù)端把儲存url的column設(shè)置成unique。 之后在python代碼中捕獲數(shù)據(jù)庫commit
aluckdog
TA貢獻1847條經(jīng)驗 獲得超7個贊
試試這個
def start_requests(self):
script = """
function main(splash)
splash:set_viewport_size(1028, 10000)
splash:go(splash.args.url)
local scroll_to = splash:jsfunc("window.scrollTo")
scroll_to(0, 2000)
splash:wait(15)
return {
html = splash:html()
}
end
"""
for url in self.start_urls:
yield Request(url,callback=self.parse_info_index,meta = {
'dont_redirect': True,
'splash':{
'args':{'lua_source':script,'images':0},
'endpoint':'execute',
}
})
添加回答
舉報
0/150
提交
取消