第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全，請及時綁定郵箱和手機(jī)立即綁定
已解決430363個問題，去搜搜看，總會有你想問的

pyspider如何手動判斷某個url是否已經(jīng)爬取過

pyspider如何手動判斷某個url是否已經(jīng)爬取過

一只斗牛犬 2019-03-04 16:12:20
想實現(xiàn)爬列表頁的時候，發(fā)現(xiàn)有已經(jīng)被爬過的文章url就停止列表爬取，否則繼續(xù)下一頁，如何實現(xiàn)？
查看完整描述

1 回答

?
慕的地8271018

TA貢獻(xiàn)1796條經(jīng)驗 獲得超4個贊

爬過的url寫進(jìn)記錄里面,比如pickle文件。需要的時候調(diào)出來檢查一下就知道了。

查看完整回答
反對 回復(fù) 2019-03-11
  • 1 回答
  • 0 關(guān)注
  • 774 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

 幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

 公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號