第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定

求大神??!

為什么我的代碼只能爬一條數(shù)據(jù)?求大神指導(dǎo)

while self.urls.has_new_url():

? ? ? ? ? ? try:

? ? ? ? ? ? ? ? new_url = self.urls.get_new_url() ? #獲取到待爬取的url

? ? ? ? ? ? ? ? print ('craw %d : %s' %(count,new_url))

? ? ? ? ? ? ? ? html_cont = self.downloader.download(new_url) ?#啟動(dòng)下載器下載這個(gè)頁(yè)面

? ? ? ? ? ? ? ? new_urls , new_data = self.parser.parse(new_url ,html_cont) ?#解析器獲取新的url和數(shù)據(jù)

? ? ? ? ? ? ? ? self.urls.add_new_urls(new_urls) ?#將新的url補(bǔ)充到新的url管理器

? ? ? ? ? ? ? ? self.outputer.collect_data(new_data) #進(jìn)行數(shù)據(jù)的收集

? ? ? ? ? ? ? ? count = count + 1

? ? ? ? ? ? ? ? if(count == 100):

? ? ? ? ? ? ? ? ? ? break

? ? ? ? ? ??

? ? ? ?

? ? ? ? ? ? ? ? # ? print(count)

? ? ? ? ? ? except: ? ? ? ? ? ? #異常處理

? ? ? ? ? ? ? ? print ('craw failed~')

?我在測(cè)試has_new_url()循環(huán)第二次的時(shí)候has_new_url的值為0 不知道為什么


正在回答

1 回答

解析錯(cuò)誤吧,re.compile(r'/item/')

0 回復(fù) 有任何疑惑可以回復(fù)我~

舉報(bào)

0/150
提交
取消
Python開發(fā)簡(jiǎn)單爬蟲
  • 參與學(xué)習(xí)       227603    人
  • 解答問題       1284    個(gè)

本教程帶您解開python爬蟲這門神奇技術(shù)的面紗

進(jìn)入課程

求大神?。?/h1> 我要回答 關(guān)注問題

微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)