第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機(jī)立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

對爬蟲爬取到的數(shù)據(jù)管理

對爬蟲爬取到的數(shù)據(jù)管理

精慕HU 2018-07-15 11:08:22
大家在管理爬取到數(shù)據(jù)的時候,一般對異常數(shù)據(jù)是怎么進(jìn)行防御的?比如對一個網(wǎng)站的商品爬取下來后,每天都自動更新最新的信息,但是如果目標(biāo)網(wǎng)站大批量返回錯誤數(shù)據(jù),這樣一下子就把之前的正確數(shù)據(jù)洗掉了。而且這些錯誤數(shù)據(jù)比如說價格,原來是20塊,一下子返回200塊,數(shù)據(jù)類型一樣,但是值的意義不同了。嚴(yán)格來說,這不是技術(shù)問題,所以請不要簡單給個建議說用xx技術(shù)之類的。這不是技術(shù)問題,不是用干什么語言什么框架的問題 (2年前)
查看完整描述

3 回答

?
月關(guān)寶盒

TA貢獻(xiàn)1772條經(jīng)驗(yàn) 獲得超5個贊

感覺你可以建立一個數(shù)據(jù)校驗(yàn)?zāi)K,在抓取完這些數(shù)據(jù)后通過數(shù)據(jù)校驗(yàn)?zāi)K 檢查 數(shù)據(jù)的變動值,如果超過你設(shè)定的閾值 ,那么可以認(rèn)為剛爬取的數(shù)據(jù)是異常的,則不更新原有數(shù)據(jù)

查看完整回答
反對 回復(fù) 2018-07-15
?
蝴蝶不菲

TA貢獻(xiàn)1810條經(jīng)驗(yàn) 獲得超4個贊

沒有一款爬蟲是無敵的,但寫爬蟲用的Python卻可能是無敵的

查看完整回答
反對 回復(fù) 2018-07-15
?
智慧大石

TA貢獻(xiàn)1946條經(jīng)驗(yàn) 獲得超3個贊

爬蟲 很簡單,數(shù)據(jù)查詢管理分類 比較難

查看完整回答
反對 回復(fù) 2018-07-15
  • 3 回答
  • 0 關(guān)注
  • 909 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號