首頁猿問爬蟲如何保存已經(jīng)訪問過的url

爬蟲如何保存已經(jīng)訪問過的url

JavaScript

郎朗坤 2019-04-07 09:37:37

話說同志們在爬取數(shù)據(jù)的時候如何保存已經(jīng)訪問過的url和隊列？對于爬取過的url，我使用redis的set來保存，訪問隊列是用list來保存，數(shù)據(jù)量是直線上升，內(nèi)存不大，也只有4g，扛不住。不知道以前的方法是什么？

查看完整描述

2 回答

慕哥6287543

TA貢獻1831條經(jīng)驗獲得超10個贊

隊列和判斷是否訪問我都是用的MySQL，考慮到Redis的持久化特性不是很好，而且當(dāng)時也沒想過用Redis或者其他的，暫時現(xiàn)在用MySQL也沒什么問題。具體的做法就是對url的md5值做唯一索引，每次查詢都很快，表結(jié)構(gòu)也簡單。隊列的話使用的是查表的形式，SQL如下（具體status是表示一些自己定義的狀態(tài)）：select*fromt_down_taskwherestatus=0orderbyidlimit1;定期刪除已經(jīng)執(zhí)行完的任務(wù)

反對回復(fù) 2019-04-07