首頁猿問爬蟲如何保存已經(jīng)訪問過的url

爬蟲如何保存已經(jīng)訪問過的url

JavaScript

慕森王 2019-04-06 08:32:08

話說同志們在爬取數(shù)據(jù)的時(shí)候如何保存已經(jīng)訪問過的url和隊(duì)列？對于爬取過的url，我使用redis的set來保存，訪問隊(duì)列是用list來保存，數(shù)據(jù)量是直線上升，內(nèi)存不大，也只有4g，扛不住。不知道以前的方法是什么？

查看完整描述

2 回答

斯蒂芬大帝

TA貢獻(xiàn)1827條經(jīng)驗(yàn) 獲得超8個(gè)贊

隊(duì)列和判斷是否訪問我都是用的MySQL，考慮到Redis的持久化特性不是很好，而且當(dāng)時(shí)也沒想過用Redis或者其他的，暫時(shí)現(xiàn)在用MySQL也沒什么問題。具體的做法就是對url的md5值做唯一索引，每次查詢都很快，表結(jié)構(gòu)也簡單。隊(duì)列的話使用的是查表的形式，SQL如下（具體status是表示一些自己定義的狀態(tài)）：select*fromt_down_taskwherestatus=0orderbyidlimit1;定期刪除已經(jīng)執(zhí)行完的任務(wù)

反對回復(fù) 2019-04-06