我的需求是:node 需要短時間內(nèi)爬取一個接口數(shù)據(jù)若干次次,每一條的數(shù)據(jù)量大概有5M,得到的數(shù)據(jù)存儲在mongo 中我現(xiàn)在做了幾種嘗試:當(dāng)請求次數(shù)很少(20次左右),一切正常當(dāng)請求次數(shù)過多后(200+),數(shù)據(jù)能夠請求到,但是不能順利保存當(dāng)請求次數(shù)超過500次后,直接內(nèi)存溢出了我想問問有什么方案能讓異步數(shù)量小于20次?
一個關(guān)于 node 爬蟲大批量請求的問題
繁星淼淼
2018-07-05 10:22:46