我的需求是：node 需要短時(shí)間內(nèi)爬取一個(gè)接口數(shù)據(jù)若干次次，每一條的數(shù)據(jù)量大概有5M，得到的數(shù)據(jù)存儲(chǔ)在mongo 中我現(xiàn)在做了幾種嘗試：當(dāng)請(qǐng)求次數(shù)很少（20次左右），一切正常當(dāng)請(qǐng)求次數(shù)過多后（200+），數(shù)據(jù)能夠請(qǐng)求到，但是不能順利保存當(dāng)請(qǐng)求次數(shù)超過500次后，直接內(nèi)存溢出了我想問問有什么方案能讓異步數(shù)量小于20次？
一個(gè)關(guān)于 node 爬蟲大批量請(qǐng)求的問題？
揚(yáng)帆大魚
2018-07-15 10:02:50
