第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機(jī)立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

一個關(guān)于 node 爬蟲大批量請求的問題

一個關(guān)于 node 爬蟲大批量請求的問題

繁星淼淼 2018-07-05 10:22:46
我的需求是:node 需要短時間內(nèi)爬取一個接口數(shù)據(jù)若干次次,每一條的數(shù)據(jù)量大概有5M,得到的數(shù)據(jù)存儲在mongo 中我現(xiàn)在做了幾種嘗試:當(dāng)請求次數(shù)很少(20次左右),一切正常當(dāng)請求次數(shù)過多后(200+),數(shù)據(jù)能夠請求到,但是不能順利保存當(dāng)請求次數(shù)超過500次后,直接內(nèi)存溢出了我想問問有什么方案能讓異步數(shù)量小于20次?
查看完整描述

1 回答

  • 1 回答
  • 0 關(guān)注
  • 287 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號