用node寫(xiě)了個(gè)服務(wù)接口，前端發(fā)出請(qǐng)求，接受到請(qǐng)求后就去抓取網(wǎng)頁(yè)，如果有4,5個(gè)并發(fā)，puppeteer好像是排隊(duì)打開(kāi)的，導(dǎo)致請(qǐng)求就卡住了,響應(yīng)特別慢,請(qǐng)問(wèn)下這個(gè)有什么解決方案沒(méi)?
1 回答
長(zhǎng)風(fēng)秋雁
TA貢獻(xiàn)1757條經(jīng)驗(yàn) 獲得超7個(gè)贊
你可以將爬取網(wǎng)頁(yè)做成任務(wù)制，前端通過(guò)請(qǐng)求提交任務(wù)(任務(wù)保存后，立馬返回了)，后端依次處理爬取任務(wù)。
- 1 回答
- 0 關(guān)注
- 504 瀏覽
添加回答
舉報(bào)
0/150
提交
取消