問(wèn)題描述抓取類似知乎的回答 由于知乎的回答有的非常多 所以用了response.save來(lái)存前面爬去的結(jié)果由于知乎站點(diǎn)不能爬取太快 可能有導(dǎo)致任務(wù)不能及時(shí)完成所以taskdb需要存取的數(shù)據(jù)非常多 那個(gè)項(xiàng)目的taskdb接近250GB你期待的結(jié)果是什么?實(shí)際看到的錯(cuò)誤信息又是什么?pyspider是否支持mongodb集群作為taskdb然后應(yīng)該怎么配置...
添加回答
舉報(bào)
0/150
提交
取消