使用scrapy-redis進(jìn)行分布式爬蟲時(shí)，發(fā)現(xiàn)用2臺電腦爬取數(shù)據(jù)時(shí)，一臺能爬而另一臺不能爬。如果只使用單獨(dú)一臺都可以爬，但同時(shí)一起爬就只能有一臺可以爬取，另外一臺不能爬取，不能爬取是報(bào)錯(cuò)如下：
添加回答
舉報(bào)
0/150
提交
取消
已解決430363個(gè)問題，去搜搜看，總會有你想問的