scrapy-redis 能分布式post請求嗎
1 回答
一只斗牛犬
TA貢獻(xiàn)1784條經(jīng)驗(yàn) 獲得超2個(gè)贊
scrapy 通用爬蟲框架其功能比較完善幫迅速寫簡單爬蟲并且跑起scrapy-redis更便實(shí)現(xiàn)scrapy布式爬取提供些redis基礎(chǔ)組件（注意scrapy-redis些組件完整框架）認(rèn)scrapy工廠能夠產(chǎn)要spiderscrapy-redis其廠商幫助scrapy工廠更實(shí)現(xiàn)某些功能制造些設(shè)備用于替換scrapy工廠原設(shè)備 所要想跑布式先讓scrapy工廠搭建起再用scrapy-redis設(shè)備更換scrapy某些設(shè)備 些scrapy-redis組件突特點(diǎn)呢使用redis數(shù)據(jù)庫替換scrapy原本使用隊(duì)列結(jié)構(gòu)（deque）換數(shù)據(jù)結(jié)構(gòu)相應(yīng)操作都要換啦所與隊(duì)列相關(guān)些組件
- 1 回答
- 0 關(guān)注
- 1102 瀏覽
添加回答
舉報(bào)
0/150
提交
取消