什么是分布式爬蟲 和單機(jī)爬蟲有什么區(qū)別
1 回答
慕雪6442864
TA貢獻(xiàn)1812條經(jīng)驗(yàn) 獲得超5個(gè)贊
分布式爬蟲就是多臺(tái)計(jì)算機(jī)上都安裝爬蟲程序，重點(diǎn)是聯(lián)合采集。單機(jī)爬蟲就是只在一臺(tái)計(jì)算機(jī)上，叫做單機(jī)。前嗅的ForeSpider數(shù)據(jù)采集系統(tǒng)就有單機(jī)和服務(wù)器版，比如只在一臺(tái)服務(wù)器上的爬蟲，雖然開了多進(jìn)程，但還是服務(wù)器單機(jī)的。但是如果在多個(gè)服務(wù)器上，并且能夠協(xié)同采集，就是分布式的
- 1 回答
- 0 關(guān)注
- 1253 瀏覽
添加回答
舉報(bào)
0/150
提交
取消