比如我自己寫(xiě)的有A B C 三個(gè)爬蟲(chóng) 如何三個(gè)爬蟲(chóng)并行？是一個(gè)函數(shù)里面三個(gè)爬蟲(chóng)執(zhí)行嗎？通過(guò)多線程調(diào)用這個(gè)函數(shù)？
1 回答
烙印99
TA貢獻(xiàn)1829條經(jīng)驗(yàn) 獲得超13個(gè)贊
使用多線程方式調(diào)用你的爬蟲(chóng)啟動(dòng)函數(shù)， 不過(guò)首先你要保證你的爬蟲(chóng)是線程安全的。
最簡(jiǎn)單的基本寫(xiě)法如下：
import thread# 你的爬蟲(chóng)函數(shù)def crawler(param1, param2, param3):
pass# 啟動(dòng)兩個(gè)線程調(diào)用爬蟲(chóng)函數(shù)并傳參try:
thread.start_new_thread(crawler, (arg1, arg2, arg3))
thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))except:
print("something wrong")添加回答
舉報(bào)
0/150
提交
取消