用winform寫的一個(gè)網(wǎng)頁論壇抓取程序，根據(jù)選擇的關(guān)鍵字和時(shí)間對論壇新聞進(jìn)行篩選，用的多線程，抓取到3萬多條數(shù)據(jù)后就變的很慢。。幾分鐘還不抓取一個(gè)，代碼里應(yīng)該沒有涉及到死鎖吧，程序還能工作，剛開始抓取的速度也不算慢。線程下只是用了sleep讓耗時(shí)的線程讓出時(shí)間片，是這個(gè)原因還是其他的什么？？
2 回答
慕哥6287543
TA貢獻(xiàn)1831條經(jīng)驗(yàn) 獲得超10個(gè)贊
你要是天天抓的話人家會(huì)封你IP的，就搞個(gè)單線程抓算了，抓一個(gè)sleep 300ms 然后抓的時(shí)候定個(gè)超時(shí)時(shí)間，一個(gè)抓不到就往下抓
- 2 回答
- 0 關(guān)注
- 503 瀏覽
添加回答
舉報(bào)
0/150
提交
取消