用winform寫的一個網(wǎng)頁論壇抓取程序，根據(jù)選擇的關鍵字和時間對論壇新聞進行篩選，用的多線程，抓取到3萬多條數(shù)據(jù)后就變的很慢。。幾分鐘還不抓取一個，代碼里應該沒有涉及到死鎖吧，程序還能工作，剛開始抓取的速度也不算慢。線程下只是用了sleep讓耗時的線程讓出時間片，是這個原因還是其他的什么？？
2 回答
慕哥6287543
TA貢獻1831條經(jīng)驗 獲得超10個贊
你要是天天抓的話人家會封你IP的，就搞個單線程抓算了，抓一個sleep 300ms 然后抓的時候定個超時時間，一個抓不到就往下抓
- 2 回答
- 0 關注
- 513 瀏覽
添加回答
舉報
0/150
提交
取消