根據(jù)老師的框架寫的爬蟲，爬一個網(wǎng)站的一個模塊共有6000多條數(shù)據(jù)，都是爬了一部分不爬了，從不爬的那條404報錯之后的那條鏈接繼續(xù)爬，又只可以爬幾百條，然后又不爬了，在已經(jīng)爬取得網(wǎng)頁里面也有404的網(wǎng)頁，但是跳過去了，不明白為什么有些404網(wǎng)頁跳不過去，難道是url_manager有問題嗎？沒有新的url加上去？有沒有運行日志什么的可以檢查錯誤的?求大神賜教！