關(guān)于爬蟲的若干問(wèn)題最近想利用爬蟲去獲取較為大量的數(shù)據(jù)，但是在爬的過(guò)程中遇到了若干問(wèn)題，所以來(lái)和各位大神討教一下，如能解答，感激不盡。1. 對(duì)于網(wǎng)頁(yè)鏈接數(shù)量較多的時(shí)候，用什么方式去爬能提升效率？我現(xiàn)在是將所有的子頁(yè)鏈接存到一個(gè)數(shù)組里面，在對(duì)數(shù)組鏈接map操作，然后去獲取每一頁(yè)的數(shù)據(jù)。但是我現(xiàn)在所爬到的子頁(yè)鏈接有上萬(wàn)個(gè)，爬取這些鏈接需要很長(zhǎng)的時(shí)間，獲取鏈接之后的請(qǐng)求頁(yè)面獲取數(shù)據(jù)也要很久的時(shí)間。所以我想知道，有沒(méi)有更好的方式能夠提高爬蟲的效率的。2. 獲取數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)應(yīng)該怎么處理我在請(qǐng)求子頁(yè)面獲取數(shù)據(jù)之后，會(huì)將數(shù)據(jù)存儲(chǔ)到mongodb里面，但是事實(shí)證明，這種寫法讓我的爬蟲存儲(chǔ)效率低下，而且經(jīng)常出現(xiàn)堆棧溢出的情況。所以我想了解一下大神們獲取到數(shù)據(jù)之后是怎么存儲(chǔ)數(shù)據(jù)的，我聽(tīng)過(guò)讀寫分離，但是不知道這具體是怎樣的一個(gè)概念，有大神講解下么~3. 對(duì)于爬到錯(cuò)誤數(shù)據(jù)的處理有些時(shí)候，所爬到頁(yè)面的數(shù)據(jù)，是不符合存儲(chǔ)標(biāo)準(zhǔn)的，但是我不知道這部分的數(shù)據(jù)是應(yīng)該放過(guò)，還是重新請(qǐng)求頁(yè)面重新獲取一次。我現(xiàn)在是如果請(qǐng)求到的數(shù)據(jù)不合格，就會(huì)換個(gè)ip重新請(qǐng)求頁(yè)面，知道數(shù)據(jù)符合為止。但是這樣很有可能造成死循環(huán)，所以想知道大神們對(duì)這種狀況的處理方式。4. 用mongo存儲(chǔ)數(shù)據(jù)的問(wèn)題從昨晚到今天，總共有將近7w個(gè)子鏈接，但是我的mongodb里只多了5k條數(shù)據(jù)。所以我想了解一下，關(guān)于mongodb，有沒(méi)有什么可參考數(shù)據(jù)之類的，可以讓我了解一下它的真實(shí)性能。順便如果有大神肯分享一些mongo使用技巧和心得的話，那就更感謝了。。。小菜鳥新入門，如果有犯低級(jí)錯(cuò)誤的地方，歡迎各位大神指正。