最近想做大數(shù)據(jù)分析; 所以想爬取了喜馬拉雅的所有用戶信息;那么重點(diǎn)來(lái)了,我發(fā)現(xiàn),喜馬拉雅有單模塊防御機(jī)制; 比如個(gè)人用戶主頁(yè),我爬取了大概2000+左右,反爬機(jī)制就生效了, 不管訪問(wèn)哪一個(gè)用戶的主頁(yè),都是返回 503,連我自己的個(gè)人中心都無(wú)法登錄了;我試過(guò) cookie 變換,但是得出結(jié)論絕對(duì)是 IP 被禁了。 請(qǐng)問(wèn)各位,有沒有相關(guān)經(jīng)驗(yàn)。 到底是不是禁了 IP。。。。。
談?wù)勏柴R拉雅的反爬機(jī)制?
慕工程0101907
2019-02-17 15:37:36