首頁猿問在新浪微博現(xiàn)行的架構(gòu)里，我如何爬取...

在新浪微博現(xiàn)行的架構(gòu)里，我如何爬取單個用戶的所有微博？

JavaScript

幕布斯6054654 2019-03-12 17:15:02

近期在新浪微博上關(guān)注了一個相當(dāng)有料的博主，個人大概有兩萬多條微博的數(shù)據(jù)，基本上是以純文字居多。有沒有做過數(shù)據(jù)采集的和爬蟲的小伙伴，說說這部分思路和理解？（個人也在摸索）

查看完整描述

5 回答

紅顏莎娜

TA貢獻(xiàn)1842條經(jīng)驗獲得超13個贊

我之前做過一個爬微博文章的，用的是puppeteer.js，完全模擬的是用戶行為，不會被屏蔽檢測
你可以看下這個庫

反對回復(fù) 2019-04-04

富國滬深

TA貢獻(xiàn)1790條經(jīng)驗獲得超9個贊

爬微博是犯法的喲，請仔細(xì)閱讀微博的用戶協(xié)議。所以偷偷搞就是了，不要這么大張旗鼓的……

反對回復(fù) 2019-04-04

至尊寶的傳說

TA貢獻(xiàn)1789條經(jīng)驗獲得超10個贊

Java
沒做過微博的，但思路的話大概就是先獲取認(rèn)證Cookie，Token之類的，然后用Fiddler抓包，主要是抓請求數(shù)據(jù)的接口，然后在用Jsoup把微博的部分抓下來進(jìn)行持久化。
關(guān)于源的話應(yīng)該有App接口，或者是PC網(wǎng)頁和H5網(wǎng)頁，看哪個更加容易選哪個。

反對回復(fù) 2019-04-04