首頁猿問問大家一個python爬蟲和大數(shù)據(jù)的問題

問大家一個python爬蟲和大數(shù)據(jù)的問題

大數(shù)據(jù)

侃侃無極 2018-07-30 17:22:37

我的畢業(yè)設計是做一個爬取豆瓣網(wǎng)站的系統(tǒng)，我的同學的畢業(yè)設計是大數(shù)據(jù)方面的題目。我們的畢設老師要求我用爬蟲爬完數(shù)據(jù)后存儲，然后做一個接口把數(shù)據(jù)傳給同學（數(shù)據(jù)從我的電腦傳到他的電腦上），他再用他搭建的平臺處理數(shù)據(jù)再展示出來?，F(xiàn)在我的爬蟲系統(tǒng)做好了，他的平臺也搭建好了。請問這之間傳數(shù)據(jù)的接口怎么設計，要掌握哪些知識

查看完整描述

3 回答

慕雪6442864

TA貢獻1812條經(jīng)驗獲得超5個贊

接口數(shù)據(jù)格式根據(jù)對方平臺的需求，就跟寫app的接口差不多，給個json數(shù)據(jù)

反對回復 2018-08-02

慕尼黑8549860

TA貢獻1818條經(jīng)驗獲得超11個贊

你的爬蟲是winform項目吧?？梢栽僮鲆粋€web項目，你同學需要什么接口，你就寫個相應web api接口傳json格式數(shù)據(jù)給他。
如果你想做在爬蟲winform項目里，你這邊可以寫一個socket服務端，你同學那邊寫個socket客戶端來請求數(shù)據(jù)。不過不推薦把服務端寫在winform里，推薦用剛才說的web api，其次推薦webservice等。

反對回復 2018-08-02