首頁猿問問大家一個(gè)python爬蟲和大數(shù)據(jù)的問題

問大家一個(gè)python爬蟲和大數(shù)據(jù)的問題

大數(shù)據(jù)

侃侃無極 2018-07-30 17:22:37

我的畢業(yè)設(shè)計(jì)是做一個(gè)爬取豆瓣網(wǎng)站的系統(tǒng)，我的同學(xué)的畢業(yè)設(shè)計(jì)是大數(shù)據(jù)方面的題目。我們的畢設(shè)老師要求我用爬蟲爬完數(shù)據(jù)后存儲(chǔ)，然后做一個(gè)接口把數(shù)據(jù)傳給同學(xué)（數(shù)據(jù)從我的電腦傳到他的電腦上），他再用他搭建的平臺(tái)處理數(shù)據(jù)再展示出來。現(xiàn)在我的爬蟲系統(tǒng)做好了，他的平臺(tái)也搭建好了。請(qǐng)問這之間傳數(shù)據(jù)的接口怎么設(shè)計(jì)，要掌握哪些知識(shí)

查看完整描述

3 回答

慕雪6442864

TA貢獻(xiàn)1812條經(jīng)驗(yàn) 獲得超5個(gè)贊

接口數(shù)據(jù)格式根據(jù)對(duì)方平臺(tái)的需求，就跟寫app的接口差不多，給個(gè)json數(shù)據(jù)

反對(duì) 回復(fù) 2018-08-02

慕尼黑8549860

TA貢獻(xiàn)1818條經(jīng)驗(yàn) 獲得超11個(gè)贊

你的爬蟲是winform項(xiàng)目吧?？梢栽僮鲆粋€(gè)web項(xiàng)目，你同學(xué)需要什么接口，你就寫個(gè)相應(yīng)web api接口傳json格式數(shù)據(jù)給他。
如果你想做在爬蟲winform項(xiàng)目里，你這邊可以寫一個(gè)socket服務(wù)端，你同學(xué)那邊寫個(gè)socket客戶端來請(qǐng)求數(shù)據(jù)。不過不推薦把服務(wù)端寫在winform里，推薦用剛才說的web api，其次推薦webservice等。

反對(duì) 回復(fù) 2018-08-02