首頁猿問爬蟲爬取的數(shù)據(jù)如何可視化？

爬蟲爬取的數(shù)據(jù)如何可視化？

JavaScript

哆啦的時(shí)光機(jī) 2018-08-02 10:10:06

我最近爬了一個(gè)熊貓tv的一些數(shù)據(jù)，比如主播id和竹子數(shù)來進(jìn)行比較。現(xiàn)在這些數(shù)據(jù)我是保存為csv文件，然后用的語言是python。現(xiàn)在我把他部署到了主機(jī)上，每天8pm爬取一次。那么我如何展現(xiàn)這些數(shù)據(jù)呢？好疑惑，現(xiàn)在暫時(shí)有以下想法。csv直接變成html表格使用類似jinja2之類的模板將數(shù)據(jù)存儲(chǔ)起來，用js處理，正好做個(gè)網(wǎng)站（本人學(xué)了一丟丟前端知識(shí)）最后放上github地址：panda-bamboos-rank

查看完整描述

1 回答

侃侃爾雅

TA貢獻(xiàn)1801條經(jīng)驗(yàn) 獲得超16個(gè)贊

最近幫別人處理過類似的一些數(shù)據(jù)可視化的內(nèi)容，提供一點(diǎn)思路：

所謂可視化，肯定不單純是變成簡(jiǎn)易的表格展示數(shù)據(jù)，而是要在數(shù)據(jù)的基礎(chǔ)上做出二次加工，讓數(shù)據(jù)更加“易懂”。所以主要就是加工數(shù)據(jù)和展示數(shù)據(jù)兩方面。

加工數(shù)據(jù)：
如果你已經(jīng)保存成了csv表格，那么可以將csv導(dǎo)入到數(shù)據(jù)庫中，借助數(shù)據(jù)庫高效的處理能力幫你加工數(shù)據(jù)，數(shù)據(jù)量越大，數(shù)據(jù)庫的作用越明顯。
當(dāng)然，更簡(jiǎn)單的方法是用Python直接連接數(shù)據(jù)庫進(jìn)行儲(chǔ)存，更靈活，可選的數(shù)據(jù)庫也更多。

展示數(shù)據(jù)：
主要取決于你展示給誰看？傳統(tǒng)的方式例如你處理好了數(shù)據(jù)，用一些制圖工具加工成對(duì)應(yīng)的圖片。更現(xiàn)代的方式是用一些前端類庫將數(shù)據(jù)加工成可交互的圖表，利用網(wǎng)頁的形式進(jìn)行展示，相比之下更加靈活。
前端圖表庫的話，highcharts.js和echarts.js大而全，chart.js較小巧。不過我是d3.js忠實(shí)擁躉，d3到v4之后已經(jīng)模塊化，非常靈活。

反對(duì) 回復(fù) 2018-09-25