問(wèn)題：從100萬(wàn)行l(wèi)og記錄中篩選有價(jià)值的信息，需要用到什么知識(shí)？是大數(shù)據(jù)么？具體是大數(shù)據(jù)的哪部分知識(shí)？把他們篩選出來(lái)，用什么工具？對(duì)它們分析，用什么工具？想自學(xué)這方面的東西，希望懂的人給個(gè)指點(diǎn)。多謝~~
3 回答
MMMHUHU
TA貢獻(xiàn)1834條經(jīng)驗(yàn) 獲得超8個(gè)贊
我在這兒說(shuō)一下，大數(shù)據(jù)不僅僅是數(shù)據(jù)量大，況且你的數(shù)據(jù)量也不大。無(wú)論是互聯(lián)網(wǎng)時(shí)代還是大數(shù)據(jù)時(shí)代，技術(shù)永遠(yuǎn)是工具，去更好幫助人們解決生活社會(huì)問(wèn)題的工具。就目前而言面對(duì)大量的數(shù)據(jù)，我認(rèn)為我們可以做兩件事，一，目標(biāo)明確的查詢檢索，那可能會(huì)用到hadoop或者spark這些分布式運(yùn)算引擎幫你快速計(jì)算出你要的結(jié)果；二，挖掘潛在價(jià)值，也就是你說(shuō)的”篩選有價(jià)值的信息“，這可能需要機(jī)器學(xué)習(xí)算法，那么你得根據(jù)業(yè)務(wù)建模，然后把多維度，大量的數(shù)據(jù)導(dǎo)入訓(xùn)練。簡(jiǎn)單如上，如果像進(jìn)一步學(xué)習(xí)可以相互交流。
添加回答
舉報(bào)
0/150
提交
取消