從數(shù)據(jù)源到數(shù)據(jù)呈現(xiàn)說說目前的情況吧，數(shù)據(jù)源：1、mysql2、日志文件呈現(xiàn)：1、csv文件導(dǎo)出或者發(fā)送郵件2、提供接口數(shù)據(jù)給web呈現(xiàn)圖標(biāo)當(dāng)前涉及的一些技術(shù)點(diǎn)：從日志文件讀取數(shù)據(jù)主要是shell＋awk，從mysql主要是php讀取數(shù)據(jù)存儲(chǔ)到文件，之后通過php或者shell來進(jìn)行一些運(yùn)算或者統(tǒng)計(jì)處理，相應(yīng)數(shù)據(jù)入庫(kù)或者發(fā)送郵件提供給需求方。目前項(xiàng)目積累了大量的腳本，和一些臨時(shí)性的解決辦法（零散腳本），而且隨著數(shù)據(jù)的增長(zhǎng)，mysql這部分效率也越來越慢，復(fù)雜的腳本已經(jīng)變得越來越難維護(hù)。這些腳本有一些是需要的時(shí)候手工跑一次，還有很多是定時(shí)跑，如果繼續(xù)下去已經(jīng)快不可控了。尋求一套從數(shù)據(jù)入口到數(shù)據(jù)呈現(xiàn)的解決方案，或者是各位有經(jīng)驗(yàn)的同學(xué)分享分享。日志文件存儲(chǔ)在hadoop上一部分，目前沒有寫mapreduce直接去處理這部分。->3Q