從數據源到數據呈現說說目前的情況吧，數據源：1、mysql2、日志文件呈現：1、csv文件導出或者發(fā)送郵件2、提供接口數據給web呈現圖標當前涉及的一些技術點：從日志文件讀取數據主要是shell＋awk，從mysql主要是php讀取數據存儲到文件，之后通過php或者shell來進行一些運算或者統(tǒng)計處理，相應數據入庫或者發(fā)送郵件提供給需求方。目前項目積累了大量的腳本，和一些臨時性的解決辦法（零散腳本），而且隨著數據的增長，mysql這部分效率也越來越慢，復雜的腳本已經變得越來越難維護。這些腳本有一些是需要的時候手工跑一次，還有很多是定時跑，如果繼續(xù)下去已經快不可控了。尋求一套從數據入口到數據呈現的解決方案，或者是各位有經驗的同學分享分享。日志文件存儲在hadoop上一部分，目前沒有寫mapreduce直接去處理這部分。->3Q