簡(jiǎn)單說有三大核心技術(shù)：拿數(shù)據(jù)，算數(shù)據(jù)，賣數(shù)據(jù)。
首先做為大數(shù)據(jù)，拿不到大量數(shù)據(jù)都白扯?，F(xiàn)在由于機(jī)器學(xué)習(xí)的興起，以及萬金油算法的崛起，導(dǎo)致算法地位下降，數(shù)據(jù)地位提高了。舉個(gè)通俗的例子，就好比由于教育的發(fā)展，導(dǎo)致個(gè)人智力重要性降低，教育背景變重要了，因?yàn)橐话闳税礃?biāo)準(zhǔn)流程讀個(gè)書，就能比牛頓懂得多了。谷歌就說：拿牛逼的數(shù)據(jù)喂給一個(gè)一般的算法，很多情況下好于拿傻傻的數(shù)據(jù)喂給牛逼的算法。而且知不知道弄個(gè)牛逼算法有多困難？一般人連這個(gè)困難度都搞不清楚好不好……拿數(shù)據(jù)很重要，巧婦難為無米之炊呀！所以為什么好多公司要燒錢搶入口，搶用戶，是為了爭(zhēng)奪數(shù)據(jù)源呀！不過運(yùn)營，和產(chǎn)品更關(guān)注這個(gè)，我是程序員，我不管……
其次就是算數(shù)據(jù)，如果數(shù)據(jù)拿到直接就有價(jià)值地話，那也就不需要公司了，政府直接賺外快就好了。蘋果落地都能看到，人家牛頓能整個(gè)萬有引力，我就只能撿來吃掉，差距呀……所以數(shù)據(jù)在那里擺著，能挖出啥就各憑本事了。算數(shù)據(jù)就需要計(jì)算平臺(tái)了，數(shù)據(jù)怎么存（HDFS, S3, HBase, Cassandra），怎么算（Hadoop, Spark）就靠咱們程序猿了……
再次就是賣得出去才能變現(xiàn)，否則就是搞公益了，比如《疑犯追蹤》里面的李四和大錘他們……見人所未見，預(yù)測(cè)未來并趨利避害才是智能的終極目標(biāo)以及存在意義，對(duì)吧？這個(gè)得靠大家一塊兒琢磨。
其實(shí)我覺得最后那個(gè)才是“核心技術(shù)”，什么Spark，Storm，Deep-Learning，都是第二梯隊(duì)的……當(dāng)然，沒有強(qiáng)大的算力做支撐，智能應(yīng)該也無從說起吧。
NoSQL，分布式計(jì)算，機(jī)器學(xué)習(xí)，還有新興的實(shí)時(shí)流處理，可能還有別的。
數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)清洗，數(shù)據(jù)挖掘，數(shù)據(jù)可視化。數(shù)據(jù)采集有硬件采集，如OBD，有軟件采集，如滴滴，淘寶。數(shù)據(jù)存儲(chǔ)就包括NOSQL，hadoop等等。數(shù)據(jù)清洗包括語議分析，流媒體格式化等等。數(shù)據(jù)挖掘包括關(guān)聯(lián)分析，相似度分析，距離分析，聚類分析等等。數(shù)據(jù)可視化就是WEB的了。