從這里，我將帶你進(jìn)入大數(shù)據(jù)的世界。
你好，我是 RangeYan。目前在國內(nèi)一線互聯(lián)網(wǎng)從事數(shù)據(jù)研發(fā)工作。
2013 年我在阿里巴巴從事后端研發(fā)工作。大西洋彼岸的美國以 Hadoop 為代表的大數(shù)據(jù)技術(shù)，進(jìn)入了超高速發(fā)展時期。大量的國內(nèi)互聯(lián)網(wǎng)公司開始引入 Hadoop 項目，并將這一大數(shù)據(jù)技術(shù)大規(guī)模應(yīng)用于自身的業(yè)務(wù)發(fā)展。這一年被稱之為大數(shù)據(jù)元年。
身處一線互聯(lián)網(wǎng)公司，身邊的同事，新聞媒體的報道，行業(yè)技術(shù)峰會，都在激烈討論著大數(shù)據(jù)時代即將來臨，我們生活會發(fā)生巨大變化。漸漸的我被大數(shù)據(jù)神秘的光環(huán)所吸引，內(nèi)心急迫的想?yún)⑴c到這一時代洪流中來。希望能占據(jù)先機(jī)，待大數(shù)據(jù)大放異彩之時，博得一席之地。當(dāng)時的大數(shù)據(jù)對于大家的新鮮程度，絕對不亞于現(xiàn)在的人工智能。
于是在 2015 年換工作時，我毅然決然地選擇將工作方向轉(zhuǎn)向了大數(shù)據(jù)研發(fā)，成為了一名大數(shù)據(jù) (Big Data) 工作者。
時間走到了 2020 年，五年多的時間里，帶著對大數(shù)據(jù)的好奇與向往，從對大數(shù)據(jù)一無所知開始，一步步學(xué)習(xí)大數(shù)據(jù)技術(shù)，到現(xiàn)在成為一名一線互聯(lián)網(wǎng)公司大數(shù)據(jù)專家。
在這段互聯(lián)網(wǎng)轉(zhuǎn)人員轉(zhuǎn)型大數(shù)據(jù)經(jīng)歷里面，我踩過無數(shù)坑，遇到過很多的問題，然而更多的是在大數(shù)據(jù)時代的浪潮里積攢寶貴知識，收獲了熱愛的事業(yè)。
從 2004 年 Google 發(fā)表的三篇論文開始，大數(shù)據(jù)技術(shù)已經(jīng)走過了 16 個春秋。
從理論探索到技術(shù)落地，從單一的 Hadoop 項目發(fā)展到完備 Hadoop 生態(tài)系統(tǒng)，從石破驚天到遍地開花，大數(shù)據(jù)已經(jīng)徹底融入了我們的生活。但時至今日，我知道屏幕前依然有很多人對大數(shù)據(jù)知之甚少，或者從事多年軟件技術(shù)研發(fā)，想轉(zhuǎn)型從事大數(shù)據(jù)相關(guān)工作。
如果你也有這樣的疑問:
-
什么是大數(shù)據(jù)？
-
在人工智能時代下互聯(lián)網(wǎng)研發(fā)人員轉(zhuǎn)型大數(shù)據(jù)是否依然有價值？
那么你一定要認(rèn)真的讀完這期專欄。
在這個專欄里面，我將從一個互聯(lián)網(wǎng)技術(shù)人員轉(zhuǎn)型大數(shù)據(jù)的親歷者的角度，揭開大數(shù)據(jù)的神秘面紗，給你們呈現(xiàn)一個真實的大數(shù)據(jù)，以及互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)從業(yè)者實際的工作狀態(tài)。相信看完專欄之后的你，一定會收獲滿滿。
在接下來四個月的時間里，我的專欄會按照下面的順序編排，由淺入深，帶你一步步進(jìn)入大數(shù)據(jù)的世界里。
-
我會引用大量行業(yè)頂尖公司，政府，維基百科等多方言論，回答一個簡單而重要的問題：什么是大數(shù)據(jù)?；卮鹜赀@個問題之后，我會將大數(shù)據(jù)的波瀾壯闊的發(fā)展歷史呈現(xiàn)在大家面前，讓你知道，我們是如何一步步走入大數(shù)據(jù)時代的。
針對技術(shù)人員感興趣的 Hadoop，我會用庖丁解牛的方式，告訴你 Hadoop 和大數(shù)據(jù)到底是什么樣的關(guān)系。
-
我會介紹在這個人工智能時代背景下，大數(shù)據(jù)已經(jīng)應(yīng)用到了我們生活的哪些方面，給大家的生活帶來了哪些實際的便利，并以征信行業(yè)舉例說明大數(shù)據(jù)是如何賦能傳統(tǒng)行業(yè)的。
大數(shù)據(jù)出現(xiàn)的同時也引發(fā)了新的問題：數(shù)據(jù)安全。針對技術(shù)型讀者準(zhǔn)備了小甜點：并行計算和實時計算哪個更難、搜索和推薦技術(shù)更迭背后：頭條的崛起，百度的隕落。然后我會用大量的例子講解數(shù)據(jù)爬取的這一簡單的難題。
-
經(jīng)過前兩章的鋪墊之后，我會正式介紹大數(shù)據(jù)生態(tài)系統(tǒng)的理論知識。對大數(shù)據(jù)生態(tài)系統(tǒng)的各個重要的組件，一一介紹，讓大家對大數(shù)據(jù)技術(shù)有個整體的了解。
-
在完成大數(shù)據(jù)生態(tài)系統(tǒng)理論知識的學(xué)習(xí)之后，我會帶著大家從搭建一個 Hadoop 集群開始，并著重介紹大數(shù)據(jù)開發(fā)性能調(diào)優(yōu)技巧。讓大家具備初步的 Hadoop 集群運維和大數(shù)據(jù)開發(fā)能力。想轉(zhuǎn)型大數(shù)據(jù)技術(shù)的同學(xué)希望能重點掌握好這一章節(jié)，為以后的工作打下一個堅實的基礎(chǔ)。
-
我會從大數(shù)據(jù)容器化，人工智能普及化，物聯(lián)網(wǎng)產(chǎn)業(yè)化，邊緣計算崛起幾個角度，介紹大數(shù)據(jù)未來的發(fā)展方向，讓大家洞悉到大數(shù)據(jù)發(fā)展的時代脈搏。
-
為了呈現(xiàn)真實的互聯(lián)網(wǎng)大數(shù)據(jù)從業(yè)者現(xiàn)狀，我會從數(shù)據(jù)平臺開發(fā)工程師，數(shù)倉開發(fā)工程師，數(shù)據(jù)挖掘工程師，數(shù)據(jù)分析師多個崗位出發(fā)，介紹他們需要具備的職業(yè)技能，日常工作內(nèi)容。
最后我會以探討的方式來聊聊每個互聯(lián)網(wǎng)從業(yè)者無法回避的 35 歲問題：中年危機(jī)問題。
在這四個月的時間里，大家有什么疑問，可以在專欄下面的評論區(qū)留言，我會竭盡所能，解答大家的疑問，希望我們能一起學(xué)習(xí)，共同進(jìn)步。