-
Hadoop是一個開源的大數(shù)據(jù)框架；
Hadoop是分布式計算的解決方案；
Hadoop = HDFS(分布式文件系統(tǒng)) （存儲）+ MapReduce(分布式計算)
HDFS總結(jié)：
? ? ?普通的成百上千臺機(jī)器；TB甚至PB為單位的大量的數(shù)據(jù)；簡單便捷的文件獲?。?/p>
HDFS概念：
? ?1.數(shù)據(jù)塊?
? ? ? ? ?數(shù)據(jù)塊是抽象塊，而非整個文件作為存儲單元；默認(rèn)大小為64M，一般設(shè)置128M，備份3個；
? ?2.NameNode
? ? ? ? ?管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)；維護(hù)著文件系統(tǒng)的所有文件和目錄，文件與數(shù)據(jù)塊的映射；記錄每個文件中各個塊所在數(shù)據(jù)節(jié)點(diǎn)的信息；
? ?3.DataNode
? ? ? ? 存儲并檢索數(shù)據(jù)塊；向NameNode更新所存儲塊的列表；
HDFS優(yōu)點(diǎn)：
? ? ?適合大文件存儲，支持TB、PB級別的數(shù)據(jù)存儲，并有副本策略；可以構(gòu)建在廉價的機(jī)器上，并有一定的容錯和恢復(fù)機(jī)制；支持流式數(shù)據(jù)訪問，一次寫入，多次讀取最高效；
HDFS缺點(diǎn)：
? ? 不支持大量小文件的存儲；不適合并發(fā)寫入，不支持文件隨機(jī)修改；不支持隨機(jī)讀等低延時的訪問方式；
查看全部 -
什么是大數(shù)據(jù)？
大數(shù)據(jù)即使一個概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺框架上進(jìn)行各種數(shù)據(jù)分析的技術(shù)。
大數(shù)據(jù)包括了以Hadoop和spark為代表的基礎(chǔ)大數(shù)據(jù)框架。還包括實時數(shù)據(jù)處理，離線數(shù)據(jù)處理；數(shù)據(jù)分析，數(shù)據(jù)挖掘和用機(jī)器算法進(jìn)行預(yù)測分析等技術(shù)
查看全部 -
什么是大數(shù)據(jù)？
大數(shù)據(jù)是一個概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺框架上進(jìn)行各種數(shù)據(jù)分析的技術(shù)
查看全部 -
1
查看全部 -
hdfs3
查看全部 -
Spark簡介
Spark優(yōu)勢
查看全部 -
HBase簡介
簡單介紹
查看全部 -
Hadoop生態(tài)圈
查看全部 -
問題
查看全部 -
map方法
reduce方法
測試
在進(jìn)行Reduce方法時進(jìn)行了sort（排序）
提交到Hadoop框架上
查詢
打印結(jié)果
查看全部 -
NameNode
查看全部 -
hdfs 塊儲存
查看全部 -
YARN（Haoop2之后的資源管理器）概念
? ? ? 1.ResourceManager：分配和調(diào)度資源；啟動并監(jiān)控ApplicationMaster; 監(jiān)控NodeManager
? ? ? 2.ApplicatonMaster：為MR類型的程序申請資源，并分配給內(nèi)部任務(wù)；負(fù)責(zé)數(shù)據(jù)的切分；監(jiān)控任務(wù)的執(zhí)行及容錯；
? ? ? 3.NodeManager：管理單個節(jié)點(diǎn)的資源；處理來自ResourceManager的命令；處理來自ApplicationMaster的命令
? ? ?MapReduce是一種編程模型，是一種編程方法，是抽象的理論；
MapReduce編程模型
? ? ? 輸入一個大文件，通過Split之后，將其分為多個分片；每個文件分片由單獨(dú)的機(jī)器去處理，這就是Map方法 ?；將各個機(jī)器計算的結(jié)果進(jìn)行匯總并得到最終的結(jié)果，這就是Reduce方法；
查看全部 -
查看全部 -
HDFS讀流程
客戶端向NameNode發(fā)起讀數(shù)據(jù)請求；
NameNode找出距離最近的DataNode節(jié)點(diǎn)信息；
客戶端從DataNode分塊下載文件；
查看全部
舉報