-
RDD彈性分布式數(shù)據(jù)集
查看全部 -
利用HDFS作為文件系統(tǒng)，MR程序讀取數(shù)據(jù)，可存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，也可存儲結(jié)構(gòu)化數(shù)據(jù)。對于海量的小數(shù)據(jù)可以用Hbase
?ROWKey Colum Family
查看全部 -
HBase 分布式數(shù)據(jù)庫
查看全部 -
延伸思考？
查看全部 -
Mapreduce 分而治之
查看全部 -
數(shù)據(jù)塊一般設(shè)置為128M，設(shè)置太小的話對于Namenode的內(nèi)存消耗會比價嚴重，namenode存儲了整個集群的數(shù)據(jù)快的信息，數(shù)據(jù)塊設(shè)置太大，對并行支持就不太好了
Hadoop2有兩個namenode節(jié)點，一個是主節(jié)點另一個為備用節(jié)點處于standby狀態(tài)，兩個節(jié)點數(shù)據(jù)時刻保持一致。一旦主節(jié)點掛掉，備用節(jié)點立馬啟用
查看全部 -
Shell訪問HDFS hdfs dfs -cat指定目錄文件 通過python訪問HDFS HDFS3:python一個模塊 實例化后是一個訪問HDFS的一個客戶端查看全部
-
PETHON查看全部
-
Hadoop是什么
????1.Hadoop是一個開源的大數(shù)據(jù)框架
? ? 2.Hadoop是一個分布式計算的解決方案
????3.Hadoop=HDFS(分布式文件系統(tǒng))+MapReduce(分布式計算)
Hadoop核心
????HDFS分布式文件系統(tǒng)：存儲是大數(shù)據(jù)技術(shù)的基礎(chǔ)
????MapReduce：分布式計算是大數(shù)據(jù)應(yīng)用的解決方案
查看全部 -
課程預備知識
查看全部 -
課程的目標
查看全部 -
大數(shù)據(jù)方向
查看全部 -
什么是大數(shù)據(jù)
查看全部 -
2-4Python 未學習查看全部
-
HDFS的概念
?????????數(shù)據(jù)塊
?????????NameNode
???????? DataNode
查看全部
舉報