-
HDFS的特點
查看全部 -
Hadoop核心
查看全部 -
Hadoop是什么？
查看全部 -
課程大綱????
?????????????理論知識
查看全部 -
大數(shù)據(jù)方向好不好？
查看全部 -
什么是大數(shù)據(jù)？
????????大數(shù)據(jù)是一個概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺框架上盡心各種數(shù)據(jù)分析的技術(shù)。
???????? 大數(shù)據(jù)包括了以Hadoop和Spark為代表的基礎(chǔ)大數(shù)據(jù)框架
?????????還包括實時數(shù)據(jù)處理，離線數(shù)據(jù)處理；數(shù)據(jù)分析，數(shù)據(jù)挖掘和用機器算法進行預(yù)測分析等技術(shù)
查看全部 -
Hadoop基礎(chǔ)與演練
查看全部 -
進行數(shù)據(jù)分析技術(shù)查看全部
-
HBase是一個高可靠，高性能，面先烈，可伸縮，實時讀寫的分布式數(shù)據(jù)庫
用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)
RowKey：數(shù)據(jù)唯一標(biāo)識，按字典排序
Column Family：列族，多個列的集合，最多不要超過3個
TimeStamp時間戳：支持多版本數(shù)據(jù)同時存在
查看全部 -
HDFS寫流程：客戶端向NameNode發(fā)起寫數(shù)據(jù)請求，分塊寫入DataNode節(jié)點，DataNode自動完成副本備份，然后向NameNode匯報存儲完成，由NameNode通知客戶端
HDFS讀流程：客戶端向NameNode發(fā)起讀數(shù)據(jù)請求，NameNode找出距離最近的DataNode節(jié)點信息，客戶端從DataNode分塊下載文件
查看全部 -
HDFS概念
數(shù)據(jù)塊????????????數(shù)據(jù)塊是抽象塊而非整個文件作為存儲單元，一般設(shè)置為128M,備份*3
NameNode????主。管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)
????????????????????????維護著文件系統(tǒng)的所有文件和目錄，文件與數(shù)據(jù)塊的映射
????????????????????????記錄每個文件中各個塊所在數(shù)據(jù)節(jié)點的信息
DataNode????工作節(jié)點。存儲并檢索數(shù)據(jù)塊，向NameNode更新所存儲塊的列表
HDFS的優(yōu)點：適合大文件存儲，并有副本策略；可以構(gòu)建在廉價的機器上，并有一定的容錯和恢復(fù)機制；支持流式數(shù)據(jù)訪問，一次寫入，多次讀取最高效。
HDFS的缺點：不適合大量小文件存儲；不適合并發(fā)寫入，不支持文件的隨即修改，只能后期append添加；不支持隨機讀寫等低延時的訪問方式
查看全部 -
for?i?in?range(10**10): ????print('thank?you?very?much!!!')查看全部 -
常用的HDFS shell命令
類Linux系統(tǒng)：ls、cat、mkdir、rm、chomod、chown
HDFS文件交互：copyfromlocal、copytolocal/get、put
查看全部 -
HDFS的概念：
數(shù)據(jù)塊：
namenode:
datanode:
查看全部 -
Hadoop是一個開源的大數(shù)據(jù)框架
Hadoop是一個分布式計算的解決方案
Hadoop=HDFS（分布式文件系統(tǒng)）+MapReduce（分布式計算）
查看全部
舉報