-
HDFS的datanode，是用來(lái)存儲(chǔ)數(shù)據(jù)
查看全部 -
HDFS概念的namenode,是由一個(gè)namenode和多個(gè)datanode組成，主要是負(fù)責(zé)記錄數(shù)據(jù)信息和節(jié)點(diǎn)信息
查看全部 -
HDFS數(shù)據(jù)庫(kù)按塊存儲(chǔ)，屏蔽了文件的概念
查看全部 -
Hadoop 是什么：
是一個(gè)開源的大數(shù)據(jù)框架，
是一個(gè)分布式計(jì)算的解決方案。
hadoop = HDFS + MapReduce
查看全部 -
HDFS的缺點(diǎn)
（1）不適合大量小文件存儲(chǔ)；
（2）不適合并發(fā)寫入，不支持文件隨機(jī)修改；
（3）不支持隨機(jī)讀等低延時(shí)的訪問(wèn)方式
查看全部 -
課程目標(biāo)： 1，掌握Hadoop的基本原理及使用方式 2，掌握基于Hadoop框架的數(shù)據(jù)處理和分析的應(yīng)用程序開發(fā)
查看全部 -
什么是大數(shù)據(jù)？
大數(shù)據(jù)即使一個(gè)概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺(tái)框架上進(jìn)行各種數(shù)據(jù)分析的技術(shù)。
大數(shù)據(jù)包括了以Hadoop和spark為代表的基礎(chǔ)大數(shù)據(jù)框架。還包括實(shí)時(shí)數(shù)據(jù)處理，離線數(shù)據(jù)處理；數(shù)據(jù)分析，數(shù)據(jù)挖掘和用機(jī)器算法進(jìn)行預(yù)測(cè)分析等技術(shù)
查看全部 -
hadoop ======?
1.存儲(chǔ)大數(shù)據(jù)的基礎(chǔ)
2.分布式計(jì)算的解決方案
查看全部 -
1.查看hdfs的幫助信息
hdfs?dfs?-help
2.查看hdfs文件系統(tǒng)根目錄下的所有目錄與文件
hdfs?dfs?-ls?/
3.將文件從本地復(fù)制到hdfs文件系統(tǒng)中
hdfs?dfs?-copyFromLocal?/?+路徑
4..使用命令統(tǒng)一加
hdfs?dfs
查看全部 -
copyFromLocal從本地文件系統(tǒng)拷貝到HDFS系統(tǒng)? ? ? ??
copyToLocal? 從HDFS系統(tǒng)?拷貝到本地文件系統(tǒng)
get下載文件，put上傳文件
查看全部 -
mapreduce編程模型查看全部
-
???? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? HDFS寫流程
客戶端向NameNode發(fā)起寫數(shù)據(jù)請(qǐng)求
分塊（塊的大??？）寫入DataNode節(jié)點(diǎn)，DataNode自動(dòng)完成副本備份
DataNode向NameNode匯報(bào)存儲(chǔ)完成，NameNode通知客戶端
?? ? ? ? ? ? ? ? ? ? ? ? ? HDFS讀流程
???? 1，客戶端向NameNode發(fā)起數(shù)據(jù)請(qǐng)求
???? 2，NameNode找出距離最近的DataNode節(jié)點(diǎn)信息
???? 3.?? 客戶端從DataNode分塊下載文件
查看全部 -
hadoop = HDFS + MapReduce
查看全部 -
YARN，Hadoop2.0之后的資源管理器，
ResourceManager, 分配和調(diào)度資源，啟動(dòng)并監(jiān)控ApplicationMaster，監(jiān)控NodeManager
ApplicationMaster
NodeManager
查看全部 -
MapReduce 是一種編程模型，是編程方法，是抽象的理論。
查看全部
舉報(bào)