-
1查看全部
-
yarn： resourceManager 負責資源的調(diào)度和分配 啟動和監(jiān)控applicationMaster 監(jiān)控NodeManager applicationMaster 為MapReduce類型的程序申請資源，并分配給內(nèi)部任務 對數(shù)據(jù)的切分 對任務的監(jiān)控及容錯 NodeManager 管理單個節(jié)點的資源 處理來自resourceManager的命令 處理來自applicationMaster的命令查看全部
-
yarn負責整個集群資源的管理和調(diào)度查看全部
-
yarn是Hadoop2.0以后的資源管理器查看全部
-
hdfs的一些常用命令： 一些與Linux命令相同：ls cat vi 等 還有一些是hdfs專用的命令： copyToLocal hdfs文件系統(tǒng)向本地拷貝 copyFromLocal 從本地向hdfs文件系統(tǒng)拷貝 get 下載文件 put 上傳文件 ./hdfs dfs -help 可以查看hdfs命令的說明查看全部
-
兩個問題： 1，數(shù)據(jù)塊一般設置多大比較合適？ 128M,因為如果設置太大不利于文件的讀取，設置太小會將一些比較小的文件也會被進行分割，比較耗費內(nèi)存 2，nameNode掛掉了怎么辦？ 在Hadoop2中會有容錯機制，會有兩個nameNode，另一個會處于備用的狀態(tài)，當nameNode掛掉了之后，secondNameNode會被啟動的，這樣是用戶無感知的查看全部
-
大數(shù)據(jù)以Hadoop為代表，Spak框架查看全部
-
hdfs分為 數(shù)據(jù)塊 namenode datanode查看全部
-
mapreduce分布式計算查看全部
-
mapreduce分布式計算查看全部
-
hdfs分布式存儲查看全部
-
hdfs分布式存儲查看全部
-
HDFS： 數(shù)據(jù)塊：文件保存是以數(shù)據(jù)塊一單位保存的，不知以文件進行保存的 NameDode： 管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù) 維護文件系統(tǒng)所有文件和目錄，文件與數(shù)據(jù)塊之間的映射 記錄每個文件中各個數(shù)據(jù)塊所在的數(shù)據(jù)節(jié)點信息 DataNode： 是文件系統(tǒng)的工作節(jié)點，存儲和檢索數(shù)據(jù)塊的 并且將存儲的數(shù)據(jù)塊的信息發(fā)送給NameNode，更新存儲塊的信息 問題：值得考慮 1，數(shù)據(jù)塊的大小設置多大比較合適（默認64M）？ 2，如果NameNode掛掉了怎么辦？查看全部
-
Hadoop=HDFS（分布式文件系統(tǒng)）+MapReduce（分布式計算）查看全部
-
課程目標： 1，掌握Hadoop的基本原理及使用方式 2，掌握基于Hadoop框架的數(shù)據(jù)處理和分析的應用程序開發(fā)查看全部
舉報
0/150
提交
取消