-
1、HDFS
????負(fù)責(zé)海量數(shù)據(jù)的分布式存儲。
????支持主從結(jié)構(gòu)：主節(jié)點支持多個NameNode，從節(jié)點支持多個DataNode。
????NameNode負(fù)責(zé)接收用戶請求，維護(hù)目錄系統(tǒng)的目錄結(jié)構(gòu)；DataNode主要負(fù)責(zé)存儲數(shù)據(jù)。
2、YARN
? ? 負(fù)責(zé)管理集群資源的管理和調(diào)度，包括CPU和內(nèi)存，支持主從結(jié)構(gòu)；主節(jié)點最多可以有2個，從節(jié)點可以有多個。
????主節(jié)點（ResourceManager）進(jìn)程主要負(fù)責(zé)集群資源的分配和管理。
????從節(jié)點（NodeManager）主要負(fù)責(zé)單節(jié)點資源管理。
3、MapReduce
????計算框架之一。
????編程模型，主要負(fù)責(zé)海量數(shù)據(jù)計算，主要由兩個階段組成：Map和Reduce。
????Map階段是一個獨立的程序，會在很多個節(jié)點上同時執(zhí)行，每個節(jié)點處理一部分?jǐn)?shù)據(jù)。
????Reduce階段也是一個獨立的程序，可以理解未一個單獨的居合程序。
查看全部 -
NameNode總結(jié)：
查看全部 -
DataNode介紹：
查看全部 -
SecondaryNameNode介紹：
查看全部 -
NameNode介紹：
查看全部 -
HDFS包含：
查看全部 -
防火墻狀態(tài)查看
centos 6
service iptables status
臨時關(guān)閉
service iptables stop
開機(jī)啟動移除
chkconfig iptables off
查看全部 -
Hadoop3中的三大組件的基本理論和實際操作
Hadoop3的使用，掌握企業(yè)實際開發(fā)流程
實際案例
查看全部 -
快入入門知識點
查看全部 -
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://Hadoop:19888/jobhistory/logs/</value>
</property>
查看全部 -
分布式
查看全部 -
hadoop三大部分：
分布式存儲
分布式計算
集群資源管理
Spark、Flink都會使用資源管理
查看全部 -
hdfs不適合存小文件查看全部
-
使用第三個HDP
查看全部 -
常見框架。
查看全部
舉報