-
1、HDFS
????負(fù)責(zé)海量數(shù)據(jù)的分布式存儲(chǔ)。
????支持主從結(jié)構(gòu)：主節(jié)點(diǎn)支持多個(gè)NameNode，從節(jié)點(diǎn)支持多個(gè)DataNode。
????NameNode負(fù)責(zé)接收用戶請(qǐng)求，維護(hù)目錄系統(tǒng)的目錄結(jié)構(gòu)；DataNode主要負(fù)責(zé)存儲(chǔ)數(shù)據(jù)。
2、YARN
? ? 負(fù)責(zé)管理集群資源的管理和調(diào)度，包括CPU和內(nèi)存，支持主從結(jié)構(gòu)；主節(jié)點(diǎn)最多可以有2個(gè)，從節(jié)點(diǎn)可以有多個(gè)。
????主節(jié)點(diǎn)（ResourceManager）進(jìn)程主要負(fù)責(zé)集群資源的分配和管理。
????從節(jié)點(diǎn)（NodeManager）主要負(fù)責(zé)單節(jié)點(diǎn)資源管理。
3、MapReduce
????計(jì)算框架之一。
????編程模型，主要負(fù)責(zé)海量數(shù)據(jù)計(jì)算，主要由兩個(gè)階段組成：Map和Reduce。
????Map階段是一個(gè)獨(dú)立的程序，會(huì)在很多個(gè)節(jié)點(diǎn)上同時(shí)執(zhí)行，每個(gè)節(jié)點(diǎn)處理一部分?jǐn)?shù)據(jù)。
????Reduce階段也是一個(gè)獨(dú)立的程序，可以理解未一個(gè)單獨(dú)的居合程序。
查看全部 -
NameNode總結(jié)：
查看全部 -
DataNode介紹：
查看全部 -
SecondaryNameNode介紹：
查看全部 -
NameNode介紹：
查看全部 -
HDFS包含：
查看全部 -
防火墻狀態(tài)查看
centos 6
service iptables status
臨時(shí)關(guān)閉
service iptables stop
開機(jī)啟動(dòng)移除
chkconfig iptables off
查看全部 -
Hadoop3中的三大組件的基本理論和實(shí)際操作
Hadoop3的使用，掌握企業(yè)實(shí)際開發(fā)流程
實(shí)際案例
查看全部 -
快入入門知識(shí)點(diǎn)
查看全部 -
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://Hadoop:19888/jobhistory/logs/</value>
</property>
查看全部 -
分布式
查看全部 -
hadoop三大部分：
分布式存儲(chǔ)
分布式計(jì)算
集群資源管理
Spark、Flink都會(huì)使用資源管理
查看全部 -
hdfs不適合存小文件查看全部
-
使用第三個(gè)HDP
查看全部 -
常見框架。
查看全部
舉報(bào)