-
yarn application -kill 任務(wù)id 停止已經(jīng)提交到集群的任務(wù)
查看全部 -
開啟yarn日志聚合功能，把散落的nodemanager日志統(tǒng)一收集管理，方便查看日志
查看全部 -
reduce階段只需要迭代計(jì)數(shù)，reduce輸入的參數(shù)是已經(jīng)經(jīng)過shuffer進(jìn)行分組排序的，所以只需要累加求和即可
查看全部 -
map階段只需要按照規(guī)則把每一行數(shù)據(jù)進(jìn)行切割即可
查看全部 -
namenode存儲的元數(shù)據(jù)：
1、文件與block的關(guān)系
2、block與datanode的關(guān)系
查看全部 -
如果一個(gè)文件默認(rèn)大小不足一個(gè)block，仍然會(huì)占用一個(gè)block，但是實(shí)際占用的存儲空間是文件本身的大小，而不是block的大小
查看全部 -
secondarynamenode:定期把edits文件內(nèi)容同步到fsimage（某一時(shí)刻的文件系統(tǒng)快照）中，默認(rèn)情況下是一小時(shí)同步一次或者修改次數(shù)達(dá)到100萬次時(shí)同步一次
查看全部 -
hostname:查看主機(jī)名，后面跟上主機(jī)名可以設(shè)置主機(jī)名（重啟之后要重新設(shè)置，如要永久生效，則需要更改/etc/sysconfig/network）
關(guān)閉防火墻（centos6）：service iptables stop(可先用service iptables stop查看防火墻狀態(tài)，要是防火墻永久關(guān)閉:chkconfig iptables off)
ssh-keygen -t rsa 一路回車,然后把生成的id_rsa.pub的值復(fù)制到家目錄(~/)的.ssh/authorized_keys下面即可：cat ~/.ssh/id_rsa.pub >>?~/.ssh/authorized_keys
配置java環(huán)境變量：
export JAVA_HOME=/usr/local/jdk1.8.0_144 export PATH=.:$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
查看全部 -
大數(shù)據(jù)整個(gè)生態(tài)圈
查看全部 -
X版本：namenode只能有一個(gè)節(jié)點(diǎn)
X版本namenode只能有兩個(gè)節(jié)點(diǎn)
X版本namenode可以有兩個(gè)以上節(jié)點(diǎn)
查看全部 -
Yarn架構(gòu)：主節(jié)點(diǎn)最多可以有兩個(gè)，從節(jié)點(diǎn)可以有N個(gè)
查看全部 -
mapreduce：map局部計(jì)算，reduce把map計(jì)算的結(jié)果匯總聚合
查看全部 -
hdfs分布式存儲架構(gòu)：
namenode維護(hù)系統(tǒng)目錄，datanode負(fù)責(zé)存儲數(shù)據(jù)
查看全部 -
NameNode維護(hù)了兩份關(guān)系查看全部
-
DataNode介紹查看全部
舉報(bào)