-
免密碼登陸配置命令：
sssh-copy-id -i hostname
查看全部 -
需修改腳本列表
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
需修改腳本列表：
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
需修改腳本列表：
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
配置文件列表：
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.xml
????-- JAVA_HOME
????-- HADOOP_LOG_DIR
查看全部 -
??
??java序列化hadoop序列化，主要是將序列號 內(nèi)存讀到磁盤? 反序列化：磁盤讀到內(nèi)存中
查看全部 -
同過命令直接將結(jié)束haddoop任務(wù)結(jié)束查看全部 -
如圖查看全部 -
多文件的效果查看全部 -
?
map和reduce執(zhí)行流程查看全部 -
分布式存儲(chǔ)包括map和reduce操作查看全部 -
?文件創(chuàng)建時(shí)間，什么啥時(shí)候進(jìn)行的修改等操作。
fsimage: 文件系統(tǒng)鏡像 ， 源數(shù)據(jù)鏡像文件，某一時(shí)刻N(yùn)amenode內(nèi)存中的源數(shù)據(jù)信息，也可理解為快照,是由edit內(nèi)容信息合并完成，合并衛(wèi)checkpoint
seondaryNamenode 觸發(fā)1個(gè)小時(shí)? 100萬次操作
edits: 存儲(chǔ)用戶的操作記錄，包括修改，不包括查詢
seed_txid: 默認(rèn)為0， 存儲(chǔ)edits 后面的序號，倒序查找，方便恢復(fù)
查看全部 -
常見操作vi 創(chuàng)建文件并編輯，
這里用到了前綴：bin/hdfs dfs -各種命令
查看全部 -
shell介紹查看全部 -
一臺(tái)計(jì)算機(jī)一般存儲(chǔ)能力是512G或1t，但數(shù)據(jù)量擴(kuò)大之后，就需要將數(shù)據(jù)放到不同機(jī)器上，然而這樣導(dǎo)致管理麻煩。所以就需要系統(tǒng)去管理這樣的多臺(tái)機(jī)器上的文件hdfs誕生。
通用性：雖然是訪問不同機(jī)器，但感覺像是訪問自己的主機(jī)一臺(tái)機(jī)子，和容錯(cuò)性，不適合小文件
查看全部 -
多機(jī)器多個(gè)個(gè)用戶通過網(wǎng)絡(luò)，分享和存儲(chǔ)文件查看全部 -
注意要靠環(huán)境變量profile ，只是將安裝包考過去。其他沒有可拷過去
tar -zxvf 解壓
查看全部 -
scp -rp /data/soft/jdk1.8/ hadloop101:/data/soft/
將前面文件拷貝到后面的目錄
查看全部
舉報(bào)