-
分布式存儲系統(tǒng)HDFS
文件系統(tǒng) ——>多服務(wù)器
避免同一時刻大量訪問:? 主從節(jié)點(diǎn)
主節(jié)點(diǎn)返回節(jié)點(diǎn)信息,從節(jié)點(diǎn)存儲數(shù)據(jù)查看全部 -
NameNode:
整個文件系統(tǒng)的管理節(jié)點(diǎn),它主要維護(hù)著整個文件系統(tǒng)的文件目錄樹,文件/目錄的元信息,每個文件對應(yīng)的數(shù)據(jù)塊列表,并且還負(fù)責(zé)接收用戶的操作請求。
包含以下文件:fsimage 元數(shù)據(jù)鏡像文件(某一時刻快照),?eidts 用戶操作記錄,?
seed_txid 事務(wù)id存儲edits索引 (重啟時檢查是否一致),?
VERSION hdfs版本信息
位置: core-xml設(shè)定目錄dfs/name/current內(nèi)
默認(rèn)保存路徑hdfs-default.xml中 dfs.namenode.name.dir屬性控制
SNN (Secondary NameNode)
定期把edits文件中內(nèi)容合并到fsimage, 即checkpoint
HA架構(gòu)沒有SNN, 由Standby NameNode實(shí)現(xiàn)
DataNode
真實(shí)文件存儲服務(wù)
查看全部 -
格式: bin/hdfs dfs -xxx schema://authority/path
HDFS的schema是hdfs,主機(jī)的schema是file。
aithority是Namenode對應(yīng)ip地址和端口
例如: bin/hdfs dfs -ls hdfs://localhost:9000/path
查看全部 -
不用擔(dān)心
查看全部 -
hadoop
查看全部 -
HDB,CH還是CDH呢?查看全部
-
-ls
-put
-cat
-get
-mkdir [-p]
-rm [-r]查看全部 -
-ls
-put
-cat
-get查看全部 -
start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh
查看全部 -
關(guān)閉防火墻
查看全部 -
安裝hadoop
基本設(shè)置
ip設(shè)置
主機(jī)名設(shè)置(臨時加永久)
hosts文件修改(ip和主機(jī)名的映射關(guān)系)
關(guān)閉防火墻(臨時加永久)
ssh免密碼登陸
jdk安裝(JDK 1.8)
查看全部 -
安裝hadoop
基本設(shè)置
ip設(shè)置
主機(jī)名設(shè)置(臨時加永久)
hosts文件修改(ip和主機(jī)名的映射關(guān)系)
關(guān)閉防火墻(臨時加永久)
ssh免密碼登陸
jdk安裝(JDK 1.8)
查看全部 -
安裝hadoop
基本設(shè)置
ip設(shè)置
主機(jī)名設(shè)置(臨時加永久)
hosts文件修改(ip和主機(jī)名的映射關(guān)系)
關(guān)閉防火墻(臨時加永久)
ssh免密碼登陸
jdk安裝(JDK 1.8)
查看全部 -
安裝hadoop
基本設(shè)置
ip設(shè)置
主機(jī)名設(shè)置(臨時加永久)
hosts文件修改(ip和主機(jī)名的映射關(guān)系)
關(guān)閉防火墻(臨時加永久)
ssh免密碼登陸
jdk安裝(JDK 1.8)
查看全部 -
ACDSee
抽不出VB?
小程序
查看全部
舉報