-
案例分析。
查看全部 -
一個block對應(yīng)一個split，一個split對應(yīng)一個map任務(wù)
查看全部 -
MapReduce原理分析
查看全部 -
namenode的總結(jié)
維護(hù)的兩份關(guān)系
查看全部 -
不足128mb的就是文件的實際大小，可以在dfs-default.xml中可以調(diào)整大小
數(shù)據(jù)的副本數(shù)量默認(rèn)為3，可以在hdfs-site.xml文件中的dfs.replication修改
查看全部 -
兩個條件，距上次checkpoint一個小時，或者h(yuǎn)dfs操作了一百萬次，兩個條件哪個先觸發(fā)就先 執(zhí)行
HA（高可用）架構(gòu)是沒有secondarynamenode的，有兩個namenode時，activited namenode負(fù)責(zé)和用戶交互，standby namenode負(fù)責(zé)文件的合并操作
查看全部 -
hdfs-defaulg.xml：保存namenode本地存儲文件的路徑
查看全部 -
namenode在本地磁盤保存的文件
查看全部 -
namenode的信息都在內(nèi)存存放，本地磁盤也會保存一份信息，否則namenode格式化會丟
本地磁盤包含以下文件：見圖（seen_txid）
這些文件保存在tmp.dir/dfs/name/current/
fsimage：相當(dāng)于快照、鏡像，保存的是某一時刻的元數(shù)據(jù)信息，與內(nèi)存中的信息不同步，定時生成。
edits：記錄用戶的操作，不保存查詢
seen_txid：存儲的是edits文件后面的數(shù)字，當(dāng)namenode重啟時，按照存儲的數(shù)字順序執(zhí)行edits文件，這樣就得到了原信息。namenode格式化時，為0。如果對應(yīng)的數(shù)字沒有文件，namenode就不會啟動了，日志文件會有記錄，為了保持?jǐn)?shù)據(jù)的一致性，所以不會啟動，強制啟動就可能造成數(shù)據(jù)的丟失
version：版本信息，可以查看命名空間id，集群id
查看全部 -
主節(jié)點實現(xiàn)免密登陸從節(jié)點
ssh-copy-id -i hadoop101? ? ? ? ?(hadoop101是從節(jié)點)
查看全部 -
集群中配置免密碼登陸的時候，至少需要實現(xiàn)主節(jié)點可以免密碼登錄到其它所有節(jié)點
查看全部 -
高噠查看全部
-
啦啦查看全部
-
ha查看全部
-
namenode，secondarynamenode，datanode分別在集群上啟動，
namenode，secondarynamenode在主節(jié)點上啟動，datanode在從節(jié)點上啟動
查看全部
舉報