課程
/云計算&大數(shù)據(jù)
/大數(shù)據(jù)
/Hadoop基礎及演練
如果:主從節(jié)點全部都掛掉了,怎么保證數(shù)據(jù)的可用性呢
2018-02-04
源自:Hadoop基礎及演練 2-2
正在回答
服務器分布在不同的機架(雙電源),為了防止某條線路斷電導致服務器失效(也解決了部分網(wǎng)絡機架網(wǎng)絡出問題的情況)
備份的過程(默認3份) 首先,如果client是集群內(nèi)的節(jié)點則將第一份存儲在client上否則隨機存儲到其他節(jié)點,第二份節(jié)點存儲到其他機架節(jié)點,第三份存儲到本機架節(jié)點。(注此處需開啟hadoop的機架感知屬性,默認是關閉的,如果未開啟機架感知 則認為 隨機放到了三個節(jié)點上,防止某些節(jié)點出問題造成數(shù)據(jù)丟失)
通過zookeeper實現(xiàn)的namenode主備切換,防止因為namenode失效造成的數(shù)據(jù)無法訪問
正常業(yè)務集群肯定要部署集群相關的狀態(tài)監(jiān)控,出現(xiàn)問題可以及時發(fā)現(xiàn)
如果? ? ? ? ? ? ?這個時候,你的集群還是全部掛掉了。? ? ? ? ? ? ? 此乃天災。。。你需要考慮的不是數(shù)據(jù)的可用性了,而是千萬不要丟失數(shù)據(jù)!
舉報
與大數(shù)據(jù)密不可分的Hadoop框架,你值得學習
3 回答讀流程的疑問
1 回答記錄叁金老師提的兩個疑問!
2 回答關于視頻中讀流程所舉的例子有些疑問
1 回答out = f.read(len(data))的問題
1 回答2-2課程的問題
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網(wǎng)安備11010802030151號
購課補貼聯(lián)系客服咨詢優(yōu)惠詳情
慕課網(wǎng)APP您的移動學習伙伴
掃描二維碼關注慕課網(wǎng)微信公眾號
2018-02-05
服務器分布在不同的機架(雙電源),為了防止某條線路斷電導致服務器失效(也解決了部分網(wǎng)絡機架網(wǎng)絡出問題的情況)
備份的過程(默認3份) 首先,如果client是集群內(nèi)的節(jié)點則將第一份存儲在client上否則隨機存儲到其他節(jié)點,第二份節(jié)點存儲到其他機架節(jié)點,第三份存儲到本機架節(jié)點。(注此處需開啟hadoop的機架感知屬性,默認是關閉的,如果未開啟機架感知 則認為 隨機放到了三個節(jié)點上,防止某些節(jié)點出問題造成數(shù)據(jù)丟失)
通過zookeeper實現(xiàn)的namenode主備切換,防止因為namenode失效造成的數(shù)據(jù)無法訪問
正常業(yè)務集群肯定要部署集群相關的狀態(tài)監(jiān)控,出現(xiàn)問題可以及時發(fā)現(xiàn)
如果? ? ? ? ? ? ?這個時候,你的集群還是全部掛掉了。? ? ? ? ? ? ? 此乃天災。。。你需要考慮的不是數(shù)據(jù)的可用性了,而是千萬不要丟失數(shù)據(jù)!