                        課程
                    
                        /云計(jì)算&大數(shù)據(jù)
                        
                            /大數(shù)據(jù)
                        
                        /Hadoop基礎(chǔ)及演練

關(guān)于視頻中讀流程所舉的例子有些疑問

按照寫的流程，在client想要寫入數(shù)據(jù)時(shí)，會(huì)像namenode發(fā)起寫入請(qǐng)求，然后namenode會(huì)尋找這次能夠滿足寫入條件的datanode，然后將這些信息返回給client，client再將分片數(shù)據(jù)一次寫入。我的理解是，此時(shí)處理這次寫入操作的datanode是已經(jīng)確定的（如視頻中datanode1、2、3），也就是說datanode1、2、3上面都會(huì)有這次的數(shù)據(jù)分片，因?yàn)樗辉陂_始的時(shí)候做了一次可用datanode的查詢。那么，會(huì)出現(xiàn)讀流程中所舉的例子那樣，分片1在datenode1、3上，分片2在datanode2、3上這種情況嗎？寫的時(shí)候不應(yīng)該是備份到相同的datanode上嗎？

怕翻船的忒修斯

2018-02-08

源自：Hadoop基礎(chǔ)及演練 2-2

關(guān)注問題我要回答

1404

操作

收起

2 回答

叁金回答被采納 +2 積分
2018-02-10

這里是兩個(gè)例子，分別是寫流程和讀流程。讀流程這里因?yàn)槠驔]有畫更多的節(jié)點(diǎn)。這里想表達(dá)的意思是同一個(gè)文件不同的數(shù)據(jù)塊可能分布在不同的節(jié)點(diǎn)之上。client根據(jù)客戶端提供的數(shù)據(jù)塊的地址找對(duì)應(yīng)的datanode去讀??！這里我當(dāng)時(shí)描述的可能不太清楚。

0 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答

#1

怕翻船的忒修斯提問者

我明白您的意思，我想問的是會(huì)出現(xiàn)分片1分布在12節(jié)點(diǎn)上，分片2分布在23節(jié)點(diǎn)的這種情況嗎？

2018-02-12 回復(fù) 有任何疑惑可以回復(fù)我~

#2

叁金回復(fù) 怕翻船的忒修斯提問者

會(huì)啊。一個(gè)文件的多個(gè)數(shù)據(jù)塊會(huì)分布在不同的機(jī)器上。這個(gè)分布要考慮到不同機(jī)架（防止斷電斷網(wǎng)對(duì)數(shù)據(jù)讀取造成影響），他會(huì)優(yōu)先存儲(chǔ)到當(dāng)前連接的datanode，所以某個(gè)文件的數(shù)據(jù)塊1在datanode1和2 數(shù)據(jù)塊2在datanode2和3是有可能的。

2018-02-12 回復(fù) 有任何疑惑可以回復(fù)我~

#3

怕翻船的忒修斯提問者回復(fù) 叁金

老師您的意思是他每個(gè)分片寫入的時(shí)候都會(huì)再次去尋找合適的datanode嗎？而不是說我在這次寫入的最開始就已經(jīng)決定了這次所有分片（分片abc）都存在123這個(gè)三個(gè)節(jié)點(diǎn)中嗎？

2018-02-26 回復(fù) 有任何疑惑可以回復(fù)我~