                        課程
                    
                        /云計(jì)算&大數(shù)據(jù)
                        
                            /大數(shù)據(jù)
                        
                        /Hadoop基礎(chǔ)及演練

為何寫流程中是由DataNode1通知DataNode2，再由DataNode2通知DataNode3，而不是DataNode1同時(shí)通知DataNode2和DataNode3？

個(gè)人覺得后者對(duì)降低寫的latency更友好吧

04:00

二零醚

2018-01-23

源自：Hadoop基礎(chǔ)及演練 2-2

關(guān)注問題我要回答

1933

操作

收起

3 回答

叁金
2018-01-27

?在向HDFS的寫操作中，不得不提一下“數(shù)據(jù)流管道”。數(shù)據(jù)流管道在Google實(shí)現(xiàn)他們的分布式文件系統(tǒng)(GFS)時(shí)就已引入，其目的是：在寫一份數(shù)據(jù)的多個(gè)副本時(shí)，可以充分利用集群中每一臺(tái)機(jī)器的帶寬，避免網(wǎng)絡(luò)瓶頸和高延時(shí)的連接，最小化推送所有數(shù)據(jù)的延時(shí)。? 其實(shí)這里我可能表述的不太準(zhǔn)確，Client在保存數(shù)據(jù)的過程當(dāng)中，將數(shù)據(jù)發(fā)送到第一個(gè)數(shù)據(jù)節(jié)點(diǎn)DateNode 1，然后在第一個(gè)DateNode節(jié)點(diǎn)在本地保存數(shù)據(jù)的同時(shí)，將數(shù)據(jù)推送到第二個(gè)數(shù)據(jù)節(jié)點(diǎn)DateNode 2，同理在第二個(gè)節(jié)點(diǎn)本地保存數(shù)據(jù)的同時(shí)，也會(huì)由第二個(gè)數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)同送給第三個(gè)數(shù)據(jù)節(jié)點(diǎn)DateNode 3。??這樣啊，每個(gè)節(jié)點(diǎn)都能承擔(dān)寫數(shù)據(jù)時(shí)的部分網(wǎng)絡(luò)流量，降低了客戶端發(fā)送多分?jǐn)?shù)據(jù)時(shí)對(duì)網(wǎng)絡(luò)的沖擊

2 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答

#1

慕UI6419280

您好，在很多個(gè)節(jié)點(diǎn)的時(shí)候，如何選擇，比如說有100個(gè)節(jié)點(diǎn)，client隨機(jī)選擇有空間的datanode嗎？還有datanode是如何選擇下一個(gè)datanode的？

2018-12-17 回復(fù) 有任何疑惑可以回復(fù)我~

#2

叁金回復(fù) 慕UI6419280

這個(gè)比較復(fù)雜，需要考慮可靠性網(wǎng)絡(luò)帶寬等情況。總結(jié)幾點(diǎn)吧 1. 第一個(gè)節(jié)點(diǎn)是就近原則，namenode找一個(gè)本機(jī)架的，空間足夠的datanode存放 2. 第二個(gè)節(jié)點(diǎn)就需要考慮備份容災(zāi)了，會(huì)放在不同機(jī)架的節(jié)點(diǎn)上，保障數(shù)據(jù)的可用性(如果沒開機(jī)架感知。。?？赡芨鶕?jù)其他設(shè)計(jì)找了一個(gè)吧。) 3. 第三個(gè)節(jié)點(diǎn)(默認(rèn)備份三份)好像就比較隨意了。在第二個(gè)節(jié)點(diǎn)的機(jī)架架再找一個(gè)即可 4. 其他備份就隨便扔了。盡量不同機(jī)架即可大概就是這樣吧。這樣可以提供較好的穩(wěn)定性和負(fù)載均衡。同時(shí)可以使數(shù)據(jù)均勻分布

2018-12-17 回復(fù) 有任何疑惑可以回復(fù)我~

#3

慕仰2907144 回復(fù) 叁金

老師好，請問當(dāng)?shù)谝粋€(gè)block寫入到DataNode時(shí)會(huì)進(jìn)行備份，必須備份了三個(gè)DataNode才會(huì)進(jìn)行第二個(gè)block的寫入嗎？也就是說會(huì)不會(huì)當(dāng)?shù)谝粋€(gè)block的第二個(gè)DataNode副本保存的同時(shí)，第二個(gè)block也在寫入DataNode呢？

2019-11-09 回復(fù) 有任何疑惑可以回復(fù)我~

高冷的女神范
2018-02-04

寫的話也是按照最近的dataNODE來進(jìn)行存儲(chǔ)吧

0 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答

不忘初心無旁騖
2018-01-26

客戶端要向HDFS寫數(shù)據(jù)，首先要跟namenode通信以確認(rèn)可以寫文件并獲得接收文件block的datanode，然后，客戶端按順序?qū)⑽募饌€(gè)block傳遞給相應(yīng)datanode，并由接收到block的datanode負(fù)責(zé)向其他datanode復(fù)制block的副本，百度到的，老師的DataNode-2和DataNode-3應(yīng)該是DataNode-1的副本

0 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答