最贊回答 / 業(yè)余奶茶品鑒師
關(guān)閉管線。將已經(jīng)發(fā)送到管道中，但是還沒有確認(rèn)的數(shù)據(jù)重新寫回到緩沖區(qū)，保證數(shù)據(jù)不會(huì)丟失。所有的namenode重新分配一個(gè)版本號(hào)重新選舉一個(gè)主datanode計(jì)算所有datanode中最小的數(shù)據(jù)塊，重新分配重建管線，重新寫入宕掉的datanode恢復(fù)后由于版本號(hào)不同會(huì)被剔除掉。寫完文件，namenode發(fā)現(xiàn)副本數(shù)量不夠，會(huì)在其他數(shù)據(jù)節(jié)點(diǎn)上再創(chuàng)建一個(gè)新的副本。
2020-05-02
某知名氣象公司大數(shù)據(jù)中心研發(fā)工程師，主攻大數(shù)據(jù)方向，熟悉Java，Hadoop，Spark技術(shù)，Python的忠實(shí)愛好者！對(duì)于以Hadoop生態(tài)圈為基礎(chǔ)的大數(shù)據(jù)應(yīng)用開發(fā)有比較多的經(jīng)驗(yàn)。
2020-03-20
某知名氣象公司大數(shù)據(jù)中心研發(fā)工程師，主攻大數(shù)據(jù)方向，熟悉Java，Hadoop，Spark技術(shù)，Python的忠實(shí)愛好者！對(duì)于以Hadoop生態(tài)圈為基礎(chǔ)的大數(shù)據(jù)應(yīng)用開發(fā)有比較多的經(jīng)驗(yàn)。
2020-03-18
