最贊回答 / 業(yè)余奶茶品鑒師
關(guān)閉管線。將已經(jīng)發(fā)送到管道中，但是還沒有確認(rèn)的數(shù)據(jù)重新寫回到緩沖區(qū)，保證數(shù)據(jù)不會丟失。所有的namenode重新分配一個版本號重新選舉一個主datanode計算所有datanode中最小的數(shù)據(jù)塊，重新分配重建管線，重新寫入宕掉的datanode恢復(fù)后由于版本號不同會被剔除掉。寫完文件，namenode發(fā)現(xiàn)副本數(shù)量不夠，會在其他數(shù)據(jù)節(jié)點上再創(chuàng)建一個新的副本。
2020-05-02
某知名氣象公司大數(shù)據(jù)中心研發(fā)工程師，主攻大數(shù)據(jù)方向，熟悉Java，Hadoop，Spark技術(shù)，Python的忠實愛好者！對于以Hadoop生態(tài)圈為基礎(chǔ)的大數(shù)據(jù)應(yīng)用開發(fā)有比較多的經(jīng)驗。
2020-03-20
某知名氣象公司大數(shù)據(jù)中心研發(fā)工程師，主攻大數(shù)據(jù)方向，熟悉Java，Hadoop，Spark技術(shù)，Python的忠實愛好者！對于以Hadoop生態(tài)圈為基礎(chǔ)的大數(shù)據(jù)應(yīng)用開發(fā)有比較多的經(jīng)驗。
2020-03-18
