首頁猿問在reduce階段之后合并輸出文件

在reduce階段之后合并輸出文件

算法與數(shù)據(jù)結(jié)構(gòu)

慕俠2389804 2019-09-20 17:11:11

在mapreduce中，每個reduce任務(wù)將其輸出寫入名為part-r-nnnnn的文件，其中nnnnn是與reduce任務(wù)關(guān)聯(lián)的分區(qū)ID。map / reduce是否合并這些文件？如果有，怎么樣？

查看完整描述

3 回答

www說

TA貢獻1775條經(jīng)驗獲得超8個贊

不，這些文件不會被Hadoop合并。您獲得的文件數(shù)與reduce任務(wù)數(shù)相同。

如果您需要它作為下一個作業(yè)的輸入，那么不要擔(dān)心有單獨的文件。只需將整個目錄指定為下一個作業(yè)的輸入。

如果確實需要群集外的數(shù)據(jù)，那么我通常會在從群集中提取數(shù)據(jù)時將它們合并到接收端。

就是這樣的：

hadoop fs -cat /some/where/on/hdfs/job-output/part-r-* > TheCombinedResultOfTheJob.txt

反對回復(fù) 2019-09-20

關(guān)注

舉報

0/150

提交

取消

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號