Hadoop,怎么實(shí)現(xiàn)多個(gè)輸入路徑的輸入?
4 回答
慕沐林林
TA貢獻(xiàn)2016條經(jīng)驗(yàn) 獲得超9個(gè)贊
1.多路徑輸入
1）FileInputFormat.addInputPath 多次調(diào)用加載不同路徑
| 12345678 | import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;String in0 = args[0];String in1 = args[1];String out = args[2];FileInputFormat.addInputPath(job,new Path(in0));FileInputFormat.addInputPath(job,new Path(in1));FileOutputFormat.setOutputPath(job,new Path(out)); |
2）FileInputFormat.addInputPaths一次調(diào)用加載 多路徑字符串用逗號(hào)隔開(kāi)
FileInputFormat.addInputPaths(job, "hdfs://RS5-112:9000/cs/path1,hdfs://RS5-112:9000/cs/path2");
2.多種輸入
MultipleInputs可以加載不同路徑的輸入文件，并且每個(gè)路徑可用不同的maper
MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1"), TextInputFormat.class,MultiTypeFileInput1Mapper.class);
MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path3"), TextInputFormat.class,MultiTypeFileInput3Mapper.class);
Smart貓小萌
TA貢獻(xiàn)1911條經(jīng)驗(yàn) 獲得超7個(gè)贊
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
String in0 = args[0];
String in1 = args[1];
String out = args[2];
FileInputFormat.addInputPath(job,new Path(in0));
FileInputFormat.addInputPath(job,new Path(in1));
FileOutputFormat.setOutputPath(job,new Path(out));
森欄
TA貢獻(xiàn)1810條經(jīng)驗(yàn) 獲得超5個(gè)贊
1、運(yùn)行mapred程序；
2、本次運(yùn)行將生成一個(gè)Job，于是JobClient向JobTracker申請(qǐng)一個(gè)JobID以標(biāo)識(shí)這個(gè)Job；
3、JobClient將Job所需要的資源提交到HDFS中一個(gè)以JobID命名的目錄中。這些資源包括JAR包、配置文件、InputSplit、等
慕運(yùn)維8079593
TA貢獻(xiàn)1876條經(jīng)驗(yàn) 獲得超5個(gè)贊
可擴(kuò)展性是HDFS的一個(gè)重要特性，首先在新加的節(jié)點(diǎn)上安裝hadoop，然后修改$HADOOP_HOME/conf/master文件，加入 NameNode主機(jī)名，然后在NameNode節(jié)點(diǎn)上修改$HADOOP_HOME/conf/slaves文件，加入新加節(jié)點(diǎn)主機(jī)名，再建立到新加節(jié)點(diǎn)無(wú)密碼的SSH連接！
添加回答
舉報(bào)
0/150
提交
取消