-
sqoop安裝配置
查看全部 -
資源管理器（Yarn）詳解
查看全部 -
資源管理器詳解
查看全部 -
資源管理器YARN
查看全部 -
Java序列化的不足
查看全部 -
Hadoop序列化機(jī)制的特點(diǎn)
查看全部 -
Hadoop序列化機(jī)制的作用
查看全部 -
啟動(dòng)historyserver
查看全部 -
<property>?
<name>yarn.log-aggregation-enable</name>??
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop100:19888/jobhistory/logs/</value>
</property>
查看全部 -
MapReduce任務(wù)日志查看
查看全部 -
Shuffle過程
查看全部 -
多文件WordCount案列分析
查看全部 -
多文件WordCount案列分析
查看全部 -
3、框架調(diào)用Reduce類中的reduce方法，輸入<k2,{v2...}>,輸出<k3,v3>.一個(gè)<k2,{v2...}>調(diào)用一次reduce函數(shù)。
4、框架把reduce的輸出保存到HDFS中
reduce階段結(jié)束
查看全部 -
Reduce階段執(zhí)行過程
1、框架對(duì)多個(gè)map任務(wù)的輸出，按照不停的分區(qū)，通過網(wǎng)絡(luò)copy到不同的reduce節(jié)點(diǎn)，這個(gè)過程稱作shuffle
2、框架對(duì)reduce端收到訂單相同分區(qū)的<k2,v2>數(shù)據(jù)進(jìn)行合并、排序、分組。
查看全部
舉報(bào)
0/150
提交
取消