偽分布式（yarn）運(yùn)行Hadoop案例（二）
YARN 上运行 MapReduce 程序
1 首先配置yarn-env.sh
| export JAVA_HOME=/opt/module/jdk1.8.0_144 |
2 配置 yarn-site.xml
<!-- reducer 获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 YARN 的 ResourceManager 的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop101</value> </property>
3 配置 mapred-env.sh
| export JAVA_HOME=/opt/module/jdk1.8.0_144 |
4 对 mapred-site.xml.template 重新命名为 mapred-site.xml 并配置如下：
<!-- 指定 mr 运行在 yarn 上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
5 启动集群
6 浏览器打开 http://192.168.43.101:8088/cluster/apps
7 运行mapreduce程序
8 查看运行结果
注意： 该案例需要配合Namenode Datanode一起使用，Yarn只负责资源调度等。
點(diǎn)擊查看更多內(nèi)容
為 TA 點(diǎn)贊
評(píng)論
評(píng)論
共同學(xué)習(xí)，寫(xiě)下你的評(píng)論
評(píng)論加載中...
作者其他優(yōu)質(zhì)文章
正在加載中
感謝您的支持，我會(huì)繼續(xù)努力的～
掃碼打賞，你說(shuō)多少就多少
贊賞金額會(huì)直接到老師賬戶(hù)
支付方式
打開(kāi)微信掃一掃，即可進(jìn)行掃碼打賞哦
今天注冊(cè)有機(jī)會(huì)得
100積分直接送
付費(fèi)專(zhuān)欄免費(fèi)學(xué)
大額優(yōu)惠券免費(fèi)領(lǐng)