下载hadoop-2.7.5进行演示

1、解压

2、配置

配置文件在$HADOOP_HOME/etc/hadoop/目录下

hadoop-env.sh
修改他的 JAVA_HOME

core-site.xml
配置默认文件系统和临时目录

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:8020</value></property><property><name>hadoop.tmp.dir</name><value>/app/hadoop-2.7.5/data</value></property>

hdfs-site.xml
配置副本数

<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>

vim slaves
修改域名

namenode 格式化

在$HADOOP_HOME/bin 目录下

./hdfs namenode -format

namenode 格式化成功

启动 Hadoop

在 $HADOOP_HOME/sbin 目录

先启动 hdfs

./start-dfs.sh

之后一路 yes 加上 Linux 的密码

使用 jps查看下

dfs 启动

可以看到 NameNode 、DataNode和SecondaryNameNode 都成功启动了

浏览器输入  http://192.168.31.122:50070/,可以看到

image

搭建 Yarn

进入$HADOOP/etc/hadoop/目录
拷贝一份mapred-site.xml进行配置

 cp mapred-site.xml.template mapred-site.xml

配置 yarn 作为 MapReduce 的调度框架

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

配置vim yarn-site.xml

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

启动 yarn,进入$HADOOP_HOME/sbin/目录

./start-yarn.sh

查看启动 yarn

可以浏览器打开 http://192.168.31.122:8088

image

测试

测试 HDFS

测试 yarn
进入目录 $HADOOP_HOME/share/hadoop/mapreduce

image

执行

hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 2 3

可以同时浏览http://192.168.31.122:8088/cluster

image

image

到此为止 Hadoop 环境基本成功

作者：breezedancer
链接：https://www.jianshu.com/p/5660ad654021