hadoop安全分布式處理
使用root登录，
添加组groupadd hdgroup
添加用户useradd -g hdgroup hduser
设置密码 passwd hduser
chmod 777 /etc/sudoers
gedit /etc/sudoers
在 root ALL=(ALL) ALL后加一行
hduser ALL=(ALL) ALL
chmod 440 /etc/sudoers
关闭当次登录防火墙 service iptables stop
关闭重启后防火墙 chkconfig iptables off
重启该虚拟机系统 使用hduser登录
安装jdk
sudo rpm -ivh jdk-7u67-linux-x64.rpm
一般在/usr/java/jdk1.7.0_67这个路径下
修改配置文件 sudo gedit /etc/profile
加入找到 后保存
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/java/jdk1.7.0_67
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile 生效
测试 java -version
14 cd ~
15 tar -zxvf hadoop-2.6.0.tar.gz
16 mv hadoop-2.6.0 hadoop
17 sudo gedit /etc/profile
18 source /etc/profile
另外再克隆两台节点node
更改主机名：
sudo gedit /etc/sysconfig/network
分别更改
NETWORKING=yes
HOSTNAME=node1
在root登录模式下，如果不是使用su - root 切换到root模式
关闭当次登录防火墙 service iptables stop
关闭重启后防火墙 chkconfig iptables off
重启三台节点
主机名解析
打开配置文件 sudo gedit /etc/hosts
例如
192.168.37.131 node1
192.168.37.132 node2
192.168.37.133 node3
免密码登录其他电脑
在node1服务器主机中生成公/私钥对
ssh-keygen -t rsa -P ""
将node1服务器主机中的钥匙发给其他slave从机
ssh-copy-id localhost
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
注意ssh远程登录到那个主机，环境和权限是那个主机的环境并非本机的环境，也并非本机的权限，可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口
拷贝配置文件
19
scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/
20
scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/
21 cd ~/hadoop 换位置
28 bin/hdfs namenode -format 格式化一下
32 cd ~/hadoop
33 sbin/start-dfs.sh
34 jps
http://node1:50070/
35 sbin/start-yarn.sh
36 jps
37 bin/hdfs dfsadmin -report
http://node1:8088/cluster/nodes
43 history
共同學(xué)習(xí)，寫下你的評論
評論加載中...
作者其他優(yōu)質(zhì)文章
