偽分布式(hdfs)運(yùn)行Hadoop案例(二)
一 介绍
HDFS中如下组件:
1) NameNode : 存储文件的元数据,如文件名,文件目录结构,文件属性等。
2) DataNode: 在文件系统中存储文件块的数据等。
3)Secondary NameNode: 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
二 使用HDFS并运行MapReduce程序
1 首先将 etc/hadoop/hadoop-env.sh 中的
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
JAVA_HOME改成本地jdk的路径
2 配置 core-site.xml
3 配置hdfs-site.xml
4 启动集群
(a) 格式化 namenode(第一次启动时格式化,以后就不要总格式化)
(b) 启动 namenode,jps查看是否启动成功
(c) 启动 datanode
5 web查看
出现如图则表示已经成功搭建好文件系统
6 操作集群进行工作
在文件系统上创建目录,在web端查看
将文件上传到文件系统进行测试
运行mapreduce程序
可直接点击下载文件,查看结果,也可通过命令获取到本机
删除结果
點(diǎn)擊查看更多內(nèi)容
為 TA 點(diǎn)贊
評(píng)論
評(píng)論
共同學(xué)習(xí),寫下你的評(píng)論
評(píng)論加載中...
作者其他優(yōu)質(zhì)文章
正在加載中
感謝您的支持,我會(huì)繼續(xù)努力的~
掃碼打賞,你說(shuō)多少就多少
贊賞金額會(huì)直接到老師賬戶
支付方式
打開微信掃一掃,即可進(jìn)行掃碼打賞哦