-
ssh-copy-id -i hadoop102設(shè)置免密碼
查看全部 -
linux命令：wget? 下載
tar 解壓
查看全部 -
hadoop配置：四個(gè)hadoop路徑/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml
D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置
修改mapre-site配不要重復(fù)格式化，如果因?yàn)楦袷交鰡栴}，刪掉hadoop_repo再格式化一次置--》yare相關(guān)配置 以上是所有的xml文件；下面修改hadoop-env.sh文件。后面進(jìn)行啟動(dòng)
查看全部 -
需要修改core文件夾
其次配置兩外一個(gè)文件夾hdfss-site。xml文件夾
查看全部 -
source 激活文件
查看全部 -
環(huán)境變量配置查看全部 -
安裝jdk查看全部 -
關(guān)閉防火墻
查看全部 -
ipconfig
修改主機(jī)名；(臨時(shí)的)hostname Hadoop
(永久的)vi /etc/system/hostname
查看全部 -
環(huán)境配置，使用偽虛擬機(jī)
查看全部 -
工作環(huán)境部署，小的使用官方版本就可以
查看全部 -
大數(shù)據(jù)生態(tài)圈
查看全部 -
yarn資源管理調(diào)用
mapreduce分布式集成框架
hdfsf分布式存儲(chǔ)系統(tǒng)
查看全部 -
?
? 1、數(shù)據(jù)很大，? 寫的jdp代碼拉數(shù)據(jù)就會(huì)很慢，mysql存在本地磁盤，
所以需要讀取磁盤io ，將磁盤數(shù)據(jù)讀到內(nèi)存，然后用網(wǎng)絡(luò)將數(shù)據(jù)傳過來 網(wǎng)絡(luò)io,
將代碼移動(dòng)計(jì)算移到數(shù)據(jù)上的機(jī)器上
2：hadlop:做本地局部運(yùn)算--》將局部運(yùn)算的結(jié)果進(jìn)行匯總計(jì)算->獲取最終結(jié)果
? ?
查看全部 -
存儲(chǔ)-》分布式存儲(chǔ)（多臺(tái)機(jī)器的存儲(chǔ)）
服務(wù)器是真正存數(shù)據(jù)，為了存數(shù)據(jù)，所以需要找到文件系統(tǒng)
查看全部
舉報(bào)