課程
/云計(jì)算&大數(shù)據(jù)
/大數(shù)據(jù)
/認(rèn)識(shí)Hadoop--基礎(chǔ)篇
在mac上怎么配置環(huán)境呢?
2016-12-15
源自:認(rèn)識(shí)Hadoop--基礎(chǔ)篇 2-4
正在回答
直接 homebrew 安裝 ,安裝 Scala 命令: brew install scala,sbt 命令: brew install sbt, 如果安裝 sbt 遇到promis denied ,cd 到error中的目錄(應(yīng)該是etc),在顯示簡(jiǎn)介中打開(kāi) everyone 權(quán)限。
好了~吱一聲
獲取Hadoop具體的地址自己百度吧。我下載的是1.0.4的stable版本。下載完之后解壓縮,我這里放置的目錄是/users/Billy/Hadoop。配置mac os 自身環(huán)境這個(gè)主要是配置ssh環(huán)境。先在terminal里面輸入ssh localhost會(huì)有錯(cuò)誤提示信息,表示當(dāng)前用戶沒(méi)有權(quán)限。這個(gè)多半是系統(tǒng)為安全考慮,默認(rèn)設(shè)置的。更改設(shè)置如下:進(jìn)入system preference --> sharing --> 勾選remote login,并設(shè)置allow access for all users。再次輸入“ssh localhost",再輸入密碼并確認(rèn)之后,可以看到ssh成功。不過(guò)這里面還有一個(gè)麻煩,就是每次都會(huì)要求輸入用戶密碼?!禜adoop實(shí)戰(zhàn)》提供了一種免登陸的方法。首先,輸入ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsassh-keygen表示生成秘鑰;-t表示秘鑰類型;-P用于提供密語(yǔ);-f指定生成的秘鑰文件。這個(gè)命令在”~/.ssh/“文件夾下創(chuàng)建兩個(gè)文件id_dsa和id_dsa.pub,是ssh的一對(duì)兒私鑰和公鑰。接下來(lái),將公鑰追加到授權(quán)的key中去,輸入:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys設(shè)置環(huán)境變量在實(shí)際啟動(dòng)Hadoop之前,有三個(gè)文件需要進(jìn)行配置。但在這之前,我們需要設(shè)置一下幾個(gè)類似Windows的環(huán)境變量,方便以后在命令行敲命令。export HADOOP_HOME=/users/billy/hadoopexport PATH=$PATH:$HADOOP_HOME/bin配置hadoop-env.sh在Hadoop->conf目錄下,找到hadoop-env.sh,打開(kāi)編輯進(jìn)行如下設(shè)置:export JAVA_HOME=/library/Java/Home(去掉注釋)export HADOOP_HEAPSIZE=2000(去掉注釋)export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注釋) 注意第三個(gè)配置在OS X上最好進(jìn)行配置,否則會(huì)報(bào)“Unable to load realm info from SCDynamicStore”。配置core-site.xml<configuration> ?<property> ? ?<name>hadoop.tmp.dir</name> ? ?<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value> ? ?<description>A base for other temporary directories.</description> ?</property> ?<property> ? ?<name>fs.default.name</name> ? ?<value>hdfs://localhost:8020</value> ?</property></configuration> 配置hdfs-site.xml<configuration> ? ?<property> ? ? ? ?<name>dfs.replication</name> ? ? ? ?<value>1</value> ? ?</property></configuration> 配置mapred-site.xml<configuration> ? ?<property> ? ? ? ?<name>mapred.job.tracker</name> ? ? ? ?<value>localhost:8021</value> ? ?</property> ? ?<property> ? ? ? ?<name>mapred.tasktracker.map.tasks.maximum</name> ? ? ? ?<value>2</value> ? ?</property> ? ?<property> ? ? ? ?<name>mapred.tasktracker.reduce.tasks.maximum</name> ? ? ? ?<value>2</value> ? ?</property></configuration>安裝HDFS經(jīng)過(guò)以上的配置,就可以進(jìn)行HDFS的安裝了。$HADOOP_HOME/bin/hadoop name node -format如果順利的話,會(huì)得到類似如下的輸出: BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -formatWarning: $HADOOP_HOME is deprecated.以上安裝完成。
舉報(bào)
Hadoop入門視頻教程,大數(shù)據(jù)人才的入門首選
1 回答hadoop環(huán)境配置
2 回答jdk環(huán)境變量配置
3 回答設(shè)置環(huán)境變量時(shí)無(wú)法輸入export...
2 回答這里的jre的環(huán)境變量可以直接在電腦屬性里的環(huán)境變量里改么?
2 回答地址配置imooc:9000的地方,本機(jī)應(yīng)該配置什么呢?
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號(hào)-11 京公網(wǎng)安備11010802030151號(hào)
購(gòu)課補(bǔ)貼聯(lián)系客服咨詢優(yōu)惠詳情
慕課網(wǎng)APP您的移動(dòng)學(xué)習(xí)伙伴
掃描二維碼關(guān)注慕課網(wǎng)微信公眾號(hào)
2016-12-15
直接 homebrew 安裝 ,安裝 Scala 命令: brew install scala,sbt 命令: brew install sbt, 如果安裝 sbt 遇到promis denied ,cd 到error中的目錄(應(yīng)該是etc),在顯示簡(jiǎn)介中打開(kāi) everyone 權(quán)限。
2016-12-15
好了~吱一聲
2016-12-15
獲取Hadoop
具體的地址自己百度吧。我下載的是1.0.4的stable版本。
下載完之后解壓縮,我這里放置的目錄是/users/Billy/Hadoop。
配置mac os 自身環(huán)境
這個(gè)主要是配置ssh環(huán)境。先在terminal里面輸入
ssh localhost
會(huì)有錯(cuò)誤提示信息,表示當(dāng)前用戶沒(méi)有權(quán)限。這個(gè)多半是系統(tǒng)為安全考慮,默認(rèn)設(shè)置的。更改設(shè)置如下:進(jìn)入system preference --> sharing --> 勾選remote login,并設(shè)置allow access for all users。再次輸入“ssh localhost",再輸入密碼并確認(rèn)之后,可以看到ssh成功。
不過(guò)這里面還有一個(gè)麻煩,就是每次都會(huì)要求輸入用戶密碼?!禜adoop實(shí)戰(zhàn)》提供了一種免登陸的方法。首先,輸入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘鑰;-t表示秘鑰類型;-P用于提供密語(yǔ);-f指定生成的秘鑰文件。這個(gè)命令在”~/.ssh/“文件夾下創(chuàng)建兩個(gè)文件id_dsa和id_dsa.pub,是ssh的一對(duì)兒私鑰和公鑰。接下來(lái),將公鑰追加到授權(quán)的key中去,輸入:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
設(shè)置環(huán)境變量
在實(shí)際啟動(dòng)Hadoop之前,有三個(gè)文件需要進(jìn)行配置。
但在這之前,我們需要設(shè)置一下幾個(gè)類似Windows的環(huán)境變量,方便以后在命令行敲命令。
export HADOOP_HOME=/users/billy/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
配置hadoop-env.sh
在Hadoop->conf目錄下,找到hadoop-env.sh,打開(kāi)編輯進(jìn)行如下設(shè)置:
export JAVA_HOME=/library/Java/Home(去掉注釋)
export HADOOP_HEAPSIZE=2000(去掉注釋)
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注釋)
注意第三個(gè)配置在OS X上最好進(jìn)行配置,否則會(huì)報(bào)“Unable to load realm info from SCDynamicStore”。
配置core-site.xml
<configuration>
?<property>
? ?<name>hadoop.tmp.dir</name>
? ?<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value>
? ?<description>A base for other temporary directories.</description>
?</property>
?<property>
? ?<name>fs.default.name</name>
? ?<value>hdfs://localhost:8020</value>
?</property>
</configuration>
配置hdfs-site.xml
<configuration>
? ?<property>
? ? ? ?<name>dfs.replication</name>
? ? ? ?<value>1</value>
? ?</property>
</configuration>
配置mapred-site.xml
<configuration>
? ?<property>
? ? ? ?<name>mapred.job.tracker</name>
? ? ? ?<value>localhost:8021</value>
? ?</property>
? ?<property>
? ? ? ?<name>mapred.tasktracker.map.tasks.maximum</name>
? ? ? ?<value>2</value>
? ?</property>
? ?<property>
? ? ? ?<name>mapred.tasktracker.reduce.tasks.maximum</name>
? ? ? ?<value>2</value>
? ?</property>
</configuration>
安裝HDFS
經(jīng)過(guò)以上的配置,就可以進(jìn)行HDFS的安裝了。
$HADOOP_HOME/bin/hadoop name node -format
如果順利的話,會(huì)得到類似如下的輸出:
BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
以上安裝完成。