我根據(jù)老師這個版本的Hadoop完成了Wordcount的MapRed程序,代碼在我的Github中:https://github.com/Y1ran/Hadoop-MapReduce,大家如果覺得跟不上老師講的,或者不容易實現(xiàn)的話可以參考一下
2018-06-19
HDFS(Hadoop Distributed File System,Hadoop 分布式文件系統(tǒng))是 Hadoop 實現(xiàn)的一個分布式文件系統(tǒng),可提供對應用程序數(shù)據(jù)的高吞吐量訪問,是 Hadoop 核心組件之一。HDFS 源自 Google 2003 年發(fā)表的的 GFS (Google File System)論文。
HDFS 將一個文件拆分成制定大小的多個數(shù)據(jù)塊(block),block 以多副本的方式存儲在多個機器上(即一組 DN 中),保證了容錯性和高可用性,保證了每個節(jié)點的負載均衡,提高了節(jié)點的利用率。
HDFS 將一個文件拆分成制定大小的多個數(shù)據(jù)塊(block),block 以多副本的方式存儲在多個機器上(即一組 DN 中),保證了容錯性和高可用性,保證了每個節(jié)點的負載均衡,提高了節(jié)點的利用率。
2018-06-11
在 Hadoop 誕生初期(Hadoop 1.x),當時 MapReduce 1.x 采用的是 master/slaves 架構,表現(xiàn)形式是一個 JobTracker 帶多個 TaskTracker。在 MapReduce 2.x 架構設計中,RM 和 NM 已經(jīng)取代了 JT 和 TT。
2018-06-11
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
2018-06-06