-
HDFS設(shè)計架構(gòu)： ? ? ? ? ? ??
塊:文件以“塊”進(jìn)行存儲，HDFS默認(rèn)塊大小為64M ? ? ? ? ? ??
namenode：是管理節(jié)點，存放文件元數(shù)據(jù)，包括文件與數(shù)據(jù)塊的映射表、數(shù)據(jù)塊與數(shù)據(jù)節(jié)點的映射表 ? ? ? ? ? ??
datenode：工作節(jié)點，真正存儲數(shù)據(jù)塊 最終體系結(jié)構(gòu)：由block、namenode、datanode、secondarynamenode、client組成
查看全部 -
一.安裝jdk
二.配置hadoop的配置文件
? ?1.mapred-site.xml 配置文件
?mapred.job.tracker mapred 訪問路徑
? ? 2.core-site.xml 配置文件 需要修改的
hadoop.tmp.dir ?臨時工作目錄
dfs.name.dir 原數(shù)據(jù)目錄
fs.default.name 文件系統(tǒng)地址和端口號
? 3.hdfs-site.xml?
dfs.data.dir 存放文件塊的一個目錄
4.hadoop-env.sh
配置java_home的安裝路徑
三.格式化format
hadoop namenode -format
四.啟動hadoop
start-satrt-all.sh
五.用命令jps查看進(jìn)程
JpbTracker
Jps
SecondaryNameNode
NameNode
DataNode
TaskTracker
查看全部 -
下載軟件地址： wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
配置4個文件(三個xml文件，一個.sh文件)
mapred-site.xml
core-site.xml
hadoop-env.sh
hdfs-site.xml
hadoop安裝及配置：
?1.下載hdoop按照包并進(jìn)行解壓?
2.配置hdoop-env.sh文件，目的是配置jdk，并在profile配置haddoop的安裝位置?
3.配置core-site.xml文件：hdoop的核心文件，里面有關(guān)于hdoop的節(jié)點端口與主機端口?
4.配置hdfs-site.xml文件：hdoop的文件存儲的基本信息與目錄
?5.配置mapred-site.xml文件：hadoop的計算節(jié)點的端口號
查看全部 -
設(shè)置環(huán)境變量?
vim? /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
查看全部 -
zookeeper（動物管理員）
?管理Hadoop節(jié)點狀態(tài)和Hadoop的配置，維護(hù)數(shù)據(jù)節(jié)點的一致性
查看全部 -
hbase區(qū)別HDFS
查看全部 -
Hadoop可以用來做什么？
查看全部 -
Hadoop的組成
查看全部 -
hadoop是什么
開源的 分布式存儲+分布式計算平臺
查看全部 -
MapReduce的容錯機制
重復(fù)執(zhí)行：執(zhí)行出錯之后會重復(fù)執(zhí)行四次
推測執(zhí)行，判斷taskTracker的運行狀態(tài)，適當(dāng)進(jìn)行替換和舍棄
查看全部 -
MapReduce的作業(yè)執(zhí)行過程
查看全部 -
JobTracker的角色
作業(yè)調(diào)度
分配任務(wù)、監(jiān)控任務(wù)的執(zhí)行進(jìn)度
監(jiān)控taskTracker狀態(tài)
TaskTracker的角色
執(zhí)行任務(wù)
向JobTracker報告進(jìn)度
查看全部 -
MapReduce的核心思想就是分而治之，將一個大人物分成多個小任務(wù)，并行執(zhí)行之后，在合并結(jié)果
查看全部 -
HDFS的存取命令
存：hadoop?fs -put?a.txt?input
?。篐adoop?fs -get input/a.txt
查看全部 -
HDSF特點
數(shù)據(jù)肉欲，硬件容錯，做了多個備份
流式訪問數(shù)據(jù)，無法對數(shù)據(jù)進(jìn)行更改，適合一次寫入，多次讀取
存儲大文件，不適合大量存儲小文件，以為NameNode比較占空間，小文件不劃算
適用性和局限性
適合數(shù)據(jù)的批量讀寫，吞吐量高，一次寫入，多次讀取
不適合交互式應(yīng)用，低延遲很難滿足，不支持并發(fā)寫入相同文件
查看全部
舉報