-
Google大數(shù)據(jù)技術(shù)：MapReduce、bigtable、GFS。
查看全部 -
MapReduce的容錯(cuò)機(jī)制
1、重復(fù)執(zhí)行（默認(rèn)執(zhí)行4次，4次后放棄）
2、推測(cè)執(zhí)行
查看全部 -
TaskTracker的角色
1、執(zhí)行任務(wù)
2、向JobTracker匯報(bào)任務(wù)狀態(tài)
查看全部 -
JobTracker的角色
1、作業(yè)調(diào)度2、分配任務(wù)，監(jiān)控任務(wù)執(zhí)行進(jìn)度
3、監(jiān)控TaskTracker的狀態(tài)
查看全部 -
HDFS的特點(diǎn)
1、數(shù)據(jù)冗余，硬件容錯(cuò)
2、流式的數(shù)據(jù)訪問（一次寫入多次讀取，且寫入的數(shù)據(jù)無法修改）
3、適合存儲(chǔ)大文件
查看全部 -
DATaNode數(shù)據(jù)塊：
每個(gè)數(shù)據(jù)塊3個(gè)副本，分布在兩個(gè)機(jī)架內(nèi)的三個(gè)節(jié)點(diǎn)
查看全部 -
NameNode是管理節(jié)點(diǎn)，存放文件元數(shù)據(jù)
1、文件與數(shù)據(jù)塊的映射表
2、數(shù)據(jù)塊與數(shù)據(jù)節(jié)點(diǎn)的映射表
查看全部 -
HDFS的文件被分成塊進(jìn)行存儲(chǔ)
HDFS塊默認(rèn)大小64MB
塊是文件存儲(chǔ)處理的邏輯單元
查看全部 -
Hadoop的組成：
? ? 包括兩個(gè)核心組成：
? ? ? ? HDFS：分布式文件系統(tǒng)，存儲(chǔ)海量的數(shù)據(jù)
? ? ? ? MapReduce：并行處理框架，實(shí)現(xiàn)任務(wù)分解和調(diào)度
查看全部 -
Google大數(shù)據(jù)技術(shù)
MapReduce、BigTable、GFS
查看全部 -
安裝后配置hadoop文件
一、設(shè)置java目錄和hadoop目錄：
vi /etc/profile
JAVA_HOME=/etc/usr/java/jdk-1.8.1
JAR_HOME=$JAVA_HOME/jre
HADOOP_HOME=/etc/usr/hadoop-1.2.1
PATH=$JAVA_HOME/bin:$JAR_HOME/bin:$HADOOP_HOME/bin:$PAHT
二、修改四個(gè)配置文件
1、core-site.xml（haddop.temp.dir、dfs.name.dir、fs.default.name）
<configuration> ? ?<property> ? ? ? ?<name>hadoop.tmp.dir</name> ? ? ? ?<value>/hadoop</value> ? ?</property> ? ?<property> ? ? ? ?<name>dfs.name.dir</name> ? ? ? ?<value>/hadoop/name</value> ? ?</property> ? ?<property> ? ? ? ?<name>fs.default.name</name> ? ? ? ?<value>hdfs://imooc:9000</value> ? ?</property> </configuration>
2、修改mapred-site.xml（mapred.job.tracker）
<configuration> ? ?<property> ? ? ? ?<name>mapred.job.tracker</name> ? ? ? ?<value>imooc:9001</value> ? ?</property> </configuration>
3、修改hsfs-site.xml，設(shè)置dfs.data.dir
<property> ? ?<name>dfs.data.dir</name> ? ?<value>/hadoop/data</value> </property>
4、修改hadoop的環(huán)境變量文件hadoop-env.sh
JAVA_HOME=/etc/usr/java/jkd-1.8.1
三、對(duì)hadoop進(jìn)行格式化已經(jīng)啟動(dòng)：
hadoop namenode -format
start-all.sh
jps=》查看hadoop是否安裝成功
查看全部 -
SSH 工具
云上安裝LINUX
putty工具已完成
查看全部 -
Hadoop的優(yōu)勢(shì)：
高擴(kuò)展
低成本
成熟的生態(tài)圈
查看全部 -
Hadoop的用處
查看全部 -
Hadoop的組成
查看全部
舉報(bào)