-
HDFS特點(diǎn)
流式:一次寫入多次讀取
查看全部 -
HDFS中文件的寫操作
查看全部 -
HDFS中文件的讀操作
查看全部 -
Secondary NameNode
定期 同步元數(shù)據(jù)映像文件和修改日志,NameNode發(fā)生故障時(shí)，備胎轉(zhuǎn)正
查看全部 -
心跳檢測(cè)：DataNode定期向NameNode發(fā)送心跳消息
查看全部 -
數(shù)據(jù)管理策略
查看全部 -
DataNode是工作節(jié)點(diǎn)，存放數(shù)據(jù)塊
查看全部 -
分為NameNode和DataNode
NameNode是管理節(jié)點(diǎn)，存放文件元數(shù)據(jù)
1 文件與數(shù)據(jù)塊的映射表
2 數(shù)據(jù)塊與數(shù)據(jù)節(jié)點(diǎn)的映射表
查看全部 -
塊是文件存儲(chǔ)處理的邏輯單元
查看全部 -
mapreduce容錯(cuò)機(jī)制：
1、重復(fù)執(zhí)行，因?yàn)閖ob問(wèn)題，硬件問(wèn)題，數(shù)據(jù)問(wèn)題等等一起任務(wù)異常，導(dǎo)致? ? ? ?重試，默認(rèn)重復(fù)4次失敗就會(huì)放棄執(zhí)行
2、所有的map任務(wù)執(zhí)行完成才繼續(xù)執(zhí)行reduce任務(wù)，如果某一個(gè)節(jié)點(diǎn)計(jì)算特別慢，就新起一個(gè)節(jié)點(diǎn)和這個(gè)慢節(jié)點(diǎn)做相同的計(jì)算任務(wù)，只要其中一個(gè)完成即可
查看全部 -
mapreduce作業(yè)執(zhí)行流程
查看全部 -
通常在部署的時(shí)候，tasktracker往往和datanode在同一組物理節(jié)點(diǎn)
jobtracker：1、作業(yè)調(diào)度? 2、分配任務(wù)，監(jiān)控任務(wù)執(zhí)行進(jìn)度 3、監(jiān)控? ? ? ? ? ? ? ? ? ? ? ? ? tasktracker的狀態(tài)
tasktracker：1、執(zhí)行任務(wù)? 2、向jobtracker匯報(bào)任務(wù)狀態(tài)
查看全部 -
job拆分為多個(gè)task，task分為maptask和reducetask
客戶端提交任務(wù)（job）到j(luò)obtracker，jobtracker將任務(wù)放到候選隊(duì)列，在適當(dāng)?shù)臅r(shí)候挑選出job拆分為task運(yùn)行
查看全部 -
mapreduce：一個(gè)大任務(wù)拆分成多個(gè)小任務(wù)（map），并行執(zhí)行完成之后，再合并結(jié)果（reduce）
查看全部 -
1、數(shù)據(jù)大量冗余
2、流式數(shù)據(jù)訪問(wèn)：一次寫入多次讀取，一旦寫入，無(wú)法修改
3、存儲(chǔ)大文件
4、吞吐量高，適合批量讀寫
5、不適合交互式應(yīng)用，延時(shí)性無(wú)法滿足
6、不支持多用戶并發(fā)寫相同的文件
查看全部
舉報(bào)