-
HDFS文件的讀寫(xiě)操作
讀操作：
客戶端向NameNode發(fā)送文件讀取請(qǐng)求
NameNode查詢數(shù)據(jù)，將元數(shù)據(jù)返回給客戶端
客戶端根據(jù)元數(shù)據(jù)找到指定的Blocks
寫(xiě)數(shù)據(jù)：
首先客戶端將文件差分為塊，通知NameNode
NameNode會(huì)查詢可用的DataNode信息返回給客戶端
客戶端對(duì)塊進(jìn)行寫(xiě)入
進(jìn)行流水線復(fù)制，將寫(xiě)入的塊復(fù)制到不同的的DataNode上面和不同的機(jī)架上
更新元數(shù)據(jù)，告訴NameNode文件的具體地址
查看全部 -
數(shù)據(jù)管理策略
數(shù)據(jù)塊的管理：每個(gè)數(shù)據(jù)塊有三個(gè)副本，分布在兩個(gè)機(jī)架內(nèi)的三個(gè)節(jié)點(diǎn)，以保證數(shù)據(jù)的安全性
心跳檢測(cè)：nameNode和dataNode之間存在心跳檢測(cè)，dataNode會(huì)定期向NameNode發(fā)送心跳信息
二級(jí)NameNode：是對(duì)NameNOde的一個(gè)備份，當(dāng)然二者會(huì)存在數(shù)據(jù)同步，以保證在NameNode故障時(shí)，節(jié)點(diǎn)信息不會(huì)丟失
查看全部 -
HDFS的基本概念：
塊：HDFS文件按照塊進(jìn)行存儲(chǔ)，默認(rèn)大小為64M，塊是文件存儲(chǔ)處理的邏輯單元
NameNode：存放文件的原數(shù)據(jù)，包含文件與數(shù)據(jù)塊的映射表，數(shù)據(jù)塊和數(shù)據(jù)節(jié)點(diǎn)的映射表
DateNode：存放真正的數(shù)據(jù)塊
查看全部 -
linux環(huán)境下安裝jdk之后的環(huán)境變量配置
查看全部 -
Hadoop的組成
包括兩個(gè)核心組成：
HDFS：分布式文件系統(tǒng)，存儲(chǔ)海量的數(shù)據(jù)
MapReduce：并行處理框架，實(shí)現(xiàn)任務(wù)的分解和調(diào)度
查看全部 -
為什么能夠用來(lái)做分布式存儲(chǔ)和分布式計(jì)算了，因?yàn)樗锩嬗袃蓚€(gè)重要的核心組件一各自HD M I C H D F S主要用來(lái)做分布式文件的存儲(chǔ)，還有一個(gè)是my Prince主要用來(lái)做并行計(jì)算。查看全部
-
主要做兩個(gè)事情，一個(gè)是分布式存儲(chǔ)一個(gè)是計(jì)算。查看全部
-
開(kāi)源的分布式存儲(chǔ)和計(jì)算、硬件的可靠性，沒(méi)辦法保障就，使用軟件來(lái)保障可靠性。阿帕奇下面的一個(gè)項(xiàng)目。查看全部
-
HDFS特點(diǎn)
查看全部 -
HDFS適用與局限
查看全部 -
二級(jí)NameNode
查看全部 -
數(shù)據(jù)塊副本
查看全部 -
心跳檢測(cè)-
查看全部 -
Hadoop輔助工具
查看全部 -
Hadoop核心
查看全部
舉報(bào)