HDFS是GFS的一種實現(xiàn)，他的完整名字是分布式文件系統(tǒng)，類似于FAT32，NTFS，是一種文件格式，是底層的，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持。

HBase是Google Bigtable的開源實現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲系統(tǒng)。

向左轉(zhuǎn)|向右轉(zhuǎn)

擴展資料：

Hadoop 中各模塊的作用： 

1、Hadoop HDFS為HBase提供了高可靠性的底層存儲支持。

2、Hadoop MapReduce為HBase提供了高性能的計算能力。

3、Zookeeper為HBase提供了穩(wěn)定服務(wù)和failover機制。

4、Pig和Hive還為HBase提供了高層語言支持，使得在HBase上進行數(shù)據(jù)統(tǒng)計處理變得非常簡單。

5、Sqoop則為HBase提供了方便的RDBMS（關(guān)系型數(shù)據(jù)庫）數(shù)據(jù)導(dǎo)入功能，使得傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向HBase中遷移變得非常方便。

HDFS是GFS的一種實現(xiàn)，他的完整名字是分布式文件系統(tǒng)，類似于FAT32，NTFS，是一種文件格式，是底層的，Hadoop HDFS為HBase提供了高可靠性的底層存儲支持。

HBase是Google Bigtable的開源實現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲系統(tǒng)。

向左轉(zhuǎn)|向右轉(zhuǎn)

擴展資料：

異常處理

1，可靠性

HDFS的主要目標(biāo)就是在存在故障的情況下也能可靠地存儲數(shù)據(jù)。三個最常見的故障是名字節(jié)點故障，數(shù)據(jù)節(jié)點故障和網(wǎng)絡(luò)斷開。

2，重新復(fù)制

一個數(shù)據(jù)節(jié)點周期性發(fā)送一個心跳包到名字節(jié)點。網(wǎng)絡(luò)斷開會造成一組數(shù)據(jù)節(jié)點子集和名字節(jié)點失去聯(lián)系。名字節(jié)點根據(jù)缺失的心跳信息判斷故障情況。

名字節(jié)點將這些數(shù)據(jù)節(jié)點標(biāo)記為死亡狀態(tài)，不再將新的IO請求轉(zhuǎn)發(fā)到這些數(shù)據(jù)節(jié)點上，這些數(shù)據(jù)節(jié)點上的數(shù)據(jù)將對HDFS不再可用，可能會導(dǎo)致一些塊的復(fù)制因子降低到指定的值。

名字節(jié)點檢查所有的需要復(fù)制的塊，并開始復(fù)制他們到其他的數(shù)據(jù)節(jié)點上。重新復(fù)制在有些情況下是不可或缺的，例如：數(shù)據(jù)節(jié)點失效，副本損壞，數(shù)據(jù)節(jié)點磁盤損壞或者文件的復(fù)制因子增大。

3，數(shù)據(jù)正確性

從數(shù)據(jù)節(jié)點上取一個文件塊有可能是壞塊，壞塊的出現(xiàn)可能是存儲設(shè)備錯誤，網(wǎng)絡(luò)錯誤或者軟件的漏洞。HDFS客戶端實現(xiàn)了HDFS文件內(nèi)容的校驗。

當(dāng)一個客戶端創(chuàng)建一個HDFS文件時，它會為每一個文件塊計算一個校驗碼并將校驗碼存儲在同一個HDFS命名空間下一個單獨的隱藏文件中。

當(dāng)客戶端訪問這個文件時，它根據(jù)對應(yīng)的校驗文件來驗證從數(shù)據(jù)節(jié)點接收到的數(shù)據(jù)。如果校驗失敗，客戶端可以選擇從其他擁有該塊副本的數(shù)據(jù)節(jié)點獲取這個塊。

4，元數(shù)據(jù)失效

FsImage和Editlog是HDFS的核心數(shù)據(jù)結(jié)構(gòu)。這些文件的損壞會導(dǎo)致整個集群的失效。因此，名字節(jié)點可以配置成支持多個FsImage和EditLog的副本。任何FsImage和EditLog的更新都會同步到每一份副本中。

同步更新多個EditLog副本會降低名字節(jié)點的命名空間事務(wù)交易速率。但是這種降低是可以接受的，因為HDFS程序中產(chǎn)生大量的數(shù)據(jù)請求，而不是元數(shù)據(jù)請求。名字節(jié)點重新啟動時，選擇最新一致的FsImage和EditLog。

名字節(jié)點對于一個HDFS集群是單點失效的。假如名字節(jié)點失效，就需要人工的干預(yù)。還不支持自動重啟和到其它名字節(jié)點的切換。

他們的關(guān)系是：hbase是一個內(nèi)存數(shù)據(jù)庫，而hdfs是一個存儲空間；是物品和房子的關(guān)系。

hdfs只是一個存儲空間，他的完整名字是分布式文件系統(tǒng)。從名字可知他的作用了。
hbase是一個內(nèi)存數(shù)據(jù)庫，簡單點說hbase把表啊什么的存在hdfs上。

Hbase與HDFS的性質(zhì)和屬性。

1、Hbase是Hadoop database，即Hadoop數(shù)據(jù)庫。它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫，HBase基于列的而不是基于行的模式。

HBase是Google Bigtable的開源實現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲系統(tǒng)；Google運行MapReduce來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)。

2、HDFS是GFS的一種實現(xiàn)，他的完整名字是分布式文件系統(tǒng)，類似于FAT32，NTFS，是一種文件格式，是底層的。

Hive與Hbase的數(shù)據(jù)一般都存儲在HDFS上。Hadoop HDFS為他們提供了高可靠性的底層存儲支持。