第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

hdfs缺點(diǎn)

HDFS分布式文件系統(tǒng)：存儲(chǔ)是大數(shù)據(jù)技術(shù)的基礎(chǔ)

MapReduce：分布式計(jì)算是大數(shù)據(jù)應(yīng)用的解決方案

YARN:

? ? ? ? ? ? ?負(fù)責(zé)整個(gè)集群的資源管理和調(diào)度

? ? ? ? ? ? ?支持多種計(jì)算框架：離線批處理，內(nèi)存計(jì)算，迭代計(jì)算等等

YARN主從架構(gòu)：

Hadoop=HDFS（分布式文件系統(tǒng)）+MapReduce（分布式計(jì)算）

HDSF數(shù)據(jù)塊 64M-128M

NameNode:管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)

? ? ? ? ? ? ? ? ? ? 維護(hù)著文件系統(tǒng)的所有文件和目錄，文件與數(shù)據(jù)塊的映射

? ? ? ? ? ? ? ? ? ? ?記錄每個(gè)文件中各個(gè)塊所在節(jié)點(diǎn)的信息

DataNode :存儲(chǔ)并檢索數(shù)據(jù)庫塊

? ? ? ? ? ? ? ? ? ? 向NameNode更新所存儲(chǔ)塊的列表

HDFS優(yōu)點(diǎn)：適合大文件存儲(chǔ)，支持TB，PB級(jí)別的數(shù)據(jù)存儲(chǔ)

? ? ? ? ? ? ? ? ? ?構(gòu)建在廉價(jià)機(jī)器上，有副本，容錯(cuò)和恢復(fù)機(jī)制

? ? ? ? ? ? ? ? ? ?支持流式數(shù)據(jù)的訪問，一次寫入，多次讀取最高效

HDFS缺點(diǎn)：不適合大量小文件存儲(chǔ)

? ? ? ? ? ? ? ? ? ? 不適合并發(fā)寫入，不支持文件隨機(jī)修改

? ? ? ? ? ? ? ? ? ? ?不支持隨機(jī)讀等低延遲的訪問

大數(shù)據(jù)：大數(shù)據(jù)是一個(gè)概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺(tái)框架上進(jìn)行各種數(shù)據(jù)分析的技術(shù)。

大數(shù)據(jù)包括了以Hadoop和Spark為代表的基礎(chǔ)大數(shù)據(jù)框架，還包括了實(shí)時(shí)數(shù)據(jù)處理，離線數(shù)據(jù)處理；數(shù)據(jù)分析，數(shù)據(jù)挖掘和用機(jī)器算法進(jìn)行預(yù)測分析等技術(shù)。

數(shù)據(jù)塊一般分為128M

namenode掛掉了怎么辦：現(xiàn)在集群里面有兩個(gè)namenode的節(jié)點(diǎn)，一臺(tái)為主節(jié)點(diǎn)，另一臺(tái)為備用節(jié)點(diǎn)，兩臺(tái)節(jié)點(diǎn)的數(shù)據(jù)始終保持一致，主節(jié)點(diǎn)出現(xiàn)問題時(shí)，備用節(jié)點(diǎn)自動(dòng)切換

Hadoop是一個(gè)開源的大數(shù)據(jù)框架，還是一個(gè)分布式計(jì)算的解決方案；

Hadoop=HDFS（分布式文件系統(tǒng)）+MapReduce（分布式計(jì)算）

????????????????核心：HDFS存儲(chǔ)是大數(shù)據(jù)技術(shù)的基礎(chǔ)

????????????????????????? ?MapReduce編程模式：分布式計(jì)算是大數(shù)據(jù)應(yīng)用的解????????????????????????????????決方案

應(yīng)用知識(shí)：實(shí)戰(zhàn)一：HDFS實(shí)際操作（通過shell命令/Python程序）

?????????????? ?實(shí)戰(zhàn)二：MapReduce程序開發(fā)實(shí)例

課程預(yù)備知識(shí)：Linux的常用命令（懂一些就行）

????????????????????????有一定的Python或者Java的編程基礎(chǔ)

????????????????????????對(duì)Hadoop有一定的了解，可以搭建自己的測試環(huán)境

HDFS寫流程： 客戶端向NameNode發(fā)起寫數(shù)據(jù)請(qǐng)求，分塊寫入DataNode節(jié)點(diǎn)，DataNode自動(dòng)完成副本備份.DataNode向NameNode匯報(bào)存儲(chǔ)完成，NameNode通知客戶端

HDFS讀流程： 客戶端向NameNode發(fā)起讀數(shù)據(jù)請(qǐng)求，NameNode找出最近的DataNode節(jié)點(diǎn)信息，客戶端從DataNode分塊下載文件。

HDFS缺點(diǎn)

HDFS優(yōu)點(diǎn)

1. HDFS實(shí)際操作（通過shell命令和python程序）

2. MapReduce程序開發(fā)實(shí)例
   

HDFS讀流程

HDFS的構(gòu)成以及寫流程