第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

HDFS寫流程

客戶端向NameNode發(fā)起寫數(shù)據(jù)請求

分塊寫入DataNode節(jié)點(diǎn)，DataNode自動完成副本備份

DataNode向NameNode匯報(bào)存儲完成，NameNode通知客戶端

HDFS讀流程

客戶端向NameNode發(fā)起讀數(shù)據(jù)請求

NameNode找出距離最近的DataNode節(jié)點(diǎn)信息

客戶端從DataNode分塊下載文件

HDFS分布式文件系統(tǒng)：存儲是大數(shù)據(jù)技術(shù)的基礎(chǔ)

HDFS總結(jié)

普通的成百上千的機(jī)器

按TB甚至PB為單位的大量的數(shù)據(jù)

簡單便捷的文件獲取

HDFS概念

數(shù)據(jù)塊：數(shù)據(jù)塊是抽象塊而非整個文件作為存儲單元，默認(rèn)大小為64M,一般設(shè)置為128M,備份X3

NameNode:管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)，維護(hù)著文件系統(tǒng)的所有文件和目錄，文件與數(shù)據(jù)塊的映射，記錄每個文件中各個快所在數(shù)據(jù)節(jié)點(diǎn)的信息

DataNode:存儲并檢索數(shù)據(jù)塊，向NameNode更新所存儲塊的列表

HDFS優(yōu)點(diǎn)：

適合大文件存儲，支持TB、PB級的數(shù)據(jù)存儲，并有副本策略

可以構(gòu)建在廉價的機(jī)器上，并有一定的容錯和恢復(fù)機(jī)制

支持流式數(shù)據(jù)訪問，一次寫入，多次讀取最高效

HDFS缺點(diǎn)：

不適合大量小文件存儲

不適合并發(fā)寫入，不支持文件隨機(jī)修改

不支持隨機(jī)讀等低延時的訪問方式

兩個思考問題 ：

????1.數(shù)據(jù)塊的大小設(shè)置為多少合適為什么？

???????hadoop數(shù)據(jù)塊的大小一般設(shè)置為128M，如果數(shù)據(jù)塊設(shè)置的太小，一般的文件也會被分割為多個數(shù)據(jù)塊，在訪問的時候需要查找多個數(shù)據(jù)塊的地址，這樣的效率很低，而且如果數(shù)據(jù)塊設(shè)置太小的話，會消耗更多的NameNode的內(nèi)存；而如果數(shù)據(jù)塊設(shè)置過大的話，對于并行的支持不是太好，而且會涉及系統(tǒng)的其他問題，比如系統(tǒng)重啟時，需要重新加載數(shù)據(jù)，數(shù)據(jù)塊越大，耗費(fèi)的時間越長。???

????2.NameNode有哪些容錯機(jī)制，如果NameNode掛掉了怎么辦？

?????? NameNode容錯機(jī)制，目前的hadoop2可以為之為HA（高可用）集群，集群里面有兩個NameNode的節(jié)點(diǎn)，一臺為主節(jié)點(diǎn)，一臺為從節(jié)點(diǎn)（備用節(jié)點(diǎn)），兩者的數(shù)據(jù)時刻保持一致，當(dāng)主節(jié)點(diǎn)出現(xiàn)問題時，備用節(jié)點(diǎn)可以自動切換，用戶基本感知不到，這樣就避免了NameNode的單點(diǎn)問題。

HDFS寫流程：

? ? 寫流程：
1.客戶端向NameNode發(fā)起寫數(shù)據(jù)

????2.分塊寫入DataNode節(jié)點(diǎn)，DataNode自動完成副本備份

????3.DataNode向NameNode匯報(bào)存儲完成，NameNode通知客戶端

? HDFS讀流程：

1.客戶端向NameNode發(fā)起讀數(shù)據(jù)的請求；? ?
?2.NameNode找出距離最近的DataNode節(jié)點(diǎn)信息返回給客戶端 ；
?3.客戶端從DataNode上面分塊的下載文件；

Hadoop 是一個開源的大數(shù)據(jù)框架；也是是一個分布式計(jì)算的解決方案；
那么Hadoop+HDFS（分布式文件系統(tǒng)）+MapReduce（分布式計(jì)算）；
Hadoop 核心：HDFS 分布式文件系統(tǒng)：存儲是大數(shù)據(jù)計(jì)算的基礎(chǔ)，沒有這個做不了大數(shù)據(jù)；
MapReduce（分布式計(jì)算）：編程模型，分布式計(jì)算是大數(shù)據(jù)應(yīng)用的解決方案；

HDFS總結(jié)：有很多特性支持大數(shù)據(jù)的存儲，為了大量數(shù)據(jù)橫跨成百上千的機(jī)器，用數(shù)據(jù)跟本地調(diào)用一樣簡單，HDFS自動搞定；
1、普通的成百上千的機(jī)器；
2、按TB甚至PB為單位的大量數(shù)據(jù)；
3、簡單便捷的文件獲??；
概念：1、數(shù)據(jù)塊；數(shù)據(jù)塊是抽象概念的塊而非整個文件作為存儲單元；
塊默認(rèn)大小64M，一般設(shè)置128M，（副本策略）備份X3；比如存10M文件，那么這個文件獨(dú)占一個文件，如果300M文件，那么會占3份；這樣會簡化存儲數(shù)據(jù)的設(shè)計(jì)，提升數(shù)據(jù)的容錯能力和擴(kuò)容性；；
2、NameNode；主 ，管理文件系統(tǒng)的命名空間和存放文件元數(shù)據(jù)；維護(hù)著文件系統(tǒng)的所有文件和目錄，文件和數(shù)據(jù)庫的映射；
記錄每個文件各個塊所在數(shù)據(jù)節(jié)點(diǎn)的信息；
如果namenode掛了咋辦？百度
3、DataNode? 從的關(guān)系，一般一個namenode主，多個從；
datanode ，存儲并檢索數(shù)據(jù)塊，向namenode更新所存塊的列表；

HDFS優(yōu)點(diǎn)：
1、適合大文件的存儲，支持TB、PB級的數(shù)據(jù)存儲，并有副本策略；
2、可以構(gòu)建在廉價的機(jī)器上，并有一定的容錯和恢復(fù)機(jī)制；
3、支持流式數(shù)據(jù)訪問，一次寫入，多次讀取取最高效；
缺點(diǎn)：
1、不適合大量小文件存儲；
2、不適合并發(fā)寫入，不支持文件隨機(jī)修改，只能后續(xù)添加apd；
3、不支持隨機(jī)讀等低時延的訪問方式；
問題;1、數(shù)據(jù)塊的大小設(shè)置多少合適？為啥？
2、namenode有哪些容錯機(jī)制，他如果掛掉咋辦？

HBase簡介

Hadoop生態(tài)

Hadoop總結(jié)

Hadoop

Hadoop的基礎(chǔ)架構(gòu)

Hadoop基礎(chǔ)架構(gòu)

HDFS寫流程和讀流程

Hadoop基礎(chǔ)與演練

大數(shù)據(jù)是一個概念也是一門技術(shù)，是在以Hadoop為代表的大數(shù)據(jù)平臺框架上進(jìn)行各種數(shù)據(jù)分析的技術(shù)。

大數(shù)據(jù)包括了以Hadoop和Spark為代表的基礎(chǔ)大數(shù)據(jù)框架

還包括實(shí)時數(shù)據(jù)處理，離線數(shù)據(jù)處理；數(shù)據(jù)分析，數(shù)據(jù)挖掘和用機(jī)器算法進(jìn)行預(yù)測分析等技術(shù)

大數(shù)據(jù)的前景

PC時代->移動互聯(lián)網(wǎng)->物聯(lián)網(wǎng)

PC->云計(jì)算->大數(shù)據(jù)

大數(shù)據(jù)肯定是一個好的方向，大數(shù)據(jù)的相關(guān)人才還是稀缺的，現(xiàn)在學(xué)大數(shù)據(jù)還不晚，堅(jiān)持地走下去就行了！

mapreduce編程模型：

????

yarn 資源管理器：
????resourcemanager

????applicationmaster

????nodemanager

hadoop有主節(jié)點(diǎn)和一套備用節(jié)點(diǎn)，主節(jié)點(diǎn)掛了就直接用備用節(jié)點(diǎn)。解決namenode的單點(diǎn)問題。

hdfs 寫流程：

hdfs讀流程：

hdfs的存儲單元為數(shù)據(jù)塊。

一個hdfs由1個Namenode和多個datanode組成。

namenode:

datanode:存儲檢索數(shù)據(jù)塊，向namenode更新數(shù)據(jù)列表。

———————————————————

hdfs總結(jié)

hadoop核心

什么是大數(shù)據(jù)

• 問題回顧：

1. 1. 數(shù)據(jù)塊的大小設(shè)置為多少比較合適？

      一般設(shè)置為128MB,設(shè)置過小，訪問時數(shù)據(jù)時效率不高，對NameNade的內(nèi)存消耗嚴(yán)重。數(shù)據(jù)塊設(shè)置過大，降低對并行的支持

      會使數(shù)據(jù)重啟的時間延長。

   2. 如果NameNode掛掉了怎么辦？

      配用高可用集群ha存在兩個NameNode節(jié)點(diǎn)，一個處于active請求狀態(tài)，另一個處于standby備份狀態(tài)，兩者數(shù)據(jù)時刻保持一致

• hadoop是什么？

  1.開源的大數(shù)據(jù)框架

  2.分布式計(jì)算的解決方案

  3.hadoop=HDFS(分布式文件系統(tǒng)）+MapReduce(分布式計(jì)算)

• hadoop的核心？

  1.HDFS分布式文件系統(tǒng)：存儲大數(shù)據(jù)技術(shù)的基礎(chǔ)

  2.MapReduce編程模型：分布式計(jì)算提供處理大數(shù)據(jù)應(yīng)用的解決方

• HDFS概念

  1.數(shù)據(jù)塊

  ?????抽象的單個文件作為單元存儲單元，默認(rèn)大小為64MB，一般設(shè)置為128M，備份X3

  2.NameNode

????????????????管理文件系統(tǒng)的命名空間，存放文件元數(shù)據(jù)

????????????????維護(hù)文件系統(tǒng)的所有文件和目錄，文件于數(shù)據(jù)塊的映射

????????????????記錄每個文件中各個塊所在數(shù)據(jù)節(jié)點(diǎn)的信息

? ? ? ? ?3.DataNode

????????????????? ?存儲并檢索數(shù)據(jù)塊

????????????????????向NameNode發(fā)送并更新所存儲的列表

• HDFS的優(yōu)缺點(diǎn)

  1.優(yōu)點(diǎn)

  適合大文件，可以構(gòu)建在廉價的機(jī)器上，并有一定的容錯和恢復(fù)機(jī)制，支持流式數(shù)據(jù)訪問，一次寫入，多次讀取最高效

? ? ? ? ?2.缺點(diǎn)

? ? ? ? 不適合小文件存儲，不適合并發(fā)寫入，不支持隨機(jī)修改和隨機(jī)讀等低延時的訪問方式

問題1：如果NameNode掛掉了怎么辦？

將SecondaryNameNode中數(shù)據(jù)拷貝到namenode存儲數(shù)據(jù)的目錄

大數(shù)據(jù)的定義

大數(shù)據(jù)是一個概念和一門技術(shù)，以hadoop 為代表的大數(shù)據(jù)平臺框架上進(jìn)行各種數(shù)據(jù)分析的技術(shù) 包括以hadoop,spark為代表的基礎(chǔ)大數(shù)據(jù)框架還包括實(shí)時處理數(shù)據(jù)，離線處理數(shù)據(jù)；數(shù)據(jù)分析，數(shù)據(jù)挖掘和用機(jī)器算法進(jìn)行預(yù)測分析等技術(shù)

MapReduce 原理

HDFS 的讀流程

HDFS 的寫流程

（1） 首先客戶端向NameNode發(fā)起寫數(shù)據(jù)請求，NameNode保存的各個DataNode狀態(tài)，檢索的DataNode1、2、3有空間可以存儲

（2）客戶端將分塊兒數(shù)據(jù)寫入DataNode，DataNode完成自動備份

（3）DataNode向NameNode匯報(bào)存儲完成，NameNode通知客戶端