-
resourcemanager:
1、分配調(diào)度資源
2、啟動(dòng)并監(jiān)控applicationmanager
3、監(jiān)控nodemanager
查看全部 -
hdfs讀文件：
1、客戶端向namenode發(fā)起讀數(shù)據(jù)請(qǐng)求
2、namenode返回給客戶端文件的元數(shù)據(jù)信息（哪些數(shù)據(jù)塊存儲(chǔ)在哪些datanode）
3、客戶端從datanode下載數(shù)據(jù)塊，并合并數(shù)據(jù)塊
查看全部 -
hdfs寫流程：
1、客戶端向namenode發(fā)起寫數(shù)據(jù)請(qǐng)求，namenode返回datanode信息
2、客戶端將文件分塊，將第一塊寫進(jìn)datanode，各個(gè)datanode自動(dòng)完成數(shù)據(jù)塊備份
3、datanode向namenode匯報(bào)完成第一塊的存儲(chǔ)，namenode通知客戶端
4、開始寫第二塊第三塊，重復(fù)步驟2和3
查看全部 -
1、數(shù)據(jù)塊一般設(shè)置為128M;
2、nemenode通常通過HA做高可用：主節(jié)點(diǎn)和備用節(jié)點(diǎn)
查看全部 -
hdfs缺點(diǎn)
查看全部 -
hdfs優(yōu)點(diǎn)
查看全部 -
datanode：存儲(chǔ)并檢索數(shù)據(jù)塊；向namenode更新所存儲(chǔ)的塊的列表
查看全部 -
namenode:管理文件系統(tǒng)的命名空間，存儲(chǔ)文件元數(shù)據(jù)；維護(hù)文件系統(tǒng)的所有目錄和文件，文件和數(shù)據(jù)塊的映射；記錄每個(gè)文件各個(gè)塊所在的數(shù)據(jù)節(jié)點(diǎn)的信息
查看全部 -
Spark: 基于內(nèi)存的大數(shù)據(jù)并行計(jì)算框架。是MapReduce的替代方案，是現(xiàn)在的主流計(jì)算框架。兼容HDFS, Hive, MySQL, PosgreSQL等數(shù)據(jù)源。
Spark優(yōu)勢(shì)：1.基于內(nèi)存分布式計(jì)算 2.分布式內(nèi)存存儲(chǔ)結(jié)構(gòu) —— RDD（彈性分布式數(shù)據(jù)集）3.基于事件驅(qū)動(dòng)，通過復(fù)用線程提高性能
查看全部 -
HBase 支持MapReduce程序讀取數(shù)據(jù)
查看全部 -
https://blog.csdn.net/yihuaiyan/article/details/84938661
搭建環(huán)境卡了兩天，有需要可以參考下以上鏈接
查看全部 -
Hadoop核心
HDFS分布式文件系統(tǒng)：存儲(chǔ)是大數(shù)據(jù)技術(shù)的基礎(chǔ)
MAPReduce編程模型：分布式計(jì)算是大數(shù)據(jù)應(yīng)用的解決方案
?HDFS?概念?
數(shù)據(jù)塊：是抽象快而非整個(gè)文件作為存儲(chǔ)單元，默認(rèn)大小為64MB，一般設(shè)置為128MB，備份X3?
NameNode：
管理文件系統(tǒng)的 ，存放文件元數(shù)據(jù)?
維護(hù)文件系統(tǒng)的所有文件和目錄，文件與文件塊的映射
記錄每個(gè)文件中各個(gè)塊所在數(shù)據(jù)節(jié)點(diǎn)?的信息
DataNode
存儲(chǔ)并檢索數(shù)據(jù)塊
向NameNode更新所存儲(chǔ)塊的列表
HDFS優(yōu)點(diǎn)
適合大數(shù)據(jù)存儲(chǔ)，支持TB/PB級(jí)的數(shù)據(jù)存儲(chǔ)，并有副本策略
可構(gòu)建在廉價(jià)的機(jī)器上，并有一定 的容錯(cuò)和恢復(fù)機(jī)制
支持流式數(shù)據(jù)訪問，一次寫入，多次讀取最高效
HDFS缺點(diǎn)
不適合大量小文件存儲(chǔ)
不適合并發(fā)寫入 ，不支持文件隨機(jī)修改
不支持隨機(jī)讀等低延時(shí)的訪問方式
查看全部 -
Hive：數(shù)據(jù)倉(cāng)庫(kù)，提供大量結(jié)構(gòu)化數(shù)據(jù)檢索的功能。
Spark：基于內(nèi)存的分布式計(jì)算框架。
Sqoop：傳統(tǒng)數(shù)據(jù)庫(kù)與Hadoop之間導(dǎo)入導(dǎo)出的工具。
Ambari：Hadoop集群管理部署和監(jiān)控的框架。
查看全部 -
Hadoop查看全部
-
2123123
查看全部
舉報(bào)