-
5、在Map節(jié)點(diǎn)，框架可以執(zhí)行reduce規(guī)約，此步驟為可選項(xiàng)。
6、框架會(huì)把map task輸出的<k2.v2>寫(xiě)入到linux的磁盤(pán)文件中。
查看全部 -
5、在Map節(jié)點(diǎn)，框架可以執(zhí)行reduce規(guī)約，此步驟為可選項(xiàng)。
查看全部 -
3、框架對(duì)map函數(shù)輸出的<k2,v2>進(jìn)行分區(qū)。不同分區(qū)中的<k2,v2>由不同的reduce task處理，默認(rèn)只有一個(gè)分區(qū)。
4、框架對(duì)每個(gè)分區(qū)中的數(shù)據(jù)，按照k2進(jìn)行排序、分組。分組，指的是相同的K2的V2分成一個(gè)組。
查看全部 -
MapReduce之map階段執(zhí)行過(guò)程
1、框架會(huì)把輸入文件（夾）劃分成很多InputSplit，默認(rèn)，每個(gè)HDFS的block對(duì)應(yīng)一個(gè)InputSplit。通過(guò)RecordReader類(lèi)把每個(gè)InputSplit解析成一個(gè)個(gè)<k1,v1>。默認(rèn)每行會(huì)被解析成一個(gè)<k1,v1>
2、框架調(diào)用Mapper類(lèi)中的map(...)函數(shù)，map函數(shù)的形參是<k1,v1>，輸出是<k2,v2>。一個(gè)InputSplit對(duì)應(yīng)一個(gè)map task
查看全部 -
WordCount案列分析
查看全部 -
MapReduce原理分析
查看全部 -
MapReduce概述
1、MapReduce是一種分布式計(jì)算模型，由Google提出，主要用于搜索領(lǐng)域，解決海量數(shù)據(jù)的計(jì)算問(wèn)題
2、MapReduce是分布式運(yùn)行的，由兩個(gè)階段組成：Map和Reduce
3、MapReduce框架都有默認(rèn)實(shí)現(xiàn)，，用戶(hù)只需要覆蓋map()和reduce()兩個(gè)函數(shù)，即可實(shí)現(xiàn)分布式計(jì)算，非常簡(jiǎn)單。
查看全部 -
第二份關(guān)系：DataNode與Block的關(guān)系（當(dāng)DataNode啟動(dòng)的時(shí)候，會(huì)把當(dāng)前節(jié)點(diǎn)上的Block信息和節(jié)點(diǎn)信息上報(bào)給NameNode）
查看全部 -
NameNode總結(jié)
1、第一份關(guān)系：File與Block list的關(guān)系，對(duì)應(yīng)的關(guān)系信息存儲(chǔ)在fsimage和edits文件中（當(dāng)NameNode啟動(dòng)的時(shí)候會(huì)把文件中的內(nèi)容加載到內(nèi)存中）
查看全部 -
DataNode介紹
1、提供真實(shí)文件數(shù)據(jù)的存儲(chǔ)服務(wù)
2、HDFS會(huì)按照固定的大小，順序?qū)ξ募M(jìn)行劃分并編號(hào)，劃分好的每一個(gè)塊稱(chēng)一個(gè)Block，HDFS默認(rèn)Block大小是128MB
3、HDFS中，如果一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，那么并不會(huì)占用整個(gè)數(shù)據(jù)塊的存儲(chǔ)空間。
查看全部 -
3、注意：在NameNode的HA的架構(gòu)中是沒(méi)有SecondaryNameNode進(jìn)程的，這個(gè)文件合并操作是由standby NameNode負(fù)責(zé)實(shí)現(xiàn)的。
查看全部 -
SecondaryNameNode介紹
1、主要負(fù)責(zé)定期地把edits文件中的內(nèi)容合并到fsimage中
2、這個(gè)合并操作稱(chēng)為checkpoint，在合并的時(shí)候會(huì)對(duì)edits中的內(nèi)容進(jìn)行轉(zhuǎn)換，生成新的內(nèi)容保存到fsimage文件中
查看全部 -
以上文件，即fsimage、edits、seed_txid，Version文件的保存的路徑由hdfs-default.xml文件中的dfs.namenode.name.dir屬性控制
查看全部 -
NameNode介紹
1、NameNode是整個(gè)文件系統(tǒng)的管理節(jié)點(diǎn)，它主要維護(hù)著整個(gè)文件系統(tǒng)的目錄樹(shù)，文件/目錄的元信息，，每個(gè)文件對(duì)應(yīng)的數(shù)據(jù)塊列表，并且還負(fù)責(zé)接收用戶(hù)的操作請(qǐng)求。
2、NameNode主要包含以下文件：fsimage,edits,seed_txid,VERSION
查看全部 -
HDFS的shell操作
查看全部
舉報(bào)