第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

Hadoop流程記錄如何跨塊邊界分割?

Hadoop流程記錄如何跨塊邊界分割?

Hadoop流程記錄如何跨塊邊界分割?根據(jù) Hadoop - The Definitive GuideFileInputFormats定義的邏輯記錄通常不適合HDFS塊。例如,TextInputFormat的邏輯記錄是行,它們將經(jīng)??缭紿DFS邊界。這與你的程序的功能沒(méi)有關(guān)系 - 例如,線(xiàn)路不會(huì)丟失或損壞 - 但它值得了解,因?yàn)樗_實(shí)意味著數(shù)據(jù)本地映射(即,與它們?cè)谕恢鳈C(jī)上運(yùn)行的映射)輸入數(shù)據(jù))將執(zhí)行一些遠(yuǎn)程讀取。這導(dǎo)致的輕微開(kāi)銷(xiāo)通常不顯著。假設(shè)記錄行分為兩個(gè)塊(b1和b2)。處理第一個(gè)塊(b1)的映射器將注意到最后一行沒(méi)有EOL分隔符,并從下一個(gè)數(shù)據(jù)塊中取出剩余的行(b2)。映射器如何處理第二個(gè)塊(b2)如何確定第一個(gè)記錄是不完整的并且應(yīng)該從塊(b2)中的第二個(gè)記錄開(kāi)始處理?
查看完整描述

3 回答

?
斯蒂芬大帝

TA貢獻(xiàn)1827條經(jīng)驗(yàn) 獲得超8個(gè)贊

我認(rèn)為如下:InputFormat負(fù)責(zé)將數(shù)據(jù)拆分為邏輯拆分,同時(shí)考慮到數(shù)據(jù)的性質(zhì)。
沒(méi)有什么可以阻止它這樣做,雖然它可以為作業(yè)增加顯著的延遲 - 圍繞所需的分割大小邊界的所有邏輯和讀取都將在jobtracker中發(fā)生。 
最簡(jiǎn)單的記錄感知輸入格式是TextInputFormat。它的工作原理如下(據(jù)我從代碼中理解) - 輸入格式按大小創(chuàng)建拆分,無(wú)論行如何,但LineRecordReader始終:
a)跳過(guò)拆分中的第一行(或部分),如果不是第一次分割
b)在分割的邊界之后讀取一行(如果數(shù)據(jù)可用,那么它不是最后一次分割)。

查看完整回答
反對(duì) 回復(fù) 2019-07-25
  • 3 回答
  • 0 關(guān)注
  • 669 瀏覽
慕課專(zhuān)欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)