第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題,去搜搜看,總會(huì)有你想問(wèn)的

為什么 Storm 比 Hadoop 快?是由哪幾個(gè)方面決定的?

為什么 Storm 比 Hadoop 快?是由哪幾個(gè)方面決定的?

紅顏莎娜 2018-10-17 11:07:59
為什么 Storm 比 Hadoop 快?是由哪幾個(gè)方面決定的
查看完整描述

1 回答

?
狐的傳說(shuō)

TA貢獻(xiàn)1804條經(jīng)驗(yàn) 獲得超3個(gè)贊

“快”這個(gè)詞是不明確的,專業(yè)屬于點(diǎn)有兩個(gè)層面:
  1. 延時(shí) , 指數(shù)據(jù)從產(chǎn)生到運(yùn)算產(chǎn)生結(jié)果的時(shí)間,題主的“快”應(yīng)該主要指這個(gè)。
  2. 吞吐, 指系統(tǒng)單位時(shí)間處理的數(shù)據(jù)量。
  首先明確一點(diǎn),在消耗資源相同的情況下,一般來(lái)說(shuō)storm的延時(shí)低于mapreduce。但是吞吐也低于mapreduce。 我再補(bǔ)充一下。storm是典型的流計(jì)算系統(tǒng),mapreduce是典型的批處理系統(tǒng)。下面對(duì)流計(jì)算和批處理系統(tǒng)流程
  真?zhèn)€數(shù)據(jù)處理流程來(lái)說(shuō)大致可以分三個(gè)階段:
  1. 數(shù)據(jù)采集與準(zhǔn)備
  2. 數(shù)據(jù)計(jì)算(涉及計(jì)算中的中間存儲(chǔ)), 題主中的“那些方面決定”應(yīng)該主要是指這個(gè)階段處理方式。
  3. 數(shù)據(jù)結(jié)果展現(xiàn)(反饋)
  1)數(shù)據(jù)采集階段,目前典型的處理處理策略:數(shù)據(jù)的產(chǎn)生系統(tǒng)一般出自頁(yè)面打點(diǎn)和解析DB的log,流計(jì)算將數(shù)據(jù)采集中消息隊(duì)列(比如kafaka,metaQ,timetunle)等。批處理系統(tǒng)一般將數(shù)據(jù)采集進(jìn)分布式文件系統(tǒng)(比如HDFS),當(dāng)然也有使用消息隊(duì)列的。我們暫且把消息隊(duì)列和文件系統(tǒng)稱為預(yù)處理存儲(chǔ)。二者在延時(shí)和吞吐上沒(méi)太大區(qū)別,接下來(lái)從這個(gè)預(yù)處理存儲(chǔ)進(jìn)入到數(shù)據(jù)計(jì)算階段有很大的區(qū)別,流計(jì)算一般在實(shí)時(shí)的讀取消息隊(duì)列進(jìn)入流計(jì)算系統(tǒng)(storm)的數(shù)據(jù)進(jìn)行運(yùn)算,批處理一系統(tǒng)一般會(huì)攢一大批后批量導(dǎo)入到計(jì)算系統(tǒng)(hadoop),這里就有了延時(shí)的區(qū)別。
  2)數(shù)據(jù)計(jì)算階段,流計(jì)算系統(tǒng)(storm)的延時(shí)低主要有一下幾個(gè)方面(針對(duì)題主的問(wèn)題)
  A: storm 進(jìn)程是常駐的,有數(shù)據(jù)就可以進(jìn)行實(shí)時(shí)的處理
轉(zhuǎn)載,僅供參考。.

查看完整回答
反對(duì) 回復(fù) 2018-10-22
  • 1 回答
  • 0 關(guān)注
  • 1239 瀏覽

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)