-
批量計(jì)算 流式計(jì)算 數(shù)據(jù)到達(dá) 計(jì)算開始前數(shù)據(jù)已準(zhǔn)備好 計(jì)算進(jìn)行中數(shù)據(jù)持續(xù)到來 計(jì)算周期 計(jì)算完成后會(huì)結(jié)束計(jì)算 一般會(huì)作為服務(wù)持續(xù)運(yùn)行 使用場(chǎng)景 時(shí)效性要求低的場(chǎng)景 時(shí)效性要求高的場(chǎng)景查看全部
-
流式計(jì)算和批量計(jì)算的整合，目前的工具有查看全部
-
Grouping方式查看全部
-
Nimbus查看全部
-
111查看全部
-
Trident API替代了transcation API保證事務(wù)查看全部
-
石頭查看全部
-
分布式查看全部
-
hdoop查看全部
-
google的三篇論文查看全部
-
Nimbus掛掉,換臺(tái)機(jī)器重啟就可 supervisor掛掉,將上面的worker遷移走就可以 worker掛掉,利用ack機(jī)制保證數(shù)據(jù)未處理成功,會(huì)通知spout重新發(fā)送.需要對(duì)記錄通過msgId進(jìn)行去重.也就是spout發(fā)送tuple時(shí)指定msgId, spout也掛掉: 可以將數(shù)據(jù)記錄到外部存儲(chǔ),設(shè)置checkpoint。查看全部
-
Spout繼承BaseRichSpout 并包含幾個(gè)方法（聲明字段、初始化、數(shù)據(jù)讀取和輸出） Spout中 nextTuple方法：隨機(jī)讀取String sentence中的句子通_collector.emit(next)發(fā)送給下游查看全部
-
官網(wǎng)下載地址：storm.apache.org/downloads.html 盡量不要選src，因?yàn)閴嚎s包為src類型的是源碼，需要編譯。 0.9.5.zip版本下載，在current release下面。 maven是storm的項(xiàng)目管理工具，需要在maven官網(wǎng)下載maven。 Maven官網(wǎng)： 下載地址鏈接：archive.apache.org/dist/maven/binaries 解壓maven.把maven的目錄解壓到bin目錄里面查看全部
-
storm采用主從結(jié)構(gòu)，主Nimbus和多個(gè)從Supervisor. Nimbus只負(fù)責(zé)管理性的工作. 單點(diǎn)問題必須保證主節(jié)點(diǎn)是無狀態(tài)的，重啟就能恢復(fù),相關(guān)元數(shù)據(jù)配置信息都是存儲(chǔ)在zookeeper上。 Supervisor主要聽Nimbus的話管理啟動(dòng)和監(jiān)控worker。 worker是真正干活的進(jìn)程負(fù)責(zé)數(shù)據(jù)傳輸和計(jì)算.查看全部
-
storm 作業(yè)提交運(yùn)行流程查看全部
舉報(bào)
0/150
提交
取消