-
zookeeper配置查看全部
-
Mapreduce的組成示例查看全部
-
處理過程示例圖查看全部
-
Spout、Bolt、Stream、Tuple查看全部
-
mvn exec:java "-Dstorm.topology=storm.starter.WordCountTopology"查看全部
-
storm作業(yè)提交運(yùn)行流程 1.用戶編寫storm Topolgy(wordCountTopology) 一個用戶作業(yè) 2.使用client提交Topolgy給nimbus 3.nimbus提派Task給supervisor 4.supervisor為task啟動worker 5.worker執(zhí)行task -------------------------- storm采用主從結(jié)構(gòu)，主Nimbus和多個從Supervisor,Nimbus只負(fù)責(zé)管理性的工作單點(diǎn)問題必須保證主節(jié)點(diǎn)是無狀態(tài)的，重啟就能恢復(fù),相關(guān)元數(shù)據(jù)配置信息都是存儲在zookeeper上。Supervisor主要聽Nimbus的話管理啟動和監(jiān)控worker, worker是真正干活的進(jìn)程負(fù)責(zé)數(shù)據(jù)傳輸和計算. ------------------------------- Storm 主從結(jié)構(gòu) Nimbus 主節(jié)點(diǎn)，只負(fù)責(zé)整體分配工作，不具體干活 Supervisor 從節(jié)點(diǎn)，維護(hù)每臺機(jī)器，直接管理干活的Worker Worker 真正干活的（task）進(jìn)程，數(shù)據(jù)計算和傳輸 DRPC Storm UI 監(jiān)控WEB 運(yùn)行流程 用戶編寫作業(yè) 使用客戶端提交給Nimbus Nimbus指派Task給Supervisor Supervisor 為task啟動Worker Worker 執(zhí)行Task查看全部
-
Storm 主從結(jié)構(gòu) Nimbus 主節(jié)點(diǎn)，只負(fù)責(zé)整體分配工作，不具體干活 Supervisor 從節(jié)點(diǎn)，維護(hù)每臺機(jī)器，直接管理干活的Worker Worker 真正干活的（task）進(jìn)程，數(shù)據(jù)計算和傳輸 DRPC Storm UI 監(jiān)控WEB 運(yùn)行流程 用戶編寫作業(yè) 使用客戶端提交給Nimbus Nimbus指派Task給Supervisor Supervisor 為task啟動Worker Worker 執(zhí)行Task查看全部
-
批量計算 流式計算 數(shù)據(jù)到達(dá) 計算開始前數(shù)據(jù)已準(zhǔn)備好 計算進(jìn)行中數(shù)據(jù)持續(xù)到來 計算周期 計算完成后會結(jié)束計算 一般會作為服務(wù)持續(xù)運(yùn)行 使用場景 時效性要求低的場景 時效性要求高的場景查看全部
-
hadoop生態(tài)查看全部
-
google的三篇論文查看全部
-
1.分清流式計算(實(shí)效要求高的場景)與批量計算(實(shí)效要求不高的場景)各自的適用場景 2.知道流式計算中時效性和正確性的取舍 GFS,bigTable,Mapreduce只適合解決批量計算的場景,只能先收集數(shù)據(jù)收集得足夠多之后,再進(jìn)行Mapreduce處理，處理完后結(jié)束計算。 搜索引警惡意點(diǎn)擊分析,需要實(shí)時知道點(diǎn)擊是否是惡意點(diǎn)擊.以減少損失. apache storm流式數(shù)據(jù)則是數(shù)據(jù)持續(xù)不斷到來,一般做為一個服務(wù)持續(xù)不斷運(yùn)行. 流式計算與批量計算整合開源框架(summint bird(trite),cloud data flow(谷歌))查看全部
-
批量計算和流式計算查看全部
-
用戶編寫Storm Topolgy 使用Client提交Topology給Nimbus Nimbus指派Task給Supervisor Supervisor為Task啟動Worker Worker執(zhí)行Task查看全部
-
批量計算 流式計算 計算開始前數(shù)據(jù)已準(zhǔn)備好 計算進(jìn)行中數(shù)據(jù)持續(xù)到來 計算完成后結(jié)束計算 一般會作為服務(wù)持續(xù)運(yùn)行 時效性要求低的場景 時效性要求高的場景查看全部
-
分布式：把一個任務(wù)拆解給多個計算機(jī)去執(zhí)行，多個計算機(jī)執(zhí)行同一個任務(wù)。查看全部
舉報
0/150
提交
取消