第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

火花流后立即火花RDD過濾器

火花流后立即火花RDD過濾器

明月笑刀無情 2021-09-29 13:16:54
我正在使用火花流,我從 Kafka 讀取流。閱讀此流后,我將其添加到榛子地圖。問題是,我需要在從 Kafka 讀取流后立即從地圖中過濾值。我使用下面的代碼來并行化地圖值。List<MyCompObj> list = CacheManager.getInstance().getMyMap().values().stream().collect(Collectors.toList());JavaRDD<MyCompObj> myObjRDD = sparkContext.parallelize(list);但是在這個(gè)邏輯中,我在另一個(gè)是 JavaInputDStream.foreachRDD 中使用 JavaRDD,這會(huì)導(dǎo)致序列化問題。第一個(gè)問題是,如何通過事件驅(qū)動(dòng)運(yùn)行我的 Spark 作業(yè)?另一方面,我只是想就預(yù)定的 Spark 作業(yè)獲得一些意見。安排 Spark 作業(yè)在特定時(shí)間執(zhí)行它的最佳做法是什么?
查看完整描述

2 回答

?
慕田峪7331174

TA貢獻(xiàn)1828條經(jīng)驗(yàn) 獲得超13個(gè)贊

你考慮過Hazelcast Jet嗎?它是由 Hazelcast 構(gòu)建的流媒體引擎。持續(xù)將數(shù)據(jù)從 Kafka 泵送到 Hazelcast 一種容錯(cuò)方式是它的面包和黃油,請(qǐng)參閱代碼示例

Jet 與嵌入式 Hazelcast 打包在一起,可為您簡(jiǎn)化架構(gòu)。



查看完整回答
反對(duì) 回復(fù) 2021-09-29
?
慕尼黑的夜晚無繁華

TA貢獻(xiàn)1864條經(jīng)驗(yàn) 獲得超6個(gè)贊

我通過將流處理和批處理分成兩部分來解決我的問題,因?yàn)樗仨毷恰?/p>

我正在使用石英和 SparkLauncher 來觸發(fā)新工作(示例


查看完整回答
反對(duì) 回復(fù) 2021-09-29
  • 2 回答
  • 0 關(guān)注
  • 200 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)