第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會有你想問的

如何檢查我使用 Java 在 Spark-structured-streaming 中從 Kafka

如何檢查我使用 Java 在 Spark-structured-streaming 中從 Kafka

森林海 2023-03-17 17:08:29
我正在嘗試從 kafka 獲取數(shù)據(jù)到 spark-structured-streaming,但我無法檢查我是否做得很好。我想在控制臺上打印來自 kafka 的數(shù)據(jù),但控制臺上什么也沒有??赡苁且?yàn)閬碜钥ǚ蚩ǖ臄?shù)據(jù)量很大,但我不知道。我正在使用 Windows 10。我檢查了 kafka 的端口是由“netstat -an | findstr TARGET_IP”建立的。TARGET_IP 表示kafka生產(chǎn)者的IP。根據(jù)以上結(jié)果的 PID,我檢查了“任務(wù)列表/FI“PID eq 5406””。5406是java.exe的PID,PID 5406占用的內(nèi)存在不斷增加。public static void main( String[] args ) {    SparkSession spark = SparkSession.builder()            .master("local")            .appName("App").getOrCreate();    Dataset<Row> df = spark            .readStream()            .format("kafka")            .option("kafka.bootstrap.servers", "TARGET_IP:TARGET_PORT")            .option("subscribe", "TARGET_TOPIC")            .option("startingOffsets", "earliest")            .load();    df.printSchema();    StreamingQuery queryone = df.writeStream().trigger(Trigger.ProcessingTime(1000)).format("console").start();    try {        queryone.awaitTermination();    } catch (StreamingQueryException e) {        e.printStackTrace();    }}
查看完整描述

1 回答

?
德瑪西亞99

TA貢獻(xiàn)1770條經(jīng)驗(yàn) 獲得超3個(gè)贊

我測試了你的代碼,它可以打印。

首先,您應(yīng)該檢查您的kafka 主題,確保其中有消息。

然后檢查你的 spark 應(yīng)用程序,確保它可以連接你的 kafka 代理。


查看完整回答
反對 回復(fù) 2023-03-17
  • 1 回答
  • 0 關(guān)注
  • 122 瀏覽

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號