-
SparkSQL、HiveSQL、FlinkSQL的解析和優(yōu)化器
查看全部 -
這節(jié)課講第2個(gè)案例： 數(shù)據(jù)源 （source）和?目的地 （sink）? 都是 kafka?
查看全部 -
工程里加 POM 依賴：?
- flink table planner?
- flink connector files
- flink json
- hadoop client
~~~~~~~~~~~
教程里的版本是? 1.15
演示的代碼是3個(gè) sql ，創(chuàng)建 2個(gè)表，執(zhí)行 insert 語(yǔ)句：??
file_source? 數(shù)據(jù)來(lái)源（json 文件）
print_sink? 結(jié)果打印到控制臺(tái) （print 控制臺(tái)）
先啟動(dòng) hdfs 集群，才能在 file_source 調(diào)用? hdfs://bigdata01:9000/stu.json ）
對(duì)比 stream 模式 和 batch 模式 ， steam 是一條條記錄產(chǎn)生，而 batch是全部記錄一次產(chǎn)生（離線模式）
查看全部 -
將 sql 語(yǔ)句轉(zhuǎn)換為 ast 抽象語(yǔ)法樹，操作 ast 就能把 sql 的計(jì)算邏輯轉(zhuǎn)化為代碼（calcite 引擎）
sql parser??
sql validate
生成 logical plan
生成 optimized logical plan
生成 flink physical plan
生成 flink execution plan 轉(zhuǎn)換為算子代碼
查看全部 -
hive SQL, spark SQL? 都是基于離線數(shù)據(jù)
flink SQL 可支持實(shí)時(shí)數(shù)據(jù)
中間的 SQL 會(huì)動(dòng)態(tài)觸發(fā)，每次輸入表（動(dòng)態(tài)表）新增數(shù)據(jù)，就會(huì)觸發(fā)1次，更新輸出表的結(jié)果數(shù)據(jù)
（右邊相當(dāng)于自動(dòng)在做 insert 和 update ）
查看全部
舉報(bào)