-
Flink table 與sql的算子操作
查看全部 -
并行
查看全部 -
demo
查看全部 -
課程大綱
查看全部 -
隨便寫點啥
查看全部 -
Flink Table & SQL API
?
查看全部 -
Flink Table & SQL
在Flink中，相等要使用三個 === 表示
查看全部 -
Flink 示意圖
查看全部 -
Flink1.7.2新特性
（1）支持scala 2.12
? (2) SQL 功能完善
（3）最新kafka連接器
（4）Streaming SQL新增Temporal Tables(時態(tài)表)
? ?時態(tài)表：記錄了數(shù)據(jù)發(fā)生該表的歷史狀態(tài)，該表可以返回特定時間點的表的內(nèi)容
? (5)Streaming SQL支持模式匹配
? ?Flink CEP是Flink的復(fù)雜事件處理庫，允許你在流上定義一系列的模式（pattern）,最終使得你可以方便的抽取? ? ?自己需要的重要的事件處理。抽取自己需要的數(shù)據(jù)。
（6）Streaming SQL支持更多函數(shù)：REPLACE、REPEAT、LIRIM等函數(shù)
Blink 開源
阿里巴巴內(nèi)部Flink 版本Blink已經(jīng)開源，其最顯著的特點就是強大的sql處理能力??
查看全部 -
kafka?
主題topic---消息分類
查看全部 -
查看消息隊列中消息的列表
bin/kakfa-topics.sh --list --zookeeper localhost:2181
需求：有一個圖書店鋪，需要知道在促銷期間每一本書買了多少
指定消費的位置，從哪里開始消費呢
consumer.setStartFromEarliest();
在上下文中設(shè)置source
env.addSource(consumer);
注冊內(nèi)存表
寫sql
非常重要的知識點：回退更新：
tenv.toRetractStream(result,Row.class).print();
env.execute();
查看全部 -
FlinkSql實戰(zhàn)項目之六十計算中的應(yīng)用
kafka常用命令
創(chuàng)建消息
bin/kafka-topics.sh --create --zookeeper locahost:2181 --replication-factor 1 --partitions 1 --topic test2
啟動生產(chǎn)者的客戶端
bin/kafka-console-producer.sh --broker-list locahost:9092 --topic test2
啟動消費者的客戶端
bin/kafka-console-consumer.sh --bootstrao-server localhost:9092 --topic test2 --from-beginning
--from-beginning 從頭開始消費消息隊列中的數(shù)據(jù)
查看全部 -
定義數(shù)據(jù)結(jié)構(gòu)
（1）獲取上下文環(huán)境
?（2）讀取score.csv
（3）注冊成內(nèi)存表
（4）編寫sql，然后提交執(zhí)行
? ?(5)結(jié)果進行打印
查看全部 -
NBA球星得分王排行榜
誰獲得的得分王頭銜最多
查看全部 -
自定義函數(shù)步驟
繼承方法ScalarFunction
覆寫方法Eval
注冊函數(shù)
應(yīng)用
查看全部 -
Flink提供了很多內(nèi)置函數(shù)
? (1)比較函數(shù)
（2）邏輯函數(shù)
（3）算數(shù)函數(shù)
（4）字符串處理函數(shù)
（5）時間函數(shù)
（6）其他
內(nèi)置函數(shù)的演示沒看
查看全部 -
Table和Sql的算子操作
查看全部 -
Flink Table&SQL的編程模型
查看全部 -
核心概念之并行度
Flink 是由多個任務(wù)組成（source、transformation和sink）。一個任務(wù)由多個并行的實例（線程）來執(zhí)行，一個任務(wù)的并行實例（線程）數(shù)目就被稱為該任務(wù)的并行度。
并行度的級別，4種
合理設(shè)置并行度能極大的提高運行速度
（1）算子級別? ?設(shè)置flink的編程API修改，通過調(diào)用方法的方式
（2）運行環(huán)境級別? ?設(shè)置executionEnvironmentk的方法修改并行度
（3）客戶端級別? $FINK_HOME/bin/flink的-p參數(shù)，
（4）系統(tǒng)級別 修改$FLINK_HOME/conf/flink-conf.yaml文件
并行度的優(yōu)先級：算子>運行環(huán)境>客戶端>系統(tǒng)
注意：并行度不能大于Slot個數(shù)
TaskManager為了對資源進行隔離和增加允許的task數(shù)，引入了slot的概念，這個slot對資源的隔離僅僅是對內(nèi)存進行隔離，策略是均分，比如taskmanager的管理內(nèi)存是3GB，假如有兩個個slot，那么每個slot就僅僅有1.5GB內(nèi)存可用
查看全部 -
核心概念之時間
事件時間：是事件創(chuàng)建的事件。它通常由事件中的時間戳描述，例如kafka消息中的生成的時間戳
攝入時間：是事件進入Flink數(shù)據(jù)流運算符的時間
處理時間：是每一個執(zhí)行時間操作的算符的本地時間
查看全部 -
Flink1.7.2新特性
（1）支持scala 2.12
? (2) SQL 功能完善
（3）最新kafka連接器
（4）Streaming SQL新增Temporal Tables(時態(tài)表)
? ?時態(tài)表：記錄了數(shù)據(jù)發(fā)生該表的歷史狀態(tài)，該表可以返回特定時間點的表的內(nèi)容
? (5)Streaming SQL支持模式匹配
? ?Flink CEP是Flink的復(fù)雜事件處理庫，允許你在流上定義一系列的模式（pattern）,最終使得你可以方便的抽取? ? ?自己需要的重要的事件處理。抽取自己需要的數(shù)據(jù)。
（6）Streaming SQL支持更多函數(shù)：REPLACE、REPEAT、LIRIM等函數(shù)
Blink 開源
阿里巴巴內(nèi)部Flink 版本Blink已經(jīng)開源，其最顯著的特點就是強大的sql處理能力??
查看全部 -
flink 支持 Collection/本次文件的讀寫
查看全部 -
Tuple2<String,Integer> flink 特有的數(shù)據(jù)結(jié)構(gòu)
防御性編程：確保代碼的穩(wěn)健性
查看全部 -
窗口模式圖
查看全部 -
窗口模式處理
查看全部 -
kafka常用命令
啟動zookeeper
nohup bin/zookeeper -server-start.sh config/zookeeper.properties &
啟動server
nohup /bin/kafka-server-start.sh config/server.properties &
查看topic
bin/kafa-topics.sh --list --zookeeper localhost:2181
創(chuàng)建一個topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
發(fā)送數(shù)據(jù)
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消費數(shù)據(jù)
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
查看全部
舉報