-
維基百科,統(tǒng)計(jì)編輯
查看全部 -
創(chuàng)建項(xiàng)目
查看全部 -
Flink組件棧
查看全部 -
常用算子
查看全部 -
Flink分布式運(yùn)行環(huán)境
Flink是基于Master-Slave風(fēng)格的架構(gòu)。
Flink集群?jiǎn)?dòng)時(shí),會(huì)啟動(dòng)一個(gè)JobManager進(jìn)程、至少一個(gè)TaskManager進(jìn)程。
JobManager:1、Flink系統(tǒng)的協(xié)調(diào)者,它負(fù)責(zé)接收Flink Job,調(diào)度組成Job的多個(gè)Task的執(zhí)行。2、收集Job的狀態(tài)信息,并管理Flink集群中從節(jié)點(diǎn)TaskManager。
TaskManager:1、實(shí)際負(fù)責(zé)執(zhí)行計(jì)算的worker,在其上執(zhí)行Flink Job的一組Task。2、TaskManager負(fù)責(zé)管理其所在節(jié)點(diǎn)上的資源信息,比如內(nèi)存、磁盤(pán)、網(wǎng)絡(luò),在啟動(dòng)的時(shí)候?qū)①Y源的狀態(tài)向JobManager匯報(bào)。
Client:1、用戶提交一個(gè)Flink程序時(shí),會(huì)首先創(chuàng)建一個(gè)Client,該Client首先會(huì)對(duì)用戶提交的Flink程序進(jìn)行預(yù)處理,并提交到Flink集群。2、Client會(huì)將用戶提交的Flink程序組裝成一個(gè)JobGraph,并且是以JobGraph的形式提交的。
查看全部 -
flinl程序的基礎(chǔ)構(gòu)建塊是流+轉(zhuǎn)換,每個(gè)數(shù)據(jù)流始于一個(gè)或多個(gè)source、止于sink
env是flink的運(yùn)行環(huán)境、上下文,然后消費(fèi)獲取kafka中的數(shù)據(jù)進(jìn)行一系列轉(zhuǎn)化操作,最后addsink將處理好的數(shù)據(jù)落地。
flink支持并行
查看全部 -
mark
查看全部 -
Flink課程大綱
查看全部 -
Flink的架構(gòu)
查看全部 -
Flink的架構(gòu)
查看全部 -
streams? 流
transformations: map reduce
查看全部 -
Flink課程大綱
查看全部 -
窗口函數(shù)圖解
查看全部 -
flink入門(mén)教程查看全部
-
Flink高吞吐,低延遲,高性能流計(jì)算框架 支持在線和離線查看全部
-
架構(gòu)、容錯(cuò)
查看全部 -
flink優(yōu)勢(shì)
查看全部 -
flink組件棧
查看全部 -
flink課程大綱
查看全部 -
curl https://flink.apache.org/q/quickstart.sh?| bash
查看全部 -
quickstart version:0.1
查看全部 -
窗口的分類(lèi)
查看全部 -
Flink優(yōu)勢(shì):
1、支持高吞吐、低延遲、高性能流處理。
2、支持高度靈活的窗口操作。
3、支持有狀態(tài)計(jì)算的Exactly-once語(yǔ)義。
4、提供DataStream API和DataSet API。
查看全部 -
libraries
查看全部
舉報(bào)