第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定

Spark內(nèi)核分析之Master的注冊(cè)機(jī)制實(shí)現(xiàn)原理

標(biāo)簽:
Spark

 这篇文章我们来讨论一下Master的注册机制;那么有哪些信息需要注册到Master上面去呢?很简单,分别有Worker的注册,Driver的注册,Application的注册。明确了这个以后我们来看一张图;

webp

Master注册流程图

关于Worker和Driver的注册,上面图中已经说的很详细了,我们着重来看看Application的注册流程是如何实现的。

1.在Driver注册完成之后,接着执行Application代码,初始化SparkContext,通过              SparkDeploySchedulerBackend的AppClient内部的线程,ClientActor发送RegisterApplication到Master进行注册;

2.Master接收到请求后,将Application信息写入到内存缓冲中,并将其加入到等待调度队列中;

3.使用持久化引擎将数据进行持久化操作,最后调用Schedule开始相关任务的调度执行;

下面我们看看spark源码是怎么对其进行实现的。

webp

Application注册实现

解释:上图中的sender其实是代表了ClientActor,所以会讲Application的注册信息发送给ClientActor。

webp

加入缓存调度队列实现

总结,本篇内容较短,但是完整的阐述了Worker,Driver,Application的注册机制,下篇会来阐述一下我们的Driver,Application注册完成以后的scheduler调度是如何实现的,同时也是非常非常重要的一个环节,欢迎关注。如需转载,请注明:

上一篇:Spark内核分析之Spark的HA源码分析

本篇:Spark内核分析之Master的注册机制实现原理

下一篇:Spark内核分析之Scheduler资源调度机制



作者:z小赵
链接:https://www.jianshu.com/p/1aba7f39345a


點(diǎn)擊查看更多內(nèi)容
TA 點(diǎn)贊

若覺(jué)得本文不錯(cuò),就分享一下吧!

評(píng)論

作者其他優(yōu)質(zhì)文章

正在加載中
  • 推薦
  • 評(píng)論
  • 收藏
  • 共同學(xué)習(xí),寫下你的評(píng)論
感謝您的支持,我會(huì)繼續(xù)努力的~
掃碼打賞,你說(shuō)多少就多少
贊賞金額會(huì)直接到老師賬戶
支付方式
打開(kāi)微信掃一掃,即可進(jìn)行掃碼打賞哦
今天注冊(cè)有機(jī)會(huì)得

100積分直接送

付費(fèi)專欄免費(fèi)學(xué)

大額優(yōu)惠券免費(fèi)領(lǐng)

立即參與 放棄機(jī)會(huì)
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)

舉報(bào)

0/150
提交
取消