第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定

Spark RPC 到底是個(gè)什么鬼?

標(biāo)簽:
Spark

本文会为大家介绍Spark中的RPC通信机制,详细阐述“Spark RPC到底是个什么鬼?”,闲话少叙,让我们来进入Spark RPC的世界!

Spark RPC三剑客

Spark RPC中最为重要的三个抽象(“三剑客”)为:RpcEnv、RpcEndpoint、RpcEndpointRef,这样做的好处有:

  • 对上层的API来说,屏蔽了底层的具体实现,使用方便

  • 可以通过不同的实现来完成指定的功能,方便扩展

  • 促进了底层实现层的良性竞争,Spark 1.6.3中默认使用了Netty作为底层的实现,但Akka的依赖依然存在;而Spark 2.1.0中的底层实现只有Netty,这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现

下面我们就结合Netty和“三剑客”来具体分析他们是如何来协同工作的。

Send a message locally

我们通过Spark源码中的一个Test(

为了方便理解,先把流程图贴出来,然后详细进行阐述:

webp

下面我们来详细阐述上例的具体过程:

首先是RpcEndpoint创建并注册的流程:(图中的蓝色线条部分)

下面就是通过RpcEndpointRef向其代表的RpcEndpoint发送消息的具体流程:(图中的红色线条部分)

nettyEnv.send(RequestMessage(nettyEnv.address, this, message))

至此,一个简单的发送本地消息的流程执行完成。

什么,上面的图太复杂了?我也觉得,下面给出一张简洁的图:

webp

我们通过NettyRpcEndpointRef来发出一个消息,消息经过NettyRpcEnv、Dispatcher、Inbox的共同处理最终将消息发送到NettyRpcEndpoint,NettyRpcEndpoint收到消息后进行处理(一般是通过模式匹配的方式进行不同的处理)

如果进一步的进行抽象就得到了我们刚开始所讲的“三剑客”:RpcEnv、RpcEndpoint、RpcEndpointRef

webp

RpcEndpointRef发送消息给RpcEnv,RpcEnv查询注册信息将消息路由到指定的RpcEndpoint,RpcEndpoint接收到消息后进行处理(模式匹配的方式)

RpcEndpoint的声明周期:constructor -> onStart -> receive* -> onStop

其中receive*包括receive和receiveAndReply

本文我们只是通过一个简单的测试程序分析了Spark Rpc底层的实现,集群中的其它通信(比如Master和Woker的通信)的原理和这个测试类似,只不过具体的发送方式有所不同(包括ask、askWithRetry等),而且远程发消息的时候使用了OutBox和NIO等相关的内容,感兴趣的朋友可以对源码进行详细的阅读,本文不一一说明,目的就是通过简单的测试理解大致流程,不再为“Spark Rpc到底是什么”而纠结,一句话总结:Spark Rpc就是Spark中对分布式消息通信系统的高度抽象。

本文为原创,欢迎转载,转载请注明出处、作者,谢谢!



作者:sun4lower
链接:https://www.jianshu.com/p/228b274faa51


點(diǎn)擊查看更多內(nèi)容
TA 點(diǎn)贊

若覺(jué)得本文不錯(cuò),就分享一下吧!

評(píng)論

作者其他優(yōu)質(zhì)文章

正在加載中
  • 推薦
  • 評(píng)論
  • 收藏
  • 共同學(xué)習(xí),寫(xiě)下你的評(píng)論
感謝您的支持,我會(huì)繼續(xù)努力的~
掃碼打賞,你說(shuō)多少就多少
贊賞金額會(huì)直接到老師賬戶
支付方式
打開(kāi)微信掃一掃,即可進(jìn)行掃碼打賞哦
今天注冊(cè)有機(jī)會(huì)得

100積分直接送

付費(fèi)專欄免費(fèi)學(xué)

大額優(yōu)惠券免費(fèi)領(lǐng)

立即參與 放棄機(jī)會(huì)
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)

舉報(bào)

0/150
提交
取消