第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定

關(guān)于spark內(nèi)核的學(xué)習(xí)筆記

標(biāo)簽:
大數(shù)據(jù)

一、Spark是基于RDD的计算
注意:Spark并没有读文件的方法,借用的是MR读文件的方法。
MR读文件特点:首先他会将文件切片,划分为一个个split
block(个数)=split=partition

二、RDD是分布式弹性数据集,哪些特性体现了分布式:
1、多个partition组成弹性
2、依赖关系
3、容错
Spark运行流程
图片描述
四、worker:真正计算的节点
driver:不会执行业务逻辑
图片描述
解释:
1.构建Spark Application的运行环境(启动Spark Context),Spark Context向资源管理器(可以是Standalone、Mesos、Yarn)注册并申请Executor资源;
2.资源管理器分配Executor资源并开启StandaloneExecutorBackend,Executor运行情况将随着心脏发送到资源管理器上;
3.SparkContext构建DAG图,将DAG图分解成stage,并把Taskset发放给Task Scheduler,Executor向Spark Context申请Task,Task Sheduler将task发放给Executor运行同时Spark Context将应运程序代码发放给Executor
4.Task在Executor上运行,运行完毕释放所有资源

點擊查看更多內(nèi)容
1人點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優(yōu)質(zhì)文章

正在加載中
感謝您的支持,我會繼續(xù)努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進(jìn)行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學(xué)

大額優(yōu)惠券免費領(lǐng)

立即參與 放棄機會
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學(xué)習(xí)伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號

舉報

0/150
提交
取消