第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定

Datax3.0中配置解讀(4)

標簽:
Java

针对几个参数的配置,之前根据阅读源码做了一些解读,这里做一下总结.

core.json

1-core.container.taskGroup.channel

   1.1 将拆分成的Task重新组合后 组装成的TaskGroup(任务组),默认启动的线程数量去执行这些Task

   1.2 和job配置中的channel配合使用,可以提高taskGroup的并发个数(前提是没有配置byte和record)

每一个Task都由TaskGroup负责启动,Task启动后,会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。

2-core.transport.channel.speed.byte

   2.1 首先作为单个channel的byte大小限速参数

   2.2 和job中配置的job.setting.speed.byte配合使用,可以提高taskGroup的并发个数

3-core.transport.channel.speed.record

   3.1 首先作为单个channel的record数量限速参数

   3.2 和job中配置的job.setting.speed.record配合使用,可以提高taskGroup的并发个数

job.json

1-job.setting.speed.channel

  1.1 job.setting.speed.channel/core.container.taskGroup.channel  获取taskGroup并发的个数

2-job.setting.speed.byte

 1.1  job.setting.speed.byte/core.transport.channel.speed.byte)/core.container.taskGroup.channel 获取taskGroup并发的个数

3-job.setting.speed.record

 1.1job.setting.speed.record/core.transport.channel.speed.record)/core.container.taskGroup.channel 获取taskGroup并发的个数

  

实例:

全局限速:

job.setting.speed.byte  1000  可以理解为整个任务所有任务的速度总和

core.transport.channel.speed.byte 100 单个channel限速

core.container.taskGroup.channel 5

此时如果切分后task的个数大于通过byte计算出的needChannelNumber,

可以获取到taskGroup的个数为10/5=2

每个taskGroup提交到固定大小为2的线程池执行任务,并且执行任务的并发数是5

主要阅读的代码路径:

com.alibaba.datax.core.job.JobContainer
com.alibaba.datax.core.transport.channel.Channel
com.alibaba.datax.core.taskgroup.TaskGroupContainer


限速的逻辑:
* 1- 获取到core.transport.channel.speed.byte和core.transport.channel.speed.record两个配置的参数值
* 2-判断是否大于0,如果两个都没有配置,则直接返回
* 3-根据byte计算出当前的速度,和配置的byte做比较,计算出需要休眠的时间
* 4-根据record计算出当前的速度,和配置的record做比较,计算出需要休眠的时间
* 5-获取休眠时间较大的值进行sleep.

调整channelNumber的逻辑在之前的文章已经总结可以去查看。

后续发现问题,会更新文章。


點擊查看更多內(nèi)容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優(yōu)質(zhì)文章

正在加載中
JAVA開發(fā)工程師
手記
粉絲
6390
獲贊與收藏
157

關(guān)注作者,訂閱最新文章

閱讀免費教程

  • 推薦
  • 1
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續(xù)努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優(yōu)惠券免費領(lǐng)

立即參與 放棄機會
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學習伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號

舉報

0/150
提交
取消