spark 怎么獲取jobid
spark 怎么獲取jobid
三國(guó)紛爭(zhēng)
2018-08-28 00:00:23
1 回答
慕姐4208626
TA貢獻(xiàn)1852條經(jīng)驗(yàn) 獲得超7個(gè)贊
不知道你問(wèn)的是框架層還是應(yīng)用層？應(yīng)用層無(wú)法獲取Spark的JobID。
框架層，action操作觸發(fā)SparkContext執(zhí)行runJob方法，SparkContext會(huì)維護(hù)一個(gè)AtomicInteger對(duì)象，對(duì)象名稱(chēng)為nextJobId，該對(duì)象通過(guò)調(diào)用getAndIncrement()生成JobID。
添加回答
舉報(bào)
0/150
提交
取消