首頁猿問探索 Spark 執(zhí)行計劃、階段數(shù)等

探索 Spark 執(zhí)行計劃、階段數(shù)等

Python

絕地?zé)o雙 2022-01-11 17:04:13

我需要優(yōu)化我的 pyspark 代碼，以便有一個盡可能并行的執(zhí)行計劃；我會知道是否有比 .explain 方法（不可讀）更好的方法來探索 DAG，例如“普通”圖形對象。例如，知道階段的總數(shù)、DAG 的“一級節(jié)點”的數(shù)量等會非常有用。謝謝。

查看完整描述

1 回答

子衿沉夜

TA貢獻1828條經(jīng)驗獲得超3個贊

您可以通過添加“True”從催化劑優(yōu)化器中獲得更詳細的解釋計劃。也許這就是您正在尋找的

df = spark.range(10)

df.explain(True)

...output...

== Parsed Logical Plan ==

Range (0, 10, step=1, splits=Some(8))

== Analyzed Logical Plan ==

id: bigint

Range (0, 10, step=1, splits=Some(8))

== Optimized Logical Plan ==

Range (0, 10, step=1, splits=Some(8))

== Physical Plan ==

*(1) Range (0, 10, step=1, splits=8)

更詳細的，您還可以訪問 Spark UI，它提供了 DAG 可視化和作業(yè)、階段、任務(wù)、緩存對象、執(zhí)行程序分布和環(huán)境變量的分解......您可以通過默認的url ' driver_node_host:4040 '訪問它端口...此處的文檔以獲取其他配置=> https://spark.apache.org/docs/latest/configuration.html#spark-ui

反對回復(fù) 2022-01-11