我有一個(gè)具有一行和幾列的數(shù)據(jù)框。一些列是單個(gè)值，另一些是列表。所有列表列的長(zhǎng)度均相同。我想將每個(gè)列表列拆分為單獨(dú)的行，同時(shí)將任何非列表列保持原樣。樣本DF：from pyspark import Rowfrom pyspark.sql import SQLContextfrom pyspark.sql.functions import explodesqlc = SQLContext(sc)df = sqlc.createDataFrame([Row(a=1, b=[1,2,3],c=[7,8,9], d='foo')])# +---+---------+---------+---+# |  a|        b|        c|  d|# +---+---------+---------+---+# |  1|[1, 2, 3]|[7, 8, 9]|foo|# +---+---------+---------+---+我想要的是：+---+---+----+------+|  a|  b|  c |    d |+---+---+----+------+|  1|  1|  7 |  foo ||  1|  2|  8 |  foo ||  1|  3|  9 |  foo |+---+---+----+------+如果我只有一個(gè)列表列，只需執(zhí)行以下操作即可輕松實(shí)現(xiàn)explode：df_exploded = df.withColumn('b', explode('b'))# >>> df_exploded.show()# +---+---+---------+---+# |  a|  b|        c|  d|# +---+---+---------+---+# |  1|  1|[7, 8, 9]|foo|# |  1|  2|[7, 8, 9]|foo|# |  1|  3|[7, 8, 9]|foo|# +---+---+---------+---+但是，如果我也嘗試使用explode該c列，則會(huì)得到一個(gè)長(zhǎng)度為我想要的平方的數(shù)據(jù)框：df_exploded_again = df_exploded.withColumn('c', explode('c'))# >>> df_exploded_again.show()# +---+---+---+---+# |  a|  b|  c|  d|# +---+---+---+---+# |  1|  1|  7|foo|# |  1|  1|  8|foo|# |  1|  1|  9|foo|# |  1|  2|  7|foo|# |  1|  2|  8|foo|# |  1|  2|  9|foo|# |  1|  3|  7|foo|# |  1|  3|  8|foo|# |  1|  3|  9|foo|# +---+---+---+---+我想要的是-對(duì)于每一列，采用該列中數(shù)組的第n個(gè)元素，并將其添加到新行中。我嘗試過在數(shù)據(jù)框中的所有列之間映射爆炸，但是這似乎也不起作用：df_split = df.rdd.map(lambda col: df.withColumn(col, explode(col))).toDF()