Spark 和 PySpark 的新手，我試圖通過(guò)在另一個(gè) DataFrame 中查找信息來(lái)在 DataFrame 中添加一個(gè)字段/列。在過(guò)去的幾個(gè)小時(shí)里，我一直在嘗試閱讀 RDD、DataFrame、DataSet、map、join 等，但這些概念對(duì)我來(lái)說(shuō)仍然是新的，我仍然很難完全理解它們。例如，給定以下帶有 ID 和角色的輸入 DataFrame：+----+-------------+| ID | Role |+----+-------------+| 1 | Author || 1 | Editor || 2 | Author || 2 | Publisher || 3 | Editor || 3 | Assistant |+----+-------------+另一個(gè)輸入 DataFrame 具有唯一的 ID 和名稱映射：+----+-------------+| ID | Name |+----+-------------+| 1 | John Smith || 2 | John Doe || 3 | Bob Jim Bob |+----+-------------+我需要以某種方式將此數(shù)據(jù)合并到單個(gè)輸出 DataFrame 中，并添加 Name 列，如下所示：+----+-------------+-------------+| ID | Name | Role |+----+-------------+-------------+| 1 | John Smith | Author || 1 | John Smith | Editor || 2 | John Doe | Author || 2 | John Doe | Publisher || 3 | Bob Jim Bob | Editor || 3 | Bob Jim Bob | Assistant |+----+-------------+-------------+兩個(gè)輸入表的實(shí)際數(shù)據(jù)量約為 200k+ 行。我最初的想法是在 ID + Role 表中添加一個(gè)新的 Name 列，然后遍歷每一行并手動(dòng)從 ID + Name 表中查找 Name 但這真的很慢，我肯定無(wú)法利用火花。再說(shuō)一次，對(duì)這一切仍然很陌生，所以如果這是一個(gè)非常明顯的問(wèn)題，請(qǐng)?jiān)徫摇?
1 回答
九州編程
TA貢獻(xiàn)1785條經(jīng)驗(yàn) 獲得超4個(gè)贊
您可以在 pySpark 中合并兩個(gè) dataframeS，如下所示：
>>> df1.show()
+---+---------+
| ID| Role|
+---+---------+
| 1| Author|
| 1| Editor|
| 2| Author|
| 2|Publisher|
| 3| Editor|
| 3|Assistant|
+---+---------+
>>> df2.show()
+---+-----------+
| ID| Name|
+---+-----------+
| 1| John Smith|
| 2| John Doe|
| 3|Bob Jim Bob|
+---+-----------+
>>> df3 = df2.join(df1,"ID")
>>> df3.show()
+---+-----------+---------+
| ID| Name| Role|
+---+-----------+---------+
| 1| John Smith| Author|
| 1| John Smith| Editor|
| 2| John Doe| Author|
| 2| John Doe|Publisher|
| 3|Bob Jim Bob| Editor|
| 3|Bob Jim Bob|Assistant|
+---+-----------+---------+
注意：我假設(shè)"ID"為外鍵，如有任何疑問(wèn)，請(qǐng)發(fā)表評(píng)論。
添加回答
舉報(bào)
0/150
提交
取消