如何透視DataFrame？我開始使用SparkDataFrames，我需要能夠?qū)?shù)據(jù)轉(zhuǎn)到多個(gè)行的1列中創(chuàng)建多列。在燙傷中有內(nèi)置的功能，我相信Python中的Pandas，但是我無法為新的SparkDataframe找到任何東西。我想我可以寫一些自定義函數(shù)來實(shí)現(xiàn)這一點(diǎn)，但我甚至不知道如何開始，特別是因?yàn)槲沂且粋€(gè)星火新手。我知道如何使用內(nèi)置的功能或關(guān)于如何在Scala中編寫東西的建議來完成這一任務(wù)，這是非常值得贊賞的。
3 回答
翻過高山走不出你
TA貢獻(xiàn)1875條經(jīng)驗(yàn) 獲得超3個(gè)贊
id tag value 1 US 50 1 UK 100 1 Can 125 2 US 75 2 UK 150 2 Can 175
id US UK Can 1 50 100 125 2 75 150 175
val countries = List("US", "UK", "Can")val numCountries = countries.length - 1var query = "select *, "for (i <- 0 to numCountries-1) {
query += """case when tag = """" + countries(i) + """" then value else 0 end as """ + countries(i) + ", "}query += """case when tag = """"
+ countries.last + """" then value else 0 end as """ + countries.last + " from myTable"myDataFrame.registerTempTable("myTable")val myDF1 =
sqlContext.sql(query)添加回答
舉報(bào)
0/150
提交
取消