我有一個(gè)JavaPairRDD<Dimension, Metrics>，這里Dimension&Metrics對(duì)象有一堆成員。有沒有辦法將其轉(zhuǎn)換為Dataset<Row>兩個(gè)對(duì)象的所有列/成員。或者還有一種方法可以將其轉(zhuǎn)儲(chǔ)JavaPairRDD到一個(gè)文件中，其中兩個(gè)對(duì)象的列/成員由制表符或逗號(hào)分隔。
1 回答
德瑪西亞99
TA貢獻(xiàn)1770條經(jīng)驗(yàn) 獲得超3個(gè)贊
您可以使用map()轉(zhuǎn)換將 JavaPairRDD 轉(zhuǎn)換為 JavaRDD，將維度和指標(biāo)中的所有成員表示為逗號(hào)分隔的字符串。
在此之后，您可以將其保存為文本文件。
這樣做的邏輯步驟：
覆蓋 Dimension 和 Metrics 類中的 toString() 。您可以在其中將逗號(hào)分隔的值列表作為字符串返回。
在您的火花應(yīng)用程序中 -
Function<Tuple2<Dimension, Metrics>, String> f = tuple -> (tuple._1.toString() +"," + tuple._2.toString());
JavaRDD csvRdd = pairRDD.map(f);
csvRdd.saveAsTextFile("your file path")
添加回答
舉報(bào)
0/150
提交
取消