首頁猿問用火花-csv編寫單個csv文件

用火花-csv編寫單個csv文件

.NET 源碼算法與數(shù)據(jù)結(jié)構(gòu)

尚方寶劍之說 2019-07-11 20:53:33

用火花-csv編寫單個csv文件我在用https://github.com/databricks/spark-csv，我試圖寫一個CSV，但不能，它是一個文件夾。需要一個Scala函數(shù)，它將接受像路徑和文件名這樣的參數(shù)，并編寫那個CSV文件。

查看完整描述

3 回答

慕森王

TA貢獻(xiàn)1777條經(jīng)驗獲得超3個贊

它正在創(chuàng)建一個包含多個文件的文件夾，因為每個分區(qū)都是單獨保存的。如果需要一個輸出文件(仍在文件夾中)，則可以repartition(如果上游數(shù)據(jù)很大，但需要洗牌，則首選)：

df   .repartition(1)
   .write.format("com.databricks.spark.csv")
   .option("header", "true")
   .save("mydata.csv")

或coalesce:

df   .coalesce(1)
   .write.format("com.databricks.spark.csv")
   .option("header", "true")
   .save("mydata.csv")

保存前的數(shù)據(jù)幀：

所有數(shù)據(jù)將寫入mydata.csv/part-00000..在使用此選項之前確保您了解正在發(fā)生的事情，以及將所有數(shù)據(jù)傳輸給單個員工的成本。..如果使用帶有復(fù)制的分布式文件系統(tǒng)，數(shù)據(jù)將被多次傳輸-首先獲取到單個工作人員，然后通過存儲節(jié)點分發(fā)。

或者，您可以保留代碼的原樣，并使用通用工具，如cat或HDFSgetmerge然后簡單地合并所有的部分。

反對回復(fù) 2019-07-11

HUWWW

TA貢獻(xiàn)1874條經(jīng)驗獲得超12個贊

如果您正在使用HDFS運行SPark，我一直在通過正常編寫CSV文件和利用HDFS進(jìn)行合并來解決這個問題。我是在星火(1.6)直接這樣做的：

import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs._def merge(srcPath: String, dstPath: String): Unit =  {
   val hadoopConfig = new Configuration()
   val hdfs = FileSystem.get(hadoopConfig)
   FileUtil.copyMerge(hdfs, new Path(srcPath), hdfs, new Path(dstPath), true, hadoopConfig, null) 
   // the "true" setting deletes the source files once they are merged into the new output}val newData =
    << create your dataframe >>val outputfile = "/user/feeds/project/outputs/subject"  
    var filename = "myinsights"var outputFileName = outputfile + "/temp_" + filename 
var mergedFileName = outputfile + "/merged_" + filenamevar mergeFindGlob  = outputFileName

    newData.write        .format("com.databricks.spark.csv")
        .option("header", "false")
        .mode("overwrite")
        .save(outputFileName)
    merge(mergeFindGlob, mergedFileName )
    newData.unpersist()

我不記得我是從哪里學(xué)到這個把戲的，但它可能對你有用。

反對回復(fù) 2019-07-11