我遇到的問題是，在使用 Pyspark 讀取 CSV 文件時(shí)無法跳過我自己的標(biāo)頭read.csv。CSV 文件看起來像這樣：°°°°°°°°°°°°°°°°°°°°°°°°° My Header °° Important Data °° Data °°°°°°°°°°°°°°°°°°°°°°°°°MYROW;SECONDROW;THIRDROW290;6848;6648496849684;68463;6384884646;6484;98718我不知道如何跳過所有第一行或“n”行。我嘗試過類似的東西： df_read = spark.read.csv('MyCSV-File.csv', sep=';') \ .rdd.zipWithIndex() \ .filter(lambda x: x[1] > 6) \ .map(lambda x: x[0]) \ .toDF('MYROW','SECONDROW','THIRDROW')是否有可能免排隊(duì)，特別是它的速度有多快？數(shù)據(jù)可能是一些GB。謝謝
1 回答
江戶川亂折騰
TA貢獻(xiàn)1851條經(jīng)驗(yàn) 獲得超5個(gè)贊
您可以在第一行添加過濾器：
.filter(lambda line: not line.startswith("°"))另一種選擇是將這些行標(biāo)記為注釋：
.option("comment", "°")添加回答
舉報(bào)
0/150
提交
取消