第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全，請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問(wèn)題，去搜搜看，總會(huì)有你想問(wèn)的

如何跳過(guò)Spark中CSV文件的標(biāo)題？

如何跳過(guò)Spark中CSV文件的標(biāo)題？

如何跳過(guò)Spark中CSV文件的標(biāo)題？假設(shè)我給三個(gè)文件路徑指向要讀取的Spark上下文，并且每個(gè)文件在第一行中都有一個(gè)模式。我們?nèi)绾螐念^文件中跳過(guò)架構(gòu)線？val rdd=sc.textFile("file1,file2,file3")現(xiàn)在，我們?nèi)绾翁^(guò)此rdd的標(biāo)題行？
查看完整描述

3 回答

?
牛魔王的故事

TA貢獻(xiàn)1830條經(jīng)驗(yàn) 獲得超3個(gè)贊

如果第一條記錄中只有一個(gè)標(biāo)題行，那么過(guò)濾它的最有效方法是：

rdd.mapPartitionsWithIndex {
  (idx, iter) => if (idx == 0) iter.drop(1) else iter 
}

如果當(dāng)然有許多文件中包含許多標(biāo)題行，這沒(méi)有用。事實(shí)上，你可以通過(guò)這種方式結(jié)合三個(gè)RDD。

你也可以寫(xiě)一個(gè)filter只匹配一個(gè)可能是標(biāo)題的行。這很簡(jiǎn)單，但效率較低。

Python等價(jià)物：

from itertools import islice

rdd.mapPartitionsWithIndex(
    lambda idx, it: islice(it, 1, None) if idx == 0 else it 
)


查看完整回答
反對(duì) 回復(fù) 2019-08-08
?
犯罪嫌疑人X

TA貢獻(xiàn)2080條經(jīng)驗(yàn) 獲得超4個(gè)贊

data = sc.textFile('path_to_data')header = data.first() #extract header
data = data.filter(row => row != header)   #filter out header


查看完整回答
反對(duì) 回復(fù) 2019-08-08
  • 3 回答
  • 0 關(guān)注
  • 1261 瀏覽
慕課專(zhuān)欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

 幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

 公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)