第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

DataFrame/DataSet組的行為/優(yōu)化

DataFrame/DataSet組的行為/優(yōu)化

DataFrame/DataSet組的行為/優(yōu)化假設(shè)我們有DataFramedf由下列欄組成:姓名,姓氏,大小,寬度,長(zhǎng)度,體重現(xiàn)在我們想要執(zhí)行幾個(gè)操作,例如,我們希望創(chuàng)建包含大小和寬度數(shù)據(jù)的幾個(gè)DataFrame。val df1 = df.groupBy("surname").agg( sum("size") )val df2 = df.groupBy("surname").agg( sum("width") )您可以注意到,其他列,如Length,在任何地方都不使用。斯派克是否足夠聰明,在洗牌階段之前丟棄多余的列,還是它們被隨身攜帶?Wil Run:val dfBasic = df.select("surname", "size", "width")在分組之前對(duì)性能有什么影響?
查看完整描述

2 回答

?
慕神8447489

TA貢獻(xiàn)1780條經(jīng)驗(yàn) 獲得超1個(gè)贊

我試圖搜索和讀取任何解釋跨節(jié)點(diǎn)混合操作的源,這些操作的性能和分布是DataFrame(特別是)和RDD在節(jié)點(diǎn)上的操作,但是可以找到,給出的只是示例和輸出。你能指導(dǎo)教授這樣的概念的課程嗎(比如RDD中的groupbyKey是昂貴的,而df中的groupby不是)

查看完整回答
反對(duì) 回復(fù) 2019-07-26
  • 2 回答
  • 0 關(guān)注
  • 688 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)