DataFrame/DataSet組的行為/優(yōu)化假設(shè)我們有DataFramedf由下列欄組成:姓名,姓氏,大小,寬度,長(zhǎng)度,體重現(xiàn)在我們想要執(zhí)行幾個(gè)操作,例如,我們希望創(chuàng)建包含大小和寬度數(shù)據(jù)的幾個(gè)DataFrame。val df1 = df.groupBy("surname").agg( sum("size") )val df2 = df.groupBy("surname").agg( sum("width") )您可以注意到,其他列,如Length,在任何地方都不使用。斯派克是否足夠聰明,在洗牌階段之前丟棄多余的列,還是它們被隨身攜帶?Wil Run:val dfBasic = df.select("surname", "size", "width")在分組之前對(duì)性能有什么影響?
DataFrame/DataSet組的行為/優(yōu)化
POPMUISE
2019-07-25 18:14:27