我一直在嘗試在 Spark DataFrame 上執(zhí)行 GroupBy 和 count() 很長(zhǎng)時(shí)間但是它需要永遠(yuǎn)處理......處理以下行大約需要 13 秒。從我的角度來(lái)看，我認(rèn)為這需要太多時(shí)間，但我不知道如何減少處理時(shí)間。matched.limit(100).groupBy('Date','Period').agg(count("*").alias('cnt')).show()我正在使用以下配置在 Spark 2.4 上運(yùn)行：驅(qū)動(dòng)程序：2 個(gè) vCPU 8 GB RAM 10 個(gè)執(zhí)行程序：2 個(gè) vCPU 8 GB RAM誰(shuí)能給我提示如何解決這個(gè)問(wèn)題？
1 回答
12345678_0001
TA貢獻(xiàn)1802條經(jīng)驗(yàn) 獲得超5個(gè)贊
我認(rèn)為這是正確的方法?；ㄙM(fèi)的時(shí)間將取決于那里有多少行。
df.groupBy('Date', 'Period').count().show(10, False)添加回答
舉報(bào)
0/150
提交
取消