我目前在 2.4.5 版上有一個(gè)由 1 個(gè)驅(qū)動(dòng)程序和 2 個(gè)工人組成的 Spark 集群。我想進(jìn)一步優(yōu)化并行性，以便在加載和處理數(shù)據(jù)時(shí)獲得更好的吞吐量，當(dāng)我這樣做時(shí)，我經(jīng)常在控制臺(tái)上收到這些消息：WARN scheduler.TaskSetManager: Stage contains a task of very large size (728 KB). The maximum recommended task size is 100 KB.這是如何運(yùn)作的？我對(duì) Spark 技術(shù)還很陌生，但了解它的基礎(chǔ)知識(shí)，我想知道如何優(yōu)化它，但我不確定它是否涉及配置從屬設(shè)備以擁有更多執(zhí)行程序并通過(guò)這種方式獲得更多并行性，或者我是否需要使用合并或重新分區(qū)功能對(duì)我的數(shù)據(jù)幀進(jìn)行分區(qū)。
1 回答
慕標(biāo)5832272
TA貢獻(xiàn)1966條經(jīng)驗(yàn) 獲得超4個(gè)贊
這里的一般要點(diǎn)是您需要重新分區(qū)以獲得更多但更小的分區(qū)，以獲得更多的并行性和更高的吞吐量。728k 是與您的舞臺(tái)相關(guān)的任意數(shù)字。當(dāng)我剛開(kāi)始使用 Scala 和 Spark 時(shí)，有時(shí)會(huì)遇到這種情況。
我看不到你的代碼，所以我把它留在這里。但是在這里谷歌搜索 SO 表明也缺乏并行性。老實(shí)說(shuō)，眾所周知。
添加回答
舉報(bào)
0/150
提交
取消