spark的foreach為什么很慢
1 回答
幕布斯6054654
TA貢獻1876條經驗 獲得超7個贊
foreach是action操作，其執(zhí)行實際上不是只執(zhí)行foreach這一個操作，而是從上一個action操作之后的所有操作都開始執(zhí)行，所以實際上并不是foreach慢，而是你之前的操作很慢。建議在程序運行中打開spark任務管理界面，查看到底是哪個stage運行慢，是否有數(shù)據(jù)傾斜或者內存不足等問題
- 1 回答
- 0 關注
- 1074 瀏覽
添加回答
舉報
0/150
提交
取消