關(guān)于Map 局部聚合
Map的局部聚合雖然是可選項，執(zhí)行局部聚合與不執(zhí)行局部聚合，對于全局數(shù)據(jù)的清洗到聚合的全流程來說，性能有影響嘛？
小小新_Not_Found
2019-12-26
1 回答
舉報
0/150
提交
取消
2020-01-05
提前進行map的局部聚合，會提高性能，因為聚合后map端通過shuffle發(fā)送到reduce端的數(shù)據(jù)就少了，對應(yīng)的就減少了網(wǎng)絡(luò)傳輸?shù)臅r間