spark mappartitions和map哪個效率高
1 回答
Cats萌萌
TA貢獻(xiàn)1805條經(jīng)驗 獲得超9個贊
map是對rdd中的每一個元素進(jìn)行操作，mapPartitions則是對rdd中的每個分區(qū)的迭代器進(jìn)行操作。如果在map過程中需要頻繁創(chuàng)建額外的對象,則mapPartitions效率比map高。
- 1 回答
- 0 關(guān)注
- 1336 瀏覽
添加回答
舉報
0/150
提交
取消