spark的foreach是并行的嗎
1 回答

MMTTMM
TA貢獻1869條經(jīng)驗 獲得超4個贊
是并行的,其他并行的操作如下:
以下幾種并行操作可以在RDDS上實現(xiàn):
1、聚合:在驅(qū)動程序中使用相關(guān)函數(shù)對數(shù)據(jù)集進行聚合。
2、收集:發(fā)送該數(shù)據(jù)集的所有元素到驅(qū)動程序中。
3、流程:例如,一種用來更新并行數(shù)據(jù)的簡單方法,就是并行化映射和收集整個數(shù)組。
4、遍歷(foreach):通過用戶自定義的函數(shù)遍歷每個元素。只是這種函數(shù)的副作用很明顯(這可能是用來將數(shù)據(jù)復(fù)制到另外一個系統(tǒng)中的功能,如下面所解釋的用來更新的共享變量)。( 注意:這里的foreach的副作用,應(yīng)該是說foreach只能用來遍歷,不能用來對集合進行修改否則會發(fā)生很多奇怪的情況) 。
- 1 回答
- 0 關(guān)注
- 1837 瀏覽
添加回答
舉報
0/150
提交
取消