spark的foreach是并行的嗎
1 回答

MMTTMM
TA貢獻(xiàn)1869條經(jīng)驗(yàn) 獲得超4個(gè)贊
是并行的,其他并行的操作如下:
以下幾種并行操作可以在RDDS上實(shí)現(xiàn):
1、聚合:在驅(qū)動(dòng)程序中使用相關(guān)函數(shù)對(duì)數(shù)據(jù)集進(jìn)行聚合。
2、收集:發(fā)送該數(shù)據(jù)集的所有元素到驅(qū)動(dòng)程序中。
3、流程:例如,一種用來更新并行數(shù)據(jù)的簡單方法,就是并行化映射和收集整個(gè)數(shù)組。
4、遍歷(foreach):通過用戶自定義的函數(shù)遍歷每個(gè)元素。只是這種函數(shù)的副作用很明顯(這可能是用來將數(shù)據(jù)復(fù)制到另外一個(gè)系統(tǒng)中的功能,如下面所解釋的用來更新的共享變量)。( 注意:這里的foreach的副作用,應(yīng)該是說foreach只能用來遍歷,不能用來對(duì)集合進(jìn)行修改否則會(huì)發(fā)生很多奇怪的情況) 。
- 1 回答
- 0 關(guān)注
- 1847 瀏覽
添加回答
舉報(bào)
0/150
提交
取消