怎樣給Spark傳遞函數(shù)
怎樣給Spark傳遞函數(shù)？
慕田峪7331174
2018-11-13 15:11:23
1 回答
白豬掌柜的
TA貢獻1893條經(jīng)驗 獲得超10個贊
大講臺 spark在線培訓為你解答：
第一種：匿名函數(shù)，處理的代碼比較少的時候，可以采用匿名函數(shù)，直接寫在算子里面：
myrdd.map(x => x+ 1)
第二種：全局單例對象中的靜態(tài)方法：先定義object對象MyFunctions，以及靜態(tài)方法：funcOne,然后傳遞MyFunctions.funcOne給RDD算子。
object MyFunctions {
def funcOne(s: String): String = { ... }
}
myRdd.map(MyFunctions.funcOne)
- 1 回答
- 0 關(guān)注
- 869 瀏覽
添加回答
舉報
0/150
提交
取消