spark 有沒有可以讀寫的共享變量的解決方案
1 回答
largeQ
TA貢獻(xiàn)2039條經(jīng)驗(yàn) 獲得超8個(gè)贊
scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)
scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)
在創(chuàng)建了廣播變量之后，在集群上的所有函數(shù)中應(yīng)該使用它來替代使用v.這樣v就不會(huì)不止一次地在節(jié)點(diǎn)之間傳輸了。另外，為了確保所有的節(jié)點(diǎn)獲得相同的變量，對(duì)象v在被廣播之后就不應(yīng)該再修改。
- 1 回答
- 0 關(guān)注
- 810 瀏覽
添加回答
舉報(bào)
0/150
提交
取消