如何初始化一個SparkContext
2 回答
慕雪6442864
TA貢獻1812條經(jīng)驗 獲得超5個贊
om pyspark import SparkConf, SparkContext
# local 時URL，本地計算機(從族的概念)
# My App 應(yīng)用程序名字
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
此時的sc就是一個SparkContext,了SparkContext的實例化對象，即刻就可以創(chuàng)建RDD了。
萬千封印
TA貢獻1891條經(jīng)驗 獲得超3個贊
如何初始化一個SparkContext 我們采用了nginxC模塊＋內(nèi)置在nginx中的K-V數(shù)據(jù)庫（自己開發(fā)的），來實現(xiàn)所有的業(yè)務(wù)邏輯，達到這個目標(biāo)
- 2 回答
- 0 關(guān)注
- 847 瀏覽
添加回答
舉報
0/150
提交
取消