如何初始化一個(gè)SparkContext
如何初始化一個(gè)SparkContext
哆啦的時(shí)光機(jī)
2019-02-22 13:14:17
2 回答
慕雪6442864
TA貢獻(xiàn)1812條經(jīng)驗(yàn) 獲得超5個(gè)贊
om pyspark import SparkConf, SparkContext
# local 時(shí)URL，本地計(jì)算機(jī)(從族的概念)
# My App 應(yīng)用程序名字
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
此時(shí)的sc就是一個(gè)SparkContext,了SparkContext的實(shí)例化對(duì)象，即刻就可以創(chuàng)建RDD了。
萬千封印
TA貢獻(xiàn)1891條經(jīng)驗(yàn) 獲得超3個(gè)贊
如何初始化一個(gè)SparkContext 我們采用了nginxC模塊＋內(nèi)置在nginx中的K-V數(shù)據(jù)庫(kù)（自己開發(fā)的），來實(shí)現(xiàn)所有的業(yè)務(wù)邏輯，達(dá)到這個(gè)目標(biāo)
- 2 回答
- 0 關(guān)注
- 841 瀏覽
添加回答
舉報(bào)
0/150
提交
取消