-
scala變量分配 var val查看全部
-
foreach遍歷查看全部
-
spark程序打jar包 1、配置jar包 2、build查看全部
-
Spark 1.6.2 ——Scala 2.10 Spark 2.0.0——Scala 2.1.1查看全部
-
快速：秒和分級別，相比hadoop的分和時 通用：應(yīng)用場景多 快速： 1、擴(kuò)充hadoop的Mapreduce計算模型 2、基于內(nèi)存計算章節(jié) 通用： 1、容納其他分布式系統(tǒng)功能，具有批計算，迭代式計算，交互查詢和流處理 2、高度開發(fā)，提供多yu8yan的API，具有豐富的內(nèi)置庫查看全部
-
延遲計算查看全部
-
。。。。查看全部
-
123查看全部
-
啟動master ./sbin/start-master.sh 啟動worker ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost.localdomain:7077 提交作業(yè) ./bin/spark-submit --master spark://localhost.localdomain:7077 --class WordCount /home/spark/testspark.jar查看全部
-
啟動集群： 啟動master ./sbin/start-master.sh 啟動worker ./bin/spark-class 提交作業(yè) ./bin/spark-submit查看全部
-
Hadoop應(yīng)用場景： 離線處理，時效性要求不高的場景：Hadoop中間數(shù)據(jù)落到硬盤上，導(dǎo)致Hadoop處理大數(shù)據(jù)時，時效性不高，時間在幾分鐘到幾小時不等，但數(shù)據(jù)可以存儲。 Spark應(yīng)用場景： 時效性要求高的場景和機(jī)器學(xué)習(xí)：Spark基于內(nèi)存，中間數(shù)據(jù)多在內(nèi)存中，數(shù)據(jù)處理塊，但Spark不具備hdfs存儲功能，需借助hdfs查看全部
-
spark歷史：伯克利實驗室研究項目，基于Hadoop的Mapreduce機(jī)制，引入內(nèi)存管理機(jī)制，提高了迭代式計算和交互式中的效率。 spark組件： spark core:spark基本功能，包括任務(wù)調(diào)度，內(nèi)存管理，容錯機(jī)制 內(nèi)部定義了RDDs(彈性分布式數(shù)據(jù)集),提供多個APIs調(diào)用，為其他組件提供底層服務(wù) spark sql:spark處理結(jié)構(gòu)化數(shù)據(jù)的庫，類似Hive SQL,MySql，主要為企業(yè)提供報表統(tǒng)計 spark streaming：實時數(shù)據(jù)流處理組件，類似Storm，提供API操作實時流數(shù)據(jù)，企業(yè)中用來從Kafka中接收數(shù)據(jù)做實時統(tǒng)計 Mlib:機(jī)器學(xué)習(xí)功能包，包括聚類，回歸，模型評估和數(shù)據(jù)導(dǎo)入。同時支持集群平臺上的橫向擴(kuò)展 Graphx：處理圖的庫，并進(jìn)行圖的并行計算 Cluster Manager是：spark自帶的集群管理 Spark緊密集成的優(yōu)點(diǎn)： spark底層優(yōu)化，基于spark底層的組件也得到相應(yīng)的優(yōu)化，緊密集成節(jié)省了組件的部署，測試時間查看全部
-
快速：秒和分級別，相比hadoop的分和時 通用：應(yīng)用場景多 快速： 1、擴(kuò)充hadoop的Mapreduce計算模型 2、基于內(nèi)存計算章節(jié) 通用： 1、容納其他分布式系統(tǒng)功能，具有批計算，迭代式計算，交互查詢和流處理 2、高度開發(fā)，提供多yu8yan的API，具有豐富的內(nèi)置庫查看全部
-
Spark是Scala寫的，運(yùn)行再jvm上的，運(yùn)行環(huán)境java7以上查看全部
-
RDD 基本操作 Transformation（轉(zhuǎn)換） val lines = sc.parallelize(Array("hello","spark","spark","hello","！")) lines.freach(println) lines.map(workd=>(word,1)) 每一個元素+1 filter() lines.filter(world=>word.constains("hello")) flatMap() 壓扁，返回一個新的Rdd查看全部
舉報
0/150
提交
取消