Spark SQL 到底怎么搭建起來
1 回答
尚方寶劍之說
TA貢獻1788條經(jīng)驗 獲得超4個贊
一般spark sql用于訪問hive集群的表數(shù)據(jù)吧？
我們的spark是訪問hive集群的，步驟還是很簡單的，大致如下：
1）安裝spark時需要將hive-site.xml,yarn-site.xml,hdfs-site.xml都拷貝到spark/conf中（yarn-site.xml是因為我們是spark on yarn）
2）編程時用HiveContext，調(diào)用sql(...)就好了，如：
val hc = new HiveContext(sc)
hc.sql( "select ..." ) 這里的sql語句自己發(fā)揮吧~
不過spark sql穩(wěn)定性不高，寫復雜語句時partition和優(yōu)化策略不太合理，小數(shù)據(jù)量玩一下就好（如spark streaming中使用也還可以），大數(shù)據(jù)量暫時不建議用~
- 1 回答
- 0 關注
- 968 瀏覽
添加回答
舉報
0/150
提交
取消