Spark SQL 到底怎么搭建起來
1 回答
肥皂起泡泡
TA貢獻1829條經(jīng)驗 獲得超6個贊
Spark on yarn已搭建好，開始使用SparkSql，做如下工作
1、將Hive-site.xml copy至$SPARK_HOME/conf目錄，注意配置hive.metastore.uris、hive.metastore.client.socket.timeout
2、復制MySQL-connector-Java.jar 到$SPARK_HOME/lib目錄
3、配置spark-env.sh
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*
4、開始使用
./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g
./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g
- 1 回答
- 0 關注
- 711 瀏覽
添加回答
舉報
0/150
提交
取消