如何使用JDBC源在（Py）Spark中寫入和讀取數(shù)據(jù)？這個問題的目標是記錄：在PySpark中使用JDBC連接讀取和寫入數(shù)據(jù)所需的步驟JDBC源和已知解決方案可能存在的問題通過小的更改，這些方法應該與其他支持的語言一起使用，包括Scala和R.
3 回答
慕妹3146593
TA貢獻1820條經(jīng)驗 獲得超9個贊
下載mysql-connector-java驅(qū)動程序并保存在spark jar文件夾中，觀察這里將數(shù)據(jù)寫入“acotr1”的bellow python代碼，我們要在mysql數(shù)據(jù)庫中創(chuàng)建acotr1表結構
spark = SparkSession.builder.appName("prasadad").master('local').config('spark.driver.extraClassPath','D:\spark-2.1.0-bin-hadoop2.7\jars\mysql-connector-java-5.1.41-bin.jar').getOrCreate()
sc = spark.sparkContext from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://localhost:3306/sakila",driver="com.mysql.jdbc.Driver",dbtable="actor",user="root",password="Ramyam01").load()
mysql_url="jdbc:mysql://localhost:3306/sakila?user=root&password=Ramyam01"
df.write.jdbc(mysql_url,table="actor1",mode="append")添加回答
舉報
0/150
提交
取消