首頁猿問如何使用JDBC源在（Py）Spa...

如何使用JDBC源在（Py）Spark中寫入和讀取數(shù)據(jù)？

Python

繁華開滿天機(jī) 2019-07-30 15:27:33

如何使用JDBC源在（Py）Spark中寫入和讀取數(shù)據(jù)？這個問題的目標(biāo)是記錄：在PySpark中使用JDBC連接讀取和寫入數(shù)據(jù)所需的步驟JDBC源和已知解決方案可能存在的問題通過小的更改，這些方法應(yīng)該與其他支持的語言一起使用，包括Scala和R.

查看完整描述

3 回答

慕妹3146593

TA貢獻(xiàn)1820條經(jīng)驗獲得超9個贊

下載mysql-connector-java驅(qū)動程序并保存在spark jar文件夾中，觀察這里將數(shù)據(jù)寫入“acotr1”的bellow python代碼，我們要在mysql數(shù)據(jù)庫中創(chuàng)建acotr1表結(jié)構(gòu)

    spark = SparkSession.builder.appName("prasadad").master('local').config('spark.driver.extraClassPath','D:\spark-2.1.0-bin-hadoop2.7\jars\mysql-connector-java-5.1.41-bin.jar').getOrCreate()

    sc = spark.sparkContext    from pyspark.sql import SQLContext

    sqlContext = SQLContext(sc)

    df = sqlContext.read.format("jdbc").options(url="jdbc:mysql://localhost:3306/sakila",driver="com.mysql.jdbc.Driver",dbtable="actor",user="root",password="Ramyam01").load()

    mysql_url="jdbc:mysql://localhost:3306/sakila?user=root&password=Ramyam01"

    df.write.jdbc(mysql_url,table="actor1",mode="append")

1 反對回復(fù) 2019-07-30