前言：我知道有關(guān)此主題的類似問題，并嘗試了他們的解決方案，但無濟于事。我正在創(chuàng)建一個 python 腳本來從 ftp 地址獲取 JSON 文件，將其轉(zhuǎn)換為 Pandas 數(shù)據(jù)幀，然后將其發(fā)送到 MySQL 以填充表。但是，我遇到了 Pandas.to_sql 的問題。錯誤是：UnicodeEncodeError: 'ascii' codec can't encode character '\xd1' in position 87: ordinal not in range(128)這是我的代碼：import pandas as pdimport jsonfrom sqlalchemy import create_enginecnx = create_engine('mysql://username:password@192.168.1.11/database?charset=utf8',encoding='utf-8')sl1 = pd.read_json('ftp://username:password@ftp.address.com/directory/sailings_cel.txt')sl1 = pd.json_normalize(sl1["Dataset"])sl1.to_sql(name='celsailingtemp',con=cnx,if_exists='append',index=True)可能有用的信息：我已經(jīng)嘗試了多種排列，以確保在 create_engine 語句中將編碼設(shè)置為 utf-8，按照 StackOverflow 上的類似問題。JSON 文件在 FTP 服務(wù)器上提供，擴展名為 .txt，但我認為應(yīng)該沒問題，因為它由 read_json 和 json_normalize 處理得很好。根據(jù)https://www.utf8-chartable.de/unicode-utf8-table.pl?unicodeinhtml=hex，看起來 xd1 可能是 ? 字符。果然，在行程欄里就能找到違規(guī)角色。說到列，JSON 數(shù)據(jù)結(jié)構(gòu)如下所示。將 json_normalize 級別設(shè)置為“數(shù)據(jù)集”會將嵌套的“行程”列降級為長字符串，這對我來說沒問題。我已在 mysql 端將該列的類型設(shè)置為“JSON”。MySQL 表結(jié)構(gòu)如下所示：我可能可以簡單地刪除行程列，但核心編碼問題不會得到解決，我想正確執(zhí)行此操作。任何有關(guān)此問題的指導(dǎo)將不勝感激！
3 回答
幕布斯6054654
TA貢獻1876條經(jīng)驗 獲得超7個贊
json_normalize level ...將嵌套的“行程”列降級為長字符串
事實上不，事實并非如此。該列包含一個列表（或者可能是一個 Series 對象），這使 DBAPI 驅(qū)動程序感到困惑。為了讓它工作，我必須這樣做：
sl1 = pd.read_json(r"C:\Users\Gord\Desktop\sailing.json")
sl1 = pd.json_normalize(sl1["Dataset"])
sl1["MarketName"] = sl1["MarketName"].map(lambda x: json.dumps(x))
sl1["MarketNameList"] = sl1["MarketNameList"].map(lambda x: json.dumps(x))
sl1["Itinerary"] = sl1["Itinerary"].map(lambda x: json.dumps(x))
sl1.to_sql(name="celsailingtemp", con=cnx, if_exists="append", index=True)
慕標琳琳
TA貢獻1830條經(jīng)驗 獲得超9個贊
我認為你的ftp傳輸是通過ascii進行的。將 ftp 設(shè)置為使用二進制模式。
sl1 = pd.read_json('ftp://username:password@ftp.address.com/directory/sailings_cel.txt;type=I')我看到你的回溯，似乎是python編碼問題，而不是MySQL。設(shè)置使用utf-8。
python編碼 在執(zhí)行之前設(shè)置python編碼。
export PYTHONIOENCODING=utf-8
OS編碼確認utf-8編碼類型，執(zhí)行
locale -a命令。
# locale -a C C.UTF-8 POSIX
如果有C.UTF-8，請設(shè)置C.UTF-8。
export LC_CTYPE="C.UTF-8"
墨色風(fēng)雨
TA貢獻1853條經(jīng)驗 獲得超6個贊
看起來您可以更改數(shù)據(jù)庫中列的字符集，這應(yīng)該使您的代碼運行良好。
順便說一句，處理此類問題的另一種方法是將數(shù)據(jù)的子集重新創(chuàng)建為小提琴并在那里使用它。
添加回答
舉報
0/150
提交
取消