第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定
已解決430363個(gè)問題,去搜搜看,總會(huì)有你想問的

使用pandas和GNU Parallel將數(shù)據(jù)并行導(dǎo)入MySQL

使用pandas和GNU Parallel將數(shù)據(jù)并行導(dǎo)入MySQL

肥皂起泡泡 2021-10-10 16:24:26
我有幾千個(gè)目錄,我想從中將數(shù)據(jù)導(dǎo)入 MySQL。我創(chuàng)建了一個(gè) python 腳本,它從單個(gè)目錄中讀取數(shù)據(jù)并將其放入數(shù)據(jù)庫(kù)。這是將數(shù)據(jù)發(fā)送到數(shù)據(jù)庫(kù)的部分:host = 'localhost'engine = create_engine('mysql://user:pass@%s/db?charset=utf8' % host)conn = engine.connect()trans = conn.begin()try:    conn.execute('delete from tests where ml="%s"' % ml)    tests.to_sql(con=conn, name='tests', if_exists='append', index=False)    data.to_sql(con=conn, name='data', if_exists='append', index=False)    trans.commit()    print(CGRE + ml + ': OK' + CEND)except:    trans.rollback()    print(CRED + ml + ': database error!' + CEND)    raiseconn.close()單線程執(zhí)行效果很好,但速度太慢:parallel -j 1 "[[ -d {} ]] && (cd {} && data_to_db.py) || echo {} >> ~/Data/failed_db" ::: *現(xiàn)在我想啟動(dòng)幾個(gè)進(jìn)程:parallel -j 8 .........有時(shí)在執(zhí)行過程中我會(huì)收到此錯(cuò)誤:sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1213, '嘗試獲取鎖時(shí)發(fā)現(xiàn)死鎖;嘗試重新啟動(dòng)事務(wù)')有沒有辦法增加事務(wù)的等待時(shí)間或以其他方式解決它,因?yàn)闆]有并行執(zhí)行,導(dǎo)入所有數(shù)據(jù)的時(shí)間太長(zhǎng)?
查看完整描述

1 回答

  • 1 回答
  • 0 關(guān)注
  • 238 瀏覽
慕課專欄
更多

添加回答

舉報(bào)

0/150
提交
取消
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)