我有幾千個(gè)目錄,我想從中將數(shù)據(jù)導(dǎo)入 MySQL。我創(chuàng)建了一個(gè) python 腳本,它從單個(gè)目錄中讀取數(shù)據(jù)并將其放入數(shù)據(jù)庫(kù)。這是將數(shù)據(jù)發(fā)送到數(shù)據(jù)庫(kù)的部分:host = 'localhost'engine = create_engine('mysql://user:pass@%s/db?charset=utf8' % host)conn = engine.connect()trans = conn.begin()try: conn.execute('delete from tests where ml="%s"' % ml) tests.to_sql(con=conn, name='tests', if_exists='append', index=False) data.to_sql(con=conn, name='data', if_exists='append', index=False) trans.commit() print(CGRE + ml + ': OK' + CEND)except: trans.rollback() print(CRED + ml + ': database error!' + CEND) raiseconn.close()單線程執(zhí)行效果很好,但速度太慢:parallel -j 1 "[[ -d {} ]] && (cd {} && data_to_db.py) || echo {} >> ~/Data/failed_db" ::: *現(xiàn)在我想啟動(dòng)幾個(gè)進(jìn)程:parallel -j 8 .........有時(shí)在執(zhí)行過程中我會(huì)收到此錯(cuò)誤:sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1213, '嘗試獲取鎖時(shí)發(fā)現(xiàn)死鎖;嘗試重新啟動(dòng)事務(wù)')有沒有辦法增加事務(wù)的等待時(shí)間或以其他方式解決它,因?yàn)闆]有并行執(zhí)行,導(dǎo)入所有數(shù)據(jù)的時(shí)間太長(zhǎng)?
添加回答
舉報(bào)
0/150
提交
取消