在我目前正在進(jìn)行的項(xiàng)目中，我不允許使用 ORM，所以我自己做了它工作得很好，但我在 Celery 和它的并發(fā)性方面遇到了問題。有一段時(shí)間，我將其設(shè)置為1(using --concurrency=1)，但我添加了新任務(wù)，這些任務(wù)的處理時(shí)間比使用 celerybeat 運(yùn)行所需的時(shí)間要長(zhǎng)，這會(huì)導(dǎo)致任務(wù)大量積壓。當(dāng)我將 celery 的并發(fā)設(shè)置為 > 1 時(shí)，會(huì)發(fā)生以下情況（pastebin 因?yàn)樗艽螅篽ttps://pastebin.com/M4HZXTDC關(guān)于如何在其他進(jìn)程上實(shí)現(xiàn)某種鎖定/等待以使不同的工作人員不會(huì)相互交叉的任何想法？編輯：這是我設(shè)置PyMySQL 實(shí)例以及如何處理打開和關(guān)閉的位置
1 回答
鴻蒙傳說
TA貢獻(xiàn)1865條經(jīng)驗(yàn) 獲得超7個(gè)贊
PyMSQL不允許線程共享同一個(gè)連接（模塊可以共享，但線程不能共享連接）。您的模型類在各處重用相同的連接。
因此，當(dāng)不同的工作人員調(diào)用模型進(jìn)行查詢時(shí)，他們使用相同的連接對(duì)象，從而導(dǎo)致沖突。
確保您的連接對(duì)象是線程本地的。不要使用db類屬性，而是考慮一種檢索線程本地連接對(duì)象的方法，而不是重用可能在不同線程中創(chuàng)建的連接對(duì)象。
現(xiàn)在，您在每個(gè)模型的任何地方都使用全局連接。
# Connect to the database
connection = pymysql.connect(**database_config)
class Model(object):
? ? """
? ? Base Model class, all other Models will inherit from this
? ? """
? ? db = connection
為了避免這種情況，您可以在方法中創(chuàng)建數(shù)據(jù)庫__init__......
class Model(object):
? ? """
? ? Base Model class, all other Models will inherit from this
? ? """
? ? def __init__(self, *args, **kwargs):
? ? ? ? self.db = pymysql.connect(**database_config)
但是，這可能不高效/不實(shí)用，因?yàn)?db 對(duì)象的每個(gè)實(shí)例都會(huì)創(chuàng)建一個(gè)會(huì)話。
為了改進(jìn)這一點(diǎn)，您可以使用一種方法threading.local來將連接保持在線程本地。
class Model(object):
? ? """
? ? Base Model class, all other Models will inherit from this
? ? """
? ? _conn = threading.local()
? ? @property
? ? def db(self):
? ? ? ? if not hasattr(self._conn, 'db'):
? ? ? ? ? ? self._conn.db = pymysql.connect(**database_config)
? ? ? ? return self._conn.db
請(qǐng)注意，假設(shè)您使用線程并發(fā)模型，線程本地解決方案就可以工作。另請(qǐng)注意，celery 默認(rèn)情況下使用多個(gè)進(jìn)程（prefork）。這可能是問題，也可能不是問題。
添加回答
舉報(bào)
0/150
提交
取消