我構(gòu)建了一個(gè)簡(jiǎn)單的新聞聚合器網(wǎng)站，其中所有 App Engine 實(shí)例的內(nèi)存使用量不斷增長(zhǎng)，直到達(dá)到限制并因此被關(guān)閉。我已經(jīng)開始消除應(yīng)用程序中的所有內(nèi)容，以獲得最小的可復(fù)制版本。這就是我現(xiàn)在所擁有的：app = Flask(__name__)datastore_client = datastore.Client()@app.route('/')def root(): query = datastore_client.query(kind='source') query.order = ['list_sequence'] sources = query.fetch() for source in sources: pass 統(tǒng)計(jì)數(shù)據(jù)顯示了典型的鋸齒模式：實(shí)例啟動(dòng)時(shí)，內(nèi)存使用量達(dá)到 190 - 210 Mb，然后根據(jù)一些請(qǐng)求（但不是所有請(qǐng)求），內(nèi)存使用量增加 20 - 30 Mb。（順便說一句，這大致對(duì)應(yīng)于查詢結(jié)果的估計(jì)大小，盡管我不能確定這是相關(guān)信息。）這種情況一直發(fā)生，直到它超過 512 Mb，然后關(guān)閉。它通常發(fā)生在第 50-100 個(gè)對(duì)“/”的請(qǐng)求左右。在此期間，不會(huì)對(duì)其他任何事情提出其他請(qǐng)求?，F(xiàn)在，如果我消除“for”循環(huán)，只保留查詢，問題就會(huì)消失，內(nèi)存使用量保持在 190 Mb 不變，即使在 100 多個(gè)請(qǐng)求之后也不會(huì)增加。gc.collect() 最后沒有幫助。我還嘗試查看函數(shù)開頭和結(jié)尾處的tracemalloc 統(tǒng)計(jì)信息的差異，但沒有發(fā)現(xiàn)任何有用的東西。請(qǐng)問有人經(jīng)歷過類似的事情嗎？有什么想法可能會(huì)出問題嗎？您可以推薦哪些額外的測(cè)試/調(diào)查？這是否可能是我無法控制的 Google App Engine/數(shù)據(jù)存儲(chǔ)問題？謝謝。
2 回答
墨色風(fēng)雨
TA貢獻(xiàn)1853條經(jīng)驗(yàn) 獲得超6個(gè)贊
現(xiàn)在，如果我消除“for”循環(huán)，只保留查詢，問題就會(huì)消失，內(nèi)存使用量保持在 190 Mb 不變，即使在 100 多個(gè)請(qǐng)求之后也不會(huì)增加。
query.fetch()返回一個(gè)迭代器，而不是結(jié)果的實(shí)際數(shù)組
查看源代碼，看起來這個(gè)迭代器具有用于獲取查詢的下一頁(yè)的代碼。所以你的 for 循環(huán)強(qiáng)制它獲取結(jié)果的所有頁(yè)面。事實(shí)上，在您開始迭代之前，我認(rèn)為它實(shí)際上不會(huì)獲取任何內(nèi)容。這就是為什么刪除 for 循環(huán)會(huì)產(chǎn)生影響
不幸的是，除此之外我不確定，因?yàn)楫?dāng)您深入研究源代碼時(shí)，您很快就會(huì)遇到 GRPC 存根，并且不清楚問題是否在那里。
揚(yáng)帆大魚
TA貢獻(xiàn)1799條經(jīng)驗(yàn) 獲得超9個(gè)贊
嘗試使用NDB Library。對(duì)該庫(kù)的所有調(diào)用都必須包裝到上下文管理器中，這應(yīng)該保證關(guān)閉后的清理工作。這可以幫助解決您的問題：
ndb_client = ndb.Client(**init_client)
with ndb_client.context():
? ? query = MyModel.query().order(MyModel.my_column)
? ? sources = query.fetch()
? ? for source in sources:
? ? ? ? pass
# if you try to query DataStore outside the context manager, it will raise an error
query = MyModel.query().order(MyModel.my_column)
添加回答
舉報(bào)
0/150
提交
取消