我們沒(méi)有在我們的 presto workers 中配置參數(shù) -query.max-memory-per-node從日志看來(lái)，值query.max-memory-per-node是自動(dòng)設(shè)置的grep?-r?"query.max-memory-per-node"??/presto/data/var/log/server.log
2019-08-08T14:25:03.840Z????INFO????main????Bootstrap???????query.max-memory-per-node??????????????????????????????4402341478.40B我的問(wèn)題我們需要設(shè)置query.max-memory-per-nodein嗎config.properties?？或 , 的值query.max-memory-per-node將由 presto 設(shè)置但正如我們從日志中看到的那樣，presto set only -?4402341478.40B(幾千兆字節(jié)) ，所以這是小尺寸當(dāng)查詢需要更多內(nèi)存時(shí)，查詢可能會(huì)崩潰請(qǐng)您的意見(jiàn)，我們是否需要設(shè)置參數(shù)?query.max-memory-per-node?- 在config.properties為了將更高的值設(shè)置為20-30 GIGA
1 回答
呼啦一陣風(fēng)
TA貢獻(xiàn)1802條經(jīng)驗(yàn) 獲得超6個(gè)贊
默認(rèn)為query.max-memory-per-node可用堆內(nèi)存的 10%。此屬性的默認(rèn)值在此處設(shè)置：
IIRC 我們?cè)O(shè)置了默認(rèn)值，因此您可以在集群中運(yùn)行一些大型查詢。僅從這個(gè)值并不清楚確切的數(shù)字。如果您查看上面鏈接的文件中的配置，您會(huì)看到系統(tǒng)首先為“未計(jì)算的內(nèi)存分配”保留 30% 的堆，因?yàn)?Presto 不會(huì)跟蹤所有分配。那么這query.max-memory-per-node只是對(duì)“用戶”內(nèi)存的限制，這是由查詢作者控制的內(nèi)存，例如group by哈希join表。此值不包括由 Presto 自動(dòng)管理的輸入和輸出緩沖區(qū)。
將所有這些放在一起，我希望使用默認(rèn)值可以在代碼上同時(shí)運(yùn)行 3-5 個(gè)大型查詢。
至于你想如何設(shè)置這些，這真的取決于你的工作量。如果您希望有一個(gè)大的混合工作負(fù)載，默認(rèn)值可能適合您。如果您希望能夠?qū)⒄麄€(gè)集群專用于單個(gè)工作人員，您可以將值增加到接近堆大小（確保為未跟蹤的分配留出空間）。
添加回答
舉報(bào)
0/150
提交
取消