Presto集群如何配置最佳的節(jié)點(diǎn)查詢內(nèi)存參數(shù)
叁金老師,各位小伙伴好,
????最近工作中剛好在進(jìn)行presto的poc測試,搭建的Presto集群,1個(gè)coordinator節(jié)點(diǎn)和2個(gè)woker節(jié)點(diǎn)(均4核32G),連接Hive數(shù)據(jù)源,然后count(1)一張1.4億的數(shù)據(jù)量的表,查詢時(shí)間為27s,后來有引入了2個(gè)相同配置的worker節(jié)點(diǎn),稍微改動了一下節(jié)點(diǎn)查詢內(nèi)存參數(shù),再進(jìn)行相同查詢時(shí),結(jié)果和2個(gè)worker的集群的查詢時(shí)間差不多,并沒有很大幅度的降低查詢時(shí)間,請問叁金老師和各位小伙伴,在集群的最大內(nèi)存參數(shù)設(shè)置上有沒有什么好的經(jīng)驗(yàn)可共享?以使集權(quán)發(fā)揮最大效果,希望能通大家溝通、交流和學(xué)習(xí),謝謝? 。
jvm.propertis文件中的-Xmx**G參數(shù)
config.properties文件中的?
query.max-memory=**GB
query.max-memory-per-node=*GB
query.max-total-memory-per-node=*GB
2019-07-29
參考手記:http://idcbgp.cn/article/289836