Presto集群如何配置最佳的節(jié)點查詢內(nèi)存參數(shù)
叁金老師,各位小伙伴好,
????最近工作中剛好在進(jìn)行presto的poc測試,搭建的Presto集群,1個coordinator節(jié)點和2個woker節(jié)點(均4核32G),連接Hive數(shù)據(jù)源,然后count(1)一張1.4億的數(shù)據(jù)量的表,查詢時間為27s,后來有引入了2個相同配置的worker節(jié)點,稍微改動了一下節(jié)點查詢內(nèi)存參數(shù),再進(jìn)行相同查詢時,結(jié)果和2個worker的集群的查詢時間差不多,并沒有很大幅度的降低查詢時間,請問叁金老師和各位小伙伴,在集群的最大內(nèi)存參數(shù)設(shè)置上有沒有什么好的經(jīng)驗可共享?以使集權(quán)發(fā)揮最大效果,希望能通大家溝通、交流和學(xué)習(xí),謝謝? 。
jvm.propertis文件中的-Xmx**G參數(shù)
config.properties文件中的?
query.max-memory=**GB
query.max-memory-per-node=*GB
query.max-total-memory-per-node=*GB
2019-07-29
參考手記:http://idcbgp.cn/article/289836