1 回答

TA貢獻(xiàn)1876條經(jīng)驗(yàn) 獲得超6個(gè)贊
一、調(diào)整參數(shù)
入門級的調(diào)優(yōu)可以從調(diào)整參數(shù)開始。投入小,回報(bào)快。
1. Write Buffer Size
快速配置
Java代碼
HTable htable = new HTable(config, tablename);
htable.setWriteBufferSize(6 * 1024 * 1024);
htable.setAutoFlush(false);
設(shè)置buffer的容量,例子中設(shè)置了6MB的buffer容量。
* 必須禁止auto flush。
* 6MB是經(jīng)驗(yàn)值,可以上下微調(diào)以適應(yīng)不同的寫場景。
原理
HBase Client會在數(shù)據(jù)累積到設(shè)置的閾值后才提交Region Server。這樣做的好處在于可以減少RPC連接次數(shù)。同時(shí),我們得計(jì)算一下服務(wù)端因此而消耗的內(nèi)存:hbase.client.write.buffer * hbase.regionserver.handler.count。在減少PRC次數(shù)和增加服務(wù)器端內(nèi)存之間找到平衡點(diǎn)。
- 1 回答
- 0 關(guān)注
- 742 瀏覽
添加回答
舉報(bào)