HBase數(shù)據(jù)遷移（1）-使用HBase的API中的Put方法
使用HBase的API中的Put是最直接的方法，用法也很容易學(xué)習(xí)。但針對(duì)大部分情況，它并非都是最高效的方式。當(dāng)需要將海量數(shù)據(jù)在規(guī)定時(shí)間內(nèi)載入HBase中時(shí)，效率問題體現(xiàn)得尤為明顯。待處理的數(shù)據(jù)量一般都是巨大的，這也許是為何我們選擇了HBase而不是其他數(shù)據(jù)庫的原因。在項(xiàng)目開始之前，你就該思考如何將所有能夠很好的將數(shù)據(jù)轉(zhuǎn)移進(jìn)HBase，否則之后可能面臨嚴(yán)重的性能問題。
HBase有一個(gè)名為 bulk load的功能支持將海量數(shù)據(jù)高效地裝載入HBase中。Bulk load是通過一個(gè)MapReduce Job來實(shí)現(xiàn)的，通過Job直接生成一個(gè)HBase的內(nèi)部HFile格式文件來形成一個(gè)特殊的HBase數(shù)據(jù)表，然后直接將數(shù)據(jù)文件加載到運(yùn)行的集群中。使用bulk load功能最簡單的方式就是使用importtsv 工具。importtsv 是從TSV文件直接加載內(nèi)容至HBase的一個(gè)內(nèi)置工具。它通過運(yùn)行一個(gè)MapReduce Job，將數(shù)據(jù)從TSV文件中直接寫入HBase的表或者寫入一個(gè)HBase的自有格式數(shù)據(jù)文件。
盡管importtsv 工具在需要將文本數(shù)據(jù)導(dǎo)入HBase的時(shí)候十分有用，但是有一些情況，比如導(dǎo)入其他格式的數(shù)據(jù)，你會(huì)希望使用編程來生成數(shù)據(jù)，而MapReduce是處理海量數(shù)據(jù)最有效的方式。這可能也是HBase中加載海量數(shù)據(jù)唯一最可行的方法了。當(dāng)然我們可以使用MapReduce向HBase導(dǎo)入數(shù)據(jù)，但海量的數(shù)據(jù)集會(huì)使得MapReduce Job也變得很繁重。若處理不當(dāng)，則可能使得MapReduce的job運(yùn)行時(shí)的吞吐量很小。