第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

將MySQL中大量數(shù)據(jù)導入到Hbase有什么好的方法

將MySQL中大量數(shù)據(jù)導入到Hbase有什么好的方法

守著星空守著你 2018-10-02 13:13:45
查看完整描述

1 回答

?
qq_遁去的一_1

TA貢獻1725條經(jīng)驗 獲得超8個贊

將Mysql遷移到Hbase主要有三種方法:
1、Put API
Put API可能是將數(shù)據(jù)快速導入HBase表的最直接的方法。但是在導入【大量數(shù)據(jù)】時不建議使用!但是可以作為簡單數(shù)據(jù)遷移的選擇,直接寫個代碼批量處理,開發(fā)簡單、方便、可控強。
2、MapReduce Job
推薦使用sqoop,它的底層實現(xiàn)是mapreduce,數(shù)據(jù)并行導入的,這樣無須自己開發(fā)代碼,過濾條件通過query參數(shù)可以實現(xiàn)。
Sqoop是一款開源的工具,主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進行數(shù)據(jù)的傳遞,可以將MySQL中的數(shù)據(jù)導進到Hadoop的HDFS中,也可以將HDFS的數(shù)據(jù)導進到Mysql中。
參考Index of /docs。
采用如下命令:sqoop import
--connect jdbc:mysql://localhost/db
--username root -P
--table mysql_order
--columns "id,name"
--hbase-table hbase_order
--column-family f
--hbase-row-key id
--query "select id,name from mysql_order where..."
-m 1
3、采用Bulk load裝載數(shù)據(jù)
bulk-load的作用是用mapreduce的方式將hdfs上的文件裝載到hbase中,對于海量數(shù)據(jù)裝載入hbase非常有用。
需要將MySQL的表數(shù)據(jù)導出為TSV格式(因為后面使用Import TSV工具),還需要確保有一個字段可以表示HBase表行的row key。

查看完整回答
反對 回復 2018-10-25
  • 1 回答
  • 0 關(guān)注
  • 2856 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動學習伙伴

公眾號

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號