第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定

Hbase 關(guān)聯(lián) hive 表

標(biāo)簽:
Hbase

Hbase 是可以支持实时查询的非关系行数据库,采用列存储的同时也是的直接查询的数据不太直观,对此,我们可以将之关联hive表,通过HQL大到查询Hbase的目的

Hbase 关联 hive 表有两种方式(通过建立hive管理表 和 外表的方式实现)

通过管理表

1、创建hive-hbase 管理表:

drop table tbl_hive_mange;

create table tbl_hive_mange

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,

     info:dict_id,

     info:city_id,

     info:city_name,

     info:city_code,

     info:group_id,

     info:group_name,

     info:area_code,

     info:bureau_id,

     info:sort,

     info:bureau_name")

TBLPROPERTIES("hbase.table.name" = "tbl_hive_mange");

webp

创建hive-hbase 管理表

2、创建普通的 hive 管理表

drop table tbl_hive_mange_1;

create table tbl_hive_mange_1

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED AS TEXTFILE;

webp

创建普通的 hive 管理表

3、向 tbl_hive_mange_1 中添加数据

load data inpath 'hdfs:/ns1/user/hive/warehouse/xx.db/a...' into table tbl_hive_mange_1;

webp

向 tbl_hive_mange_1 中添加数据

4、将 tbl_hive_mange_1 的数据添加到 tbl_hive_mange

insert overwrite table tbl_hive_mange select * from tbl_hive_mange_1;

webp

将 tbl_hive_mange_1 的数据添加到 tbl_hive_mange

目前为止:

建立了一张Hbase的表:tbl_hive_mange

并关联了 hive 表:tbl_hive_mange

同时将hive表 tbl_hive_mange_1 的数据添加到了 tbl_hive_mange

可以通过hivev表:tbl_hive_mange查询Hbase表:tbl_hive_mange 数据

注:

a:建立hive-hbase 管理表 tbl_hive_mange 后不能直接通过load data 的方式添加数据

hive> load data inpath 'hdfs://ns1/user/hive/warehouse/xx.db/tbl_hive_test' into table tbl_hive_test;

FAILED: SemanticException [Error 10101]: A non-native table cannot be used as target for LOAD

webp

load data

b:通过 desc formatted tbl_hive_mange 可以看到在默认的hive数据存储路径下存在制定文件夹,但是却没有数据,表明这个数据是存在hbase下面的。

webp

desc formatted tbl_hive_mange

c:删除表操作

先删除hbase(disabled->drop)

hbase(main):003:0> disable 'tbl_hive_mange'

0 row(s) in 2.5610 seconds

hbase(main):004:0> drop 'tbl_hive_mange'

0 row(s) in 1.3140 seconds

webp

删除表操作

此时show tables 在hive里面能看到tbl_hive_mange 但是已经没有数据了,用show tables还能查出来。但是用select * from tbl_hive_mange 查询的时候报错

webp

show tables

此时mysql中TBLS还有hive表的信息,执行drop table  tbl_hive_mange 报错。

webp

drop table

继续show tables时,发现表已经不在了。TBLS里面也没有hive表信息了。

通过管理表


1、建立外部表(hive),关联存在hbase表

drop table tbl_hive_xternal;

create xternal table tbl_hive_xternal

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" = ":key,

     info:dict_id,

     info:city_id,

     info:city_name,

     info:city_code,

     info:group_id,

     info:group_name,

     info:area_code,

     info:bureau_id,

     info:sort,

     info:bureau_name")

TBLPROPERTIES("hbase.table.name" = "tbl_hive_xternal");

webp

建立外部表(hive),关联存在hbase表

2、创建普通的 hive 管理表

drop table tbl_hive_xternal_1;

create table tbl_hive_xternal_1

(key String,

dict_id String,

city_id String,

city_name String,

city_code String,

group_id String,

group_name String,

area_code String,

bureau_id String,

sort String,

bureau_name String)

row format delimited

fields terminated by '|'

STORED AS TEXTFILE;

webp

创建普通的 hive 管理表

3、向 tbl_hive_xternal_1 中添加数据

load data inpath 'hdfs:/ns1/user/hive/warehouse/xx.db/a...' into table tbl_hive_xternal_1;

webp

向 tbl_hive_xternal_1 中添加数据

4、将 tbl_hive_xternal_1 的数据添加到 tbl_hive_xternal

insert overwrite table tbl_hive_xternal select * from tbl_hive_xternal_1;

webp

将 tbl_hive_xternal_1 的数据添加到 tbl_hive_xternal

目前为止:

建立了 hive 外部表表: tbl_hive_xternal

同时将hive表 tbl_hive_xternal_1 的数据添加到了 tbl_hive_xternal

可以通过hivev表: tbl_hive_xternal 查询Hbase表: tbl_hive_xternal 数据


注:

a:使用外部表需要确保 hbase的表存在,同时在建立hive标的时候可以指定hbase中不存在的列

b:desc formatted tbl_hive_xternal可以看到存储文件的路径,但是真实的数据存储在hbase

c:删除操作:删除hive表对hbase操作没有影响; 但是删除hbase表后hive查询会报错(数据存hbase)



作者:lillcol
链接:https://www.jianshu.com/p/86ff9d7459b7


點(diǎn)擊查看更多內(nèi)容
TA 點(diǎn)贊

若覺(jué)得本文不錯(cuò),就分享一下吧!

評(píng)論

作者其他優(yōu)質(zhì)文章

正在加載中
  • 推薦
  • 評(píng)論
  • 收藏
  • 共同學(xué)習(xí),寫(xiě)下你的評(píng)論
感謝您的支持,我會(huì)繼續(xù)努力的~
掃碼打賞,你說(shuō)多少就多少
贊賞金額會(huì)直接到老師賬戶(hù)
支付方式
打開(kāi)微信掃一掃,即可進(jìn)行掃碼打賞哦
今天注冊(cè)有機(jī)會(huì)得

100積分直接送

付費(fèi)專(zhuān)欄免費(fèi)學(xué)

大額優(yōu)惠券免費(fèi)領(lǐng)

立即參與 放棄機(jī)會(huì)
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢(xún)優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)

舉報(bào)

0/150
提交
取消