首頁猿問請(qǐng)問一下已搭建好HADOOP，HI...

請(qǐng)問一下已搭建好HADOOP，HIVE，怎么進(jìn)入并操作數(shù)據(jù)？

Python 安全測(cè)試

慕姐8265434 2019-09-09 13:09:58

已搭建好HADOOP，HIVE，怎么進(jìn)入并操作數(shù)據(jù)

查看完整描述

4 回答

夢(mèng)里花落0921

TA貢獻(xiàn)1772條經(jīng)驗(yàn) 獲得超6個(gè)贊

[Hadoop@master ~]$ cd $HIVE_HOME --進(jìn)入Hive目錄
[hadoop@master hive]$ bin/hive --進(jìn)入hive環(huán)境
hive> show databases; 顯示已有數(shù)據(jù)庫
hive> use test; 使用數(shù)據(jù)庫
hive> select * from test_1; 顯示表中數(shù)據(jù)

反對(duì) 回復(fù) 2019-09-14

MMMHUHU

TA貢獻(xiàn)1834條經(jīng)驗(yàn) 獲得超8個(gè)贊

hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。它提供了一系列的工具，可以用來進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL），這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在 Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。 (1).hive由FaceBook開源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計(jì)。 (2).hive是基于hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成一張表，并提供類SQL查詢功能。 (3).hive是構(gòu)建在hadoop之上的數(shù)據(jù)倉庫：

使用HQL語句作為查詢接口
使用HDFS進(jìn)行存儲(chǔ)
使用mapreduce進(jìn)行計(jì)算。 (4).hive本質(zhì)是:將HQL轉(zhuǎn)化成MapReduce程序。 (5).靈活和擴(kuò)展性比較好：支持UDF，自定義存儲(chǔ)格式。 (6).適合離線處理。 (7).查詢和管理在分布式存儲(chǔ)的大的數(shù)據(jù)集(數(shù)據(jù)庫：增刪改查，hive不支持增刪該)。管理主要是對(duì)表的管理。

反對(duì) 回復(fù) 2019-09-14

胡說叔叔

TA貢獻(xiàn)1804條經(jīng)驗(yàn) 獲得超8個(gè)贊

hive是Hadoop的一個(gè)組件，作為數(shù)據(jù)廠庫，hive的數(shù)據(jù)是存儲(chǔ)在Hadoop的文件系統(tǒng)中的，hive為Hadoop提供SQL語句，是Hadoop可以通過SQL語句操作文件系統(tǒng)中的數(shù)據(jù)。hive是依賴Hadoop而存在的。

反對(duì) 回復(fù) 2019-09-14

慕村9548890

TA貢獻(xiàn)1884條經(jīng)驗(yàn) 獲得超4個(gè)贊

步驟
Hive提供了jdbc驅(qū)動(dòng)，使得我們可以連接Hive并進(jìn)行一些類關(guān)系型數(shù)據(jù)庫的sql語句查詢等操作，首先我們需要將這些驅(qū)動(dòng)拷貝到報(bào)表工程下面，然后再建立連接，最后通過連接進(jìn)行數(shù)據(jù)查詢。
拷貝jar包到FR工程
將hadoop里的hadoop-common.jar拷貝至報(bào)表工程appname/WEB-INF/lib下；
將hive里的hive-exec.jar、hive-jdbc.jar、hive-metastore.jar、hive-service.jar、libfb303.jar、log4j.jar、slf4j-api.jar、slf4j-log4j12.jar拷貝至報(bào)表工程appname/WEB-INF/lib下。
配置數(shù)據(jù)連接
啟動(dòng)設(shè)計(jì)器，打開服務(wù)器>定義數(shù)據(jù)連接，新建JDBC連接。
在Hive 0.11.0版本之前，只有HiveServer服務(wù)可用，在程序操作Hive之前，必須在Hive安裝的服務(wù)器上打開HiveServer服務(wù)。而HiveServer本身存在很多問題（比如：安全性、并發(fā)性等）；針對(duì)這些問題，Hive0.11.0版本提供了一個(gè)全新的服務(wù)：HiveServer2，這個(gè)很好的解決HiveServer存在的安全性、并發(fā)性等問題，所以下面我們分別介紹HiveServer和HiveServer2配置數(shù)據(jù)連接的方式。
HiveServer
數(shù)據(jù)庫驅(qū)動(dòng):org.apache.hadoop.hive.jdbc.HiveDriver；
URL:jdbc:hive://localhost:10000/default
注：hive服務(wù)默認(rèn)端口為10000，根據(jù)實(shí)際情況修改端口；另外目前只支持默認(rèn)數(shù)據(jù)庫名default，所有的Hive都支持。
測(cè)試連接，提示連接成功即可。

4
數(shù)據(jù)庫驅(qū)動(dòng):org.apache.hive.jdbc.HiveDriver；
URL:jdbc:hive2://localhost:10000/default
注：該連接方式只支持Hive0.11.0及之后版本。