手把手教你在騰訊云上搭建hive3.1.2的方法

這篇文章主要介紹了手把手教你在騰訊云上搭建hive3.1.2的方法，文中通過(guò)示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價(jià)值，需要的朋友們下面隨著(zhù)小編來(lái)一起學(xué)習學(xué)習吧

環(huán)境準備

所有操作開(kāi)始前，先確定hadoop版本已經(jīng)裝好。具體可以看我的另一篇博客
搭建hadoop3.x

mysql安裝

先把安裝包放到software文件夾，并解壓到mysql-lib中

?

先處理一下環(huán)境，因為centos自帶mariadb，會(huì )產(chǎn)生沖突，所以要先卸載

?

沒(méi)什么問(wèn)題了就可以安裝了，一定要按順序安裝

?

安裝到第5個(gè)時(shí)，如果centos是最小化安裝的，那會(huì )報這個(gè)問(wèn)題

? ?

然后再?lài)L試安裝就沒(méi)問(wèn)題了

?

清理歷史殘余文件

?

看到了mysql目錄是/var/lib/mysql

?

初始化mysql

?

看下默認密碼

?

密碼是p;oK<M)<_8p/，復制一下，進(jìn)入mysql

進(jìn)入mysql

啟動(dòng)mysql服務(wù)

?

進(jìn)入mysql

?

提示輸入密碼，輸入剛剛復制的密碼

成功進(jìn)入mysql后，設置我們的mysql密碼，這個(gè)自己記住哈~

?

接下來(lái)設置root用戶(hù)的權限，允許任意ip連接，為后面的hive連接做準備

?

然后再?lài)L試用更改后的密碼登錄一下，成功了就是配置好了。

安裝Hive

到/home/centos/software目錄下，解壓apache-hive-3.1.2-bin.tar.gz到/home/centos/module/目錄下面

?

進(jìn)入module文件夾，把文件名改一下

?

配置環(huán)境變量

? ?

加載環(huán)境變量，并驗證是否成功

?

解決日志Jar包沖突

hadoop和hive之間的log4j版本沖突，要把hive的lib文件夾中的jar包名字改一下，無(wú)法啟用即可。就直接在文件名后加.bak即可。

?

hive元數據配置到mysql

將MySQL的JDBC驅動(dòng)拷貝到Hive的lib目錄下

?

看看是否拷貝成功

?

配置metastore到mysql

在$HIVE_HOME/conf目錄下新建hive-site.xml文件，

?

有三個(gè)值需要你改一下

• 騰訊云內網(wǎng)ip
• mysql密碼
• 本機hostname

?

把改好的內容粘進(jìn)去后，保存退出

啟動(dòng)hive

初始化元數據庫

登錄mysql，創(chuàng )建hive元數據庫

?

退出，初始化hive元數據庫

?

再次進(jìn)入mysql，檢查一下，可以看到已經(jīng)創(chuàng )建好了（有74張表）

?

創(chuàng )建一個(gè)啟動(dòng)腳本，不然每次寫(xiě)那么長(cháng)讓它后臺啟動(dòng)實(shí)在太煩了。

?

添加如下內容

?

保存退出，給腳本加權限

?

現在來(lái)啟動(dòng)吧（啟動(dòng)前要確認hadoop是已啟動(dòng)，且運行正常的哦）

?

可以看到啟動(dòng)成功了，我們用腳本來(lái)看下?tīng)顟B(tài)

?

你會(huì )驚奇的發(fā)現，居然有一個(gè)運行異常，這是怎么回事？其實(shí)是因為它啟動(dòng)比較慢，不信你過(guò)了兩分鐘再看

?

hive jdbc訪(fǎng)問(wèn)

beeline

如果你不是用root來(lái)搭建的hadoop，那這里根據自己的設置更改

?

這樣就是成功進(jìn)入了，退出的話(huà)

?

hive命令行

?

這樣就是成功進(jìn)入了，退出的話(huà)是quit;接下來(lái)就可以玩hive啦！

歷史記錄

他倆的歷史記錄都在家目錄中

?

可以到有一個(gè).hivehistory文件和.beeline文件夾，歷史記錄會(huì )在你quit這個(gè)JDBC后寫(xiě)入。

hive運行日志配置

Hive的log默認存放在當前用戶(hù)名下下，我們把hive本身的運行日志也放到這個(gè)logs里，方便以后查看。

（1）修改$HIVE_HOME/conf/hive-log4j.properties.template文件名稱(chēng)為hive-log4j.properties

?

（2）在hive-log4j.properties文件中修改log存放位置

?

hive啟動(dòng)jvm堆內存設置

新版本的hive啟動(dòng)的時(shí)候，默認申請的jvm堆內存大小為256M，jvm堆內存申請的太小，導致后期開(kāi)啟本地模式，執行復雜的sql時(shí)經(jīng)常會(huì )報錯：java.lang.OutOfMemoryError: Java heap space，因此最好提前調整一下HADOOP_HEAPSIZE這個(gè)參數。

?

將hive-env.sh其中的參數 export HADOOP_HEAPSIZE=1024的注釋放開(kāi)

做完以上所有配置，重啟hive。

windows端連接hive

推薦dbeaver，連接前記得來(lái)到安全組，開(kāi)放10000端口

具體配置步驟如下

然后

測試連接，等個(gè)1分鐘左右基本上就可以成功了
后面就在Windows上好好玩hive吧~

到此這篇關(guān)于手把手教你在騰訊云上搭建hive3.1.2的方法的文章就介紹到這了,更多相關(guān)騰訊云上搭建hive3.1.2內容請搜索服務(wù)器之家以前的文章或繼續瀏覽下面的相關(guān)文章希望大家以后多多支持服務(wù)器之家！

原文鏈接：https://blog.csdn.net/axy_shelly/article/details/107087174