阿里云服務(wù)器搭建hadoop集群補充

本文主要為大家講解阿里云服務(wù)器搭建hadoop集群實(shí)現方法的補充說(shuō)明，有需要的朋友可以參考下

1 阿里云服務(wù)器選配

 

首先附上官網(wǎng)鏈接：阿里云官網(wǎng)

點(diǎn)擊上邊鏈接，注冊后登陸官網(wǎng)，選擇產(chǎn)品選項，然后選擇云服務(wù)器ECS，就進(jìn)入云服務(wù)器ECS購買(mǎi)界面。

進(jìn)入云服務(wù)ECS購買(mǎi)界面，點(diǎn)擊立即購買(mǎi)，在界面中分為一鍵購買(mǎi)和自定義購買(mǎi)，如何對配置沒(méi)有概念，感覺(jué)太麻煩，推薦使用一鍵購買(mǎi)。本文以一鍵購買(mǎi)為例，主要是從以下幾個(gè)方面進(jìn)行選購：

• 地域及可用性
• 實(shí)例規格
• 鏡像
• 網(wǎng)絡(luò )類(lèi)型（公網(wǎng)帶寬）
• 購買(mǎi)數量（購買(mǎi)時(shí)長(cháng)）

地域及可用性：選擇離自己比較近的地域，如我在上海，選擇華東2（上海），搭建hadoop集群的時(shí)候，購買(mǎi)的多臺服務(wù)器一定要選擇在同一個(gè)區域，避免后續配置麻煩。

實(shí)例規格： 選擇CPU，及CPU運行內存，搭建hadoop集群的時(shí)候，master主機的運行內存必須是2G以上，其他節點(diǎn)可以為1G。我選購的3臺云服務(wù)器的配置為：master：1 vCPU 2GiB，slave1：1 vCPU 1GiB，slave2：1 vCPU 1GiB。

鏡像：選擇服務(wù)器的系統和系統版本，系統可以選擇CentOS和Ubuntu，版本無(wú)要求，我選擇是 CentOS 8.0 64位。
網(wǎng)絡(luò )類(lèi)型（公網(wǎng)帶寬）：選擇帶寬，1-200Mbps都可以選擇，我選擇是1Mbps。

-購買(mǎi)數量（購買(mǎi)時(shí)長(cháng)）：選擇購買(mǎi)數量和購買(mǎi)時(shí)長(cháng)之后，付完款，就可以登陸了。配置越高費用越高。我選擇的最低配置一個(gè)月：60元。

購買(mǎi)完成后，進(jìn)入實(shí)例。選擇遠程登陸，輸入自己的密碼，即可進(jìn)入系統。進(jìn)入為命令行模式（黑窗口），不是圖形化界面。登陸云服務(wù)器的方法，可以通過(guò)官網(wǎng)登陸，也可以通過(guò)SecureCRT或者Xshell等軟件進(jìn)行登陸，輸入的IP地址（外網(wǎng)IP地址）和密碼即可。

官網(wǎng)上的一個(gè)活動(dòng)，有想法的可以參與一下。
阿里云大禮包領(lǐng)取

2 使用WEB界面訪(fǎng)問(wèn)hadoop集群

 

使用WEB界面訪(fǎng)問(wèn)HDFS和Yarn，該端口分別為50070和18088，這兩個(gè)端口在這個(gè)文件中hdfs-site.xml、yarn-site.xml設置的。忘記的可以參考上一篇文章：阿里云搭建hadoop集群

使用WEB界面訪(fǎng)問(wèn)HDFS和Yarn的兩個(gè)條件：

• 關(guān)閉防火墻
• 云服務(wù)器安全組配置端口

關(guān)閉防火墻命令：

云服務(wù)器安全組配置端口：

進(jìn)入控制臺，選擇自己已經(jīng)開(kāi)通的云服務(wù)器ECS產(chǎn)品，選擇網(wǎng)絡(luò )與安全，點(diǎn)擊安全組，選擇配置規則，然后選擇手動(dòng)添加，添加如上兩個(gè)端口。

WEB界面訪(fǎng)問(wèn)HDFS和Yarn，直接在瀏覽器中輸入外網(wǎng)IP地址：50070訪(fǎng)問(wèn)HDFS，外網(wǎng)IP地址：18088訪(fǎng)問(wèn)Yarn。

3 hadoop集群驗證功能

 

HDFS功能測試：
上傳本地文件到HDFS根目錄，命令如下：

本地文件上傳到HDFS成功的話(huà)，會(huì )在web端Utilities下Browse the file system 中看到上傳的文件，以及文件備份數，文件塊大小，文件塊的存放位置。

Yarn功能測試
運行一個(gè)jar任務(wù)，計算pi（圓周率）大小，命令如下：

找到hadoop文件下的mapreduce例子運行，會(huì )在web端看到j(luò )ob歷史。

不求點(diǎn)贊 只求有用