Apache Hadoop版本詳解

服務(wù)器

由于Hadoop版本混亂多變，因此，Hadoop的版本選擇問(wèn)題一直令很多初級用戶(hù)苦惱。本文總結了ApacheHadoop和Cloudera Hadoop的版本衍化過(guò)程，并給出了選擇Hadoop版本的一些建議。

1.Apache HadoopApache版本衍化

截至目前（2012年12月23日），ApacheHadoop版本分為兩代，我們將第一代Hadoop稱(chēng)為Hadoop 1.0，第二代Hadoop稱(chēng)為Hadoop2.0。第一代Hadoop包含三個(gè)大版本，分別是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，變成了穩定版，而0.21.x和0.22.x則NameNodeHA等新的重大特性。第二代Hadoop包含兩個(gè)版本，分別是0.23.x和2.x，它們完全不同于Hadoop1.0，是一套全新的架構，均包含HDFS Federation和YARN兩個(gè)系統，相比于0.23.x，2.x增加了NameNodeHA和Wire-compatibility兩個(gè)重大特性。

經(jīng)過(guò)上面的大體解釋?zhuān)蠹铱赡苊靼琢薍adoop以重大特性區分各個(gè)版本的，總結起來(lái)，用于區分Hadoop版本的特性有以下幾個(gè)：

（1）Append支持文件追加功能，如果想使用HBase，需要這個(gè)特性。

（2）RAID在保證數據可靠的前提下，通過(guò)引入校驗碼較少數據塊數目。詳細鏈接：

http://wap.friendlycc.com.cn/host/

（3）Symlink支持HDFS文件鏈接，具體可參考：http://wap.friendlycc.com.cn/host/

（4）SecurityHadoop安全，具體可參考：http://wap.friendlycc.com.cn/host/

（5）NameNodeHA具體可參考：http://wap.friendlycc.com.cn/host/

（6）HDFSFederation和YARN

需要注意的是，Hadoop2.0主要由Yahoo獨立出來(lái)的hortonworks公司主持開(kāi)發(fā)。

Apache版本下載

（1）各版本說(shuō)明：http://wap.friendlycc.com.cn/host/

（2）下載穩定版：找到一個(gè)鏡像，下載stable文件夾下的版本。

（3）Hadoop最全版本：http://wap.friendlycc.com.cn/host/

2.Cloudera HadoopCDH版本衍化

Apache當前的版本管理是比較混亂的，各種版本層出不窮，讓很多初學(xué)者不知所措，相比之下，Cloudera公司的Hadoop版本管理的要很多。

我們知道，Hadoop遵從Apache開(kāi)源協(xié)議，用戶(hù)可以免費地任意使用和修改Hadoop，也正因此，市面上出現了很多Hadoop版本，其中比較出名的一是Cloudera公司的發(fā)行版，我們將該版本稱(chēng)為CDH（ClouderaDistributionHadoop）。截至目前為止，CDH共有4個(gè)版本，其中，前兩個(gè)已經(jīng)不再更新，最近的兩個(gè)，分別是CDH3（在A(yíng)pache Hadoop0.20.2版本基礎上演化而來(lái)的）和CDH4在A(yíng)pache Hadoop2.0.0版本基礎上演化而來(lái)的），分別對應Apache的Hadoop 1.0和Hadoop2.0，它們每隔一段時(shí)間便會(huì )更新一次。

Cloudera以patch level劃分小版本，比如patch level為923.142表示在原生態(tài)Apache Hadoop0.20.2基礎上添加了1065個(gè)patch（這些patch是各個(gè)公司或者個(gè)人貢獻的，在Hadoopjira上均有記錄），其中923個(gè)是最后一個(gè)beta版本添加的patch，而142個(gè)是穩定版發(fā)行后新添加的patch。由此可見(jiàn)，patchlevel越高，功能越完備且解決的bug越多。

Cloudera版本層次更加清晰，且它提供了適用于各種操作系統的Hadoop安裝包，可直接使用apt-get或者yum命令進(jìn)行安裝，更加省事。

CDH版本下載

（1）版本含義介紹：

http://wap.friendlycc.com.cn/host/ Version and Packaging Information

（2）各版本特性查看：

http://wap.friendlycc.com.cn/host/ Packaging Information for Previous Releases

（3）各版本下載：

CDH3：http://wap.friendlycc.com.cn/host/

CDH4：http://wap.friendlycc.com.cn/host/

注意，Hadoop壓縮包在這兩個(gè)鏈接中的最上層目錄中，不在某個(gè)文件夾里，很多人進(jìn)到鏈接還找不到安裝包！

3.如何選擇Hadoop版本

當前Hadoop版本比較混亂，讓很多用戶(hù)不知所措。實(shí)際上，當前Hadoop只有兩個(gè)版本：Hadoop1.0和Hadoop 2.0，其中，Hadoop1.0由一個(gè)分布式文件系統HDFS和一個(gè)離線(xiàn)計算框架MapReduce組成，而Hadoop2.0則包含一個(gè)支持NameNode橫向擴展的HDFS，一個(gè)資源管理系統YARN和一個(gè)運行在YARN上的離線(xiàn)計算框架MapReduce。相比于Hadoop1.0，Hadoop 2.0功能更加強大，且具有更好的擴展性、性能，并支持多種計算框架。

當我們決定是否采用某個(gè)軟件用于開(kāi)源環(huán)境時(shí)，通常需要考慮以下幾個(gè)因素：

（1）是否為開(kāi)源軟件，即是否免費。

（2）是否有穩定版，這個(gè)一般軟件官方網(wǎng)站會(huì )給出說(shuō)明。

（3）是否經(jīng)實(shí)踐驗證，這個(gè)可通過(guò)檢查是否有一些大點(diǎn)的公司已經(jīng)在生產(chǎn)環(huán)境中使用知道。

（4）是否有強大的社區支持，當出現一個(gè)問(wèn)題時(shí)，能夠通過(guò)社區、論壇等網(wǎng)絡(luò )資源快速獲取解決方法。

考慮到以上幾個(gè)因素，我們分析一下開(kāi)源軟件Hadoop。對于Hadoop2.0而言，目前尚不穩定，無(wú)法用于生產(chǎn)環(huán)境，因此，如果當前你正準備使用Hadoop，那么只能從Hadoop1.0中選擇一個(gè)版本，而目截至目前（2012年12月23日），Apache和Cloudera最新的穩定版分別是Hadoop1.0.4和CDH3U4，因此，你可以從中任選一個(gè)使用。

總結

以上所述是小編給大家介紹的Apache Hadoop版本詳解，希望對大家有所幫助，如果大家有任何疑問(wèn)請給我留言，小編會(huì )及時(shí)回復大家的。在此也非常感謝大家對特網(wǎng)科技網(wǎng)站的支持！

更多關(guān)于云服務(wù)器，域名注冊，虛擬主機的問(wèn)題，請訪(fǎng)問(wèn)特網(wǎng)科技官網(wǎng)：wap.friendlycc.com.cn