騰訊大規模Hadoop集群實(shí)踐

3. 減輕運營(yíng)負擔和成本。十幾個(gè)集群同時(shí)需要穩定運營(yíng)，而且當一個(gè)集群的問(wèn)題解決時(shí)，也需要解決其他集群已經(jīng)出現的或者潛在的問(wèn)題。一個(gè)Hadoop版本要在十幾個(gè)集群逐一變更，監控系統也要在十幾個(gè)集群上部署。這些都給運營(yíng)帶來(lái)了很大負擔。此外，分散的多個(gè)小集群，資源利用率不高，機器成本較大。

1. 單點(diǎn)NameNode的問(wèn)題

3. Job提交過(guò)程

TDW（Tencent distributed Data Warehouse，騰訊分布式數據倉庫）基于開(kāi)源軟件Hadoop和Hive進(jìn)行構建，打破了傳統數據倉庫不能線(xiàn)性擴展、可控性差的局限，并且根據騰訊數據量大、計算復雜等特定情況進(jìn)行了大量?jì)?yōu)化和改造。

2. 計算資源共享。當一個(gè)集群的計算資源由于某些原因變得緊張時(shí)，例如需要數據補錄時(shí)，這個(gè)集群的計算資源就捉襟見(jiàn)肘，而同時(shí)，另一個(gè)集群的計算資源可能空閑，但這兩者之間沒(méi)有做到互通有無(wú)。

（2）JobTracker如果發(fā)生故障，只會(huì )影響單個(gè)Job，對其他Job不會(huì )造成影響。

ID lishilong404740787

（1）ClusterManager如果發(fā)生故障，不會(huì )造成Job狀態(tài)丟失而且在短時(shí)間內即可恢復。它只存儲資源情況，不存儲狀態(tài)，ClusterManager在很短的時(shí)間內可以重啟完成。重啟之后，TaskTracker重新向ClusterManager匯報資源，ClusterManager從重啟至完全獲得集群的資源情況整個(gè)階段可以在10秒內完成。

4. 存在的問(wèn)題及應對措施

JobTracker分散化

TDW在實(shí)施大集群過(guò)程中，除了主要實(shí)施JobTracker分散化和NameNode高可用兩個(gè)方案，還進(jìn)行了一些其他優(yōu)化。

1.單點(diǎn)JobTracker的瓶頸

（6）引入ZooKeeper。主要用來(lái)做主節點(diǎn)選舉和記錄相關(guān)日志：NameNode節點(diǎn)狀態(tài)、安全日志序號、必要時(shí)記錄edit log。

圖1 TDW的功能模塊 

其他優(yōu)化

NameNode高可用

TDW設計了一種一主兩熱備的NameNode高可用方案。新架構下NameNode角色有三個(gè)：一主（ActiveNameNode）兩熱備（BackupNameNode）。ActiveNameNode保存namespace和block信息，對DataNode下發(fā)命令，并且對客戶(hù)端提供服務(wù)。BackupNameNode包括standby和newbie兩種狀態(tài)：standby提供對ActiveNameNode元數據的熱備，在A(yíng)ctiveNameNode失效后接替其對外提供服務(wù)，newbie狀態(tài)是正處于學(xué)習階段，學(xué)習完畢之后成為standby。