如何將超大規模數據中心設計原則應用于IT存儲

大型企業(yè)的存儲管理員可以借鑒全球主要的超大規模云計算提供商的基礎設施設計原則來(lái)優(yōu)化自己的存儲系統和操作。

大型企業(yè)的管理員可以借鑒全球主要的超大規模云計算提供商的基礎設施設計原則來(lái)優(yōu)化自己的存儲系統和操作。

為超大規模云平臺提供動(dòng)力的和系統代表了IT基礎設施設計和實(shí)施的頂峰。它們提供超出企業(yè)需要的可擴展性、可靠性和吞吐量水平。

也就是說(shuō)，包括存儲管理員在內的企業(yè)IT團隊可以從Google、AWS和其他全球主要公有云提供商那里學(xué)到很多東西。通過(guò)采用某些超大規模數據中心設計原則，存儲管理員可以致力于打造更具可擴展性、彈性和自動(dòng)化的IT存儲系統。

關(guān)鍵的相似性和差異

超大規模云計算提供商和企業(yè)IT運營(yíng)商都在努力適應數據的爆炸式增長(cháng)。在支出方面，他們也有相似之處。在構建服務(wù)器和存儲系統時(shí)，這些支出對云計算運營(yíng)商和在線(xiàn)服務(wù)提供商都很重要，由于IT系統中的設備數以萬(wàn)計，看似很小的成本將會(huì )積少成多。雖然有些企業(yè)不太關(guān)注這樣的成本，并且愿意為值得信賴(lài)的云計算供應商的產(chǎn)品支付更多費用，但沒(méi)有任何IT組織愿意浪費。

為了最大限度地降低運營(yíng)成本(這是IT成本優(yōu)化的一個(gè)關(guān)鍵方面)，超大規模云計算提供商并不需要人工監督的每項任務(wù)實(shí)現自動(dòng)化。任務(wù)自動(dòng)化的關(guān)鍵是軟件，在云計算基礎設施的背景下，它需要用可以在標準服務(wù)器上運行的可擴展軟件替換特定功能的硬件。

超大規模云計算運營(yíng)商的這些和其他要求以多種方式重塑了服務(wù)器、網(wǎng)絡(luò )和存儲行業(yè)，其中包括：

分布式冗余和可擴展性的新技術(shù);

專(zhuān)注于由商品組件構建的靈活硬件;

伴隨著(zhù)從專(zhuān)用設備到在易于更換的標準服務(wù)器上運行的軟件定義服務(wù)的轉變。

一旦IT組織和工程師采用云計算方法來(lái)處理，它就將所有IT服務(wù)(無(wú)論是計算資源還是存儲池)轉換為軟件處理。

超大規模數據中心設計和存儲影響

雖然傳統企業(yè)和公有云基礎設施之間存在相似之處，但這種類(lèi)比并不適合。例如，傳統架構往往涉及IT團隊必須人工管理和修改的高成本基礎設施。這些架構也往往具有少量固定數量的組件。然而，這種傳統的固定基礎設施對于公有云來(lái)說(shuō)沒(méi)有意義，因為云計算具有按次付費模式;如果企業(yè)減少其基礎設施足跡，就可以降低成本。公有云資源也會(huì )自動(dòng)擴展。因此，隨需應變的云服務(wù)屬性不適用于私有基礎設施。

盡管如此，IT團隊可以應用以下超大規模數據中心設計原則來(lái)優(yōu)化企業(yè)存儲：

(1)采用軟件抽象層

服務(wù)器是第一個(gè)虛擬化的基礎設施層，在物理硬件和邏輯資源之間有一個(gè)軟件抽象層。虛擬機(VM)成為企業(yè)應用程序的標準運行時(shí)環(huán)境。在過(guò)去的十年中，隨著(zhù)虛擬機演變?yōu)槿萜?，軟件虛擬化已經(jīng)遍布整個(gè)數據中心。軟件定義網(wǎng)絡(luò )催生了軟件定義廣域網(wǎng)、網(wǎng)絡(luò )功能虛擬化和虛擬網(wǎng)絡(luò )覆蓋。軟件定義存儲(SDS)已將數據存儲設備與信息管理和數據放置控制平臺分離。

最初的軟件定義存儲(SDS)平臺是為特定用途而設計的，例如為虛擬機實(shí)例和數據庫提供塊卷。最近的產(chǎn)品變得與格式和協(xié)議無(wú)關(guān)，能夠跨多個(gè)節點(diǎn)分片數據并將其呈現為邏輯卷、網(wǎng)絡(luò )文件共享或對象存儲。為了提供硬件的靈活性，軟件定義存儲(SDS)還可以與具有集成JBOD SSD、HDD硬盤(pán)和NVMe設備的標準服務(wù)器配套使用。

(2)構建服務(wù)而不是基礎設施

通過(guò)將資源與物理硬件隔離，軟件抽象層提供了混合和匹配硬件的靈活性，可以讓團隊將資源打包為服務(wù)而不是原始基礎設施。企業(yè)從超大規模云計算提供商那里獲得啟發(fā)，使用軟件定義存儲(SDS)提供對象、文件或卷服務(wù)，這些服務(wù)不僅包括容量，還包括備份、長(cháng)期存檔、版本控制和質(zhì)量保證(QoS)級別等具有價(jià)值的輔助功能。

交付服務(wù)而不是基礎設施也為基礎設施設計和相關(guān)服務(wù)的打包提供了靈活性。它可以在不更改交付和計費模型的情況下實(shí)現功能和性能升級。借助存儲即服務(wù)，管理員還可以使用具有不同性能和成本特征的服務(wù)器和驅動(dòng)器來(lái)提供不同的服務(wù)層，以及將數據分布在多個(gè)數據中心和區域之間以獲得更高的可用性。

(3)自動(dòng)化設計

用軟件定義的數據和信息管理服務(wù)代替原始存儲也促進(jìn)了任務(wù)自動(dòng)化。這反過(guò)來(lái)又降低了運營(yíng)支出，減少了配置時(shí)間，并提高了可靠性。軟件定義存儲(SDS)支持編程控制，因為它公開(kāi)了大量用于存儲配置、部署、軟件更新和用戶(hù)配置的API。如果希望像超大規模云計算提供商一樣提供存儲，可以在Terraform、Ansible、SaltStack或VMwarev Realize Automation等自動(dòng)化和基礎設施即代碼平臺中使用軟件定義存儲(SDS)產(chǎn)品公開(kāi)的API，因為這會(huì )將人工流程轉換為可編程腳本。

(4)計劃失敗

服務(wù)器和存儲設備經(jīng)常宕機。而對于擁有數十萬(wàn)臺服務(wù)器和數百萬(wàn)個(gè)驅動(dòng)器的云計算提供商來(lái)說(shuō)，發(fā)生故障屢見(jiàn)不鮮。應該為應對失敗進(jìn)行設計，確保宕機的驅動(dòng)器或服務(wù)器不會(huì )破壞存儲卷或對象blob。一種標準技術(shù)涉及將文件、blob或卷分片為在多個(gè)驅動(dòng)器、節點(diǎn)和數據中心之間復制和分布的塊，使用糾刪碼、散列或類(lèi)似算法來(lái)保證數據完整性。

有些故障不涉及數據破壞，而是損壞或性能損失。云計算運營(yíng)商可以持續監控此類(lèi)事件，并使用自動(dòng)通知系統和腳本來(lái)修復或減輕損害，而無(wú)需人工干預——并且希望在用戶(hù)注意到之前解決。監控還可以確定任何損壞或中斷的程度，并將傳入的存儲請求路由到完整的副本和未受影響的數據中心。

(5)強調可擴展性

IT團隊一直在努力滿(mǎn)足存儲容量需求。但是如今，加速的數據增長(cháng)已經(jīng)在許多企業(yè)中帶來(lái)了危機。要像超大規模云平臺一樣構建存儲，需要按照摩爾定律類(lèi)型的增長(cháng)進(jìn)行設計。管理員應該能夠添加存儲節點(diǎn)和JBOD陣列以無(wú)中斷地擴展橫向擴展系統。

軟件定義存儲(SDS)對此類(lèi)設計至關(guān)重要，因為它將控制平臺(卷、文件和節點(diǎn)管理和配置)與數據平臺(存儲節點(diǎn)和陣列)分開(kāi)。因此，向分布式系統添加容量不需要刪除和遷移卷。相反，IT人員可以添加節點(diǎn)，并使系統能夠在新的可用容量之間自動(dòng)重新分配數據。

與傳統的基于SAN的企業(yè)存儲設計不同，超大規模云平臺不會(huì )縱向擴展和整合——它們橫向擴展和分布。他們還使用監控遙測和預測機器學(xué)習算法來(lái)確定容量增加的擴展配置文件，其目標是在不浪費太多預留空間的情況下?lián)碛凶銐虻娜萘俊?/p>

(6)記住機器是可替代的

與傳統存儲系統相比，運行軟件定義存儲(SDS)堆棧的標準服務(wù)器可以節省資金。企業(yè)可以采用廉價(jià)的商品服務(wù)器替代昂貴的專(zhuān)有存儲硬件。然而，這些服務(wù)器是可替代的，由于每個(gè)文件或數據塊都在多個(gè)節點(diǎn)上的驅動(dòng)器之間復制，因此一兩個(gè)系統的故障不會(huì )影響整個(gè)數據量。機器互換性和數據冗余還讓IT人員可以在方便的時(shí)間批量進(jìn)行維修或更換。

企業(yè)的IT組織必須能夠證明橫向擴展分布式設計所需的系統數量是合理的。