ZB時(shí)代已來(lái)，云計算數據處理的瓶頸是什么？

不知不覺(jué)，我們已經(jīng)進(jìn)入了ZB時(shí)代，根據IDC的統計，2018年全球創(chuàng )建的數據量達到了32ZB，2019年是45ZB，而2020年由于疫情的影響，大多數人都是在家中工作、學(xué)習和娛樂(lè )，因此2020年創(chuàng )建和復制的數據量出現了異常高的增長(cháng)，該機構預計到2025年，這個(gè)數字是175ZB。

這是什么概念呢？

我們現在的手機存儲容量一般采用的是128GB，

1ZB=1024EB=1024×1024PB=1024×1024×1024TB=1024×1024×1024×1024GB，即1040GB，約1萬(wàn)億GB。這是一個(gè)超級龐大的數字。

圖1：IDC預計數據將會(huì )呈現爆炸式增長(cháng)。

（來(lái)源：IDC，Synopsys）

在如今的數據大爆炸時(shí)代，大部分數據并沒(méi)有被存儲下來(lái)，比如2018年創(chuàng )建的數據是32ZB，被存儲的數據大概是5ZB，只占產(chǎn)生數據的15%。這些被存儲的數據中，被真正分析，并萃取出有用信息的數據則更少。

有價(jià)值數據不到被存儲數據的3%

據IDC統計，目前在收集到的所有數據中，只有12%的數據得到了有效分析，剩下88%的數據其實(shí)是沒(méi)有被處理的。而被有效分析的12%數據中，只有1/4的數據是有意義的，也就是說(shuō)，真正產(chǎn)生了價(jià)值的數據不到被存儲的所有數據的3%。

圖2：真正有用的數據不到存儲數據的3%。

（來(lái)源：IDC，Synopsys）

有人將如今的數據比作能源行業(yè)的石油，認為數據就是現代社會(huì )的動(dòng)力之源，但大量的數據和其潛在價(jià)值，并沒(méi)有體現出來(lái)。人們也沒(méi)有辦法分析如此大量的數據，這是非?？上У囊患虑?。

那有沒(méi)有什么辦法可以更加快速和方便地分析這些海量數據呢？目前業(yè)界最為普遍的方法就是運用圖像加速器和AI加速器，來(lái)提高分析海量數據的效率。

接口成為制約數據處理效率的瓶頸

隨著(zhù)數據量的增加，需要更高的計算密度，而隨著(zhù)計算密度需求的增長(cháng)，我們需要具有更高效率，以及更快速的接口來(lái)處理不斷增長(cháng)的數據量。

因為在數據的處理過(guò)程中，需要頻繁地與系統內存進(jìn)行互動(dòng)傳輸。為了讓數據處理更加有效率，幾乎所有的CPU供應商都會(huì )支持Cache-Coherent協(xié)議，該協(xié)議允許內存共享，能夠最大程度地減少數據的復制和翻譯，以提高數據處理效率。

在服務(wù)器內部和服務(wù)器之間移動(dòng)數據，是導致數據延遲的主要因素，也是制約數據處理效率的一大瓶頸。因此，盡可能地減少數據移動(dòng)，并在需要時(shí)為移動(dòng)數據提供高帶寬、低延遲的接口，是提高云和高性能計算應用程序的性能、減少延遲和功耗的關(guān)鍵。

一般來(lái)說(shuō)，延遲主要來(lái)自三個(gè)方面，一是網(wǎng)絡(luò )延遲，這包括在兩點(diǎn)之間移動(dòng)數據所需要的時(shí)間，網(wǎng)絡(luò )延遲受數據移動(dòng)距離的影響，如果所有其他條件相同的話(huà)，在臨近的兩座建筑物之間移動(dòng)數據就會(huì )比跨越大洲移動(dòng)數據快得多。同時(shí)，網(wǎng)絡(luò )延遲也受到傳輸路徑的影響，更小化網(wǎng)絡(luò )距離和數據經(jīng)歷的網(wǎng)絡(luò )設備數有助于降低網(wǎng)絡(luò )延遲。

二是存儲延遲，這包括數據的存儲和檢索時(shí)間。此前，HDD是主要的長(cháng)期數據存儲截止，且HDD的訪(fǎng)問(wèn)時(shí)間是以毫秒計算的，但隨著(zhù)SSD使用量的增加，數據訪(fǎng)問(wèn)時(shí)間變成了以納秒為單位了，響應速度提高了10000倍。存儲器訪(fǎng)問(wèn)時(shí)間的大幅提升，使得存儲網(wǎng)絡(luò )的延遲成為了存儲延遲的主要影響因素。

三是計算延遲，這是數據處理所需要的實(shí)際計算時(shí)間。計算周期和計算模塊間的數據移動(dòng)（在內存和計算設備之間）全都會(huì )影響數據處理時(shí)間。要解決處理延遲問(wèn)題，設計人員需要解決可用帶寬量和數據傳輸協(xié)議的速度問(wèn)題。

比如，圖3顯示了兩個(gè)芯片的示例。提供應用計算處理的云服務(wù)器片上系統 (SoC) 和圖形加速器芯片。圖形加速器采用 HBM 內存，云服務(wù)器芯片采用傳統 DDR 內存。通過(guò)利用這兩個(gè)設備之間的緩存一致性接口，可以將內存匯集到我們所謂的“融合內存池”中，并且這些設備可以共享內存空間，而實(shí)際上并不需要在進(jìn)程或域之間復制數據。以這種方式，可以減少實(shí)際數據的搬移時(shí)間，從而提高系統的性能和效率。

圖3：緩存一致性接口降低了計算延遲。

那么，如何才能構建這樣的“融合內存池”，讓設備之間共享內存空間呢？這就需要高性能接口IP的幫助，比如PCIe、CXL和CCIX等等。

如何選擇合適的接口類(lèi)型

為了提高更好的性能，數據中心內部的服務(wù)器接口都在升級，比如DDR5 接口速率正在向 6400 Mbps 靠攏；PCIe 接口帶寬翻倍，從 16GT/s 的 PCIe 4.0 升級到 32GT/s 的 PCIe 5.0，預計今年將會(huì )推出的PCIe 6.0，帶寬將會(huì )達到64GT/s；Compute Express Link (CXL) 則可在 PCIe 電氣接口上提供緩存一致性接口，并通過(guò)允許多個(gè)處理器/加速器高效共享數據和內存，來(lái)減少系統中所需的數據移動(dòng)量。

圖4：推動(dòng)了PCIe 5.0的采用。

（來(lái)源：Synopsys）

DDR5接口和PCIe接口已經(jīng)在市場(chǎng)中存在多年，而CXL是2019年3月，英特爾聯(lián)合微軟、思科、戴爾EMC、谷歌、惠普、Facebook、阿里巴巴和華為等多家廠(chǎng)商共同推出的一套服務(wù)于高性能計算機/數據中心領(lǐng)域的超高速互連新標準，用于CPU和加速芯片（GPU、FPGA等）之間通信。如今CXL聯(lián)盟的成員數已經(jīng)增長(cháng)到120多位，包括IBM、AMD 和 Arm等。

另外，CXL 標準通過(guò)提供利用 PCIe 5.0 物理層和電氣元件的接口來(lái)消除其中一些限制，同時(shí)提供極低延遲路徑，用于主機處理器和需要共享內存資源的設備（如加速器和內存擴展器）之間進(jìn)行內存訪(fǎng)問(wèn)和一致緩存。支持的 CXL 標準模式主要圍繞采用 x16 通道配置并以 32GT/s 運行的 PCIe 5.0 PHY。

CXL 標準定義了 3 個(gè)協(xié)議，這些協(xié)議在通過(guò)標準 PCIe 5.0 PHY 以 32 GT/s 傳輸之前一起動(dòng)態(tài)復用：

CXL.io 協(xié)議本質(zhì)上是經(jīng)過(guò)一定改進(jìn)的 PCIe 5.0 協(xié)議，用于初始化、鏈接、設備發(fā)現和列舉以及寄存器訪(fǎng)問(wèn)。它為 I/O 設備提供了非一致的加載/存儲接口。

CXL.cache 協(xié)議定義了主機和設備之間的交互，允許連接的 CXL 設備使用請求和響應方法以極低的延遲高效地緩存主機內存。

CXL.mem 協(xié)議提供了主機處理器，可以使用加載和存儲命令訪(fǎng)問(wèn)設備連接的內存，此時(shí)主機 CPU 充當主設備，CXL 設備充當從屬設備，并且可以支持易失性和持久性存儲器架構。

圖5：不同接口類(lèi)型支持的功能。

對于這三種類(lèi)型的接口，設計師該如何選擇呢？首先我們要了解它們能夠給我們帶來(lái)什么，PCIe接口通過(guò)多年的發(fā)展，帶寬越來(lái)越寬，但是卻不能給你提供聚合內存和低延遲功能；

CCIX 在宣布上市之初，提供 20 GT/s 和 25 GT/s 兩種數據速率，當時(shí)高于 16 GT/s 的 PCIe 4.0，而且這種協(xié)議增加了保持一致性的功能。如今，CCIX v1.1 可提供高達 32GT/s 的數據速率，支持緩存一致性，從而使多個(gè)芯片能夠通過(guò)虛擬內存空間共享內存。大型內存池采用在同一個(gè)系統中相連接的各種組件進(jìn)行構建，從而不需要在處理器和加速器之間傳輸大量數據。CCIX 支持異構計算，能夠支持網(wǎng)狀架構，讓眾多 CPU 或加速器相互連接并連貫一致地共享數據。

雖然 CCIX 實(shí)現與 PCIe 非常相似，但它實(shí)現的是兩個(gè)虛擬通道 (VC)：分別用于一致性和非一致性流量，導致 PCI Express 序列延遲稍高，對 HPC 應用可能沒(méi)有吸引力。由于 CCIX 是對稱(chēng)協(xié)議，CCIX 實(shí)現中的每個(gè)設備都執行相同的操作，并利用本地代理 (Home Agent) 管理緩存。由于其中固有的對稱(chēng)性，任何設備發(fā)生一致性問(wèn)題都可能損害整個(gè)系統，而不僅僅是 SoC。

CXL 是實(shí)現主機到設備異構計算的理想選擇，預期所有四家 CPU 提供商（Intel、IBM、Arm 和 AMD）均會(huì )提供支持。與 CCIX 不同，CXL 是一種不對稱(chēng)協(xié)議，主機可全權控制內存一致性和內存訪(fǎng)問(wèn)。其優(yōu)勢在于 CXL 設備的實(shí)現變得更簡(jiǎn)單，不需要加上代理，這意味著(zhù)設備處理內存時(shí)發(fā)生的任何錯誤都不會(huì )引發(fā)系統故障。

目前，CXL 致力于為服務(wù)器提供經(jīng)過(guò)優(yōu)化的解決方案。CXL 固有的不對稱(chēng)性意味著(zhù)它可能不適用于 CPU 到 CPU 或加速器到加速器的連接。由于 CXL 依賴(lài) PCIe 5.0 PHY，采用不同的傳輸可能更適合提高機架到機架安裝的性能。此外，由于CXL還是一個(gè)比較新的協(xié)議，其生態(tài)系統的構建還不太完善，還需要聯(lián)盟成員共同推進(jìn)，進(jìn)一步完善。

結語(yǔ)

ZB時(shí)代已經(jīng)來(lái)臨，有海量的數據需要我們去處理，并從中萃取出對人類(lèi)有用的信息，這必然需要用到新的數據處理方法，需要更高效率的解決方案。因此，數據中心和高性能計算等應用需要更高的算力，更高效的存儲，以及更高效率的接口，而CXL正是為了解決接口這個(gè)瓶頸應運而生的。目前新思科技的 DesignWare CXL IP 解決方案包含控制器、PHY 和驗證 IP，可為 AI、機器學(xué)習和應用實(shí)現低延遲和高帶寬互聯(lián)。

而且為了提高芯片流片成功率，DesignWare CXL IP解決方案建立在了新思科技的 PCI Express 5.0 專(zhuān)用 DesignWare IP基礎之上，該解決方案已在多種應用中進(jìn)行了流片驗證。在今年2月份，新思科技已經(jīng)交付了業(yè)界首個(gè)符合PCIe5.0和CXL2.0規范的完整性和數據加密安全IP核模塊，協(xié)助開(kāi)發(fā)者在系統中快速實(shí)現必要的安全功能。