數據中心液冷技術(shù)發(fā)展分析

摘要：隨著(zhù)我國信息產(chǎn)業(yè)的飛速發(fā)展，數據中心總體需求不斷提升，單機柜功率密度不斷提高，傳統的散熱方式已不能滿(mǎn)足當前高密度數據中心的發(fā)展需求。液冷技術(shù)的出現，改善了傳統的散熱形式，并憑借高可靠、低能耗等優(yōu)勢，逐步被應用于數據中心。文章主要對浸沒(méi)式、冷板式、噴淋式 3 種液冷技術(shù)進(jìn)行分析，并對3 種液冷技術(shù)的特點(diǎn)進(jìn)行對比，歸納3 種技術(shù)的不同特性。分析液冷系統、應用以及行業(yè)發(fā)展，為后續建設綠色高效的數據中心提供參考。

關(guān)鍵詞：液冷；浸沒(méi)式；冷板式；噴淋式；數據中心

01引言

數據中心在信息社會(huì )和數字經(jīng)濟發(fā)展中扮演著(zhù)重要的角色，提供計算、存儲、網(wǎng)絡(luò )能力，支撐社交、視頻、網(wǎng)購等應用的正常進(jìn)行。隨著(zhù)云計算、大數據、人工智能等技術(shù)的發(fā)展和應用，數據中心規模不斷擴大，數據中心總體耗能總量不斷增加。2020 年，中國數據中心年耗電量超過(guò)2500 億kW · h，占全部用電量比例的3%，預計仍將以15%~20% 的速率持續增長(cháng)。如圖1 所示，數據中心能耗結構中冷卻系統能耗占據高達40%，成為數據中心進(jìn)行能效優(yōu)化的重要因素。

隨著(zhù)國家對新基建的重視，數據中心迎來(lái)新的發(fā)展浪潮，伴隨著(zhù)數字化社會(huì )的發(fā)展，數據中心也將會(huì )承擔越來(lái)越重要的角色，推動(dòng)數據處理、存儲、傳輸等相關(guān)設備的建設與發(fā)展。

數據中心能耗結構圖

作為各類(lèi)數據信息的關(guān)鍵基礎設施，數據中心的規模不斷提升，規模的年增長(cháng)率保持在 30% 左右，截止到2020 年底，數據中心機架總量已經(jīng)超過(guò)400 萬(wàn)架。數據中心利用率是數據中心算力的主要表現形式。2019 年底，我國大型、超大型、中小型的數據中心利用率均達到45% 以上。當前，數據中心能效水平不斷攀升，加快了可再生能源的利用效率。當前，我國數據中心的電源利用效率（Power Usage Effectiveness，PUE）水平較低，大型、超大型數據中心平均PUE 均達到1.5 以下，在綠色低碳數中心建設方面取得了突出的成果。同時(shí)，我國可再生能源利用率不斷攀升，到2020 年底，可再生能源發(fā)電量超過(guò)22000 億kW，增長(cháng)率達8.4%。螞蟻集團、阿里巴巴等領(lǐng)先數據中心企業(yè)設計實(shí)施了可再生能源利用、綠色技術(shù)研發(fā)等綠色低碳數據中心策略。

數據中心一方面作為各類(lèi)數據信息的核心基礎設施，另一方面又與傳統行業(yè)融合發(fā)展、緊密相連，特別是與電力系統領(lǐng)域更加密不可分。數據中心機房作為現代信息建設的基礎工程，能夠提供穩定的運行環(huán)境。而電力系統作為數據中心的重要組成部分，占據整個(gè)數據中心資產(chǎn)的 50% 以上，是數據中心的主要支撐。近年來(lái)，隨著(zhù)我國電力行業(yè)信息化程度逐步提高，能源互聯(lián)網(wǎng)建設進(jìn)程不斷增加，電力行業(yè)先后提出“云大物移”、智慧能源等建設目標，深入應用大數據、人工智能、區塊鏈等技術(shù)，加速推進(jìn)能源革命與數字革命融合發(fā)展。當前，智能電網(wǎng)和互聯(lián)網(wǎng)技術(shù)不斷創(chuàng )新，以數據賦能電力系統，用價(jià)格信號引導電力用戶(hù)改變自身的用電行為，從需求側增加電力系統運行的敏捷性，豐富電網(wǎng)的運行調節手段，有效促進(jìn)我國電能量市場(chǎng)的高速發(fā)展。同時(shí)，國家電網(wǎng)有限公司結合供配電資源優(yōu)勢，提出將變電站、數據中心站等多站進(jìn)行融合的建設目標，利用現有資源，實(shí)現數量多、分布廣的部署特點(diǎn)，為社會(huì )提供多種類(lèi)型的服務(wù)。我國電力行業(yè)大型數據中心以支撐自身業(yè)務(wù)為主，并不斷以綠色化、智能化、定制化為方式，推動(dòng)數據中心建設。

數據中心作為集中放置電子信息設備，提供運行環(huán)境的建筑場(chǎng)所，是電力系統領(lǐng)域中的重要基礎設施。數據中心大多建立在環(huán)境周邊清潔、水源充足、遠離自然災害隱患、環(huán)境溫度利于節約能源的地區，不但能夠確保數據中心建設的安全性，而且對降低數據中心在建設過(guò)程中的能源消耗、節省數據中心的建設成本有一定的優(yōu)勢，如張北云聯(lián)數據中心通過(guò)全自動(dòng)化樓宇設備自控（Building Automation System-RTU，BA）系統，利用周邊環(huán)境溫度低的優(yōu)勢，實(shí)現自然冷源利用率的最大化，使年均PUE 達1.23。另外，電力對于數據中心基礎建設是數據中心運營(yíng)的重要保障，電價(jià)成本的高低對數據中心的建設和運營(yíng)均具有較大的影響。數據中心全天處于運行狀態(tài)，不但需要充足的電力供給保障服務(wù)器、IT設備的正常運行，而且還需要長(cháng)期運行機房的散熱設備對機房進(jìn)行降溫處理。因此，電費支出成為數據中心運營(yíng)支出的主要部分，使華為、阿里巴巴、騰訊、今日頭條、百度等科技巨頭對數據中心的布局逐漸向河北、內蒙古、貴州等一線(xiàn)周邊城市擴散。如位于烏蘭察布市察哈爾經(jīng)濟技術(shù)開(kāi)發(fā)區的烏蘭察布華為云數據中心，利用電力氣候等獨特優(yōu)勢采取多種措施實(shí)現綠色、高質(zhì)量、低成本的運營(yíng)模式，達到全年P(guān)UE 小于1.15，成為業(yè)界最佳水平。阿里巴巴公司利用貴州水電充足、電價(jià)成本偏低的優(yōu)勢，將數據中心設立在貴州，實(shí)現了建設高等級、低成本的數據中心。

隨著(zhù)新基建戰略的不斷推進(jìn)，數據中心逐漸成為各行各業(yè)不可或缺的紐帶，同時(shí)，其自身的能耗問(wèn)題也備受關(guān)注。由于冷卻系統耗能占比高、可優(yōu)化空間大，當前通過(guò)改善數據中心的制冷方式，進(jìn)而降低數據中心能耗，已經(jīng)成為推進(jìn)我國數據中心高質(zhì)量發(fā)展的必要措施之一。液冷技術(shù)是數據中心制冷革新的關(guān)鍵技術(shù)之一，可以較好地提高數據中心的能效水平。

在發(fā)展方面，液冷技術(shù)在航天等領(lǐng)域內具有很長(cháng)的應用歷史，而在數據中心行業(yè)中發(fā)展較為緩慢。文獻[9]提出了液冷結合風(fēng)冷技術(shù)的雙通道系統，且測試實(shí)驗PUE 結果達1.1 到1.2 之間；文獻基于多個(gè)城市的液冷散熱樣本數據進(jìn)行分析，構建了不同城市數據中心制冷散熱系統的能耗計算模型，有效降低了數據中心系統的能耗值。文獻結合數據中心節能分析基礎上，采用熱回收技術(shù)，在降低數據中心能耗的同時(shí)，提升熱回收效益。在國外，也有大量的研究人員對降低數據中心的損耗進(jìn)行大量的研究，產(chǎn)生了較多的應用案例，如IBM 公司的SuperMUC 充分應用液冷技術(shù)的制冷優(yōu)勢，大幅度降低了數據中心的損耗率。

針對數據中心液冷技術(shù)在不同行業(yè)的技術(shù)應用發(fā)展，本文主要從浸沒(méi)式、冷板式、噴淋式 3 種液冷技術(shù)的發(fā)展進(jìn)行分析，并將3 種液冷技術(shù)的特點(diǎn)進(jìn)行系統的對比，總結出液冷技術(shù)的不同特點(diǎn)以及適用應用場(chǎng)景類(lèi)型，為數據中心液冷技術(shù)的場(chǎng)景應用及技術(shù)發(fā)展提供參考。

01液冷技術(shù)分析

液冷技術(shù)是電子設備進(jìn)行散熱的技術(shù)，主要區別于目前常用的風(fēng)冷技術(shù)。當前液冷技術(shù)包括浸沒(méi)式、冷板式、噴淋式等類(lèi)型，本節主要介紹上述 3 種液冷技術(shù)的系統組成和運行過(guò)程，并對3 種液冷技術(shù)進(jìn)行對比。

1.1 浸沒(méi)式液冷技術(shù)

浸沒(méi)式液冷技術(shù)通過(guò)浸沒(méi)發(fā)熱器件，使得器件與液體直接接觸，進(jìn)而進(jìn)行熱交換。根據介質(zhì)是否存在相變化分為單相浸沒(méi)和相變浸沒(méi) 2 種類(lèi)型。本文主要以相變浸沒(méi)液冷技術(shù)為研究對象，分析其降低數據中心能耗工作原理。

浸沒(méi)式液冷技術(shù)主要由冷卻液、腔體結構、換熱模塊及相關(guān)的連接管道等設施構成。其中，冷卻液為數據中心的換熱介質(zhì)，具有高絕緣、低黏度以及超強的兼容特性，是浸沒(méi)式液冷技術(shù)的主要媒介。主板芯片等發(fā)熱器件表面的散熱性能在很大程度上影響介質(zhì)沸騰的換熱強度，若芯片表面光滑，則液體在換熱面上的傳熱系數較高，從而提高熱量的散發(fā)速率。市場(chǎng)上常采用安裝散熱罩的方式，增大芯片的散熱面積，從而提高數據中心的散熱性能，降低損耗率。冷卻模塊是浸沒(méi)式液冷技術(shù)的主要散熱模塊，包含液氣換熱器、循環(huán)泵等多個(gè)配件設施。冷卻模塊的部署方式可以影響冷卻液的冷凝換熱效率，改變浸沒(méi)式系統的冷卻極限，從而降低數據中心的散熱效率，其模塊大多適用于高性能、高熱流的計算場(chǎng)景，如中科曙光 E 級超算設備，完全擺脫風(fēng)冷散熱的制約，去除風(fēng)冷式散熱器，配置512 個(gè)計算節點(diǎn)，系統峰值功耗為249 kW，PUE 達1.04，有效解決高密度計算產(chǎn)生的制冷散熱問(wèn)題。網(wǎng)速科技是最早布局液冷數據中心產(chǎn)品線(xiàn)的企業(yè)，通過(guò)浸沒(méi)式液冷的散熱方式，將散熱能耗降低90%~95%、設備能耗降低10%~20%，有效降低數據中心的總體能耗占比。

1.2 冷板式液冷分析

冷板式液冷系統主要由換熱冷板、熱交換單元和循環(huán)管路、冷源等部件構成。冷板式液冷將熱量傳遞給循環(huán)管道中的冷卻液體，通過(guò)液體本身的制冷特性將服務(wù)器產(chǎn)生的熱量帶走，提高冷板的冷卻效率，大幅度降低數據中心的能耗。

換熱冷板通過(guò)空氣、水或其他冷卻介質(zhì)在通道中的強迫對流，帶走服務(wù)器中的耗熱能量，可有效降低數據中心的 PUE 值。冷板材質(zhì)一般由高導熱系數的材料構成，使得冷板表面接近等溫，帶走大量的集中熱量。并且冷板的應用減少冷卻介質(zhì)對電子元器件的污染，提高數據中心設施的使用壽命。冷量分配單元主要為豎直和水平2 種形式，通過(guò)豎直和水平分液?jiǎn)卧獙⒌蜏乩鋮s液均勻的分配給每一個(gè)分液?jiǎn)卧?，防止芯片熱量無(wú)法有效散出，減少因節點(diǎn)溫度升高而發(fā)生的隱患，提高系統的計算能力。循環(huán)管路是連接換熱冷板、熱交換單元以及其他相關(guān)器件的重要部件，一般分為直連式和環(huán)路式2 種類(lèi)型，大多根據數據中心建設的不同需求，選擇合適的管路進(jìn)行連接。冷源作為帶走數據中心產(chǎn)生熱量的最終出口，是冷卻系統的主要組成部分。大多采用室外冷卻設備提供的低溫冷卻水在熱交換單元中充當冷源。冷源與升溫后的冷卻液進(jìn)行間接接觸，通過(guò)帶走冷卻液的熱量進(jìn)行降溫，使冷卻液以低溫狀態(tài)進(jìn)入芯片模塊，進(jìn)而進(jìn)入散熱循環(huán)。因此，冷源的選擇合理與否，將會(huì )直接影響整個(gè)系統的使用效率及運行的經(jīng)濟性問(wèn)題，如阿里巴巴千島湖數據中心利用周邊環(huán)境的自然資源，采用湖水自然冷卻系統等技術(shù)，使PUE 達1.28，有效節省數據中心的建設成本。

1.3 噴淋式液冷分析

噴淋式液冷一般不需要對數據中心的基礎設施進(jìn)行大幅度地改動(dòng)，只需在噴淋模塊調整噴淋頭，實(shí)現噴淋設備與服務(wù)器的精準對應。與傳統風(fēng)冷服務(wù)器相比，其可以有效降低器件所產(chǎn)生的熱量，從而控制數據中心運行的溫度。噴淋式液冷服務(wù)器是整個(gè)噴淋系統的主要內部器件，憑借其高性能、低能耗、高可靠運行的特點(diǎn)，可以有效降低數據中心能耗。當前，先進(jìn)的噴淋式液冷服務(wù)器大多采用芯片級噴淋液冷技術(shù)，通過(guò)冷卻液帶走部件產(chǎn)生的熱量，冷卻液的溫度提升后，隨即進(jìn)入冷卻系統的換熱裝置進(jìn)行換熱。

1.4 液冷技術(shù)對比

對冷板式、浸沒(méi)式、噴淋式液冷技術(shù)進(jìn)行比對，具體情況如表 1 所示。由表1 可以看出，冷板式液冷技術(shù)在可維護性、空間利用率、兼容性方面具有較強的應用優(yōu)勢；但在成本方面，由于其單獨定制冷板裝置的原因，導致技術(shù)應用的成本相對較高。而噴淋式液冷技術(shù)則通過(guò)改造舊式的服務(wù)器和機柜的形式，大幅度減少了數據中心基礎設施的建設成本。浸沒(méi)式技術(shù)與其他2 種技術(shù)相比，雖然器件的可維護性和兼容性較差，但空間利用率與可循環(huán)方面具有較好的表現，降低數據中心的能耗。

02液冷產(chǎn)業(yè)發(fā)展分析

2.1 行業(yè)應用現狀分析

第 1 節中液冷技術(shù)在數據中心行業(yè)已經(jīng)有一些具體的應用案例。冷板式液冷是應用最早的液冷技術(shù)，在數據中心、高性能計算等行業(yè)均有應用；浸沒(méi)式液冷技術(shù)具有節能性、高性能的特點(diǎn)，在計算機超算領(lǐng)域具有廣闊的應用前景；噴淋式液冷目前公開(kāi)的應用較少，但近年來(lái)應用也逐步加快。本節將結合液冷技術(shù)的類(lèi)型特點(diǎn)，通過(guò)不同的應用案例分析浸沒(méi)式、冷板式、噴淋式的應用技術(shù)。

1）浸沒(méi)式液冷技術(shù)。目前，高性能計算是進(jìn)行科學(xué)計算、推動(dòng)信息社會(huì )發(fā)展的重要方式。以中科曙光為例，其一直致力于大型超算系統的研發(fā)，而高效制冷技術(shù)是降低高密度IT 設備的主要形式，經(jīng)過(guò)相關(guān)研發(fā)和測試，曙光E 級超算系統已經(jīng)利用浸沒(méi)式液體相變的冷卻方式，有效降低液冷系統的冷卻極限。同時(shí)，其采用立體擴展的多層機房模式，完成系統的高效集成。除中科曙光外，北京服務(wù)于云渲染的數據中心，通過(guò)浸沒(méi)式液冷技術(shù)改變傳統的風(fēng)冷技術(shù)，去除制冷主機和末端空調風(fēng)機，降低數據中心基本設施的電能損耗，提高數據中心的運行效率。

2）冷板式液冷技術(shù)。當前，冷板式液冷技術(shù)的應用也具有較多的案例，如北京水冷超算中心采用常溫水冷技術(shù)，解決數據中心的內存散熱問(wèn)題，從而降低數據中心的能耗，使該數據中心達到國內領(lǐng)先的節能水平，成為業(yè)界的標桿；百度陽(yáng)泉數據中心也采用冷板式液冷技術(shù)，通過(guò)利用系統循環(huán)泵驅動(dòng)溫水技術(shù)帶走升溫的芯片熱量，進(jìn)而降低數據中心的能耗。華為研發(fā)的冷板式液冷技術(shù)也已經(jīng)開(kāi)始推廣應用，并在PUE 方面取得較好的效果。

3）噴淋式液冷技術(shù)。噴淋式液冷技術(shù)的理論基礎研究相對較少，技術(shù)的應用場(chǎng)景也比較有限。因此，只有少量數據中心基礎設備采用噴淋式液冷技術(shù)，如上海大數據試驗場(chǎng)，一方面其采用模塊化的集裝箱式技術(shù)，降低了建設數據中心的應用成本；另一方面，其結合噴淋液冷技術(shù)，實(shí)現284 kW 的IT 負載，并將IT 設備的PUE 控制在穩定的范圍內，提高數據中心的能效。

2.2 行業(yè)應用問(wèn)題分析

液冷技術(shù)在數據中心行業(yè)的散熱方面具有顯著(zhù)的優(yōu)勢，但在數據中心行業(yè)大規模應用，仍需提高技術(shù)的創(chuàng )新性和適用性，需要解決以下行業(yè)發(fā)展問(wèn)題。

1）液冷適用性。每一種新興技術(shù)的應用，都需要廠(chǎng)商進(jìn)行長(cháng)期的實(shí)驗，才能保證技術(shù)的穩定性。并且在大批量應用之前需進(jìn)行小規模的定點(diǎn)實(shí)驗，提高液冷的實(shí)用性。當前，液冷技術(shù)應當進(jìn)一步加強小規模的定點(diǎn)實(shí)驗，并努力批量應用于數據中心行業(yè)中。

2）液冷架構的重構性。液冷方式的部署環(huán)境與傳統的機房有較大的差異，而且部署架構也需要重新構建。因此，采用液冷技術(shù)不但面臨高額的部署費用，而且也增加運維人員的時(shí)間成本，大幅度升高了數據中心的運維成本，因此，需要進(jìn)一步在架構、運維等方面進(jìn)行優(yōu)化。

3）液冷設計的規范性。液冷在數據中心的建設和測試過(guò)程中缺乏成熟的行業(yè)規范，大部分企業(yè)均根據自身的需求特點(diǎn)進(jìn)行研發(fā)，未達成業(yè)界的統一標準。若未進(jìn)行標準化統一管理，會(huì )導致液冷技術(shù)不規范發(fā)展，一旦產(chǎn)生破壞性故障，會(huì )徹底打擊液冷技術(shù)的發(fā)展。同時(shí)，非標產(chǎn)品也不利于成本和應用，因此必須加快標準化進(jìn)程。

2.3 行業(yè)發(fā)展建議

液冷技術(shù)在數據中心行業(yè)的應用中，需要逐步成熟的發(fā)展過(guò)程，必須依托廠(chǎng)商、用戶(hù)及行業(yè)組織的推進(jìn)，才能在未來(lái)的發(fā)展中獲得大幅度提升，具體建議如下。

1）完善液冷技術(shù)材料的通用性，降低建設成本。如冷板式液冷技術(shù)中，冷板的要求規格較多，導致冷板式技術(shù)的成本較高。若對液冷應用的原材料和配件進(jìn)行深入研究，降低制造液冷原材料和配件的成本，將會(huì )大幅度提升液冷數據中心的發(fā)展速度。

2）提高液冷技術(shù)的運維效率。液冷技術(shù)的運維與傳統風(fēng)冷技術(shù)的運維方式相差較大，從而加劇運維人員的工作成本。因此，需要生產(chǎn)配件的各個(gè)廠(chǎng)商及設備商提供安裝、調試和運維的規范說(shuō)明。通過(guò)標準化的流程，不但保障其應用的穩定性，而且大幅度提升運維人員的工作效率。

3）加強液冷技術(shù)驗證力度，確保技術(shù)可靠運行。液冷技術(shù)的可靠性實(shí)施，需要依托于設備商、服務(wù)商、用戶(hù)等企業(yè)。從節能性、可靠性和適用性等方面，推進(jìn)液冷技術(shù)示范試點(diǎn)的運行，并在加強驗證的基礎上，在數據中心行業(yè)進(jìn)行大批量的推廣。

03結語(yǔ)

我國數據中心飛速發(fā)展的同時(shí)，數據中心能耗也逐漸增加，對企業(yè)發(fā)展和社會(huì )能源，均帶來(lái)了巨大挑戰。在數據中心的基礎設施建設中，液冷技術(shù)雖不是一個(gè)全新的概念，但仍存在液冷適用性、架構重構性以及設計規范性等多方面問(wèn)題。針對液冷技術(shù)，本文從技術(shù)和行業(yè)發(fā)展 2 個(gè)方面進(jìn)行分析，并提出液冷技術(shù)的發(fā)展優(yōu)勢，為未來(lái)數據中心行業(yè)的發(fā)展提供理論參考。

下一階段仍需高度關(guān)注液冷技術(shù)和數據中心行業(yè)的變革，為推動(dòng)液冷技術(shù)的應用以及實(shí)現高效能數據中心建設奠定基礎。