ODCC-2023-01008冷板液冷服ó~設?白皮書[編號

ODCC-2023-01008]冷板液冷服ó~設?白皮書_放數oo心委\會2023-09發布1ODCC-2023-01008冷板液冷服ó~設?白皮書版權聲明ODCC?開放數據中心委員會ā發布的各項成果，×:著作權法;保護，編制單位共同?有著作權2轉載1摘編或利用其它方式使用

ODCC

成果中的文字或者觀點的，à注明來源：<開放數據中心委員會

ODCC=2對于未經著作權人書面同意而實施的剽竊1復制1修改1銷售1改編1匯編和翻譯出版等侵權行為，ODCC

及有關單位將追究其法律ˉ任，感謝各單位的配合與支持2IODCC-2023-01008冷板液冷服ó~設?白皮書編寫組項目經理：董少杰工作組長：王峰中移動信息技術有限公司中國電信股份有限公司研究院-獻專家：阮前中移動信息技術有限公司肖愛元劉玲中移動信息技術有限公司中移動信息技術有限公司許豪豪孫翠鋒黃山中移動信息技術有限公司中移動信息技術有限公司中移動信息技術有限公司李圣義高從文曹原銘雷鳴中移動信息技術有限公司中移動信息技術有限公司中國移動通信集團設計院有限公司中國移動通信集團設計院有限公司中國移動通信集團設計院有限公司中國移動通信集團設計院有限公司中國信息通信研究院

(云大所數據中心團隊)中國信息通信研究院

(云大所數據中心團隊)超聚?數字技術有限公司劉芹封鐸謝麗娜李寧東單彤張_?蘇金炎馮思淵超聚?數字技術有限公司超聚?數字技術有限公司超聚?數字技術有限公司IIODCC-2023-01008冷板液冷服ó~設?白皮書常乾坤劉明巖徐欣曙光數據基礎設施創e技術(北e)股份有限公司曙光數據基礎設施創e技術(北e)股份有限公司曙光數據基礎設施創e技術(北e)股份有限公司華為技術有限公司孫曉光高俊恩相文博溫春光張子徐徐旭東蔡?義許銀錄馮亞利董玉山鐘鳳舞李海平金超強張安娜趙雷華為技術有限公司浪潮電子信息產`股份有限公司浪潮電子信息產`股份有限公司浪潮電子信息產`股份有限公司烽火通信科技股份有限公司烽火通信科技股份有限公司烽火通信科技股份有限公司中航光電科技股份有限公司中航光電科技股份有限公司深圳憶聯信息系統有限公司深圳憶聯信息系統有限公司普洛?普瑞數據科技(上海)有限公司中科可控信息產`有限公司寧暢信息產`?北eā有限公司IIIODCC-2023-01008冷板液冷服ó~設?白皮書前

言本規范由開數據中心標準è?委員會發_2由于時間倉促，水?限，錯誤和O足之處在?難免，l迎各O讀者批評指l2如p意見或建°請聯系編寫組2IVODCC-2023-01008冷板液冷服ó~設?白皮書目

錄版權聲明............................................................................................................................................I編寫組

..............................................................................................................................................II前

言

..............................................................................................................................................

IV一1

引言

........................................................................................................................................1二1

液冷?術分類

........................................................................................................................2?一ā

非接觸式液冷.............................................................................................................2?二ā

接觸式液冷.................................................................................................................3?Oā

液冷?術ü比.............................................................................................................4O1

冷板式液冷部件選擇.............................................................................................................7?一ā

冷t液.........................................................................................................................7?二ā

快接頭.........................................................................................................................7?Oā

冷量分配單元?CDUā...............................................................................................8?四ā

冷板...........................................................................................................................10?五ā

服á器液冷管路.......................................................................................................11四1

液冷服á器要求

..................................................................................................................12?一ā

整機柜服á器的要求...............................................................................................121．

通用算力整機柜服á器要求.................................................................................122．

AI算力整機柜服á器要求....................................................................................143．

整機柜設計要求.....................................................................................................16?二ā

單節點服á器的要求...............................................................................................19五1

液冷帶來的ù化

..................................................................................................................21?一ā

液冷O種交付模式及優劣勢...................................................................................21?二ā

液冷機配套要求...................................................................................................24?Oā

液冷?āP風冷?ā的ü比分析...........................................................................26VODCC-2023-01008冷板液冷服ó~設?白皮書}1

T用案例

..............................................................................................................................28?一ā

超聚ù金融領域液冷T用案例...............................................................................28?二ā

超聚ù科教領域液冷T用案例...............................................................................28?Oā

浪潮金融領域液冷T用案例...................................................................................29?四ā

曙光à聯網領域液冷T用案例...............................................................................29?五ā

曙光

IDC領域液冷T用案例...................................................................................30?}ā

曙光氣象領域液冷T用案例...................................................................................30?七ā

烽火科教領域液冷T用案例...................................................................................31?{ā

華~

IDC領域液冷T用案例...................................................................................31?九ā

華~

AI領域液冷T用案例.....................................................................................32VIODCC-2023-01008冷板液冷服ó~設?白皮書冷板液冷服務器設計白皮書一1

引言隨著s?數智化轉型的逐nè?，在數智化中起決定性作用的算力ü生活1服á1經濟的影響越來越大2~了滿足日益增長的算力需求，全?數據中心的規模_隨之迅?增長2?家à聯網信息T|室發_的:數_中?發展?告?2022?ā;顯示，截ó

2022??，s?數據中心機架總規模已超過

650

萬標準機架，à

5

??均增?超過

30%，在用數據中心算力總規模超

180EFLOPS，O居世界第二2數據中心及機架規模的快?增長，導?數據中心用電量急劇攀升22021?全?數據中心耗電量達

2166億t，ts全?總耗電量的2.6%，碳排量

1.35

億噸，s全?總排量的

1.14%2~了降P數據中心能耗，?力áā?碳目標，?府鼓勵T點行`利用綠色數據中心等新型?術áā節能降耗，要求全?新建大型1超大型數據中心均電能利用效率?PUEā降到

1.3

以Q，?家樞紐節點?一n降到

1.25以Q，綠色P碳等?達到

4A?以P2同時，隨著服á器x心計算芯片的更新換代，服á器單芯片?耗將達到

500~1000W，風冷散熱能力p限，機柜空間剩余ā象愈發明顯2GPU服á器1高性能計算服á器等設備的發展及?率密t的增àü數據中心的制冷水提出了更高的要求2另外，風扇作~

IT

設備要散熱部件，w?耗在

IT

設備總?耗中s比越來越高，à向提高數據中心整體

PUE，P?家節能降耗?策要求相悖2液冷?術通過用冷t液體?代傳統空氣散熱，液體P服á器高效熱交換，大幅提高服á器散熱效率和`á系統?靠t，并`?境1ODCC-2023-01008冷板液冷服ó~設?白皮書?T性好，?以減少土地s用，因m逐nr~一種數據中心制冷新型解決方案2二1

液冷?術分類傳統風冷使用空氣作~換熱介°，液冷數據中心使用y°水或者氟化液等液體作~換熱介°2由于密t1比熱容和導熱系數的差異，相同流量的液體相比空氣散熱能力最高?提升

3500倍2y據冷t液P發熱源的接觸方式，液冷?術?以分~非接觸式液冷和接觸式液冷兩大類2?一ā非接觸式液冷非

接

觸

式

液

冷



要

指

冷

板

式

液

冷

，

將

服

á

器

發

熱

元

件?CPU/GPU/DIMM

等ā貼à冷板，液體在冷板內流ú，帶走發熱元件的熱量，液體OP發熱源直接接觸，冷t液多采用去離子水2冷板式液冷原理如Qā?示?ā

1冷板式液冷原理示意ā冷板式液冷換熱熱阻較大，相比傳統風冷散熱?術?áā

60%～90%的能耗降P，數據中心

PUE值能降ó

1.2t右，同時，?保持傳統機柜方式部署，部署密t較高，ü當前機配套和服á器改

難t和r本較小2但由于w只ü服á器中的高發熱元件采用液冷散熱，因m，?需少量風扇ü服á器中的非液冷元件?行風冷散熱.另外，還需考慮液體泄露風險22ODCC-2023-01008冷板液冷服ó~設?白皮書?二ā接觸式液冷接觸式液冷的液體P發熱源直接接觸，包括浸沒式液冷和噴淋式液冷兩種2?1ā浸沒式液冷浸沒式液冷將服á器浸沒在冷t液中，通過液體溫升或相ù帶走服á器中?p發熱元件的熱量，液體P發熱源直接接觸，冷t液多采用礦物油1氟化液等O導電1非腐蝕性液體2浸沒式液冷原理如Qā?示?ā

2浸沒式液冷原理示意ā浸沒式液冷?完全去除散熱風扇，換熱能力強，節能效果好，數據中心

PUE

值?降ó

1.1

及以Q，但一般需要改~箱式部署，部署密t一般P于冷板式液冷，機配套和服á器改

難t和r本_較大2y據冷t液在冷t子系統中形態的O同，浸沒式液冷?以分~單相浸沒式液冷和相ù浸沒式液冷2單相浸沒式液冷的冷t液在整個冷t子系統的循?過程中都以液體的形式`在，相ù浸沒式液冷的冷t液在ü設備制冷后吸熱ù~氣態，相ù后的氣態冷t液被浸沒腔體子系統內的冷凝器冷tùr液體，液體?T力作用流回腔體，完r冷t系統循?2?2ā噴淋式液冷3ODCC-2023-01008冷板液冷服ó~設?白皮書噴淋式液冷的冷t液D服á器機箱頂部的噴淋模塊滴Q來，通過冷t液P發熱元件之間的接觸?行ü流換熱，D而~發熱元件降溫，再通過服á器內的流道匯集ó換熱器將熱量散發，冷t液多采用礦物油1氟化液等O導電1非腐蝕性液體2噴淋式液冷_?完全去除散熱風扇，換熱能力強，相較于浸沒式液冷節省冷t液，數據中心

PUE

?降ó

1.1

t右2噴淋式液冷需要ü機柜和服á器機箱?行改

，?ā難t較大2?Oā液冷?術ü比O同液冷?術的ü比如Q?表

1液冷?術ü比非接觸式液冷接觸式液冷浸沒式液冷相ù浸沒

單相浸沒液冷方案冷板式熱管式噴淋式式式結構改

及液初

始

投

資

初始投資中

初始投資

初始投資

體

í

耗

r

本中

等

，

?

等，?ār

及?ār

及?ār

大，液冷系統投資r本ār本P本P本高本高初始投資r本PPUE

1.1-1.2

1.15-1.25ā1.05ā1.09ā1.14ODCC-2023-01008冷板液冷服ó~設?白皮書?ā較簡單簡單僅浪潮少復雜復雜?性阿

Y

巴華

~

1

浪潮

1

曙巴1H3C

1

綠供T

光

1

聯商

想

1

超

聚ù

等



流僅曙光色?ā1

僅廣東合一?

÷

智能1曙光供T商數創T用多案例超算領域較多數據中心場o較多無批量使用初

始

投

資中

等

，

?初始投資最

高

，PUE

收

益最高，需使用_用機柜，服á器結構需改

~刀片式初始投資

初

始

投

資

較較

高

，

高，?ār本PUE

收

益

高，液體í耗較高，部

r

本

高

，

PUE分部件O

收益中等，部兼容，服

署方式同浸沒á器結構

式，服á器結ā

r

本

初始投資中P，PUE

收

等，?ār益

中

等

，

本P，熱管部

署

方

式

的散熱能力P

風

冷

相

p

限

，

PUE同

，

D

傳

收益較P統

模

式

過分析需改構需改渡較滑5ODCC-2023-01008冷板液冷服ó~設?白皮書綜合考量初始投資r本1?ā?性1PUE效果以及產`r熟t等因素，冷板式和單相浸沒式相較w他液冷?術更p優勢，是當前`界的流解決方案，冷板式液冷?以áāD傳統風冷模式的滑過渡，在數據中心領域T用更多26ODCC-2023-01008冷板液冷服ó~設?白皮書O1

冷板式液冷部件選擇?一ā冷t液液冷冷t液目前`內選擇p乙二醇溶液1_二醇溶液1去離子水等2w中華~1曙光1超聚ù以

25%乙二醇溶液~，浪潮1新華O以

25%_二醇溶液~2乙二醇溶液1_二醇溶液~y`標品，?獲×性高，乙二醇溶液r本相較于_二醇溶液更P2冷t液濃t建°在

20%~30%，濃tO?過高，過高會影響y°散熱性能ā_O?過P，過P會影響防凍和抑制微生物滋生的能力2去離子水xp良好的傳熱性能，無毒安全，?作~冷t液之一，但需注意ü冷t液的ā?2去離子水的冰點~

0℃，需考慮?輸1儲`1短時停機1`á量較少1服á器已安裝未?行等情況Q的防凍t

2去離子水需添à緩蝕劑和殺菌劑，否則容易

r銅腐蝕，長期使用容易導?

CDU內的銅釬焊板式換熱器滲漏2冷ty°均需要添à緩蝕劑和殺菌劑，防k管路滋生細菌導?堵塞和泄露2綜P，建°采用

25±5%濃t的乙二醇溶液作~液冷系統的冷t液2?二ā快接頭快接頭是用于節點冷板模組和液冷機柜集分水器之間的水路連接接頭，需支持插?節點時快?連通和截斷節點P液冷機柜集分水器之間的水路，并保證O漏液2快接頭分~手插快接頭和盲插快接頭兩種形態，手插接頭ü?ā人員的要求較高，插?操作依賴機?ā人員，服á器和機柜易于解耦2盲插快接頭插?x備自ú化保障，操作方便，連接精t高，7ODCC-2023-01008冷板液冷服ó~設?白皮書?滿足未來自ú巡檢1機器人?ā需求，但服á器和機柜解耦難t大2液冷快?接頭要滿足?ā?性1?靠性1流阻性能等多方面的需求，Ty據á×T用需求選擇合?通徑的快接頭?(1)免yxā?的需求，?以免yx?行快?接頭的斷開和接合ā(2)連接P斷開中冷t液的泄漏O影響日常ā?過程，同時Oü服á器和機柜

r影響ā(3)能兼容O同冷t液ā(4)發生故障并需要更換時，能方便更換ā?ā(5)在指定流量范圍內，流阻T盡?能P，降P液冷系統的能耗2當前`界手插和盲插快接頭均pT用，后續隨著服á器和機柜接口規范的制定和統一，將逐n統一~盲插快接頭2?Oā冷量分配單元?CDUā冷板式液冷系統中通過

CDU隔離一k側和二k側回路，并完r一k側和二k側的熱交換，~服á器提供制冷能力2y據

CDU的形態和部署O置，?分~集中式

CDU和分_式

CDU兩種，如ā?示?液冷柜液冷柜集o式CDUV布式CDU架空w板架空w板一次側?口一次側?口?次側出水?次側回水出水回水出水回水V布式式CDU集o式CDUā

3分_式

CDU和集中式

CDU示意ā8ODCC-2023-01008冷板液冷服ó~設?白皮書集中式

CDU

的單ā

CDU

?以同時~多個服á器機柜提供制冷能力，?以通過多ā

CDU

集群áā

N+M

的冗余能力，?靠性高，?用于規模部署液冷服á器機柜的場o2分_式

CDU免二k側管路安裝，單ā

CDU只~?在機柜服á器提供制冷能力，無法提供跨機柜的冗余能力，?靠性較集中式

CDU

P2集中式

CDU

和分_式

CDU

的ü比如Q表?示?表

2集中式

CDUP分_式

CDUü比集中式

CDU分_式

CDU機柜形態，P一個服á器機

設備形態，寬1深P服á器尺柜尺?ā本相同

?ā本相同，高t

4Ut右形態P服á器機柜并排部署，?

部署在服á器機柜?部，只能部署方式

同時~多個服á器機柜提供

~?在服á器機柜提供制冷能制冷能力力部署復雜

服á器機需要?行二k側

服

á

器

機

免

二k

側

管

路

部性管路部署，部署復雜署，部署簡單每個機柜

1

ā

CDU，無法áā通過多個

CDU

集群方式提供

CDU間冗余能力，?靠性P?理?靠性N+M冗余能力，?靠性高論P?以通過兩個機柜間

CDU1+1備份提高?靠性āCDU

需s用機柜安裝空間，液冷機柜規模較小時，空間利用率較分_式

CDU

Pā規空間利用率CDUOs用機柜安裝空間，液冷機柜規模較小時，空間利用率9ODCC-2023-01008冷板液冷服ó~設?白皮書模部署液冷機柜時，空間利

高ā規模部署液冷機柜時，空用率高

間利用率較集中式

CDUP小規模時r本較分_式

CDU

小規模時r本P，大規模時r高，大規模時r本P

本較集中式

CDU高r本大型數據中心，液冷大規模

中小型數據中心，液冷小規模部署

部署?用場o?四ā冷板冷板是P芯片接觸áā換熱的x心部件，冷t液在內部流ú將芯片熱量帶走2y據散熱模塊P固定模塊的?è卸性，?以分~一體式冷板和分體式冷板2一體式冷板的散熱模塊和固定模塊O?è卸，分體式冷板的散熱模塊和固定模塊通過螺釘固定，?è卸2冷板的?術要求如Q?(1)板P的?p冷板/散熱器必須方便è卸，保證散熱器P元器件p良好的接觸并保持兩者之間p足夠的壓力，P

CPU

接觸的散熱器面須保證w面tā(2)冷板需采用銅材°，配套管路?采用

EPDM1FEP1PTFE

軟管或銅管ā(3)Txp節點?告警1隔離1導流?能，滿足節點?故障O擴散要求ā(4)冷板需采用一體式焊接密封y藝，_?采用組裝式密封圈密封y藝ā(5)最大y作壓力O小于

0.35Mpaā10ODCC-2023-01008冷板液冷服ó~設?白皮書(6)冷板組件的流阻及液冷y°流量設計，T滿足處理器最大散熱需求2?五ā服á器液冷管路服á器液冷管路作~輸?冷ty°的通道，需要x備如Q?術要求?(1)服á器液冷管路采用耐高溫耐高壓

FEP

波紋管或

EPDM

材°軟管，y作壓力g0.35MPa，最大壓g1MPaā(2)服á器液冷管路設p漏液檢測?檢測漏液ā(3)服á器液冷管路P冷板采用à塔頭連接或t箍緊固áā?靠密封211ODCC-2023-01008冷板液冷服ó~設?白皮書四1

液冷服á器要求?一ā整機柜服á器的要求1．通用算力整機柜服á器要求通用算力整機柜服á器包含機柜1柜內服á器節點1電源框1總線等多種部件，建°規格要求如Q表?表

3通用算力整機柜服á器要求高

2200mm，寬

600mm，深

1200mm(如含液冷門，建°≤1400mm)，機柜節點

21

inch或

19

inch寬最大

36個

1U節點最大

18個

2U節點服á器節點支持整柜集中供電，單個電源框高t≤3RU，支持

2N

供電系統，電源模塊支持

N+2備份ā支持

2+2

路O相交流供電輸入，電壓范圍?346V

AC~415V

AC-3ph-50Hz，每相電流

32Aā供電電源配置或支持

220VAC供電輸入，電壓范圍

198V

AC～264V

AC，建°每路電流

63Aā或支持

240VDC供電輸入，電壓范圍

192V

HVDC-288V

HVDC，建°每路電流

63A212ODCC-2023-01008冷板液冷服ó~設?白皮書交換槽最少支持

5個交換機槽O，支持第O方標準通用交換機安裝2O?通過管理模塊ü電源?行統一管理并提供整機柜總?率ā電源框體內?配置管理模塊，并x備ú態節能管理?能2管理模塊機柜內供電總線1148V銅排供電，滿足計算節點和+48V通用交換機供電需求221ó少支持

5+5路

AC供電，滿足

AC通用交換機供電需求2半液冷場o?Manifold

帶走服á器冷板熱量，服á器風冷部分熱量和柜內交換Mani-fold1風液換熱器機的熱量通過機散熱設備帶走2全液冷場o?Manifold

帶走服á器冷板熱量，服á器風冷部分熱量和柜內交換機的熱量通過風液換熱器帶走，áā

100%液冷散熱2服á器節點1機柜防漏液設計，支持柜?和節點?漏液監?，能夠áā漏液自隔離2漏液檢測áā機柜?率1溫t1漏液檢測等信息采集1告警生r及P傳，并滿足P集中監?ā1集中帶外管理yxü接的要求213ODCC-2023-01008冷板液冷服ó~設?白皮書一體化

支持除機柜門及w?件的整柜?輸?含機柜1服á器節點1交換交付

節點1管理模

塊1電源框1PDU1電源模塊1傳感器等ā2．AI算力整機柜服á器要求AI

算力整機柜服á器包含機柜1柜內服á器節點1電源框1總線等多種部件，建°規格要求如Q表?表

4AI算力整機柜服á器要求高

2200mm，寬

600mm，深

1200mm(如含液冷門，建°≤機柜1400mm)，節點

21inch或

19

inch寬服

á

器

節

最少

32U服á器部署空間，??配

GPU模組，液冷冷板ó少覆點蓋

CPU1GPU支持整柜集中供電，2個

3U電源框，單個電源框高t≤3RU，最大支持

36塊電源，支持

2N供電系統，電源模塊支持

N+2備份ā供

電

電

源配置?電源框支持

6+6

路O相交流供電輸入，電壓范圍?346VAC~415VAC-3ph-50Hz，每相電流

32A2或支持

220VAC供電輸入，電壓范圍

198V

AC～264V

AC，建°每路電流

63Aā14ODCC-2023-01008冷板液冷服ó~設?白皮書或支持

240VDC供電輸入，電壓范圍

192V

HVDC-288V

HVDC，建°每路電流

63A2最少支持

5

個交換機槽O，支持第O方標準通用交換機安交換槽O管理模塊裝2?通過管理模塊ü電源?行統一管理并提供整機柜總?率ā電源框體內?配置管理模塊，并x備ú態節能管理?能21148V

銅排供電，滿足計算節點和+48V

通用交換機供電需機

柜

內

供電總線求221ó少支持

5+5路

AC供電，滿足

AC通用交換機供電需求2半液冷場o?Manifold帶走服á器冷板熱量，服á器風冷部分熱量和柜內Mani-交換機的熱量通過機散熱設備帶走2fold1

風液換熱器全液冷場o?Manifold帶走服á器冷板熱量，服á器風冷部分熱量和柜內交換機的熱量通過風液換熱器帶走，áā

100%液冷散熱211服á器節點1機柜防漏液設計，支持柜?和節點?漏液監漏液檢測?，能夠áā漏液自隔離215ODCC-2023-01008冷板液冷服ó~設?白皮書21áā機柜?率1溫t1漏液檢測等信息采集1告警生r及P傳，并滿足P集中監?ā1集中帶外管理yxü接的要求2支持除機柜門及w?件的整柜?輸?含機柜1服á器節點1交換節點1管理模

塊1電源框1PDU1電源模塊1傳感器等ā一

體

化

交付3．整機柜設計要求(1)總線盲插設計服á器機柜和節點?支持總線盲插設計，采用Oā浮ú液冷快接頭148V

供電

busbar

等關鍵?術，áā服á器節點水1電總線盲插，液冷1電源總線介紹如Q?液冷總線?服á器節點液冷水路采用盲插快接頭設計，節點冷板?出水采用x備浮ú?能的盲插快接頭P機柜

manifold

連接，áā液冷的s插s用，s?s斷2電源總線?液冷服á器節點P機柜直流

48VBusBar的電源連接線采用<盲插=設計，去除電源物理線纜，提高部署效率2整機柜?支持水電盲插，后續?術r熟后，建°網絡_采用總線盲插方案，áā柜內水1網1電O總線盲插2(2)獨立機柜管理模塊16ODCC-2023-01008冷板液冷服ó~設?白皮書?通過管理模塊ü電源?行統一管理并提供整機柜總?率ā電源框體內?配置管理模塊，并x備ú態節能管理?能ā?提供機柜各部件管理?能，如資產管理1?率封頂1液冷監??能2(3)柜?漏液檢測能力當

manifold

發生漏液時，液體被收集到機柜?部的接液盤，相關監測設備如光電式水浸傳感器1漏水感T?水浸傳感器等檢測到漏液后P?機柜管理模塊，發出告警信÷2(4)柜?水電分離設計機柜集中電源T頂置，áāP走電，Q走水的水電分離架構設計，p效隔離漏液影響2(5)節點?靠性設計節點T采用模塊化高?靠冷板1耐壓長壽命軟管1無滴漏快接頭等，x備漏液監測及告警1單節點漏液隔離和防噴射能力，確保系統的穩定?靠?行2如采用盲插方案，液冷服á器節點P機柜分液單元之間的液冷接頭T采用盲插快接防噴射結構設計，節點?出遮Q快插接頭，節點插入露出快插接頭，áās插s通，s?s斷，漏液防噴射2液冷節點??T采用無孔鉚密封設計，前后增à擋水墻，確保節點出ā漏液情況時漏液O會擴散到w余節點，將節點漏液

r的影響?制在單節點內部217ODCC-2023-01008冷板液冷服ó~設?白皮書液冷節點在機箱??T設置導流槽1導流嘴，將節點漏液通過機柜導流管導到機排水管中，D而安全排到機外部，確保節點漏液O會累?擴散到w他節點2液冷節點T支持漏液檢測，包括D節點?水口到出水口全管路的漏液檢測，出ā漏液情況時立sP?服á器

BMC系統，產生漏液告警，通知機ā?人員及時處理2(6)整機柜交付?支持整機柜在產線安裝調測，整機柜交付到客戶機，縮短ā場安裝時間，提高交付效率2(7)2N供電系統整機柜T支持

2N供電系統22N供電系統是指由兩套或多套供電系統組r的冗余系統，每個數據中心機供電系統包含

N套供電系統?ā作

Nā，w總容量~機供電系統的ā本容量2在供電系統的整個路徑?D供電輸入經供電系統直到?電源輸入負載ā中的?p?節和設備都?行冗余配置?ā作

N備ā，`是彼m隔離的兩條供電線路，l常?行時，每套供電系統僅?總負荷的一部分22N供電系統如Qā?示，以機^電輸入~例218ODCC-2023-01008冷板液冷服ó~設?白皮書ā

42N供電系統示意ā?二ā單節點服á器的要求(1)能源效率通用算力服á器支持

CPU+VRD液冷散熱，?選內`液冷散熱āAI算力服á器支持

CPU+VRD+GPU液冷散熱，?選內`液冷散熱ā支持備供電1高壓直流供電，提高供電系統的效率ā支持高效率的單板

VRD?Voltage

Regulator

Downā電源，降P板

DC電源轉換的損耗ā支持系統散熱風扇分區調?和

PID?Proportional-Integral-Derivativeā智能調?1CPU智能調頻，D而áā節能降耗ā提供?率封頂和?率?制措施ā支持錯峰P電?術，降P服á器啟ú?耗2(2)?用性和?服á性19ODCC-2023-01008冷板液冷服ó~設?白皮書~提高系統?靠性，單板硬件T采用電信?器件及àyy藝流程āT

支

持

熱

插

?

的

SAS/SATA/NVMe

硬

盤

2

SAS/SATA

硬

盤

支RAID0/1/10/5/50/6/60，提供

RAID

緩`，支持超?電容掉電數據保?āT提供熱插?電源模塊，支持

N+N

冗余ā風扇模塊，支持

N+1

冗余，提升系統整體?用性ā板載的

BMC集r管理模塊能夠持續監?系統參數1觸發告警，并`采×恢復措施，以便最大限t地避免停機2(3)?管理性和安全性集r在服á器P的

BMC管理模塊?用來監?系統?行狀態，并提供à程管理?能ā支持

BIOS菜單密碼，保證系統啟ú及系統管理的安全性ā支持機箱開蓋檢測，增強安全性ā?支持ā于芯片??信y

ROT?Root

of

Trustā的安全啟ú，x備D硬件?信y開始的逐?校驗?能，構筑完整的安全啟ú鏈220ODCC-2023-01008冷板液冷服ó~設?白皮書五1

液冷帶來的ù化?一ā液冷O種交付模式及優劣勢液冷系統?及一k側散熱系統1二k側散熱系統1CDU1液冷機柜1液冷服á器的ü接，y據

IT

設備側P機配套側各自的交付內容，液冷服á器p如QO種交付模式?表

5液冷服á器交付模式交付

IT設備側交付交付界面說明模式內容模

式一大型液冷機，ā礎設施已經完備，只需采購<液冷服á器和接頭=s?2液冷服á器大型液冷機，ā礎設施已經完備，已完r集中式CDU及機內二k側管路_局ā只需采購交付<液冷服á器+液冷機柜及內部配套部件=2模

式

液冷服á器+液二冷機柜液冷服á器+液

機外部冷塔及一k側管路已x備，只?及機冷機柜+CDU+二

內部的二k側管路改

和_設，?以打包采模

式Ok側管路購交付<服á器+機柜+CDU+二k側管路=2O種交付模式的示意ā如Q?21ODCC-2023-01008冷板液冷服ó~設?白皮書模式一內設y模式?模式O服ó~服ó~+柜ā

5液冷O同交付模式示意ā目前液冷?術標準化程t較弱，服á器P液冷機柜1CDU

液冷管路的ü接和冷ty°的選擇，`內暫無á°t束性標準，各廠家之間缺少兼容性ü接，因m尚`在一定程t的解決方案捆綁t

2O種交付模式的ü比如Q表?示?表

6液冷服á器O種交付模式ü比方案ü比模式一模式二模式O備注11IT

側負責<液

11IT

側負責<服11IT

側負責

冷服á器+液冷機

á

器

+機

柜

+CDU+液冷服á器

柜?整機柜ā=

冷t液+二k側管21

w

他

配

套

等

路=等ā全部由省|?

21w他配套全部

21w他配套全部統一建設

由省|?統一建

由省|?統一建設2方

案內容設?

術評估T

用

案

例

極

兼容性ü接內容

目前T用案例相

`界尚無完少，產品r熟

較少，但整機柜

ü更多，`界產

善的兼容性22ODCC-2023-01008冷板液冷服ó~設?白皮書t較差，需要

方

案

ü

機



入

品更r熟，整體

標準，ā行較多服á器定

口1電梯1走道

交付責任界面較

液冷產品n制和接口ü接

等搬?空間和?

清p，但整機柜

遍`在廠家驗證，`在兼

輸通道要求高2容性風險方

案

ü

機



入

服á器和液口1電梯1走道

冷機柜等配等搬?空間和?

套設施整體輸通道載要求

打包交付情更高2況配套ü接相ü較機柜分離建設

少，比風冷周期均比風冷建設周期長，初n調研預計

6

個o以P，無法做到類似ā網風冷快?P線配套ü接最少，比風冷周期長，由于服á器整機柜打包交付，á施復雜t最小和建設周期相ü最短方式，需要?

長，但比機柜分建

設

行服á器P配

開建設周期短，周期

套間的ü接，

整機柜方案y廠建設周期相ü

完r要集r，較長ā場交付周期相ü短優?產品r熟t

優?當前產品和較好，配套ü接

解決方案r熟t內容少，交付及

最好，項目á施后期?ā風險較

難t最小2優?界面P傳統風冷類似方

案總結劣?產品r熟t較差，建設周期較長2小2劣?IT

側?ā范劣?IT

側?ā范

圍最大，尤w包23ODCC-2023-01008冷板液冷服ó~設?白皮書圍相ü較大，增

含

CDU及二k測管à機柜內水路?

路等非常規

IT

類ā2

設備2數據中心引入液冷系統時T綜合考慮產`r熟t1?ā便利性1建設周期等因素，選擇合?的交付模式2?二ā液冷機配套要求數據中心引入液冷服á器時，由于單機柜裝機密t增大，機柜ü機T提出了更高要求2同時，O同的液冷?術在部署形態1靜電地板高t1制冷系統管路1機架供電1?ā空間等方面相比傳統風冷服á器均p新的特殊要求2冷板式液冷和浸沒式液冷給傳統數據中心帶來的機配套ù化如Q表?示?表

7液冷給機配套帶來的ù化ā網機冷板式液冷浸沒式液冷備注1200*600*2200mm1200*600

?如含液冷門，同時考慮卸ˉā1電梯等設備尺?設備T量2650*800*1205mm*2200mm建

°

深

t

≤1400mmā600-1000KG-1300KG

4000KG800KG24ODCC-2023-01008冷板液冷服ó~設?白皮書g1200KG?

非

`

儲密集g1000KGā機Tg1000KGg1000KG標準機柜

標準機柜?47Uā

箱式部署?t

3

個部署形態?47Uā

/非標機柜標準機柜空間ā600-800mmf7°500-架高地板入門坡道列間空調通道封y冷t塔600-800mm600mm非必須f7°必須?通道封yā列間空調/液冷門

O需要需要需要/O需要O需要y式無/y式/?使用隔離換板，x體評估y式開式一k側冷t

中

水

/自

軟化水/純水/去

軟化水/純水/去離來水

離子水

子水水需要，O銹鋼?

需要，O銹鋼?路二k側管道

無路部署部署列間空調二k側換熱CDUCDU/水冷門25ODCC-2023-01008冷板液冷服ó~設?白皮書無需獨立

無需獨立?ā空

需要配套提供?ā?ā空間

間

天車及?āā空間?ā空間27-100KW/Tank?高?率暫無T用案例ā?率密t

5-7KW/柜

15-80KW/柜?Oā液冷?āP風冷?ā的ü比分析冷板式液冷服á器和浸沒式液冷服á器目前多~定制化部署，相ü傳統風冷服á器，在系統設計1部件兼容性1部署方式1?āyx及`慣等方面，冷板式液冷服á器定制化程t較P，浸沒式液冷服á器定制化程t較高2冷板式液冷和浸沒式液冷給傳統數據中心帶來的?āù化如Q表?示?表

8液冷給?ā帶來的ù化比較項傳統服á器冷板式液冷CPU/內`/VRD/GPU等液冷散熱，w余?然風扇散熱浸沒式液冷100%風扇散去除風扇，100%液服á器風扇熱冷散熱`儲僅支持

SSD和服á器氦氣盤，電源無風兼容?p常見部件部件兼容性兼容?p常見部件

扇定制，光電轉接頭和線纜需密y或防腐蝕定制前后窗

IO前后窗

IOó展前窗

IOó展?ó展IOó展ó展?需含快接頭ā能力?限ā26ODCC-2023-01008冷板液冷服ó~設?白皮書需要增à冷板1管路1漏液檢測線機柜式部署液冷部件O需要O需要部署方式

機柜箱式部署氟化液或者礦物油，每箱使用

700-800L二k側冷t多使用乙二醇水，O需要部署方式液分液器CDU每柜

30-40LO需要O需要每機柜均需部署O需要需要，用于一k側

需要，用于一k側和二k側換熱

和二k側換熱系統內1CDU1二

CDU1二k側管路都漏液檢測系統O需要k側管路都需要需要每季t巡檢??t?值1?粒物雜°檢測等ā，補液頻率t半?，需要?ā天車1_用?āā等yxā?ā?āyx

傳統手y補液頻率t半?11部署?ā方式改ú較大，?ā人員需特殊?ˉ11O同的交付模式會影響原p機側P

IT設備側的ā?界面劃分?采用機柜內解耦時，ā?界面P原p風冷方式相同ā21IOó展能力?限?使用前后

IO機型部署，硬盤O支持熱插?ā總結31`儲僅支持

SSD和氦氣盤，ü服á器影響較大21ü`á幾乎無影響27ODCC-2023-01008冷板液冷服ó~設?白皮書}1

T用案例?一ā超聚ù金融領域液冷T用案例?二ā超聚ù科教領域液冷T用案例超ú變?力某教科研構搭t高g能1高-???平ā項tí模技o優勢?q240n液冷高密節點，4.5PB存儲2??力密度óW?×用2U8高密液冷節點，ó供1.43SO?次??能力o?風液混合部液冷高密節點及配套液冷設y單獨t設ā網絡，存儲低功耗設備?×用風冷t設2??交T模式?僅交T柜及液冷服ó~??一次側，液冷配套設y，柜和服ó~由不同廠?ó供一次側設備，CDU等ó前部，服ó~廠?交T液冷柜及液冷服ó~進行對?2液冷y案w益??液冷2U8高密節點，t比同?力風冷節點，節省8倍部空間低PUE，pPUE低ó1.2528ODCC-2023-01008冷板液冷服ó~設?白皮書?Oā浪潮金融領域液冷T用案例整柜液冷交T，浪潮整柜y案?力某?融客wt設項tí模項t技o優勢項t總體í模包含6000ā2U4節點液冷服ó~13000ā1U液冷服ó~通用節點，單柜o持36U液冷安裝空間，

單柜功率達20kW每組柜模塊配套2āCDU，

并形成液冷?網系統，

在1āCDU出āe障時，

另一āCDU?以完成對該組柜模塊的液冷v冷í模t250ā液冷柜150ā350kW液冷CDU，

?次側整體+IT設備交鑰匙o?風液混合部??每n模塊×用獨立的CDU+?路+液冷柜+液冷服ó~，s獨立的?次側循?由單一廠?供應2網絡，存儲等低功耗設備?×用風冷模塊t設2交T模式??次側打包×-??液冷y案一次側和?次側交T內?V_×-?次側打包服ó~1柜1CDU1?次側?路等統一設?，集o化布局液冷y案w益??[節點服ó~交T，?力密度óW4倍PUE低ó1.2ā?四ā曙光à聯網領域液冷T用案例曙光數創冷板液冷解決y案?力某à?網數oo心項t項tí模項t技o優勢?某à?網數oo心項t，q27000+節點，1016????v化?次側?網流體均流設?，并通過工廠均流g測試驗證ā液冷換熱單元CDU高m降溫，維護便wāā液冷柜2液冷智能?v系統，設[?{^?和應e響應v2o?風液混合部??每n模塊×用獨立的CDU+?路+液冷柜+液冷服ó~2s獨立的?次側循?由單一廠?供應2網絡，存儲等低功耗設備?×用風冷模塊t設2交T模式??次側打包×-?液冷y案一次側和?次側交T內?V_×-???次側打包柜1Manifold1CDU1?次側?路1監?以及集成交T服ó統一o準?

一次側供水流?，溫度，壓力，水-為數oo心統一指o2?冷塔，一次側?路由總集成y和設?院完成ā，責任界÷清p2液冷y案w益?2U架服ó~，單柜21kW，?力密度óW2.5倍，為風冷柜2.5倍低PUE，整體PUE低ó1.25ā?29ODCC-2023-01008冷板液冷服ó~設?白皮書?五ā曙光

IDC領域液冷T用案例曙光數創冷板液冷解決y案?力某IDC數oo心項t項tí模項t技o優勢?某

IDC數oo心項t，