这一页的技术观点,来自一支平均从业二十年以上、常年泡在智算中心机房里的液冷运维团队:三条技术路线怎么选、一次侧二次侧怎么分工、哪些部件最爱出事、哪些学费我们已经替客户交过。
"工质液是系统的血液。PH 值连续两个季度往下走,你还有半年窗口;等冷板堵了再动手,损失按百万计。"
"漏液不按天算,按分钟算。从快接头渗水到整柜下电,我们见过最快的记录不到二十分钟。巡检的意义就是抢在这二十分钟前面。"
"阈值告警是给新手用的。过滤器压差今天 0.32bar、超标线 0.45bar——数字合格,但周环比涨了 18%,这就是故障在路上的样子。"
"一次侧和二次侧是两种命。厂务侧停一小时是事故,服务器侧停一分钟是灾难。两层流体的规矩不能混着管。"
"别迷信品牌,要迷信数据。哪家 CDU 都出过事,区别只在于有没有人盯着趋势、有没有人敢在报告里写实话。"
"预案不演练等于没有。漏液应急卡贴在墙上再漂亮,没半夜真演过一次的团队,第一次实战都是现学。"
—— ErinCare 液冷运维团队 · 内部复盘会观点摘录
空气的比热容与导热率远低于液体。功率密度每上一个台阶,制冷架构就要换一代。
自然风冷单机柜密度仅支持 8–10kW。超过这一区间后,风量需求急剧上升,风扇功耗、噪声与风阻同时失控。
AI 集群算力密度普遍达 50kW/柜,是自然风冷上限的数倍。这不是"多塞几张卡",而是需要重做制冷、供电与管路。
新一代 AI 芯片单芯片功耗已突破 1000W 量级并继续上行,直接逼近风冷散热的物理极限。芯片功耗突破 1000W 后,浸没式需要作为升级方向预留。
冷板式、单相浸没、相变浸没在投资、运维、能效与可维护性上的取舍并不相同。选择的前提是场景,不是参数表上的最优解。
| 对比维度 | 冷板式(间接液冷 / D2C) | 单相浸没式 | 相变浸没式 |
|---|---|---|---|
| 换热原理 | 冷却液在密封冷板微通道内循环,不接触电子元件 | 整机浸入绝缘冷却液,热量直接传导 | 利用冷却液沸腾—冷凝相变散热 |
| 投资成本 | 中等 | 高 | 最高 |
| 运维成本 | 低 | 高 | 高 |
| PUE | 1.1–1.2 | < 1.09 | < 1.05 |
| 可维护性 | 较简单 | 复杂 | 复杂 |
| 对服务器改动 | 改动量小,主流服务器支持冷板接口 | 需定制化机箱与机柜 | 需定制化机箱与机柜 |
| 改造可行性 | 老旧机房可直接改造 | 老旧机房难改造 | 老旧机房难改造 |
| 综合结论 | 当前主流,改造与运维代价最低 | 能效更优,适合新建高密度场景 | 能效最优,运维复杂度最高 |
投资成本、运维成本与 PUE 为相对口径比较;PUE 数值引自 ODCC《冷板液冷服务器设计白皮书》口径,实际值取决于冷源条件、负载率与运行策略。
据 IDC 统计,2023 年冷板式占中国液冷服务器市场 95%。供应链成熟度高,主流 AI 服务器原生支持冷板接口,备件与工程资源最容易获得。
冷板式对服务器芯片组件改动量小,运维模式、机房承重与传统风冷场景基本一致。这是老旧机房"风改液"首选冷板式的技术原因。
冷板式液冷采用"一次侧—二次侧"双回路架构。CDU(冷量分配单元)作为枢纽,实现厂务冷源与服务器液冷回路之间的热交换与流体隔离。
连接园区冷源,走外循环水,负责把热量最终排向大气。
走洁净冷却液,经分水器与冷板直接为芯片散热,直接决定芯片温度。
| 项目 | 典型设计值 | 说明 |
|---|---|---|
| 冷却液 | PG25 丙二醇水溶液 25% | 去离子水 + 缓蚀剂配制 |
| 供液温度 | 28℃ | 服务器入口温度 |
| 回液温度 | 33℃ | 按 5K 温差设计 |
| 单机柜流量 | 45 L/min | 按 50kW 热负荷,含 1.2 倍余量 |
| 系统压力 | 1.2 bar | 压力损失 < 3 bar,压力过大会增加漏液风险 |
| 管路材质 | 不锈钢波纹管,3/8"–1/2" | 供回双路,配分水器分配 |
典型设计值(示例),按客户工况标定。一次侧供水温度需与二次侧供液温度错开 1–3K 端差,具体温度由冷源条件与换热器选型确定,不在本表列出。
液冷系统由数百个零部件构成,跨一次侧、二次侧两层,任何一个接头失效都可能放大为整柜事故。
板式换热器实现两侧隔离;IE4 循环泵 N+1 冗余,在线切换 < 30s;50μm 双联过滤器可在线切换;漏液传感器密度每平方米 ≥ 1 个,声光报警并自动切断液路;噪音 < 65dB;自身功耗 < 5% 散热功率。
铜 / 铝合金微通道结构,导热界面材料贴合芯片。解热能力 ≥ 2500W/芯片;验收指标为冷板与芯片温差 < 15℃、热阻 < 0.05 ℃·cm²/W。单柜冷板数量通常在 48–60 个。
316L 不锈钢材质,供回各 48 路分配至每台服务器。配套排气阀、球阀、软管组件、密封圈与法兰卡箍,是机柜内管路巡检的第一落点。
插拔无泄漏,安装力矩 3–5 N·m。数量最多(每台服务器供回液各一对)、位置隐蔽,是日常巡检与备件管理的重点,也是泄漏风险最集中的部件。
以下案例来自团队亲历的故障处置(均已脱敏)。每一个都改变了我们的巡检清单。
2025 年,某智算中心一个液冷环路的数十台服务器集中 NPU 过温下电。根因是一次侧管路脏污——客户此前没有液冷运维机制,前兆无人识别。处置含过滤器清洗、管道清洗与换热板更换,业务影响近 3 周,算力损失 百万级。
教训:一次侧过滤器压差必须进趋势曲线,不能等告警。
2023 年,某局点数台服务器自动下电,确认为机柜分水器部件漏液。客户只有被动响应、没有主动巡检,渗漏发展了多久无人知晓。三台设备受损更换、训练业务中断,后期换件再影响数周,累计损失数百万。
教训:快接头根部滤纸触检是每巡必做动作,漏液没有"小事"。
2024 年,某局点数十台服务器频发高温告警。排查确认环路工质水结晶,堵塞换热板与 CDU 过滤器。处置含换板、管道清洗、过滤器清洗与整体换液,业务影响数月,损失数百万。
教训:水质是趋势游戏——pH、浓度、离子的季度斜率比单次绝对值重要。
从功率密度、冷源余量到承重与管路条件,出具书面的路线与改造可行性意见——按十年机房经验给你交底。