首页 / 应急保障

故障不可避免,停机时间可以控制

液冷的风险不在技术本身,而在"出了问题谁来处置"。ErinCare™ 把故障处置拆成可执行的动作:风险识别、检测链路、现场五步法、时限标定与年度演练。

RISK MAP

液冷系统的四类核心风险

四条风险传导链条,最终都指向客户真正关心的两件事:资产与算力。

01

超温

NPU、CPU 等高发热器件超出正常工作温度,服务器无法正常工作。两类成因:温度因素——二次侧供水温度过高,超过 45℃;流量因素——CDU 故障停运、CDU 滤网堵塞、冷板堵塞、旁通阀误开等导致二次侧流量不足。

02

凝露

空气中的水蒸气在物体表面降温冷凝成水,当二次侧供液温度低于机房露点温度时即可能发生。凝露受物体表面温度、环境温度、空气湿度三个因素共同影响,任一因素越界都可能触发。运维关键参数:CDU 供水温度应高于房间露点至少 2℃

03

漏液

一次侧水或二次侧工质液从管道内渗漏,影响散热并污染设备。两类高发位置:节点内部漏液——冷板周边渗漏或软管破损;接头位置漏液——快接头、排气阀、二次管路阀门等。接头是漏液的主战场。

04

工质液问题

表现为结晶、腐蚀与微生物三类:结晶——管路焊接引入铝离子,与工质液反应生成磷酸铝结晶;腐蚀——二次管道焊接处钝化工艺不达标,工质液变色、金属离子超标;微生物——菌落繁殖形成生物粘泥,堵塞微通道。

一个规律性现象:结晶与腐蚀类问题,往往在施工阶段就已埋下——管路焊接与钝化工艺的缺陷,运维阶段只能发现和缓解。这也是为什么我们建议在交付前介入施工监理,而不是交付后再补救。
风险机理与成因整理自液冷运维技术材料;凝露露点控制原则(供水温度高于房间露点 ≥2℃)引自中国信通院《算力中心冷板式液冷发展研究报告(2024年)》。
CASE REVIEW

三个行业公开案例,一个共同根因

以下为行业公开故障复盘,均已脱敏,不代表本方业绩。我们不引用损失金额,只复盘根因。

A

某智算中心:NPU 芯片超温下电

一个环路内数十台服务器在同一时间段出现 NPU 过温触发下电保护。定位为一次侧管路脏污导致换热能力下降。处置动作:过滤器清洗、管道清洗、更换换热板。

复盘根因:客户侧未对液冷系统进行运维管理,脏堵趋势未能被及时发现。

B

某机房:分水器(Manifold)接口渗漏

数台服务器自动下电,现场紧急排查后定位为机柜分水器部件接口渗漏。处置动作:受损设备更换、密封件更换、环路恢复充液。

复盘根因:客户侧缺少液冷运维管理,只有故障发生后的被动响应,发现明显滞后。

C

某系统:工质水结晶堵塞管路

数十台服务器出现高温告警,定位为环路内工质水产生结晶,导致服务器换热板与 CDU 过滤器堵塞。处置动作:换热板更换、管道清洗、过滤器清洗、水质更换。

复盘根因:工质液缺少定期取样检测与趋势跟踪,劣化过程未被监测。

三例的共同结论:运维缺位是损失的直接原因,而不是设备质量问题。同样的故障,有主动运维和没有,差别不在能不能修好,而在于是在损失发生前发现,还是发生后修复。三例的处置工期都以周或月计,损失主要来自业务停摆时间,而非设备本身。
案例来源:行业内公开流传的故障复盘材料,已做脱敏处理,不指向任何具体客户或设备厂商。
ON-SITE PROCEDURE

漏液现场处置五步法

漏液是液冷系统的首要风险。我们把现场动作固化为五步闭环,每一步都有明确的动作与交付物。

STEP 1
发现漏液检测绳 / 光电传感器 / 浮子开关多通道触发告警,按告警点位定位到具体管段
STEP 2
隔离电动阀自动切断泄漏段,关断漏液管段前后阀门;双环路设计下不影响其他机柜
STEP 3
收集接液盘与地漏定向收集,保护下方设备,控制故障半径
STEP 4
处置定位漏点、更换快接头或密封件、修复后恢复充液并确认压力与流量
STEP 5
复盘根因分析、更新设备台账与预案、纳入下次演练场景
到场只是开始,不是结束。故障处置交付的不仅是"修好了",还包括一份《液冷故障分析报告》——写清问题根因、影响范围与改进项,让同一次故障不发生第二次。
方法论依据:液冷运维技术材料中的现场处置流程,已按 ErinCare 服务流程标准化并配套交付件。
DEFENCE IN DEPTH

三级防漏液设计核查与三级检测链路

防护解决"漏得少",检测解决"发现得早",处置解决"恢复得快"。三者缺一不可。

层级设计核查要点检测链路
节点级 底座全密封,具备导流能力,漏液可被及时疏导而不接触板卡 节点水浸绳 → 漏液检测板 → BMC
机柜级 快接头防喷溅设计;配置自动控制制冷液的电磁阀,可远程切断 分流器进出水各一的光电式漏液传感器 → RMU → 网管平台
机房级 双环路设计;单机柜漏液隔离后不影响其他机柜,故障半径可控 风液换热器浮子监控水位 → RMU → 网管平台

核查结论以现场实测为准;设计核查与检测链路为交付前验收与运行期巡检的共同依据。

设备侧能力只解决"发现得早",不解决"出了问题谁来处置"。告警触发之后,隔离、收集、抢修、复盘仍然是人的工作。此外,冷却液流动压力过大会增加漏液风险,改造与运行阶段都需要控制回路压力。
三级防漏液设计与三级漏液检测链路整理自中国信通院《算力中心冷板式液冷发展研究报告(2024年)》;同章节的故障预测指标引自 ODCC《冷板式液冷服务器可靠性白皮书》。
RESPONSE TIME

典型场景的应急处置时限

不同场景的恢复路径不同,时限必须事前标定,而不是事后再议。

场景应急动作恢复时间
管路泄漏 漏液传感器触发 → 电动阀关闭 → 切断泄漏段 → 排水收集 分钟级
CDU 故障 自动切换至备用 CDU,故障 CDU 隔离维修 切换 < 30s
循环泵故障 CDU 内备用泵自动启动 启动 < 10s
市电中断 UPS 供电(15 分钟)→ 柴油发电机启动接管 15s 内柴油机供电
冷却塔故障 切换至备用冷却塔,或降低 IT 负载维持运行 分钟级
冷却液大量泄漏 全系统停机 → 应急排水 → 排查 → 补液重启 2–4 小时

示例场景,按项目预案标定:实际时限取决于系统冗余配置、备件到位情况与现场人员安排,需在应急预案中逐项确认。

时限参考液冷系统建设项目应急预案章节(第 11.1 节)中的场景化处置要求。
DRILL

预案写在纸上不算数,演练过才算数

演练要验证的不是"知道怎么做",而是在压力下能不能按流程做对。

  1. 编案业务场景分析,确认三大漏液场景(节点漏液、分水器漏液、快接头漏液),并拓展系统级场景;针对每个场景制定检测方法、模拟手段与紧急处置措施,与客户对齐。
  2. 交底演练流程设计、周边组织协调沟通、备件准备、现场工程师应急处置培训。
  3. 实操指挥组确认与决策,执行模拟操作,技术保障分层观察系统行为与响应;记录故障检测时间、故障恢复时间与各角色到位顺序。
  4. 评估演练后 30 分钟内完成应用侧与系统侧验证,之后 24 小时持续观察业务系统,识别潜在问题与可改进点。
  5. 修订AAR 复盘,从业务视角审视并优化人、组织与流程,更新应急预案与设备台账。
建议节奏:针对液冷漏液场景联合客户制定应急预案,每年执行 1 次演练,演练完成后输出总结与改进建议。演练的关键产出是三个数字——故障检测时间、故障恢复时间、各角色到位顺序,这三项直接决定真实故障时的损失规模。
演练方法论整理自液冷运维服务材料中的应急预案与演练章节,ErinCare 按年度节奏交付。

如果明天发生漏液,你们有预案吗?

预约一次免费现场评估:核查三级防漏液设计、检测链路覆盖与备件配置,出具书面评估报告。

预约现场评估