从SRE到AIRE：当AI成为系统核心引擎，可靠性工程的演进路径

在技术领域，"可靠性"始终是一个核心议题，中国信通院围绕SRE持续深耕，已发布《服务韧性工程（SRE）能力要求》标准，为云系统的可靠性建设提供了规范指引。然而，随着AI模型从实验室走向生产环境，并逐步成为支撑业务的核心引擎时，SRE的内涵在智能时代正发生扩展——在保留“保障系统稳定运行”核心目标的基础上，向“AI全生命周期可靠性”维度深化。稳定性保障实验室将系统阐述这一演进路径：如何通过继承SRE基因并融合AI特性，构建适应智能化基础设施的可靠性工程体系。

一、AIRE：SRE在智能时代的必然扩展

站点可靠性工程（SRE）核心目标是保障应用的"可用性"，聚焦系统不宕机、故障快速恢复等目标。当AI成为业务核心引擎时，仅关注“系统不宕机”已无法满足需求。举个例子：医院AI影像系统在服务可用性99.99%的情况下，因训练数据偏差导致某疾病识别准确率从98%降至85%，仍会引发临床误诊风险。这种变化催生了SRE工作维度的扩展，我们可称之为“AI可靠性工程（AIRE）”。

AIRE与SRE的连续性体现在均以“可靠性工程方法论”为基础，继承SLO管理、应急响应、容量规划等核心框架；AIRE对SRE的扩展性则体现在AIRE还需应对AI特有的复杂性，扩展新的能力。SRE到AIRE的连续性与扩展性可参考表1。

表1 SRE与AIRE的连续性与扩展性

AI可靠性保障需覆盖模型训练、推理全流程，既延续了传统分布式系统的挑战，又新增了AI特有的工程难题。

1. 训练阶段

（1）预训练阶段

数据层面：依赖海量多模态数据，但易受规模与质量失衡的问题困扰—— 样本覆盖不全、数据污染或偏见会导致模型 “先天缺陷”，且合规性风险贯穿数据采集全流程。

算力层面：大规模训练需数千节点协同，面临资源调度低效、分布式通信不稳定及成本失控等问题。

过程层面：训练可复现性差，且模型checkpoint（ckpt）存储与管理构成关键瓶颈—— 千亿参数模型的单轮 ckpt 容量可达 TB 级，高频保存需高吞吐存储支撑，而跨节点同步过程中，因存储与网络操作频繁、吞吐量受限等问题，失败概率显著升高；此外，ckpt的完整性校验与高效复用技术尚不完善，易引发训练中断或精度偏差。同时，预训练目标与下游业务需求可能脱节，导致后续适配成本激增。

（2）后训练（含微调）阶段

数据偏移适配难题：业务数据动态变化导致分布偏移，若后训练数据与预训练数据差异过大，易引发模型对旧场景性能衰减，或因新数据样本不足导致过拟合。

模型能力失衡：微调可能引发“灾难性遗忘”，或因过度优化单一指标导致其他关键能力恶化，且缓解技术增加工程复杂度。

训推协同与存储挑战：后训练模型若未针对推理环境优化，可能出现“训练精度达标但推理性能骤降”；频繁迭代导致版本管理混乱，存在误部署风险。同时，后训练阶段的增量ckpt与历史版本存储形成叠加压力—— 多版本并行调试时需同时维护数十个ckpt副本，存储成本随迭代次数线性增长，且版本标记混乱可能导致错误加载。

2.推理阶段

（1）异构算力调度与资源适配难题

AI推理是一门需要权衡架构选择与工程模式的运维学科。与可将时间和成本分摊的训练不同，推理位于关键路径上，每一毫秒都至关重要。推理运算存在两种截然不同的模式：

实时（或在线）推理：支持诸如聊天机器人、欺诈检测和自动驾驶等应用场景，对延迟的要求苛刻到毫秒级，低延迟是其刚性要求。实时应用不仅要求高速计算，还需高可用和高性能基础设施。

批量（离线）推理：按预定周期处理海量数据集，用于图像分类、日志挖掘或趋势预测等任务，且对资源利用率及成本更敏感，低效调度将显著推高计算开销。

（2）动态流量与扩展性瓶颈

推理流量具有强突发性，传统扩缩容机制难以适配 AI 负载特性（如令牌生成速度），可能因扩容滞后导致服务降级。此外，多模型共享集群时，流量争抢易引发 “级联故障”，而负载均衡工具（如 KServe）对 AI 任务的调度精度仍待提升。

（3）可观测性体系的局限性

传统监控无法覆盖 AI 特有风险：模型漂移、幻觉率、置信度骤降等问题难以及时发现。虽有 AI 原生工具（如 WhyLabs）辅助，但“系统指标—模型指标—业务指标” 的联动分析仍存在断层，故障定位耗时较长。

（4）部署形态的泛在性挑战

推理部署覆盖云、边、端多场景，形态包括无服务器端点、K8s 集群等，不同环境的硬件限制、网络条件差异大，统一运维难度高，易出现云端表现达标但边缘端失效的情况。

三、AI 可靠性的全新特征

1. 概率性输出扩展可靠性内涵：从“系统可用”到“输出可信”

传统软件的输出具有确定性，可靠性重要指标是“服务不中断”，而AI模型的输出是概率性的——即使服务 100% 可用，也可能输出错误结果。这就延展了“可靠性”的定义框架：可靠性不止要“系统稳定运行”，还要“输出可信”。

2. 多维度指标融合：从SLA到 Accuracy SLAs的升级

传统的服务可用性协议（SLA）重点关注“系统不宕机”，但AI系统需要更细致的准确性服务协议（Accuracy SLAs）体系，基于精确率（precision）、召回率（recall）、公平性（fairness）及模型偏移（model drift）等维度定义与测量模型性能。

3. 新型故障模式：模型衰减

传统软件故障会直接报错，但 AI 模型可能 "带病工作"，即"模型静默退化"或"模型衰减"，与传统软件故障（立即触发崩溃/报错）不同，AI模型可能持续运行但经历性能、准确性或公平性的渐进式隐形退化，导致输出逐渐偏离预期。举个例子：某物流AI调度系统3个月内配送时效从12小时延长到24小时，系统却没触发任何传统告警，直到用户投诉激增才被发现。这种渐进式的性能衰减，比系统崩溃更难防范。

四、AIRE实施框架，如何构建AI时代的可靠性体系？

1. 确立AI原生的可靠性指标与指标体系

突破传统“可用性”的单一维度，构建覆盖系统、模型、数据、业务的多目标体系：

基础目标（继承自SRE）：保障系统可用性、降低故障恢复时间、维持资源效率。

AI特有目标：纳入准确性、公平性、延迟和模型偏移等目标，并明确关键指标承诺。为如首令牌时间（TTFT）、每输出令牌时间（TPOT）、准确性或偏差范围等指标建立清晰的SLA承诺。

2. 构建AI全链路可靠性技术支柱

（1）构建AI可观测性体系

增强监控能力：在传统系统指标（CPU、内存、延迟）基础上，集成AI专用的追踪与评估平台，实现全链路追踪。

强化AI特有指标：通过增强的监控追踪模型响应分布、置信度分数以及错误类型（如“幻觉”） 等AI特有指标。

（2）建立AI事件响应与自愈机制

专用应急预案：针对模型性能突发偏移、偏见激增等AI特有的故障，制定专门的应急响应预案。

自动化恢复策略：实施自动回滚到稳定模型版本的机制，或采用AI熔断器 等策略进行快速隔离，减少故障影响。

（3）面向规模与安全开展工程化设计

规模化技术：运用跨模型副本的负载均衡、缓存、优化的GPU调度（Kubernetes中该领域仍在演进）以及AI网关等技术来管理流量。

安全与授权：通过AI网关实现身份认证、语义级速率限制、模型加密等，防范对抗性攻击与数据泄露。

模型完整性保障：通过溯源追踪、安全分发和运行时监控等措施保护模型完整性。

3. 全生命周期持续保障

将可靠性工程嵌入模型全生命周期。涵盖：

部署前，通过数据清洗工具保障样本质量，采用分布式训练校验机制，避免“带病模型”进入推理阶段；

发布前，采用影子测试、A/B测试等，降低全量发布风险；

部署后，持续监控模型漂移与性能衰减，通过增量训练、知识蒸馏缓解“灾难性遗忘”，并周期性进行模型评估与优化。

五、演进趋势

AI可靠性工程的演进才刚刚开始，以下趋势值得关注：

AIOps与AIRE融合。通过历史数据训练模型，提前预警模型衰减风险，构建可靠性预测架构；结合实时监控数据，如推理延迟、数据分布变化，动态调整保障策略，强化主动预防能力。

基础架构的AI原生重构。随着AI任务规模化，基础设施将向AI原生演进。Kubernetes生态正演化出AI专用调度器（如KubeAI），提升AI任务的资源利用率、加速任务启动与执行效率、保障分布式训练的稳定性。

全生命周期工具链一体化。AI可靠性涉及数据、训练、推理等多环节，工具链将从碎片化走向端到端整合。构建覆盖数据治理、模型训练、推理运维、监控分析的一体化平台，减少跨工具适配成本；同时强化工具间数据互通，实现数据问题到模型影响到业务风险的全链路溯源。

标准化进程加速。中国信通院稳定性保障实验室正在制定《AI Cloud-AgentOps标准体系》关于征集AI Cloud-AgentOps（AI云智能体运维）标准体系参编单位的通知，针对智能体评估优化、观测、异常检测、根因分析、故障恢复等方面开展标准化研究，引领行业创新、规范发展。

当 AI 从辅助工具变成核心业务系统，可靠性的内涵已经从 "系统不宕机" 进化为 "输出可信任"。从SRE到AIRE的演进，是在SRE核心方法论基础上的扩展：既要保留“保障系统稳定运行”的基础能力，又要构建“模型效果可控、数据合规、输出可信”的新增能力。

想参与、了解更多SRE和AI可靠性建设相关工作？欢迎联系下方信通院对接人，加入稳定性保障实验室大家庭。

参考文献：

https://thenewstack.io/ai-reliability-engineering-welcome-to-the-third-age-of-sre/

稳定性保障实验室联系人：

王老师

18813097160（同微信）

wanghaiqing@caict.ac.cn

AI可靠性工程负责人：

刘老师

15313359528

liukun1@caict.ac.cn

继续滑动看下一个轻触阅读原文

云计算与大数据研究所赞分享推荐 写留言 ,选择留言身份

原标题：《从SRE到AIRE：当AI成为系统核心引擎，可靠性工程的演进路径》

阅读原文