生产机器学习系统中的监控和可观察性

随着机器学习 (ML) 模型不断进入生产环境，确保其稳定性、准确性和完整性变得至关重要。与传统软件不同，机器学习系统可能会由于数据变化、概念漂移或模型陈旧而悄无声息地失败或降级。生产机器学习系统中的监控和可观察性对于实时检测、诊断和响应这些问题至关重要。本文探讨了在已部署的 ML 模型中实现有效可观察性所需的基本概念、工具、指标、模式和最佳实践。

1. 机器学习系统中的监控简介

1.1 监控和可观察性之间的区别

监控 是对预定义指标或日志进行收集、分析和警报的行为。它回答诸如�系统是否按预期工作？�之类的问题。

可观察性 是根据系统的输出推断系统内部状态的能力。它可以回答更深层次的问题，例如�为什么模型精度会下降？�或�为什么这个细分市场的预测存在偏差？�

1.2 为什么机器学习系统需要专门的监控

• 机器学习模型是概率性的，并且对数据分布变化敏感。
• 模型可以悄无声息地降级，而不会导致基础设施出现故障。
• 不同用户群的性能可能会有很大差异。
• 数据管道和模型工件引入了复杂性。

2. 机器学习管道中要监控的内容

2.1 模型级指标

• 预测准确度： 分类精度、MAE、MSE、RMSE
• 概率置信度： 分类的置信分布
• 准确率、召回率、F1 分数： 特别是对于不平衡的数据集
• 模型延迟： 每个请求的推理时间
• 吞吐量： 每秒请求数

2.2 数据级指标

• 特征分布： 均值、方差、极差的变化
• 缺失值： 推理期间的 NaN 或 NULL
• 输入架构： 类型或功能数量不匹配
• 分类漂移： 标签或特征类别的转变

2.3 系统级指标

• CPU、GPU、内存利用率
• 容器健康状况（Docker/Kubernetes）
• API 响应代码和错误
• 数据库或管道延迟

2.4 业务级指标

• 转化率 或 点击率（CTR）
• 客户满意度 或 保留指标
• 收入影响 或 节省成本

3. 检测数据漂移和概念漂移

3.1 漂移的类型

• 数据漂移： 输入特征分布的变化
• 标签漂移： 输出标签分布的变化
• 概念漂移： 输入与输出关系的变化

3.2 漂移检测的统计方法

• Kullback-Leibler 散度（KL 散度）
• 人口稳定指数（PSI）
• 柯尔莫哥洛夫-斯米尔诺夫检验（KS 检验）
• 分类特征的卡方检验

3.3 自动漂移监测工具

• 为什么实验室 � 自动数据分析和漂移警报
• 显然是人工智能 � 用于漂移、偏差和性能的开源库
• 人工智能提琴手 � 模型监控和可解释性
• 谢登不在场证明 � 用于异常值和漂移检测的 Python 工具包

4. ML 管道中的日志记录和跟踪

4.1 关键日志类型

• 预测请求和响应
• 特征值和预处理转换
• 错误消息或异常
• 一段时间内的绩效指标

4.2 分布式追踪

对于涉及数据管道、API 和推理服务器的复杂系统，诸如 开放式遥测 或 耶格 可以端到端地跟踪请求以识别瓶颈。

4.3 集中日志记录

使用 ELK 堆栈（Elasticsearch、Logstash、Kibana） , 流利的 , 或 数据狗 整合日志并搜索其中的异常、模式或故障。

5. 监控架构

5.1 典型的机器学习监控堆栈

• 指标： 普罗米修斯、格拉法纳
• 日志： Fluent Bit、ElasticSearch、Kibana
• 警报： 警报管理器、PagerDuty、OpsGenie
• 仪表板： Grafana 或 Kibana 可视化

5.2 实时与批量监控

• 实时： 对于欺诈检测等延迟关键型模型
• 批次： 离线管道的夜间验证作业

5.3 边缘和本地监控

像 Telegraf 或 Prometheus 导出器这样的轻量级代理可以在边缘设备或气隙环境中使用。

6. 警报和异常检测

6.1 何时触发警报

• 延迟超过阈值
• 输入数据格式错误或丢失
• 模型信心意外下降
• 预测漂移超出基线
• 计划的批处理作业失败或挂起

6.2 自动异常检测

使用统计模型或机器学习算法来检测指标中的异常情况。这可以使用以下方法完成：

• Facebook 的 Prophet 时间序列
• 隔离森林或一类 SVM
• Azure Monitor 异常检测器

7. 模型性能的可观察性

7.1 可解释性工具

SHAP、LIME 和 Captum 等工具使团队能够了解哪些功能对预测贡献最大。这对于以下方面至关重要：

• 监管合规性
• 调试有偏差的结果
• 提高利益相关者的信任

7.2 分段评估

跟踪不同群体（例如年龄、性别、地区）的模型性能，以识别公平问题或人口统计偏差。

7.3 型号版本对比

在推出之前比较新模型版本和现有模型版本的性能、偏差和资源使用情况。

8. 工具和平台

8.1 开源

• 普罗米修斯+格拉法纳 � 指标收集和可视化
• 开放式遥测 � 跨服务追踪
• 显然是人工智能 � 模型性能报告
• 塞尔登核心 � Kubernetes 部署的模型监控

8.2 云提供商

• Amazon SageMaker 模型监控器
• 用于机器学习的 Azure 监视器
• Google Vertex AI 模型监控

8.3 企业解决方案

• 人工智能提琴手 � 可解释性和监控
• 阿里兹人工智能 � 实时推理分析
• 为什么实验室 � 机器学习系统的可观察性和警报

9. 最佳实践

• 模型开发期间所有指标的基线
• 为系统和模型级异常设置警报
• 随着新数据的到来定期重新训练和验证模型
• 细分指标以发现隐藏的故障模式
• 记录输入、输出和中间功能以实现可追溯性
• 当性能下降时自动执行再训练管道

10. 结论

监控和可观察性是任何生产机器学习系统的重要组成部分。与传统软件不同，机器学习系统不仅需要基础设施级别的可观察性，还需要数据和模型级别的可观察性。通过结合指标、日志、跟踪和统计分析，组织可以检测异常、确保模型性能并满足合规性要求。有了正确的工具、架构和流程，机器学习团队就可以提供强大且可靠的机器学习解决方案，并在动态生产环境中继续执行。