在风控模型的全生命周期中，模型监控与异常处理是保障模型持续、稳定、可靠运行的关键环节。本指南旨在提供系统化、可落地的监控指标、预警策略及异常处置流程，帮助团队快速定位、响应并修复线上模型问题，最大限度降低风险。
1.模型监控与预警
目标
- 准确性：确保线上打分与线下结果高度一致，防范环境或逻辑变更带来的偏差。
- 稳定性：持续监测特征与模型分数分布，及时发现数据漂移及客群波动。
- 有效性：评估模型区分度和预测能力，检测性能衰减风险。
核心监控指标
| 维度 | 指标 | 含义 | 监控方式 |
|---|---|---|---|
| 准确性 | 一致性（线上∕线下分数差） | 比较线上实时打分与线下重算结果，偏差即触发告警 | 定时（如每小时）抽取样本并对比，阈值误差＞0触发高危告警 |
| 稳定性 | PSI（Population Stability Index） | 测量当前与基准期特征或评分分布偏移程度 | 日/周拉取最近两周数据，计算主要特征 & 模型分布PSI，PSI＞0.25即警告 |
| 有效性 | AUC、KS | 评估分类性能，AUC/KS下降表明模型区分能力削弱 | 月度或基于样本量滚动窗口计算，AUC/KS 下跌＞5% 或 KS＜0.2触发告警 |
| 有效性 | IV（Information Value） | 监测关键特征的信息量变化，IV 下降意味着特征区分度减弱 | 周度计算核心特征 IV，IV 下降＞10%时评估特征稳定性及业务影响 |
Tip: 根据业务场景与样本量，可灵活调整监控频率：准确性建议小时级，稳定性建议日/周级，有效性建议周/月级。
预警策略与分级
- 定义阈值与分级：对各指标设定正常/关注/警告/严重不同级别阈值。
- 分级触达：
- 关注级：邮件/可视化平台通知，RM（模型负责人）定期跟进。
- 警告级：邮件+企业微信提醒，风控团队24h内排查。
- 严重级：电话/短信+微信群@全体，启动故障响应流程。
示例：
一致性：线上∕线下分数差 ＞0%（关注）；＞0.1%（警告）；＞0.5%（严重）
PSI：＞0.1（关注）；＞0.25（警告）；＞0.4（严重）
KS：下降 3%（关注）；＞5%（警告）；＞10%（严重）
2.模型异常处理流程
当监控预警达到警告级或以上时，应立即启动以下异常处理流程：
初步定位
- 核对预警信息：指标类型、阈值、发生时间、影响范围。
- 确认范围：抽样线下重算、查看原始数据覆盖度及时间窗口。
- 环境检查：
- 运行环境（Python 版本、依赖库版本、配置变动日志）。
- 部署流水线（代码仓库、容器镜像、配置中心）。
原因分析
- 准确性异常：
- 环境变更：执行
pip freeze、容器镜像比对。 - 预处理逻辑：检查 ETL/特征脚本，回放关键步骤。
- 环境变更：执行
- 稳定性异常：
- 数据源故障：查看数据源可用性、日志报错、空值/异常值比例。
- 客群变化：对比用户画像、营销渠道、宏观事件影响。
- 有效性异常：
- 特征失效：核心特征 IV 下降，剔除或替换特征。
- 模型衰减：迭代新模型或启用备选模型。
修复与验证
- 修复方案：
- 环境回滚或依赖锁定。
- 数据源恢复或更换备用管道。
- 重新训练 / 调参 / 替换模型。
- 验证流程：
- 重新运行线上-线下对比，确保一致性。
- 检测 PSI、AUC/KS 恢复正常。
- 小批量灰度发布，确认无异常后全量推送。
事后复盘
- 问题记录：撰写事件报告，落地根因分析。
- 优化改进：调整阈值、补充监控、完善自动化。
- 知识沉淀：更新文档、分享复盘会、培训相关人员
