Kubernetes 告警规则清单
生命周期类告警
| 类别 | 指标 / 事件 | 常见根因 | 告警信息 / 内容 | 实际 PromQL |
|---|---|---|---|---|
| 生命周期 | Pod 状态异常 | 资源不足 / 调度约束 / 镜像拉取慢 | 命名空间: {{$labels.namespace}} / Pod: {{$labels.pod_name}} 处于 {{$labels.phase}} 状态持续超过 3 分钟 |
```promql sum_over_time(kube_pod_status_phase{namespace="namespace-name", pod_name=~"(online |
| 生命周期 | Pod 启动失败（CrashLoop / ImagePullBackOff / ErrImagePull） | 配置错误 / 依赖未就绪 / 启动命令异常 | 命名空间: {{$labels.namespace}} / Pod: {{$labels.pod_name}} 超过 15 分钟未启动成功，等待原因 {{$labels.reason}} |
```promql avg_over_time(kube_pod_container_status_waiting_reason{namespace="namespace-name", pod_name=~"(online |
| 生命周期 | Pod 重启提醒（1 分钟 ≥ 1 次） | 网络抖动 / 短暂 OOM / 发布重建 / 外部依赖瞬断 / 容器运行时异常 | 命名空间: {{$labels.namespace}} / Pod: {{$labels.pod_name}} 在 {{$labels.metrics_params_time}} 分钟内重启超过 {{$labels.metrics_params_value}} 次，当前重启 {{$value}} 次 |
```promql increase(kube_pod_container_status_restarts_total{namespace="namespace-name", pod_name=~"(online |
| 生命周期 | Pod 频繁重启（5 分钟 ≥ 3 次） | CrashLoop / 持续 OOM / 探针配置不当 / 依赖异常 / 权限挂载错误 | Pod 频繁重启（5 分钟 ≥ 3 次），Namespace: {{$labels.namespace}}，Pod: {{$labels.pod}} |
```promql ceil( increase( kube_pod_container_status_restarts_total{ job="_kube-state-metrics", namespace="namespace-name", pod=~"(online |
资源类告警
| 类别 | 指标 / 事件 | 常见根因 | 告警信息 / 内容 | 实际 PromQL |
|---|---|---|---|---|
| 资源 | Pod 容器近期异常终止 | OOMKilled：内存超限 Error：应用崩溃 Evicted：节点驱逐 DeadlineExceeded：退出超时 ContainerCannotRun：容器无法运行 |
{{ $labels.namespace }}/{{ $labels.pod_name }} 中的容器 {{ $labels.container }} 发生异常终止，原因：{{ $labels.reason }} |
```promql ( increase(kube_pod_container_status_restarts_total{ namespace="namespace-name", pod_name=~"(online |
| 资源 | 容器内存使用率突增 | 内存泄漏 / 缓存增长 / 负载提升 | 命名空间: {{$labels.namespace}} / Pod: {{$labels.pod_name}} / 容器: {{$labels.container}} 内存使用率 {{$labels.metrics_params_opt_label_value}} {{$labels.metrics_params_value}}%，当前值 {{ printf "%.2f" $value }}% |
```promql ( sum(container_memory_working_set_bytes{id!="/", namespace="namespace-name", pod_name=~"(online |
| 资源 | 容器 CPU 使用率突增 | CPU 突发负载 / 性能热点 | 命名空间: {{$labels.namespace}} / Pod: {{$labels.pod_name}} / 容器: {{$labels.container}} CPU 使用率 {{$labels.metrics_params_opt_label_value}} {{$labels.metrics_params_value}}%，当前值 {{ printf "%.2f" $value }}% |
```promql 100 * ( sum(rate(container_cpu_usage_seconds_total{id!="/", namespace="namespace-name", pod_name=~"(online |
| 资源 | Pod CPU 限流突增 | CPU limit 过低 / 并发突增 / noisy neighbor | 命名空间: {{ $labels.namespace }} Pod: {{ $labels.pod_name }} 容器: {{ $labels.container }} CPU throttling > 60%，检查 CPU limit / requests / 节点资源 |
```promql 100 * ( sum by (namespace, pod_name, container) ( rate(container_cpu_cfs_throttled_seconds_total{ namespace="namespace-name", pod_name=~"(online |
健康检查类告警
| 类别 | 指标 / 事件 | 常见根因 | 告警信息 / 内容 | 实际 PromQL |
|---|---|---|---|---|
| 健康检查 | Readiness NotReady | 就绪探针失败 / 容器重启 / 资源不足 / 节点异常 | Pod 未就绪（NotReady）已持续超过 3 分钟，当前无法接收服务流量。Namespace: {{ $labels.namespace }}, Pod: {{ $labels.pod_name }}, 容器: {{ $labels.container }}，建议检查 Pod 事件 / 探针 / 资源 / 节点 |
```promql kube_pod_status_ready{ namespace="namespace-name", pod_name=~"(online |
