
Hello,我是小兔大白糖。 想象一个很常见的故障现场:用户已经连续收到 500,但告警频道先刷出 CPU 高、Pod 重启、缓存命中率下降,真正说明「API 正在失败」的消息反而埋在下面。
问题通常不在于指标太少,而在于我们把「能采集」误当成了「该告警」。
这篇写给初中级后端同学。读完你应该能从四个黄金信号出发,设计一套少而准的最小告警集,并知道哪些阈值只能当教学起点、哪些信号根本不能单独下结论。
估计阅读时间:18 分钟
目录
- 先搭模型:监控像体检,告警像急诊分诊
- 精确定义:什么值得叫醒人
- 从四个黄金信号开始
- 把告警写成一张可执行工单
- 分级、降噪与 Slack-only 边界
- 一套够用的最小告警集
- 最容易写错的技术细节
- 六步实施,不复制百行清单
- 告警规则质量清单
- 小结
- 官方参考
先搭模型:监控像体检,告警像急诊分诊
监控负责持续测量,告警只负责把需要人处理的异常挑出来。
可以把一套观测系统想成医院:
- 指标、日志和链路是体温、血压与检查报告;
- Dashboard(看板)是医生查看完整数据的工作台;
- Alert(告警)是急诊分诊,只把必须尽快处理的问题送到人面前;
- Runbook(操作手册)是收到告警后的第一套处置步骤。
这个类比只解释「为什么不能所有异常都通知」。真实分布式系统还要处理采样、时间窗口、缺失数据、标签基数和多数据源一致性,这些都不能靠类比替代。
一条常见的数据流如下。具体组件可以替换,关键是分清采集、存储、查询和通知:
这里有两个容易画错的地方。
第一,Tempo metrics-generator 是在 trace ingestion(链路写入)过程中处理 span 并派生指标,不是把已经存储的历史 trace 重新回放一遍。单体部署与微服务部署的具体数据路径不同,也会随 Tempo 版本演进。
第二,Alloy 或 Tempo 能发 Prometheus remote write,不代表任意 Prometheus 默认都能收。接收端必须明确支持并启用 remote-write receiver;Prometheus 需要显式启用 --web.enable-remote-write-receiver。Mimir、Grafana Cloud Metrics 等后端也各有自己的接收地址与配置。
如果 trace 在进入 Tempo 前已被采样,metrics-generator 派生的请求量、错误率和延迟也只代表被保留的 span。它不能天然替代覆盖全流量的应用指标或入口指标。
精确定义:什么值得叫醒人
一个指标异常,不等于一条告警成立。
先把三个概念分开:
| 概念 | 回答的问题 | 默认去向 |
|---|---|---|
| 指标 Metric | 系统现在是多少、趋势如何 | 看板、查询、容量分析 |
| 告警 Alert | 是否出现需要人采取动作的异常 | Alertmanager、Atlas 或云告警系统 |
| 通知 Notification | 告警要送给谁、通过什么渠道送达 | Slack、值班系统或其他接收器 |
适合发通知的告警,至少满足三个条件:
- 有明确影响:用户失败、核心能力不可用、数据风险,或容量即将耗尽。
- 有具体动作:收到后知道先看什么、谁来处理、怎样确认恢复。
- 信号足够可信:有持续时间、最小流量保护和正确的缺失数据策略。
反过来,goroutine 数、普通 CPU 波动、缓存命中率、日志条数等信号,如果没有稳定基线和明确动作,通常先放看板,不要直接发 Slack。
症状优先,原因随后
先告诉人「用户怎么了」,再告诉人「系统哪里可能有问题」。
| 层级 | 示例 | 通知建议 |
|---|---|---|
| 用户症状 | 外部探测失败、5xx 比例高、请求明显变慢 | 作为主告警 |
| 明确故障 | 服务零可用副本、分区离线、数据库无可用主节点 | 作为主告警 |
| 潜在原因 | CPU 高、单个 Pod 重启、单个目标不健康 | 多数先 warning |
| 排障信号 | GC、goroutine、普通 IOPS、缓存命中率 | 默认只进看板 |
如果 API 仍然稳定,单个 Pod CPU 高不该和「API 大面积失败」同时发 critical。否则一次故障会拆成十几条消息,接手的人反而更难判断影响。
从四个黄金信号开始
在线服务的第一版监控,先覆盖流量、错误、延迟和饱和度。
| 黄金信号 | 它回答什么 | 后端常见观察项 |
|---|---|---|
| Traffic(流量) | 有多少请求进入系统 | RPS、QPS、并发数 |
| Errors(错误) | 有多少请求失败 | 5xx 比例、业务失败比例 |
| Latency(延迟) | 用户等待了多久 | p50、p95、p99;成功与失败分开 |
| Saturation(饱和度) | 系统离上限还有多远 | 内存、连接池、队列、磁盘、CPU throttling |
p99 表示观测窗口内约 99% 的请求延迟不高于这个分位值。低流量时,p99 很容易被少量样本放大,所以延迟告警也需要最小样本量保护。
最小流量保护不是可选项
比率告警必须先确认分母足够大。
假设 10 分钟只有 1 个请求,且它刚好失败,那么错误率就是 100%。数学没错,但这未必值得发 critical。
更可靠的条件是:
错误率超过阈值
AND
观察窗口内总请求数达到最小样本量
AND
条件持续一段时间延迟分位值同理。对于低流量 API,外部探测、绝对失败数或更长窗口,往往比分位值更稳定。
所有固定数字都只是教学起点
下面的数字不是行业标准,也不能直接复制到生产环境。
| 场景 | 教学起点示例 | 使用前必须校准什么 |
|---|---|---|
| 普通抖动过滤 | for 约 5 分钟 | 采集周期、发布抖动、故障容忍时间 |
| API 5xx | 10 分钟内超过 10%,且至少 100 个请求 | 正常错误率、流量、SLO、业务峰谷 |
| API 延迟 | 成功请求 p99 超过 5 秒并持续 15 分钟 | 路由类型、样本量、用户可接受延迟 |
| 容量预警 | 80% warning、90% critical | 扩容耗时、增长速度、资源真实上限 |
| 初次校准 | 观察约 1~2 周 | 工作日、周末、发布窗口与季节性 |
这些值只能帮助你启动讨论。for >= 5m、5xx 10%/10m、p99 5s、80%/90% 和 1~2 周观察期都不是标准答案。明确的二元故障可以更快触发;缓慢增长的容量风险则更适合预测「多久会耗尽」。
服务成熟后,核心 API 应逐步从固定阈值升级为 SLO(服务水平目标)和多窗口 error-budget burn-rate(错误预算消耗速度)告警。
把告警写成一张可执行工单
一条好告警应该让接手的人在一分钟内知道影响、负责人和第一步动作。
建议至少携带:
service:哪个服务;environment:哪个环境;severity:critical 还是 warning;team或owner:服务团队还是平台团队;- 当前值、触发条件和持续时间;
- 用户可能受到的影响;
- 看板链接与
runbook_url; - 建议的第一步检查。
一个脱敏的教学片段可以长这样:
labels:
severity: warning
service: backend-api
environment: production
team: service-team
annotations:
summary: "Backend API 5xx rate is high"
impact: "Users may receive failed API responses"
description: "Include the current value, threshold, sample size, and duration"
dashboard_url: "https://monitoring.example.com/d/example"
runbook_url: "https://docs.example.com/runbooks/api-errors"
first_action: "Check user-visible error rate and recent deployments"示例中的域名、服务名和字段值均为教学占位。阈值不要藏在模糊句子里,更不要只写一句「服务异常,请检查」。
收到告警后的最短处理流程是:
- 确认影响:告警是否仍在 firing,用户是否真的受影响。
- 明确认领:由服务团队或平台团队中的一方接手。
- 先止损:回滚、扩容、隔离或降级,优先恢复用户能力。
- 再定位:从症状看板进入依赖、Pod、trace 和日志。
- 验证恢复:确认用户症状恢复,告警 resolved,并继续观察。
- 补齐系统:记录误报、漏报和缺失的 Runbook。
分级、降噪与 Slack-only 边界
分级的目的不是给告警贴颜色,而是决定什么时候需要人行动。
| 级别 | 适用情况 | 预期动作 |
|---|---|---|
| critical | 明显用户影响、核心能力完全不可用、数据安全风险 | 尽快确认并止损 |
| warning | 局部降级、单实例故障、容量逼近、可能继续恶化 | 在约定时间内处理 |
| dashboard-only | 趋势、容量分析和根因定位 | 排障或规划时查看 |
一个故障只保留一个主告警
同一用户故障,优先由最高层的症状告警负责通知。
常见降噪方法包括:
- 按
alertname + environment + service分组,避免每个 Pod 发一条; - API 已出现 critical 时,抑制相关 CPU、Pod 重启等原因类 warning;
- 发布或扩容期间允许短暂的单目标不健康,但不要屏蔽真正的零可用副本;
- 临时 silence(静默)必须有原因和过期时间;
- warning 的重复通知间隔可以比 critical 更长。
Alertmanager 根路由指向空 receiver,是一种「默认不通知,只有明确分级才进 Slack」的可选降噪策略,不是普适最佳实践。它的风险也很直接:如果规则漏了 severity 等路由标签,告警可能被静默丢弃。采用这种策略时,必须测试未匹配告警、配置校验和兜底审计。
恢复通知要显式开启
Alertmanager 的 Slack resolved 通知不会因为你配置了 Slack 就自动开启。
如果希望恢复时收到消息,需要在对应 slack_configs 中显式设置:
receivers:
- name: slack-alerts
slack_configs:
- channel: "#example-alerts"
send_resolved: true
api_url_file: /path/to/managed/slack-webhook这是脱敏的配置片段。Webhook 应由密钥管理系统提供,不要明文提交到仓库。
Slack-only 不是 24×7 paging
Slack 能送消息,但通常不提供可靠的认领、自动升级和电话唤醒。
因此,Slack-only 方案必须明确写出边界:
- critical 不保证在非工作时段立即被确认;
- 维护或高风险发布窗口需要事先安排观察通知的人;
- 如果业务要求全天候响应,应增加带确认与升级机制的值班系统;
- Slack 消息送达只证明「这一次通知到了」,不证明整条链路未来一直可用。
一套够用的最小告警集
第一版不要追求覆盖所有指标,先覆盖用户故障、数据风险和容量耗尽。
下表中的固定时间和百分比仍然只是教学起点。每一项都要按实际流量、规格、恢复目标和可用指标裁剪。
应用与 Go 后端
| 要发现的问题 | 建议信号 | 级别 |
|---|---|---|
| 公网无法访问核心 API | 集群与私网之外的外部探测,覆盖 DNS、TLS、入口和应用 | critical |
| API 5xx 明显升高 | 全流量 HTTP counter 或可靠入口指标;加最小请求量保护 | critical |
| API 明显变慢 | 成功请求延迟分位值;加最小样本量保护 | warning |
| 预期流量消失 | 只在业务流量模式稳定后启用,并区分时段 | warning |
| 连接池或文件描述符接近上限 | 当前使用量与真实上限 | warning |
Go runtime 指标更适合解释原因,而不是直接定 critical:
go.memory.limit表示 Go runtime 的内存限制,也就是 GOMEMLIMIT 语义,不是容器 memory limit;go.memory.allocated是累计堆分配量的 Counter,不是当前内存占用;- 当前 Go runtime 使用量可参考
go.memory.used,但它仍不等于容器整体 RSS 或 working set; - 容器 RSS、working set 与容器 limit,应查看 kubelet、cAdvisor 和 Kubernetes 资源规格一类信号;
- goroutine、GC pause、GC CPU 和 allocation rate 默认先放看板。
这些指标是否存在、最终名称是什么,还取决于 OpenTelemetry 语义约定与 instrumentation 版本。先查询实际暴露的序列,再写规则。
Kubernetes
| 要发现的问题 | 建议信号 | 级别 |
|---|---|---|
| 服务零可用副本 | desired 大于 0 且 available 为 0 | critical |
| Deployment 或 StatefulSet 副本不足、发布卡住 | desired 与 ready / available 长时间不一致 | warning |
| 容器反复 CrashLoop | waiting reason 与重启增长 | warning;影响可用性时由症状告警升级 |
| 最近发生 OOMKill | 最近终止原因与同窗口 restart counter 增量组合 | warning |
| Pod 长期 Pending 或无法调度 | Pending 持续时间与调度原因 | warning |
| Node NotReady 或 DiskPressure | 节点状态,并结合剩余冗余容量 | warning / critical |
| PVC 即将写满 | kubelet_volume_stats_* 容量、可用空间或增长趋势 | warning / critical |
| HPA 到最大副本仍有压力 | maxed out,并同时看到延迟、错误或资源压力 | warning |
PVC 容量数据来自 kubelet 暴露的 volume stats。CSI 驱动、卷类型和挂载状态不同,kubelet_volume_stats_* 可能缺失;启用规则前先确认目标卷真的有数据。
kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} 表示「最后一次终止原因」,这个静态状态可能持续存在。判断「最近发生」时,还要结合观察窗口内的 kube_pod_container_status_restarts_total 增量、事件或其他时序证据,不能只看 last terminated reason。
MongoDB Atlas
| 要发现的问题 | 建议信号 |
|---|---|
| 集群或主节点不可用 | Atlas 可用性 / replica set 类告警 |
| 复制追赶风险 | replication lag、oplog window 或平台提供的对应信号 |
| 连接逼近上限 | 当前连接与部署层级的连接限制 |
| 存储逼近上限 | 使用量、增长速度和自动扩容边界 |
| 备份不满足恢复目标 | Atlas 备份状态与恢复能力 |
| 持续资源饱和 | CPU、磁盘延迟、队列等可用指标,并与查询或 API 延迟关联 |
Atlas 告警必须按部署层级裁剪。Dedicated、Flex 和其他层级支持的指标与告警条件不同;例如 Flex 的监控与告警集合明显更少。不要先写一份「通用 Atlas 告警清单」,再假设每个层级都能提供 CPU、磁盘队列、复制或备份信号。
Redis / Valkey 与 ElastiCache
| 要发现的问题 | 建议信号 |
|---|---|
| 主节点不可用或 failover 异常 | 服务事件、节点状态,必要时加主动读写探测 |
| 副本不同步 | replication link / lag |
引擎内存逼近 maxmemory | DatabaseMemoryUsagePercentage 与写入、驱逐情况 |
| key eviction 影响业务 | eviction 速率,并按缓存、session、锁或队列用途定级 |
| 连接接近上限 | CurrConnections 与节点容量、客户端池配置 |
| CPU 或命令延迟异常 | 按节点 vCPU 规格选择 EngineCPUUtilization、主机 CPU 和延迟信号 |
DatabaseMemoryUsagePercentage 是 Redis / Valkey 的 used_memory / maxmemory,不等于宿主机总内存使用率。小规格与大规格节点的 CPU 解读也不同;连接上限不能只看一个固定百分比。Failover 是否成功应结合 ElastiCache 服务事件、节点状态和必要的主动探测,而不是只凭单个资源指标猜测。
Aurora / RDS 与 ALB
| 要发现的问题 | 建议信号 |
|---|---|
| ALB 判定零健康目标 | HealthyHostCount、missing-data 策略与外部探测 |
| 部分 Target 不健康 | UnHealthyHostCount,过滤预期发布抖动 |
| ALB 或后端 5xx | 区分 HTTPCode_ELB_5XX_Count 与 Target 5xx 比例;后者加最小流量保护 |
| 数据库不可用或 failover 失败 | RDS 服务事件、状态检查与应用连接探测 |
| 数据库容量逼近 | 连接数、内存、存储 / 临时空间与增长趋势 |
| Aurora reader 复制延迟 | AuroraReplicaLag 等适用指标 |
| 备份不满足 RPO | 备份事件、状态检查,以及 API 返回的可恢复时间 |
LatestRestorableTime 是 RDS / Aurora API 返回字段,不是普通 CloudWatch metric。备份失败、数据库故障与 failover 结果,应结合 RDS 服务事件、资源状态和主动检查。不要把「transaction ID」泛写成通用数据库风险指标;应选择与实际引擎和故障模式对应的 deadlock、连接、复制、存储或事务年龄信号。
HealthyHostCount = 0 只表示 ALB 判定零健康 Target,不保证 ALB 绝对不再转发:当注册目标全部不健康时,ALB 可能 fail open,把请求发给这些不健康目标。如果根本没有注册 Target,HealthyHostCount 还可能没有数据。规则必须明确 missing-data 行为,并由外部探测兜住 DNS、TLS、WAF、路由和真实响应。
Kafka:先分清 JMX 与 Amazon MSK
通用 Kafka / JMX 指标名与 Amazon MSK CloudWatch 指标名不是一套统一命名。
| 来源 | 适合关注的信号 | 注意 |
|---|---|---|
| 通用 Kafka / JMX exporter | 离线分区、ISR、副本同步、控制器、请求处理、磁盘、consumer lag | 最终名称取决于 Kafka 版本、MBean 与 exporter 映射 |
| Amazon MSK CloudWatch | OfflinePartitionsCount、UnderMinIsrPartitionCount、UnderReplicatedPartitions、磁盘与 broker 指标 | 可用性取决于集群类型、监控级别和维度 |
Consumer lag(消费积压)不应统一写死为「超过多少条」。同样的 10 万条消息,可能是几秒,也可能是几小时工作量。更有行动价值的做法,是根据近期处理速率换算预计业务延迟,再和订单、通知或同步任务的时限比较。
Lag 指标还可能缺失。以 Amazon MSK 为例,consumer group 状态、命名和是否提交 offset 都会影响 CloudWatch 是否发出 lag 指标。No Data 不能简单当成「没有积压」,需要单独定义缺失数据策略。
监控系统自身
至少监控:
- Prometheus scrape target 大面积失败;
- 规则计算失败;
- Alertmanager 通知失败;
- Prometheus、Loki、Tempo 等存储容量;
- 外部 heartbeat / dead-man 是否按时到达。
同一套监控系统无法完整证明自己正常。固定周期测试规则只能覆盖它实际经过的部分链路;如果 Prometheus、Alertmanager、Slack 或它们之间的链路有一环整体失明,内部规则可能根本发不出来。要验证端到端通知能力,需要外部 heartbeat、dead-man 服务或第二观察者。
最容易写错的技术细节
监控文档最危险的错误,是把「有这个指标」写成「这个指标能证明这件事」。
1. 把 trace 派生指标当全流量指标
采样 trace 只能代表样本。要做用户错误率和延迟主告警,优先使用全流量应用指标、入口指标或独立探测。
2. 把 for 当行业标准
for 约 5 分钟只是教学起点。告警应该多快触发,取决于采集周期、噪声、故障损失和恢复速度。
3. 把 CPU / request 当通用容量上限
Kubernetes CPU request 是调度预留,不是硬上限。服务是否饱和,还要看 CPU limit 与 throttling、延迟、HPA、队列和下游能力。
4. 把 No Data 当健康
没有注册 ALB Target、PVC 不支持 volume stats、MSK consumer lag 未发出,都可能表现为无数据。每条规则都要回答:No Data 是正常、异常,还是需要另一条告警?
5. 为每个原因都发通知
一次 API 故障同时触发 5xx、Pod 重启、CPU 高和缓存异常时,应由用户症状做主告警,其他信号留在告警详情和看板里。
6. 让告警标签无限增长
不要把 user ID、订单 ID、完整 URL 或其他高基数值放进 Prometheus label。它们更适合日志和 trace。
7. 以为测试告警能证明一切
内部测试规则能证明部分评估与通知路径,但不能让同一系统完整自证。外部观察者才是兜底。
六步实施,不复制百行清单
从一小套可验证的规则开始,比一次配置几百条规则更可靠。
第一步:列出关键用户路径
先写清楚用户真正依赖什么:登录、下单、查询、异步通知,还是数据同步。每条路径只选一个主要症状信号。
第二步:确认信号真实可用
检查 HTTP 指标是否覆盖全流量,状态码和 route 标签是否存在且基数可控;确认 Kubernetes、Atlas、AWS 和 Kafka 的指标确实由当前部署层级提供。
第三步:启用最小告警集
优先启用外部可用性、错误率、延迟、零可用副本、数据风险和容量耗尽。平台默认规则已经覆盖的,不要重复创建同类规则。
第四步:补齐负责人和第一步动作
每条通知型告警都要有 owner、看板、Runbook 和第一步检查。教学例子可以用「服务团队 / 平台团队」,真实系统则要映射到明确的维护者。
第五步:逐条测试通知路径
分别测试 Alertmanager、Atlas 和云告警实际使用的路径。Alertmanager 需要验证 firing 与 resolved;事件型通知则验证事件是否送达。不要通过临时降低真实故障阈值来做测试。
第六步:按数据校准
上线后观察一段能覆盖主要流量周期的时间,再记录误报、漏报、太早和太晚。前文的 1~2 周只是教学起点,不是固定等待期。最终阈值应由 SLO、用户影响、基线和处置速度共同决定。
告警规则质量清单
每条准备发给人的规则,都应该过一遍这份短清单。
- 描述的是用户症状、明确故障、数据风险或即将耗尽的容量。
- 触发后有人能采取具体动作。
- 比率告警有最小请求量,分位值告警有最小样本量。
- 持续时间与业务影响匹配,示例阈值已经按真实数据校准。
- 明确处理 No Data,而不是默认把缺失当健康。
- 没有 user ID、订单 ID 等高基数 label。
- 同一故障只有一个主通知,原因类规则已降级或抑制。
- 有服务、环境、严重级别、负责人、看板、Runbook 和第一步动作。
- Slack resolved 已按需要显式配置
send_resolved: true。 - firing、resolved、静默过期和通知失败都实际测试过。
- 有外部 heartbeat / dead-man 或第二观察者检查监控链路。
小结
- 从 Traffic、Errors、Latency、Saturation 四个黄金信号开始,不要从「所有能采集的指标」开始。
- 症状优先于原因:用户错误率是主告警,CPU、GC 和 Pod 重启更多用于定位。
- 比率和分位值必须有最小流量 / 样本量保护;固定阈值全部只是教学起点。
- 告警要可行动、可分级、可降噪;一个故障只保留一个主通知。
- Slack-only 不等于 24×7 paging;同一监控系统也不能完整自证,必须考虑外部观察者。
- 云服务和托管平台的指标要按产品、部署层级与版本裁剪,不能把名字相近的指标当成同一语义。
你可以从一个很小的动作开始:打开当前最核心 API 的看板,检查它是否同时回答了「有多少流量、多少错误、延迟多高、离上限多远」。如果四个问题里有一个答不上来,就先补信号,再谈阈值。
官方参考
- Google SRE Book — Monitoring Distributed Systems
- Google SRE Workbook — Monitoring
- Prometheus — Alerting Practices
- Prometheus — Alerting Rules
- Alertmanager — Configuration
- Prometheus — Command-line flags
- Grafana Tempo — Metrics-generator
- Grafana Tempo — Metrics-generator configuration examples
- OpenTelemetry — Semantic conventions for Go runtime metrics
- Kubernetes — Node metrics data
- Kubernetes — Resource Management for Pods and Containers
- kube-state-metrics — Pod metrics
- MongoDB Atlas — Alert Conditions
- MongoDB Atlas — Flex Limitations
- AWS — ElastiCache metrics for Valkey and Redis OSS
- AWS — ALB CloudWatch metrics
- AWS — ALB target group health checks
- AWS — Aurora CloudWatch metrics
- AWS — Aurora backup and restore
- AWS — RDS event notifications
- AWS — Amazon MSK metrics
- AWS — Amazon MSK consumer lag
- Apache Kafka — Monitoring