可观测性平台治理:多环境、长期存储、基数与成本怎么选

Hello,我是小兔大白糖。 可观测性平台最危险的时刻,往往不是刚上线,而是已经“能用”之后:服务和环境持续增加,Metrics 时序翻倍,Debug 日志挤满存储,Trace 费用上涨,生产告警却仍会被非生产噪声淹没。
这时继续加组件,通常治不好问题。平台需要从“采得到”进入“管得住”:先划清环境、租户与故障域,再给保留、基数、采样、权限、恢复和成本建立可审核的合同。
这篇是可观测性工程系列的收官篇,写给正在维护 Prometheus、Grafana、OpenTelemetry 或集中式遥测后端的中高级后端、SRE 和平台工程师。重点不是选出唯一产品,而是给出一套能解释选择、代价和升级时机的治理框架。
【示例场景·合成数据】
文中的环境、服务、拓扑、故障过程、容量和成本均为教学示意,不对应任何组织、产品或真实事件。公开组件名只用于解释能力边界;文章不包含真实账号、区域、域名、资源名、业务事件、日志、查询文本或访问策略。
估计阅读时间:24 分钟
目录
主线只有一句话:先决定隔离与恢复边界,再选择存储和采集形态,最后用预算、GitOps 与自监控维持这套边界。
- 先给结论:平台先定边界,再选后端
- 多环境架构:先选故障域和隔离边界
- 长期指标存储:不是把 retention 调大
- 保留策略:按调查和合规价值分层
- Metrics 基数:先管标签合同,再谈扩容
- Logs 与 Traces:按风险采样,不按一个比例全砍
- GitOps:配置进入 Git,运行时例外必须回收
- 权限与隐私:租户隔离必须在后端成立
- HA 与灾备:配置、数据和告警分别定义目标
- 平台自监控:监控系统不能只监控自己
- 成本归属:先做可解释的 Showback
- 成熟度路线:按能力缺口升级
- 系列收束:把一次调查走到底
- 小结
- 落地前按版本与服务核对
- 公开参考
先给结论:平台先定边界,再选后端
没有脱离规模、团队和合规要求的“唯一最佳”可观测性平台;产品只能实现边界,不能替你决定边界。
平台治理至少要先回答八个问题:
- 生产与非生产是否允许共享故障域和数据面;
- 哪些团队可以查询哪些环境、租户和信号;
- 本地热数据要支撑多长的即时调查窗口;
- 哪些数据需要跨集群、跨季度查询;
- Metrics 活跃时序、日志字节和 Span 字节由谁负责;
- 监控平台部分不可用时,采集、告警和调查怎样降级;
- 配置和遥测数据分别允许丢多少、多久恢复;
- 一个新 Label、Debug 开关或采样例外,怎样看到长期成本。
这八个问题没有先答清,架构讨论就会退化成产品名比较。一个后端支持对象存储,不代表它自动满足灾备;支持多租户,不代表身份校验已经安全;支持远程写入,也不代表网络中断时数据不会丢。
【经验建议】
把平台设计成一个持续反馈回路:遥测合同进入 Git,CI 检查语义和成本,运行时用配额保护后端,再把用量、失败和查询成本反馈给 Owner。治理不是上线前的一次评审,而是平台长期运行方式。
多环境架构:先选故障域和隔离边界
多环境架构先比较爆炸半径、权限和跨环境查询需求,再决定独立、共享还是混合。
常见做法可以归为三类:
| 架构 | 更适合的条件 | 主要收益 | 必须接受的代价 |
|---|---|---|---|
| 每个环境独立 | 生产合规严格;团队能承担重复运维;跨环境查询很少 | 故障域、权限和成本边界清楚 | 组件重复;小环境利用率低;全局查询和统一升级更难 |
| 分布采集、共享后端 | 环境和集群多;需要统一查询;平台团队能运营多租户后端 | 集中存储、统一策略、跨集群查询 | 共享后端爆炸半径更大;网络、租户、配额和写入队列更复杂 |
| 混合 | 生产要强隔离,非生产希望节省成本;或正从单集群演进 | 在关键环境隔离与平台复用之间折中 | 路径不完全一致;测试环境未必能复现生产后端行为 |
混合并不等于“所有环境写进同一个租户”。物理后端可以共享,逻辑租户、对象存储前缀、加密密钥和访问策略仍然可以分开;合规要求更高时,生产也可以使用独立后端。
环境标识必须来自受信的部署配置。以 OpenTelemetry 资源属性为例,可以统一使用 deployment.environment.name,再补充受控的 cluster、namespace 和 service。应用不能自行把测试流量标成生产,也不能让用户输入覆盖租户标识。
选择架构时,再逐项做四个故障演练:
- 共享后端不可用,生产本地规则和短期查询是否还能工作;
- 集群到后端的网络中断,队列和 WAL 能缓冲多久;
- 非生产突然产生高基数,配额能否阻止它拖慢生产;
- 统一 Grafana 或身份系统不可用,值班者还有没有受控的应急入口。
如果这些问题都依赖“后端应该不会坏”,隔离只存在于架构图里。
长期指标存储:不是把 retention 调大
引入长期指标存储,改变的是写入、查询、规则、去重、对象存储和恢复路径,不只是本地保留天数。
单机 Prometheus 仍然擅长本地抓取、规则评估和近期查询。它的问题不是“不工业级”,而是单实例边界不适合无限承载跨集群、跨季度、多租户和高可用去重。
出现下面任一需求时,才值得认真评估长期后端:
- 多个 Prometheus 需要统一查询;
- 需要保存超过本地磁盘经济范围的趋势;
- Prometheus 双副本需要查询去重;
- 需要对象存储、水平扩展或租户配额;
- Recording Rule 或 Alerting Rule 需要跨集群数据;
- 本地实例重建后,历史数据仍要保留。
条件式比较,而不是产品排名
| 路径 | 更适合的条件 | 架构重点 | 主要代价与验证项 |
|---|---|---|---|
| Prometheus 本地存储 | 集群少;调查窗口短;规则以本地为主 | 抓取、TSDB、规则在同一实例 | 容量受单实例约束;跨集群查询与长期恢复能力有限 |
| Thanos Sidecar 路径 | 已有 Prometheus;希望渐进接入对象存储和全局查询 | Sidecar 上传 Block,Query 聚合,Store 读取历史,Compactor 管理 Block | 组件和查询路径增加;最新数据仍依赖 Prometheus 与 Sidecar;去重和外部标签必须设计正确 |
| Thanos Receive 路径 | 希望用 Remote Write 集中接收,同时保留 Thanos 查询与对象存储体系 | Receiver 承担写入、租户与复制拓扑 | 写入路由、复制、容量和故障恢复更复杂;不能直接套用 Sidecar 的运维假设 |
| Grafana Mimir | 集群多;需要集中式、水平扩展、多租户和租户级限制 | Remote Write 进入分布式写入路径,查询、规则和对象存储组件解耦 | 组件较多;需要平台化容量、配额、升级和对象存储运维 |
| 其他兼容或托管后端 | 团队更看重运维托管、成本模型或特定查询能力 | 以公开协议和迁移边界接入 | 要验证 PromQL、Remote Write、Histogram、Exemplar、规则和数据导出兼容性 |
Thanos 与 Mimir 的能力存在交集,不能简单归纳成“一个只查询、一个只写入”。Thanos 也有 Receive 和 Ruler,Mimir 也有分布式查询、规则与对象存储。真正的区别要落到当前版本、部署模式和团队已有运维能力。
选型评审至少要画清六条路径:
- 写入路径:抓取或 OTLP 数据怎样进入长期后端;
- 查询路径:近期与历史数据由谁合并,失败时怎样降级;
- 规则路径:规则在本地还是全局评估,数据延迟怎样影响告警;
- 去重路径:双副本在哪一层去重,依赖哪些稳定标签;
- 恢复路径:对象存储、索引、缓存和元数据分别怎样恢复;
- 退出路径:需要迁移时,数据和规则能否以可接受成本带走。
【经验建议】
保留本地 Prometheus 作为短期热查询和局部规则引擎,长期数据进入集中后端,是常见的渐进路径。但它不是固定答案:如果边缘集群网络很差、规则必须依赖全局数据,或平台要求所有写入先经过集中配额,架构会不同。
Remote Write 队列和 WAL 只能提供有限缓冲,不是无限重试,也不是灾备副本。网络恢复后还要关注补写速度:补写与实时流量竞争时,可能把恢复变成第二次拥塞。
保留策略:按调查和合规价值分层
保留期应由调查窗口、趋势价值、审计义务、删除要求和恢复成本共同决定,不能给三类信号统一一个天数。
一套可评审的保留矩阵可以这样写:
| 数据 | 主要价值 | 保留倾向 | 常见治理动作 |
|---|---|---|---|
| 高频原始 Metrics | 近期排障、容量尖峰 | 短到中期 | 限制 Label;过期后依赖稳定汇总 |
| SLO 与容量 Recording Rule | 长期可靠性和趋势 | 中到长期 | 固定语义、低基数、版本化规则 |
| Debug Logs | 临时调查 | 极短 | 默认关闭;带自动到期和责任人 |
| Error Logs | 故障上下文 | 覆盖常见调查窗口 | 结构化、脱敏、按服务限额 |
| Audit / Security Logs | 审计与安全调查 | 由法规和内部政策决定 | 独立权限、不可随意采样、访问审计 |
| Traces | 单次请求路径与性能 | 通常短于汇总 Metrics | 风险分层采样;限制属性和事件 |
“热、温、冷”不是三个产品名,而是查询代价和恢复速度不同的层。近期值班数据要快速查询;长期趋势可以接受更慢的对象存储读取;极少访问的归档则要先确认恢复时间是否仍满足事故调查。
保留策略还要写清四个容易被忽略的边界:
- 可见保留不等于物理删除完成:Compaction、对象生命周期、索引和备份可能有不同节奏;
- 下采样不等于原始数据仍可追溯:长期只保留汇总后,短暂尖峰和单实例细节可能消失;
- 审计数据不等于全部日志:把所有应用日志都当审计日志,会同时放大成本和隐私风险;
- 备份不应绕过删除政策:主存储删除后,备份中的数据如何到期和恢复,需要单独定义。
先从问题倒推:值班调查通常会回看多久,SLO 需要比较几个周期,容量采购需要多长趋势,安全与合规要求保留什么。没有明确用途的数据,不应因为对象存储“看起来便宜”就无限保留。
Metrics 基数:先管标签合同,再谈扩容
Metrics 成本的第一杠杆是 Label 值组合;后端扩容只能延后问题,不能修复失控的数据模型。
活跃时序可以用一个粗略模型理解:
活跃时序 ≈ 指标与 Bucket 数 × 实际 Label 组合 × Target 副本数
这是上界估算,不代表所有组合都会同时出现。但它足以解释为什么一个 user_id、原始 URL、异常文本或时间戳,会把可控的几十条时序变成近乎无上限。
治理顺序应从源头向后端推进:
- 设计期:给指标维护 Label 白名单、允许值、Owner 和预期上限;
- 测试期:用合成流量覆盖多路由、多状态和重试,估算新增活跃时序;
- 接入期:按团队、服务或租户设置活跃时序与写入速率预算;
- 运行期:定期查看高基数指标、Label 大户、抓取样本量和查询放大;
- 应急期:允许平台丢弃失控指标或 Label,并留下可审计的临时策略。
适合进入 Metrics 的值应当稳定、有限、可聚合:
| 适合 | 不适合 |
|---|---|
| 路由模板 | 原始 URL 和查询参数 |
| 状态码类别 | 完整异常文本 |
| 有限操作名 | SQL、消息正文、缓存 Key |
| 受控环境与集群名 | 用户、任务、请求和 Trace ID |
| 固定失败原因枚举 | 时间戳和随机值 |
Recording Rule 可以预计算高频查询,降低重复查询成本,但不会减少原始指标已经产生的写入和基数,而且会新增汇总时序。Downsampling 主要降低长期查询与存储粒度,也不能消除数据刚进入系统时的峰值成本。
metric_relabel_configs 一类丢弃规则适合作为最后防线。它可以阻止无用样本进入 TSDB,却无法撤销应用已经创建 Label、Exporter 已经生成数据、网络已经传输抓取结果的成本。更稳的做法仍是从 SDK 和 Exporter 配置源头限制。
Native Histogram 能减少手工 Bucket 设计的部分负担,并在合适条件下提供更灵活的精度。但它不是“免费减少时序”的通用开关:样本大小、Schema、合并语义、远端存储、规则和 Grafana 支持都与版本和配置有关,上线前必须按完整链路验证。
Logs 与 Traces:按风险采样,不按一个比例全砍
日志和 Trace 的成本治理要先保住错误、慢请求和审计证据,再压缩普通成功流量;全局一个采样率最容易漏掉低流量故障。
三类信号的主要成本不同:
| 信号 | 成本主要来自 | 优先治理 |
|---|---|---|
| Metrics | 活跃时序、样本速率、规则与查询扫描 | Label 合同、Histogram、抓取间隔、租户预算 |
| Logs | 摄入字节、索引 Label、对象存储、全文扫描 | 日志级别、大字段、低基数索引、保留和查询范围 |
| Traces | Span 数、属性与 Event 大小、采样、保留、派生指标 | 无价值 Span、属性白名单、风险分层采样、Metrics Generator |
日志先管“写了什么”
生产日志可以默认使用结构化 Info,Debug 通过有时限的开关启用。请求体、响应体、Token、Cookie、完整 Header、SQL 参数和用户输入不应默认记录。
Loki 一类日志后端通常只把稳定、低基数维度作为 Stream Label。把 trace_id、用户 ID 或原始路径放入索引 Label,会制造大量 Stream;这些字段更适合保留在正文或结构化字段中,查询时先用环境、服务和级别缩小范围,再解析内容。
普通成功日志可以采样,但 Error、安全事件和关键审计日志要有独立策略。审计日志还需要独立权限、保留和完整性要求,不能与应用 Debug 日志共用一个“超限就随机丢”的规则。
Trace 先管“哪些请求值得完整保留”
Head Sampling 在请求开始时做决定,成本更早下降,但无法预知请求最终是否失败或变慢。Tail Sampling 可以在看到完整结果后优先保留错误和慢请求,却需要 Collector 暂存 Trace,并保证相关 Span 能进入可做一致决策的路径。
风险分层通常比全局百分比更稳:
- 错误、超时和极慢请求优先保留;
- 低流量关键路径设置最低可见性;
- Health Check、高频轮询和成功噪声降低采样;
- 请求体、响应体和敏感 Header 不进入 Span;
- 限制属性长度、Event 数量和单 Trace Span 数;
- 定期用合成故障验证采样后仍能找到关键证据。
Tail Sampling 主要减少导出和后端存储,不会取消应用已经创建 Span、SDK 已经处理 Span,以及 Collector 在决策前接收和缓存数据的成本。服务图、Span Metrics 或 Metrics Generator 还可能从 Trace 再生成 Metrics;如果把高基数属性带入维度,Trace 成本会转化成 Metrics 基数问题。
GitOps:配置进入 Git,运行时例外必须回收
采集、规则、Dashboard 和权限配置只有进入版本控制并经过验证,才具备可复现、可审计和可回滚的基础。
建议进入 Git 的内容包括:
- Helm values、Kustomize 和 Operator 自定义资源;
- ServiceMonitor、PodMonitor、Probe 与采集 Pipeline;
- PrometheusRule、Recording Rule 和 Alerting Rule;
- Alertmanager 路由模板,但不把 Secret 写进 Git;
- Grafana Dashboard、Folder、Data Source 与权限 Provisioning;
- SLO 定义、Runbook、Owner 和遥测合同;
- 租户默认配额、保留与采样策略。
CI 至少覆盖四类质量门:
- 语法与 Schema:YAML、Jsonnet、Dashboard JSON 和自定义资源;
- 规则语义:
promtool check rules与promtool test rules,验证告警和 Recording Rule; - 安全与隐私:Secret 扫描、敏感字段检查、最小权限策略;
- 成本与基数:新增 Label、采样、抓取间隔、保留和预算变化。
部署后还要做运行时验证:Target 是否出现,规则是否评估,Dashboard 查询是否返回预期数据,通知能否到达测试渠道。CI 能证明配置格式正确,不能证明目标集群的 Label、网络和权限真的匹配。
UI 临时修改可以保留,但要定义为 Break-glass:说明操作者、原因、到期时间和影响范围,事后回写 Git 或回滚。否则下一次 GitOps 同步会覆盖修改,或者 UI 状态永久漂移,平台再也无法从仓库重建。
Secret 应由 Secret Manager、SOPS 或等价机制在部署时注入。Git 中只保存引用、模板和权限边界,不保存明文凭据。
权限与隐私:租户隔离必须在后端成立
Grafana Folder、Dashboard 变量和隐藏查询不是安全边界;数据隔离必须由身份、后端租户和数据源权限共同强制。
平台至少应区分这些角色:
| 角色 | 典型权限 | 不应默认拥有 |
|---|---|---|
| 浏览者 | 查询授权环境、查看 Dashboard | 编辑数据源、跨租户查询 |
| Dashboard 编辑者 | 修改指定 Folder 内容 | 修改采集、保留和全局告警 |
| 值班操作者 | 创建有期限的静默、执行 Runbook | 永久改写路由和租户权限 |
| 平台管理员 | 管理数据源、配额、升级和恢复 | 无审计的日常业务数据浏览 |
多租户后端应使用服务身份和后端认可的租户上下文。不能让浏览器变量、客户端自报 Header 或任意应用字段决定租户。生产和非生产还应拆分数据源凭据、通知权限和 Break-glass 流程。
遥测数据常在不知不觉中携带敏感信息:
- URL 查询参数和路径中的实体 ID;
- SQL、数据库参数和消息正文;
- HTTP Header、Cookie、Token 和凭据;
- 异常文本、用户输入和第三方响应;
- Trace Baggage 中跨服务传播的字段。
治理顺序是少采、早删、再加密。SDK 使用属性白名单;日志在产生时就避免写入敏感值;Collector 在离开受信网络前过滤或哈希;传输与对象存储启用加密;查询和导出留下访问审计。
删除流程也要纳入架构。团队需要知道某类数据落在哪些索引、Block、缓存、对象副本和备份中,多久停止可查,多久完成物理到期。否则“支持删除”只是一句接口承诺。
HA 与灾备:配置、数据和告警分别定义目标
高可用解决局部故障下继续服务,灾备解决故障域丢失后的恢复;两者不能用“双副本”互相替代。
先把平台拆成五个恢复对象:
| 对象 | 常见故障 | 设计与演练重点 |
|---|---|---|
| 采集与转发 | Agent 重启、网络中断、队列满 | WAL / 队列容量、退避、拒绝指标、补写速度 |
| 写入与存储 | Ingester 故障、对象存储错误、Compaction 中断 | 副本、持久化、对象版本、校验和恢复顺序 |
| 查询 | Query 组件过载、缓存污染、历史存储不可达 | 限流、超时、降级到本地、缓存可重建 |
| 规则与通知 | Rule 评估失败、Alertmanager 或外部通知故障 | 双副本语义、通知去重、重试、独立 Watchdog |
| 配置与身份 | Grafana 数据库损坏、GitOps 或身份系统不可用 | Git 重建、数据库备份、应急身份和审计 |
Prometheus 双副本抓取同一目标,会产生重复样本。它们是在查询时去重、写入时去重,还是完全独立保存,取决于长期后端和外部 Label 设计。去重失败可能让查询翻倍,也可能在副本切换时出现缺口。
配置与数据要分别定义 RPO 和 RTO:
- 配置 RPO:Git 与数据库备份允许丢多少变更;
- 数据 RPO:网络或存储故障允许丢多少遥测;
- 告警 RTO:规则和通知中断多久必须恢复;
- 查询 RTO:值班调查入口多久恢复,是否允许只看近期本地数据。
Dashboard 能从 Git 重建,不代表历史遥测可以恢复;对象存储有副本,也不代表查询索引和租户元数据会自动恢复。演练要从空环境恢复,而不是只确认“备份任务显示成功”。
跨区域复制也不是默认答案。它增加对象请求、网络费用、删除复杂度和错误配置传播风险。只有明确的故障模型、RPO、RTO 与合规要求,才能决定同区域多可用区、跨区域复制还是离线备份更合适。
平台自监控:监控系统不能只监控自己
平台内部指标负责解释故障,独立故障域的外部探测负责证明“监控和告警链本身还活着”。
建议为“Observability Platform”建立独立服务视图,至少覆盖:
- 抓取成功率、样本新鲜度和 Target 数量变化;
- Remote Write pending、failed、retry 和 rejected;
- Collector receiver、queue、exporter 与 dropped telemetry;
- Metrics、Logs、Traces 的摄入拒绝、查询错误和延迟;
- Rule 评估失败、错过周期和告警状态变化;
- Alertmanager 通知失败、重试与下游渠道状态;
- 对象存储错误、Compaction 积压和缓存异常;
- Dashboard、规则、租户配额与 Git 的配置漂移。
“组件进程在线”不是平台 SLO。更有用的 SLI 是:从合成信号产生,到后端可查询需要多久;从合成告警触发,到外部渠道收到通知需要多久。
可以持续产生一条低成本 Watchdog 指标,让外部系统等待它按时到达。如果整个监控平台、身份系统或网络故障,Watchdog 消失应由另一故障域接收,而不是仍依赖同一套 Prometheus 和 Alertmanager。
还要把“没有数据”与“数据为零”分开。业务错误率为零可能是健康,也可能是 Target 消失、Remote Write 堵塞或查询条件漏掉新环境。Dashboard 与告警应同时检查数据完整性。
成本归属:先做可解释的 Showback
成本归属的第一目标是让 Owner 看见用量与选择的关系,不是把共享平台立刻变成内部罚款系统。
可以按 team、service、environment 和租户汇总这些用量:
- Metrics 活跃时序、样本摄入和高成本查询;
- Logs 摄入字节、索引规模、扫描字节和保留;
- Traces Span 字节、采样前后数量和派生 Metrics;
- 对象存储容量、请求、跨区复制和网络出口;
- 共享查询、缓存、规则与控制面资源。
Owner 维度应来自稳定的服务目录或受控部署元数据。不要让应用任意填写团队名,也不要为了计费给每条时序再叠加一组会变化的组织 Label。组织调整时,映射层通常比重写历史遥测更安全。
Showback 可以按两部分展示:
- 直接用量:某团队实际产生的时序、字节和高成本查询;
- 共享成本:高可用副本、控制面、对象存储请求和基础容量,按公开规则分摊。
数字旁边要能解释“为什么”:哪个 Label 增长最快,哪个 Debug 开关仍未到期,哪组 Trace 属性过大,哪条 Dashboard 查询扫描了过长时间范围。只有总金额没有可行动原因,团队无法优化。
预算应配套例外机制。事故期间临时提高日志级别或 Trace 采样是合理的,但例外要有 Owner、原因、上限和到期时间。平台默认值负责保护大多数场景,例外负责承认业务风险不同。
成熟度路线:按能力缺口升级
成熟度看的是发现、定位、行动和治理能力,不是安装了多少组件。
| 阶段 | 关键能力 | 可以进入下一阶段的证据 |
|---|---|---|
| L1 可见 | 应用 RED、业务信号、资源状态、结构化日志 | 关键路径有 Owner,数据缺失能被发现 |
| L2 可行动 | SLO、告警、Runbook、依赖与外部探测 | 告警能说明影响和第一步动作,噪声有复盘 |
| L3 可关联 | Trace Context、Metrics / Logs / Traces 跳转、发布标记 | 一次调查能跨服务还原证据链 |
| L4 可治理 | 多环境、租户、长期存储、保留、预算、GitOps、权限、灾备 | 配置可重建,成本可归属,恢复经过演练 |
| L5 持续优化 | 错误预算、容量与成本预测、覆盖检查、规则清理 | 发布和容量决策持续消费可靠性证据 |
这条路线不是瀑布流程。一个团队可能已经有完整 Trace,却仍缺基础告警;也可能已经接入长期存储,却没有 Label 合同。下一步应修复当前最影响发现、定位或行动的缺口,而不是为了“升到 L4”采购更多组件。
建议每季度用四个问题复盘:
- 最近一次事故,最晚拿到的关键证据是什么;
- 哪条告警不能直接指导行动;
- 哪类数据成本增长最快,却没有明确查询用途;
- 哪个恢复步骤仍只存在于文档,没有实际演练。
系列收束:把一次调查走到底
完整可观测性不是一张万能 Dashboard,而是一条从用户症状到影响核实、再回到治理改进的证据链。
【示例场景·合成数据】
用户反馈异步任务迟迟未完成。以下过程只用于串联系列中的方法,不对应真实事故。
| 调查步骤 | 使用的证据 | 对应能力 |
|---|---|---|
| 1. 外部 Probe 成功 | DNS、TLS、入口和基础响应正常 | 第 07 篇:入口与黑盒 |
| 2. API RED 正常 | 请求量、错误率和时延没有明显异常 | 第 02 篇:服务指标 |
3. created 正常、completed 下降 | 业务状态转换出现断点 | 第 04 篇:业务黄金信号 |
| 4. Kafka Lag 与 Oldest Pending Age 上升 | 消费速度落后,且用户等待时间扩大 | 第 03 篇:下游依赖 |
| 5. Worker Ready 正常,但 CPU throttle 上升 | Pod 存活不等于处理能力正常 | 第 06 篇:集群与基础设施 |
| 6. Trace 显示外部计算依赖变慢 | 单次请求的主要耗时位置被确认 | 第 05 篇:三信号关联 |
7. 日志用 trace_id 找到下游限流 | 离散错误上下文补齐根因证据 | 第 05 篇:三信号关联 |
| 8. 告警按任务 Age 和错误预算触发 | 告警说明影响、Owner 和第一步动作 | 第 08 篇:告警工程 |
| 9. Runbook 降低并发并启用降级 | 操作有边界,且结果回到同一组指标验证 | 第 08 篇:告警工程 |
| 10. 持久化事实核实影响,复盘更新预算 | 数仓确认受影响数量,平台调整容量、采样和成本合同 | 第 04、09 篇 |
这条链路里,Metrics 负责快速缩小范围,Traces 和 Logs 解释一次失败,数据库或数仓核实最终影响,平台治理保证这些证据在下一次事故中仍然可用、可负担、可恢复。
如果最后一步只写“扩容”,问题很可能再次出现。一次完整复盘还应检查:
- 指标和 Trace 是否在正确边界捕获了症状;
- 告警是否晚于用户反馈;
- Runbook 是否包含降级、回滚和验证;
- 新增标签、日志或采样是否带来长期成本;
- 变更是否进入 Git,配额与例外是否有到期时间;
- 平台自身故障时,这条证据链还能剩下多少。
小结
可观测性工程的终点不是收集更多数据,而是在可靠性、调查能力、成本和隐私之间持续做出可解释选择。
- 多环境先选故障域、租户和权限边界,再决定独立、共享或混合;
- Prometheus、Thanos、Mimir 和其他后端各有适用条件,长期存储改变整条读写与恢复路径;
- 保留按调查与合规价值分层,Metrics 基数、日志字节和 Trace Span 都要有 Owner 与预算;
- Recording Rule、Downsampling 和后端扩容不能替代源头 Label 治理;
- 采集、规则、Dashboard、SLO、权限和默认配额进入 GitOps,临时例外必须回收;
- HA、灾备、自监控和外部 Watchdog 共同保证平台故障时仍有调查入口;
- 成熟度按发现、定位、行动和治理能力衡量,不按组件数量衡量。
落地前按版本与服务核对
以下项目依赖目标版本、部署形态或托管服务合同,实施前必须用当前官方文档和压测逐项确认。
- 验证 Prometheus、Thanos 与 Mimir 当前版本对 Native Histogram、Exemplar、Remote Write 协议和查询函数的完整兼容边界;不要只验证“能写入”。
- 核对 Thanos Sidecar、Receive 或目标后端的 HA 去重标签、复制语义和副本切换行为;错误配置可能导致重复计数或数据缺口。
- 核对 Mimir 或其他多租户后端的认证入口、租户上下文注入和每租户限制;后端支持租户头不等于已经完成身份认证。
- 确认 Loki、Tempo 与长期 Metrics 后端当前版本中的保留、删除、Compaction、对象生命周期和备份到期语义;“查询不到”不一定等于所有副本已物理删除。
- 压测 Tail Sampling 的一致路由、决策等待时间、内存预算和 Collector 故障行为;多副本部署不能假设相关 Span 会自然到达同一决策点。
- 核对
deployment.environment.name等 OpenTelemetry 资源属性在目标 Semantic Conventions 与 SDK 版本中的稳定性和迁移要求。 - 重新查询托管可观测性服务的摄入、查询、保留、数据导出、跨区网络与 API 费用;公开价格和套餐限制会变化。
公开参考
下面的公开资料用于核对长期存储、远程写入、租户、保留、采样和安全边界;具体参数仍以部署版本为准。
- Prometheus:Storage
- Prometheus:Remote write tuning
- Prometheus:Unit testing rules
- Thanos:Design
- Thanos:Components
- Grafana Mimir:Architecture
- Grafana Loki:Label cardinality
- Grafana Loki:Log retention
- Grafana Tempo:Configuration
- Grafana Tempo:Metrics-generator
- OpenTelemetry:Security
- OpenTelemetry Collector:Tail Sampling Processor
- Grafana:Provision Grafana