构建可运营的 Kubernetes:可观测性工程系列导读

Hello,我是小兔大白糖。 很多 Kubernetes 环境已经装上 Prometheus 和 Grafana,也有几张能看到 CPU、内存和请求量的 Dashboard。但当用户说「接口变慢了」「异步任务不动了」「集群明明全绿,外网却打不开」时,排查仍然要靠逐个系统猜。
问题通常不在于少装了一个组件,而在于信号没有形成一套可运营的体系:关键路径有没有覆盖,指标语义是否稳定,Metrics、Logs、Traces 能否互相跳转,告警能否直接指导下一步动作,数据量和标签基数又是否有人治理。
这套系列写给中高级后端、SRE 和 DevOps 工程师。它不会罗列一遍安装参数,而是沿着一条中性的异步任务链路,逐步建设服务、业务、集群和基础设施四层监控。
【示例场景·合成数据】
全系列的系统、服务、故障、日志和数值均为教学示例,不对应任何组织、产品或实际事件。公开组件名用于解释技术边界;账号、区域、规格、资源名、域名、容量、QPS 和成本均不出现。
估计阅读时间:12 分钟(本篇导读)· 全系列约 3 小时分篇读完
目录
- 先定目标:工业级不是组件多
- 贯穿系列的示例业务链路
- 四层监控不能互相替代
- Metrics、Logs、Traces 各管什么
- 从“有组件”到“可运营”的七个差距
- 导读与九篇文章怎样衔接
- 阅读与写作约定
- 小结
先定目标:工业级不是组件多
这里所说的工业级,是六项可验收的工程能力,不是 Prometheus、Loki、Tempo 装得越多越好。
- 覆盖关键路径:入口、服务、异步任务、依赖和集群资源都有信号。
- 信号语义稳定:指标名、标签、单位、Histogram Bucket 和资源属性有统一合同。
- 三类信号可关联:你能从异常指标进入相关 Trace,再用
trace_id找到日志。 - 告警可行动:告警说明用户影响、责任归属和第一步验证动作。
- 配置可复现:采集、规则、Dashboard 和路由进入版本管理,并能自动校验。
- 成本可以治理:高基数、采样、保留周期和长期存储有明确边界。
只做到「组件在线」还不够。它最多证明管道可能存在,并不能证明关键服务已经暴露正确指标,也不能证明告警消息最终到达值班渠道。
【经验建议】
建设顺序先跟着用户请求和核心业务动作走,再向下补集群与依赖。反过来从「当前能采到哪些 Exporter」出发,很容易得到一套资源面板,却回答不了用户到底有没有失败。
贯穿系列的示例业务链路
一条足够长、但业务含义中性的异步任务链,能让服务指标、消息积压、Trace 和业务信号落在同一张地图上。
【示例架构·当前实现】
本系列使用一套教学架构作为共同基线。它只表示文章中的示例当前如何连接,不代表任何实际系统。
示例服务包括:
edge-gateway:接收外部请求;core-api:校验请求并创建异步任务;task-worker:消费并处理任务;model-adapter:调用外部计算能力;notification-worker:发送完成通知;realtime-gateway:向在线客户端推送状态;query-service:读取与聚合处理结果。
示例依赖统一使用 event-bus、cache、transaction-db、document-db 和 query-engine 这些中性名称。具体实现分别以 Kafka、Redis、Postgres 兼容数据库、MongoDB 和分析查询引擎为例。
贯穿全系列的链路是:
- 用户通过
edge-gateway提交内容处理请求; core-api创建任务,并写入事务状态和幂等信息;core-api向event-bus发布任务事件;task-worker消费事件并调用model-adapter;- 处理结果写入
document-db; - 通知和实时推送服务把完成状态交给用户;
query-service通过query-engine提供聚合查询。
这条链路不是业务建模范本。它只是一根贯穿文章的「测试线」,方便我们在后续章节中比较同一次请求的指标、日志、Trace、消息积压和资源状态。
四层监控不能互相替代
先用服务或外部探测确认用户症状,再沿业务、集群和基础设施向下钻;只看 Pod 很容易把结果当成原因。
| 层 | 主要回答的问题 | 典型信号 |
|---|---|---|
| 服务层 | API 是否有流量、错误和延迟?服务离上限多远? | RED、活动连接、队列、Go runtime |
| 业务层 | 核心动作是否突然失败或停滞? | 低基数 Counter、成功率、处理时长 |
| 集群层 | Workload、Pod、Node、调度和容量是否正常? | Ready、重启、OOM、CPU throttle、磁盘 |
| 基础设施层 | 入口、消息、缓存、数据库或网络是否成为瓶颈? | lag、连接池、复制状态、DNS、TLS、TTFB |
四层之间不是一一对应:
- Pod CPU 正常,不能证明 HTTP 请求成功;
- 5xx 上升,不能直接证明 CPU 是根因;
- Kafka lag 为零,也可能是生产者根本没有发布事件;
- 业务 Counter 停止增长,既可能是业务低谷,也可能是入口已经不可达。
所以排查顺序要围绕证据,而不是围绕某张熟悉的 Dashboard。
Metrics、Logs、Traces 各管什么
Metrics 负责全局趋势和告警,Logs 保留离散上下文,Traces 还原单次请求的跨服务路径。
| 信号 | 强项 | 不适合承担的工作 |
|---|---|---|
| Metrics | 聚合、趋势、告警、容量 | 保存每个用户或每次请求的细节 |
| Logs | 错误上下文、离散事件、审计线索 | 低成本计算长期全局分位 |
| Traces | 单次请求的因果链和跨服务耗时 | 在采样后充当全流量请求计数 |
这三类信号协作,但不能互相替代。把任务 ID、用户 ID 放进 Prometheus Label,会制造高基数;把所有告警建立在日志全文扫描上,又会让成本和语义难以控制;把采样后的 Trace 数量当作精确 QPS,同样会得到错误结论。
【示例架构·当前实现】
示例组合使用 Prometheus 保存指标,Loki 保存日志,Tempo 保存 Trace,Grafana 统一查询;Grafana Alloy 负责接收 OTLP、采集 Kubernetes 日志并转发。OpenTelemetry SDK 产生遥测数据,OpenTelemetry Operator 管理 Collector 自定义资源与自动埋点注入。它们的完整数据流放在系列第 01 篇展开。
这不是唯一选型。指标后端也可以使用 Mimir、Thanos 或 VictoriaMetrics;日志、Trace 和采集层同样存在替代方案。系列关注的是职责边界和验证方法,而不是给组件排唯一名次。
从“有组件”到“可运营”的七个差距
七个差距分别由后续一篇文章主责,避免每篇都重复讲一遍标准化、告警和治理。
【目标设计】
以下内容描述系列准备逐步补齐的能力,不表示示例架构已经全部实现。
- 应用采集标准化:统一 HTTP/RPC RED、标签白名单、Histogram、标准 Handler、ServiceMonitor 模板和验证方法。
- 告警工程:覆盖 5xx、P99、target down、零可用副本、CrashLoop/OOM、Kafka lag、磁盘、证书和连接池。
- 下游依赖可见性:同时观察调用者看到的延迟错误,以及依赖自身的资源和饱和度。
- 业务黄金信号:用低基数 Counter 观察实时健康,把精确经营口径留给数据库或数仓。
- 三信号关联:统一资源属性、上下文传播、结构化日志、
trace_id和 Exemplar。 - 入口与黑盒视角:从集群外观察 DNS、TLS、负载均衡、Ingress 和 TTFB。
- 平台治理:处理多环境、保留周期、长期存储、基数、采样、权限、灾备和监控系统自监控。
每个差距都有一个主责章节。其他文章只消费它产生的信号,不重新解释相同原理。
导读与九篇文章怎样衔接
建议按编号阅读:先画清数据流,再补齐信号,最后建设告警和治理。
| 序号 | 主题 | 读完能够回答 |
|---|---|---|
| 00 | 系列导读 | 工业级可观测性包含哪些层,怎样阅读 |
| 01 | 整体数据流 | 数据由谁产生、怎样传输、存到哪里 |
| 02 | Go 服务指标 | RED、promhttp、ServiceMonitor 和标签合同 |
| 03 | 下游依赖 | Kafka、Redis、数据库和查询引擎怎样监控 |
| 04 | 业务黄金信号 | 实时 Counter 为什么不等于经营报表 |
| 05 | 三信号关联 | 怎样从指标进入 Trace,再找到日志 |
| 06 | 集群与基础设施 | 怎样区分应用故障、资源限制和容量不足 |
| 07 | 入口与黑盒 | 集群全绿时,怎样观察用户访问路径 |
| 08 | 告警工程 | 怎样让 PrometheusRule 和 Alertmanager 可行动 |
| 09 | 治理与演进 | 怎样管理环境、长期存储、基数和成本 |
单独遇到问题时也可以跳读:服务采集先读 02,跨服务慢请求读 05,集群内部正常但用户访问失败读 07,告警噪声读 08。
阅读与写作约定
四类标记把事实、设计、教学场景和个人判断分开,读者不需要猜一句话到底属于哪一类。
- 【示例架构·当前实现】:能由公开配置和可重复验证支持的教学基线。
- 【目标设计】:期望达到的能力,同时说明收益、代价和替代方案。
- 【示例场景·合成数据】:从零构造的故障、日志、Trace 和数值。
- 【经验建议】:有适用条件的工程判断,不包装成行业标准。
文章保留 Prometheus、Grafana、Loki、Tempo、Alloy、OpenTelemetry 等公开产品名,但不披露任何可定位具体环境的信息。代码和 YAML 只展示解释概念所需的最小片段,完整字段语义以对应版本的官方文档为准。
小结
先建立分层模型和证据链,再选择组件、Dashboard 与告警,能避免把“采到了很多数据”误当成“系统已经可观测”。
- 工业级的核心是覆盖、稳定语义、关联、可行动告警、可复现配置和成本治理;
- 服务、业务、集群、基础设施四层互补,不能只看 Pod;
- Metrics、Logs、Traces 各有职责,采样后的 Trace 不能天然代表全流量;
- 七个差距分别由后续文章主责,避免内容重复;
- 下一篇将把 Prometheus、Alloy、Loki、Tempo 与 OpenTelemetry 的数据流逐段拆开。