集群全绿,用户却打不开:用 DNS、TLS、Ingress 与 Blackbox 补齐外部视角

集群全绿,用户却打不开:用 DNS、TLS、Ingress 与 Blackbox 补齐外部视角

Hello,我是小兔大白糖。 Pod Ready、Service 有 Endpoint、Ingress Controller 没报警,用户却仍然打不开站点。继续盯着集群内部 Dashboard,往往只会得到更多“看起来正常”的证据。

真正缺的是用户视角。一次公网访问要先经过 DNS、CDN 或 WAF、负载均衡、TLS、Ingress 和 Service,最后才到应用。应用指标只能说明到达应用的请求,Ingress 指标只能说明到达入口代理的请求,外部探测才会走过用户看到的公开路径。

这篇写给已经在维护 Kubernetes、Prometheus 与 Grafana 的后端、SRE 和 DevOps 工程师。我们重点解决七个问题:三种视角怎样分工,DNS、TLS 与入口怎样定位,Blackbox Exporter 的 Multi-target Pattern 怎样工作,多地点探测如何避免误报,合成事务何时需要独立工具,外部 SLI 怎样定义,以及安全和成本怎样控制。

【示例场景·合成数据】
文中的域名、服务、探测点、故障过程、阈值和指标结果均为教学示例,不对应任何组织、产品或真实环境。示例配置不包含账号、区域、真实地址、凭据、容量或流量规模。

估计阅读时间:18 分钟


目录

阅读顺序先从三种视角和访问路径开始,再进入探测实现、SLI、告警与治理。


先给结论:三种视角不能互相替代

应用、Ingress/LB 与 Blackbox 分别观察访问路径的末端、中段和全程;三者组合,才能区分“请求没进来”和“请求进来后失败”。

视角采集位置最适合回答单独使用的盲点
应用 RED应用进程或框架请求量、业务错误、处理时长、依赖调用DNS、TLS、WAF、LB 与入口路由失败
Ingress/LB RED入口代理或云负载均衡入口状态码、连接、Upstream 时延与重置部分 DNS、公网与客户端地域路径
Blackbox Probe集群外或指定网络位置可达性、DNS、TCP、TLS、HTTP 与端到端时延应用内部根因与单次业务状态
外部 Probe 经 DNS、CDN、负载均衡和 Ingress 到应用的访问路径,以及 Blackbox、入口和应用三种观测视角
外部 Probe 经 DNS、CDN、负载均衡和 Ingress 到应用的访问路径,以及 Blackbox、入口和应用三种观测视角 · 点击查看 SVG 原图

三种视角最有价值的地方,是它们失败时不会同时给出相同答案:

外部 ProbeIngress/LB应用 RED优先调查
失败没有对应请求没有对应请求DNS、CDN/WAF、公网、LB 监听与探测点自身
失败入口 4xx/5xx 或 TLS 错误上升没有对应请求入口策略、证书、路由、Service/Upstream
失败请求已转发应用错误或超时上升应用与下游依赖
单地点失败其他地点成功整体正常地域网络、递归 DNS、CDN 边缘或单个探测器

这张表只给调查方向,不直接判定根因。Ingress 的聚合流量可能来自其他地区;应用也可能收到重试流量。定位时要对齐同一目标、地点和时间窗口。

沿访问路径拆解 DNS、TLS、LB 与 Ingress

不要把“公网访问失败”当成一个指标;按 DNS、连接、TLS、入口处理和应用响应拆段,才能知道时间和错误消耗在哪里。

DNS:集群内与公网是两套问题

集群内 CoreDNS 指标适合回答 Service 名解析、请求延迟和 SERVFAIL 等问题。公开域名则还经过权威 DNS、递归解析器、缓存、CNAME 链和地域调度。CoreDNS 全绿,不能证明公网域名解析正确。

外部 DNS 观测至少分成两类:

  1. HTTP Probe 的解析阶段:记录探测器为目标 URL 解析所花的时间,接近该探测器实际访问前的体验;
  2. DNS Probe:向指定解析器查询 A、AAAA、CNAME 或其他记录,并检查返回码和答案是否符合预期。

如果只看解析耗时,就可能漏掉“解析很快但记录错了”。如果只固定查询一个公共解析器,又可能漏掉运营商或地域解析差异。返回的 IP 列表适合放入受控日志或调试结果,不要把每个 IP 直接变成 Prometheus Label。

TLS:必须检查用户实际拿到的证书

TLS 观测至少要覆盖握手成功、主机名匹配、证书链受信、证书到期时间、SNI 与协议策略。证书吊销状态是否可验证,取决于探测器和环境能力,不能只凭“握手成功”推断。

读取 Kubernetes Secret 中的 notAfter 不够。用户实际连接的可能是 CDN、WAF 或云负载均衡,它们终止 TLS 后使用的是另一张证书。证书告警必须至少有一条从外部访问公开端点的证据。

Blackbox Exporter 的 probe_ssl_earliest_cert_expiry 是 Unix 时间戳,可以换算为剩余天数:

(probe_ssl_earliest_cert_expiry - time()) / 86400

30、14、7 天可以作为分级提醒的教学起点,但真正阈值要覆盖自动续期、发布、审批和人工修复所需的最长时间。

LB 与 Ingress:区分谁产生了错误

负载均衡和 Ingress 都应关注请求速率、4xx/5xx、连接、请求时延、Upstream 时延、重置、超时、配置加载结果与 TLS 错误。托管 LB 还可能提供健康 Target、拒绝连接、TLS 协商和处理字节等信号。

关键不是收集所有字段,而是区分:

  • 入口自己拒绝或生成的 4xx/5xx;
  • Upstream 返回的 4xx/5xx;
  • 入口等待 Upstream 超时;
  • 请求根本没有到达入口。

不同 Ingress Controller 和云 LB 的原始指标名、标签与错误归属不一致。统一 Dashboard 可以统一“入口错误”“Upstream 错误”等语义,但不能假装底层产品使用同一个指标合同。

Blackbox Exporter 使用 Multi-target Pattern

Prometheus 抓取的是 Exporter 的 /probe,Exporter 再按 target + module 主动访问目标;探测目标不是 Exporter 自己。

Prometheus 通过 target 和 module 参数调用 Blackbox Exporter,再由 Exporter 探测多个外部目标的 Multi-target Pattern
Prometheus 通过 target 和 module 参数调用 Blackbox Exporter,再由 Exporter 探测多个外部目标的 Multi-target Pattern · 点击查看 SVG 原图

Blackbox Exporter 常用 HTTP、TCP、DNS、ICMP 或 gRPC Module 执行探测。Module 是一份探测合同,定义协议、超时、允许状态码、重定向、TLS 和内容检查等条件。

下面是一个最小 HTTP Module。它要求 HTTPS、200 状态码和受信任证书链:

modules:
  public_http:
    prober: http
    timeout: 5s
    http:
      method: GET
      valid_status_codes: [200]
      follow_redirects: true
      fail_if_not_ssl: true
      tls_config:
        insecure_skip_verify: false

Prometheus 再用 Relabeling 把目标写入 __param_target,把返回时序的 instance 改成真实目标,并把实际抓取地址改为 Exporter:

- job_name: blackbox-public
  metrics_path: /probe
  params:
    module: [public_http]
  static_configs:
    - targets: [https://example.com/]
  relabel_configs:
    - source_labels: [__address__]
      target_label: __param_target
    - source_labels: [__param_target]
      target_label: instance
    - target_label: __address__
      replacement: blackbox-exporter.monitoring.svc:9115

同一个 Exporter 可以探测多个目标,这就是 Multi-target Pattern。它不要求 Exporter 跑在目标主机上,反而常被放在需要模拟的网络位置。

Exporter 自身的 /metrics 与目标的 /probe 要分别监控:

  • /metrics 说明 Exporter 进程是否在线、是否消耗过多资源;
  • /probe 返回目标探测指标;
  • Prometheus 的 up 说明这次抓取是否成功;
  • probe_success 说明 Module 条件是否全部满足。

因此,up=1 与 probe_success=0 可以同时出现:Prometheus 成功拿到了 Exporter 返回的“探测失败”结果。

probe_success 只证明 Module 条件成立

probe_success=1 不是“业务成功”,而是“这个 Module 配置的所有检查都通过”。

它能证明什么,完全取决于 Module:

Module 做了什么probe_success=1 最多能说明
TCP Connect从该探测点能建立 TCP 连接
TLS 握手与校验TLS 握手、证书链和主机名等配置条件通过
HTTP 状态码收到了允许的 HTTP 状态码
HTTP 状态码 + Header/Body 匹配响应还满足指定内容合同
单个只读 API 检查该接口在这一刻返回了预期结果

即使 HTTP 返回 200 并匹配了 "status":"ok",也不能自动证明登录、创建、异步处理、通知和清理都成功。它更不能证明所有真实用户、所有地区和所有请求都成功。

常见指标可以这样解释:

  • probe_duration_seconds:整次 Probe 的耗时;
  • probe_dns_lookup_time_seconds:DNS Lookup 耗时;
  • probe_http_duration_seconds{phase=...}:HTTP 的解析、连接、TLS、处理与传输阶段;
  • probe_http_status_code:最终状态码;
  • probe_http_redirects:重定向次数;
  • probe_ssl_earliest_cert_expiry:探测到的最早证书到期时间;
  • probe_success:Module 最终判定。

HTTP 阶段耗时会汇总重定向链上的对应阶段。若重定向跨域,DNS、TLS 和处理时间可能来自多个端点,不能把某一阶段直接归因给最初域名。

更稳的 Module 设计是按目的拆分,而不是让一个模糊的 http_2xx 承担所有语义:

  • public_homepage_contract:公开页面状态码与稳定内容;
  • public_api_ready:只读 API 的状态码、TLS 与响应合同;
  • public_dns_a:指定解析器上的 A 记录检查;
  • public_tcp_connect:只验证端口可连接。

名称本身要能告诉值班人员“成功条件是什么”。Module 改动会改变 probe_success 的语义,应按指标合同变更评审。

多探测点要增加独立证据,不是复制噪声

多地点的价值是区分全局故障、地域故障和探测器故障;如果所有 Probe 共用同一网络、DNS 和集群,它们并不独立。

起步时可以覆盖三种位置:

  1. 集群内:验证 Service 或 Ingress 的内部路径;
  2. 同区域外部:验证公开 DNS、LB 与公网入口;
  3. 关键用户区域:验证地域网络、递归 DNS 与 CDN 边缘。

不要只在被监控集群里运行唯一 Probe。集群整体故障时,它可能和业务一起消失,无法把失败证据送回监控后端。

多地点还要控制标签。region、probe_site、module 和 target 可以来自固定白名单;探测节点 ID、随机任务 ID 和原始 DNS 答案不应进入 Label。

告警决策可以按证据强度分层:

观测建议动作
单探测点短时失败,其他地点成功先检查探测器、当地网络和 DNS;通常不立即 Page
单个关键用户区域持续失败按该区域的业务重要性路由,并保留地域上下文
两个或更多独立地点持续失败提升为全局入口故障候选,关联 Ingress 与应用信号
所有目标同时在同一探测点失败优先怀疑探测点、凭据、网络出口或 Exporter
Probe 指标整体缺失这是监控缺口,单独检查 Exporter、Prometheus 抓取与远端写入

“两个地点、持续 5 分钟”只能作为教学规则,不是通用阈值。低流量但关键的 API、单地域产品和全球站点需要不同策略。

多步骤合成事务应与 Blackbox 分工

Blackbox Exporter 适合单目标、单协议合同;登录、创建、轮询和清理这类有状态流程,应交给专用合成 Runner。

简单 GET 可以回答“入口是否可达”,却回答不了关键业务是否走通。一个教学用合成事务可以是:

  1. 用专用测试账号登录;
  2. 创建带合成标记的临时任务;
  3. 轮询到成功或超时;
  4. 验证结果的稳定字段;
  5. 删除测试数据,并验证清理结果。

这类流程可以由浏览器探测、k6、Playwright 或受控脚本执行。具体工具不是重点,关键是把结果拆成:

  • Probe 失败:DNS、连接、TLS 或 HTTP 合同未通过;
  • 业务失败:流程到达应用,但状态或结果不符合预期;
  • 清理失败:主流程成功,临时数据没有被回收;
  • Runner 失败:合成执行器、凭据或调度本身异常。

合成事务必须使用专用租户和最小权限凭据,不触发真实通知、计费、物流或第三方副作用。写操作要有幂等键、频率上限、自动过期和补偿清理。

日志与 Trace 可以增加 synthetic=true 这类受控标记,方便调查和成本归集。是否把合成流量计入业务 Dashboard 与 SLI,必须显式决定;不要让它静默抬高真实请求成功率。

外部 SLI 必须先写清“好”与“有效样本”

外部可用性 SLI 不是简单平均 probe_success;它要先定义成功合同、探测位置、有效样本和缺失数据策略。

可以把外部 SLI 分成三层,避免混成一个含糊的“健康分”:

SLIGood Event适合回答
网络与入口可用性DNS、连接、TLS 和允许状态码通过用户能否到达公开端点
Endpoint Contract 可用性状态码、Header 或 Body 合同通过公开接口是否返回最低可用内容
合成事务可用性多步骤流程在预算内完成且结果正确关键业务路径是否能走通

以 Probe 为基础时,最小表达是:

Good Probe 数 / Valid Probe Attempt 数

但至少还要写清:

  • 哪些状态码、重定向和响应内容算成功;
  • 超时预算是多少;
  • 哪些地点单独计算,哪些可以加权聚合;
  • 计划维护怎样处理;
  • Exporter 宕机、凭据过期和样本缺失算失败还是未知;
  • 重试是否产生新的 SLI 样本;
  • DNS 与 HTTP 是否共用同一解析器。

Probe 是按固定间隔抽样,不是全量用户请求。一个每分钟一次的 Probe SLI,描述的是“这些地点按这些条件抽样时的可用性”,不能直接等同于所有用户请求成功率。

跨地域 SLI 也不应只做简单平均。某个关键区域持续失败,可能被多个低价值地点的成功样本稀释。更稳的做法是先保留每个地点的 SLI,再按用户分布或业务承诺决定是否聚合。

告警先确认用户症状,再补根因上下文

外部失败适合做症状告警,但单次失败通常不值得叫醒值班人员;持续时间、多地点和内部信号决定优先级。

建议按下面顺序设计:

  1. 外部可用性:关键目标在多个独立地点持续失败;
  2. 证书到期:按剩余时间和续期流程分级路由;
  3. DNS 失败:DNS Probe 返回异常,或 HTTP Probe 长时间卡在解析阶段;
  4. 入口异常:Ingress/LB 错误、重置或 Upstream 超时上升;
  5. 监控缺口:Exporter、Prometheus 抓取或探测调度整体失效。

告警消息至少包含目标、Module、失败地点、持续时间、最近状态码、DNS/TLS 阶段结果、Ingress 与应用 Dashboard 链接。不要把响应体、Token 或完整 URL Query 放进通知。

更稳的关联方式是:

  • 外部多个地点失败,Ingress 和应用都没有对应流量:优先查入口之前;
  • 外部失败,Ingress 入口错误上升,应用无请求:优先查路由和 Upstream;
  • 外部失败,Ingress 已转发且应用错误上升:进入应用与依赖调查;
  • 单地点失败,其他地点和内部信号正常:先降级为地域或探测器调查。

完整的 SLO Burn Rate、PrometheusRule 和 Alertmanager 路由属于告警工程。站内的监控告警策略可以继续补齐多窗口与通知治理。

Dashboard 按访问路径排列

入口看板应从用户侧向应用侧展开,让值班人员按一次请求经过的顺序阅读,而不是按组件 Logo 分区。

推荐顺序:

  1. 外部 probe_success、端到端耗时与多地点地图;
  2. DNS、Connect、TLS、Processing、Transfer 分阶段耗时;
  3. 证书剩余天数、HTTP 状态码和重定向次数;
  4. CDN/WAF/LB 的请求、错误、连接与健康 Target;
  5. Ingress 的入口错误、Upstream 错误和 Upstream 时延;
  6. 应用 RED、相关 Trace 与日志入口;
  7. Probe、Exporter 与 Prometheus 抓取链自身健康。

这张看板与Go 服务指标中的应用 RED 看板互相链接,不需要复制所有应用和 Kubernetes 面板。入口页负责缩小故障层,专用页负责深挖。

安全与成本从目标数量开始算

Blackbox Exporter 能访问任意目标的能力本身就是安全边界;探测规模则由目标、Module、地点和频率共同相乘。

先处理安全:

  • 不把 /probe 暴露到公网,限制只有 Prometheus 或受控调度器可以访问;
  • 目标来自评审过的 Service Discovery 或静态白名单,不接受任意用户输入;
  • 用网络策略和出口策略限制 Exporter 可访问的地址,特别是云元数据与管理网段;
  • 认证 Header、账号、Token 与客户端证书进入 Secret,并使用最小权限和轮换;
  • 不把凭据放进 Target URL;Target 常被写入 instance Label、查询和告警;
  • 不记录敏感响应体,调试日志和失败页面也要按敏感数据处理;
  • 合成账号与真实用户隔离,禁止触发支付、通知和不可逆操作。

再算成本。粗略的采集规模是:

目标数 × Module 数 × 探测点数 × 单位时间探测次数 × 每次 Probe 的时序数

除此之外,还有公网流量、DNS 查询、目标端日志、合成数据清理、Trace 与第三方托管探测费用。把间隔从 60 秒改成 10 秒,样本和请求量大致会变成 6 倍,但定位能力未必同步提高。

成本治理可以从四件事开始:

  1. 核心路径高频,低优先级页面低频;
  2. 只在确有用户分布或故障隔离价值时增加地点;
  3. 为合成 Trace 设置独立采样与保留策略;
  4. 定期删除无 Owner、无告警用途、长期不看的目标和 Module。

一次 TLS 故障怎样被三层证据定位

三层证据的价值,是把“公网打不开”缩小为一个确定阶段,而不是让每层各自发一条重复告警。

【示例场景·合成数据】
某公开 API 在两个外部地点连续失败,集群内部看板仍然正常。

调查顺序如下:

  1. 两个外部地点的 probe_success 同时变为 0;
  2. DNS Lookup 与 TCP Connect 成功,TLS 阶段失败;
  3. 外部证书到期时间已经早于当前时间;
  4. 集群内使用内部域名的 Probe 仍成功;
  5. Ingress 与应用没有新增 5xx,应用请求量从公网侧下降;
  6. 入口控制面显示公开 LB 的证书续期没有完成。

结论是公开 TLS 终止点故障,不是 Pod、Service 或应用处理故障。只读取集群 Secret,会因为线上实际证书位于 LB 而漏掉问题;只看 probe_success=0,又无法解释失败阶段。

小结

外部可观测性的目标不是再加一张“网站是否在线”面板,而是建立从用户症状到入口阶段、再到应用根因的证据链。

  • 应用、Ingress/LB 与 Blackbox 各自覆盖不同路径,不能互相替代;
  • DNS 要区分集群内与公网,TLS 要验证用户实际访问的终止点;
  • Multi-target Pattern 由 Prometheus 传入 Target 和 Module,Exporter 执行探测;
  • probe_success=1 只代表 Module 条件成立,不能泛化成业务成功;
  • 多地点应提供独立网络与 DNS 证据,并单独监控探测器自身;
  • 多步骤合成事务使用专用 Runner,并控制权限、副作用、清理和数据污染;
  • 外部 SLI 要定义 Good、Valid、地点、缺失与重试,不能把抽样等同于全量请求;
  • 告警按持续窗口与多地点确认,安全和成本按目标、Module、地点与频率治理。

落地前按产品核对

以下能力依赖具体版本、控制器、云产品或探测服务,正文没有把它们写成跨环境通用事实。

  • 确认目标环境的 Ingress Controller 是否分别暴露入口生成的状态码、Upstream 状态码、Upstream 时延、TLS 握手错误和配置 Reload 结果;指标名与标签必须按实际版本确认。
  • 确认托管 LB 是否区分 LB 侧 4xx/5xx 与 Target 侧 4xx/5xx,以及健康 Target、TLS 协商错误和缺失数据各自是什么语义;不同云产品不能直接套用同一查询。
  • 核对部署版本的 Blackbox Exporter 支持哪些 Module 选项、HTTP 内容匹配方式、IPv4/IPv6 回退策略,以及重定向链上的 TLS 与阶段耗时怎样暴露;升级前应对照当前配置 Schema。
  • 核对外部探测点实际使用的递归 DNS、网络出口、重试策略与可用区独立性;托管探测服务标注“多地域”不必然代表故障域完全独立。
  • 检查合成 Runner 的重试、截图、响应体和 Trace 默认保留策略;发布前确认它不会记录凭据或生产敏感数据。

公开参考

下列公开资料用于核对 Multi-target Pattern、Probe 指标、Kubernetes 入口与告警原则;具体字段仍以部署版本为准。