压测时资源被打满怎么办:throttle、OOM、加副本还是抬 limit

压测时资源被打满怎么办:throttle、OOM、加副本还是抬 limit

Hello,我是小兔大白糖。 监控红了别先改业务代码——先分清是 throttle、OOM,还是 Pending。

副标题:先分清「天花板太低」还是「座位不够」,再谈 HPA 自动加减副本

估计阅读时间:20 分钟


目录


压测打满时的决策树

压测一加压,监控变红,最先别改代码——先问三件事:

  1. 红的是相对 limit 的 100%,还是整机 Node 100%?
  2. 进程还在不在?(有没有 OOMKill / 重启)
  3. 想加的副本能不能调度上去?(Pending?)
Kubernetes 压测排障决策树
Kubernetes 压测排障决策树 · 点击查看 SVG 原图

把「资源天花板」和「业务逻辑慢」拆开,能少开很多无效会。


症状 A:CPU 顶满——多半是 throttle

典型画像(脱敏)

  • limits.cpu: 500m
  • 监控:相对 limit 的 CPU 卡在 100%
  • 实际核数 平坦在 ~0.5
  • 延迟升高、QPS 上不去,但 不一定重启

这非常像:线程池 max 太小,任务在队列里排队——池子没崩,只是吞吐到顶。

你该做什么

动作何时
抬 CPU limit单副本 internally 仍有并行度可挖(GOMAXPROCS、工作线程还能吃更多核)
加 replicas服务无状态、瓶颈在实例级并行;或单副本抬 limit 会和邻居死掐
两者都做压测目标高,且节点资源够调度

注意:只抬 limit、不抬 request,会变成更「贪」的 Burstable——调度仍以为你瘦,高峰和邻居硬抢。压测量级建议 request 跟着真实用量走。


症状 B:重启狂魔——盯 OOM

典型画像(脱敏)

  • limits.memory: 1Gi
  • WSS ≈ 850Mi(约 84%)
  • 尖峰一来 → OOMKilled → 重启 → 连接清空 → 雪崩

类比:-Xmx 设太小,或堆外/缓存没算进预算。

你该做什么

  1. 先抬 memory limit(并观察 WSS 是否仍逼近);
  2. 同步评估 memory request(常驻 850Mi,request 还写 256Mi 就不诚实);
  3. 再查是否真泄漏、是否缓存无界、是否一次性加载过大。

CPU throttle 是「变慢」;内存 OOM 是「猝死」。压测里猝死优先处理。


症状 C:Pod Pending——订座不够

你把 replicas 改成 10,结果一半 Pending:

Insufficient cpu
Insufficient memory

含义:按 request 算,现有 Node 订不出这么多座位。

可能原因:

  • 单副本 request 太大,小节点(2~4 核)塞不进;
  • 集群各 Node 的 CPU/内存 request 账本已经订满,新座位排不出来;
  • 需要等 Cluster Autoscaler 加节点(若集群启用了)。

这不是「再抬 limit」能解决的——limit 不参与「有没有座位」的主逻辑。


加副本 vs 抬 limit:怎么选

增加副本与提高资源上限对比
增加副本与提高资源上限对比 · 点击查看 SVG 原图

快速口令:

现象优先尝试
单副本 CPU 相对 limit 100%,且 GOMAXPROCS/线程还能吃核抬 CPU limit(并校正 request)
单副本已较「胖」,流量还在涨加副本
内存 WSS 逼近 limit抬 memory limit
加副本 Pending处理调度/节点,而不是只改 limit
下游 DB 连接打满先算 副本数 × 连接池,别无脑加副本

抬 limit 不会在空闲时永久占满 CPU;但会让忙时抢得更凶。
加副本 一定乘上 request,直接消耗调度座位。


HPA 入门:让副本跟着指标走

Horizontal Pod Autoscaler(HPA):根据 CPU / 内存 / 自定义指标,自动改 Deployment 的 replicas。

直觉:

  • 你设:minReplicas=2, maxReplicas=10, 目标 CPU 利用率 60%;
  • 平均 CPU(通常相对 request)偏高 → 加副本;
  • 偏低 → 减副本。
# 教学示例:字段以集群 API 版本为准
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: backend-api
  namespace: development
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: backend-api
  minReplicas: 2
  maxReplicas: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60

使用注意(后端最容易踩的):

  1. request 必须诚实——HPA 的 CPU 利用率常按 request 算;request=100m 而实际跑满 1 核,利用率会被算成「爆炸」,疯狂扩容或行为怪异。
  2. maxReplicas 要算下游——10 副本 × 每副本 50 连接 = 可能打爆 DB。
  3. 扩容有滞后——压测尖峰可能先打满再扩;核心保障仍靠合理 limit/request 与容量预估。
  4. 标签约定——团队可用 svc-multi-replica: "true" 标记「允许 HPA / 多副本」的服务,避免有状态组件被误扩。
流量
  ▲      ╱╲
  │     ╱  ╲___
  │____╱
  └────────────▶ 时间
副本  2 → 2 → 4 → 6 → 4 …
         ↑ HPA 反应

一段脱敏的调优故事

  1. 起点:requests 100m/256Mi,limits 500m/1Gi,replicas: 1
  2. 压测:CPU 相对 limit 100%(实际 ~0.5 核);WSS ~850Mi
  3. 动作:
    • 确认主要是 CPU throttle + 内存逼近;
    • 调整为 requests 1000m/1Gi,limits 2000m/2Gi;
    • 副本随目标 QPS 水平扩展,并评估是否上 HPA;
  4. 复核:Pending?下游连接?Node 是否小规格碎片?

故事的教训:先诊断是 throttle 还是 OOM 还是 Pending,再改数字;改完让 request 说真话。


小结

  • 打满时先走决策树:OOM → throttle → Pending → 才查业务代码。
  • CPU 顶 limit ≈ 线程池满;内存顶 limit ≈ -Xmx 爆。
  • 加副本耗订座;抬 limit加天花板、空闲不永久占满。
  • HPA 好用,但依赖诚实的 request,并算清下游容量。

下一篇预告

最后一篇收成 日常开发清单:LimitRange、命名空间、探针、Kustomize overlay / GitOps 概念,以及你每次提 PR 前可以扫一眼的检查表。


系列导航:03 · 04 · 05(本文) · 06 清单