压测时资源被打满怎么办:throttle、OOM、加副本还是抬 limit

Hello,我是小兔大白糖。 监控红了别先改业务代码——先分清是 throttle、OOM,还是 Pending。
副标题:先分清「天花板太低」还是「座位不够」,再谈 HPA 自动加减副本
估计阅读时间:20 分钟
目录
- 压测打满时的决策树
- 症状 A:CPU 顶满——多半是 throttle
- 症状 B:重启狂魔——盯 OOM
- 症状 C:Pod Pending——订座不够
- 加副本 vs 抬 limit:怎么选
- HPA 入门:让副本跟着指标走
- 一段脱敏的调优故事
- 小结
- 下一篇预告
压测打满时的决策树
压测一加压,监控变红,最先别改代码——先问三件事:
- 红的是相对 limit 的 100%,还是整机 Node 100%?
- 进程还在不在?(有没有 OOMKill / 重启)
- 想加的副本能不能调度上去?(Pending?)
把「资源天花板」和「业务逻辑慢」拆开,能少开很多无效会。
症状 A:CPU 顶满——多半是 throttle
典型画像(脱敏)
limits.cpu: 500m- 监控:相对 limit 的 CPU 卡在 100%
- 实际核数 平坦在 ~0.5
- 延迟升高、QPS 上不去,但 不一定重启
这非常像:线程池 max 太小,任务在队列里排队——池子没崩,只是吞吐到顶。
你该做什么
| 动作 | 何时 |
|---|---|
| 抬 CPU limit | 单副本 internally 仍有并行度可挖(GOMAXPROCS、工作线程还能吃更多核) |
| 加 replicas | 服务无状态、瓶颈在实例级并行;或单副本抬 limit 会和邻居死掐 |
| 两者都做 | 压测目标高,且节点资源够调度 |
注意:只抬 limit、不抬 request,会变成更「贪」的 Burstable——调度仍以为你瘦,高峰和邻居硬抢。压测量级建议 request 跟着真实用量走。
症状 B:重启狂魔——盯 OOM
典型画像(脱敏)
limits.memory: 1Gi- WSS ≈ 850Mi(约 84%)
- 尖峰一来 →
OOMKilled→ 重启 → 连接清空 → 雪崩
类比:-Xmx 设太小,或堆外/缓存没算进预算。
你该做什么
- 先抬 memory limit(并观察 WSS 是否仍逼近);
- 同步评估 memory request(常驻 850Mi,request 还写 256Mi 就不诚实);
- 再查是否真泄漏、是否缓存无界、是否一次性加载过大。
CPU throttle 是「变慢」;内存 OOM 是「猝死」。压测里猝死优先处理。
症状 C:Pod Pending——订座不够
你把 replicas 改成 10,结果一半 Pending:
Insufficient cpu
Insufficient memory
含义:按 request 算,现有 Node 订不出这么多座位。
可能原因:
- 单副本 request 太大,小节点(2~4 核)塞不进;
- 集群各 Node 的 CPU/内存 request 账本已经订满,新座位排不出来;
- 需要等 Cluster Autoscaler 加节点(若集群启用了)。
这不是「再抬 limit」能解决的——limit 不参与「有没有座位」的主逻辑。
加副本 vs 抬 limit:怎么选
快速口令:
| 现象 | 优先尝试 |
|---|---|
| 单副本 CPU 相对 limit 100%,且 GOMAXPROCS/线程还能吃核 | 抬 CPU limit(并校正 request) |
| 单副本已较「胖」,流量还在涨 | 加副本 |
| 内存 WSS 逼近 limit | 抬 memory limit |
| 加副本 Pending | 处理调度/节点,而不是只改 limit |
| 下游 DB 连接打满 | 先算 副本数 × 连接池,别无脑加副本 |
抬 limit 不会在空闲时永久占满 CPU;但会让忙时抢得更凶。
加副本 一定乘上 request,直接消耗调度座位。
HPA 入门:让副本跟着指标走
Horizontal Pod Autoscaler(HPA):根据 CPU / 内存 / 自定义指标,自动改 Deployment 的 replicas。
直觉:
- 你设:
minReplicas=2, maxReplicas=10, 目标 CPU 利用率 60%; - 平均 CPU(通常相对 request)偏高 → 加副本;
- 偏低 → 减副本。
# 教学示例:字段以集群 API 版本为准
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: backend-api
namespace: development
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: backend-api
minReplicas: 2
maxReplicas: 10
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 60使用注意(后端最容易踩的):
- request 必须诚实——HPA 的 CPU 利用率常按 request 算;request=100m 而实际跑满 1 核,利用率会被算成「爆炸」,疯狂扩容或行为怪异。
- maxReplicas 要算下游——10 副本 × 每副本 50 连接 = 可能打爆 DB。
- 扩容有滞后——压测尖峰可能先打满再扩;核心保障仍靠合理 limit/request 与容量预估。
- 标签约定——团队可用
svc-multi-replica: "true"标记「允许 HPA / 多副本」的服务,避免有状态组件被误扩。
流量
▲ ╱╲
│ ╱ ╲___
│____╱
└────────────▶ 时间
副本 2 → 2 → 4 → 6 → 4 …
↑ HPA 反应
一段脱敏的调优故事
- 起点:
requests 100m/256Mi,limits 500m/1Gi,replicas: 1 - 压测:CPU 相对 limit 100%(实际 ~0.5 核);WSS ~850Mi
- 动作:
- 确认主要是 CPU throttle + 内存逼近;
- 调整为
requests 1000m/1Gi,limits 2000m/2Gi; - 副本随目标 QPS 水平扩展,并评估是否上 HPA;
- 复核:Pending?下游连接?Node 是否小规格碎片?
故事的教训:先诊断是 throttle 还是 OOM 还是 Pending,再改数字;改完让 request 说真话。
小结
- 打满时先走决策树:OOM → throttle → Pending → 才查业务代码。
- CPU 顶 limit ≈ 线程池满;内存顶 limit ≈
-Xmx爆。 - 加副本耗订座;抬 limit加天花板、空闲不永久占满。
- HPA 好用,但依赖诚实的 request,并算清下游容量。
下一篇预告
最后一篇收成 日常开发清单:LimitRange、命名空间、探针、Kustomize overlay / GitOps 概念,以及你每次提 PR 前可以扫一眼的检查表。