怎么规划一台机器上的资源:16 核 / 16G 的实战心算

怎么规划一台机器上的资源:16 核 / 16G 的实战心算

Hello,我是小兔大白糖。 分清订座和天花板之后,落到一台 16 核 / 16G 的机器上,该怎么心算才不会高峰抢车。

副标题:把 allocatable、超卖、高峰抢车算明白,避免「纸面还能塞、线上一起抖」

估计阅读时间:18 分钟


目录


规划到底在规划什么

上一篇分清了 request / limit。落到一台机器上,你真正要算的是两本账:

  1. 调度账本(request):这台 Node 还能再订出多少座?
  2. 运行风险账本(limit + 真实用量):大家都忙时,会不会互相 throttle / OOM?
Kubernetes 节点容量的两本账
Kubernetes 节点容量的两本账 · 点击查看 SVG 原图

规划目标不是「塞满」,而是:在成本可接受的前提下,高峰时可预期。


先扣掉系统预留:16c/16G → 大约 14c/14G

Node 上还要跑 kubelet、OS、日志代理等。平台一般会配置 system reserved / kube reserved,再减去 eviction 预留。教学上用一个好记的近似:

标称 16 核 / 16Gi 的节点,按 allocatable ≈ 14 核 / 14Gi 来心算。
(真实比例以集群为准;有的预留更多。)

物理容量:     16 CPU    16 Gi
系统/驱逐预留: -2 CPU    -2 Gi
────────────────────────────
allocatable:  ~14 CPU   ~14 Gi   ← 调度账本上限(CPU/内存)

后面所有「还能放几个 Pod」,都拿 14 / 14 当分子,而不是 16 / 16。


配方:怎么往一台 Node 上摆 Pod

以示例服务调优后的规格为积木(教学数字):

# 单副本 backend-api(调优后示例)
requests:
  cpu: "1000m"    # 1 核
  memory: "1Gi"
limits:
  cpu: "2000m"    # 2 核
  memory: "2Gi"

步骤 1:只按 request 算「能订几份」

内存:14Gi / 1Gi = 14 → 理论最多约 14 个此类 Pod(还要给同节点其他服务留空)。
CPU:14 / 1 = 14 → request 账面上也是 14。

现实中你几乎不会塞满 14:还要给 DaemonSet、监控、同节点别的 Deployment 留位。更务实的目标:

单节点业务 request 占用率先盯在 60%~70% allocatable,留缓冲。

例如只放业务:

  • CPU request 预算:14 × 0.65 ≈ 9 核 → 大约 9 个「1 核 request」的副本;
  • 内存同理约 9Gi request。

步骤 2:用 limit 检查「纸面超卖倍数」

9 个 Pod × limit 2 核 = 18 核 limit,相对物理 16 核 → limit 超卖约 1.1×(还算温和)。
9 × 2Gi memory limit = 18Gi,相对 16Gi 物理 → 内存 limit 已超卖,必须依赖「不会同时顶满」——这是风险点。

Kubernetes 资源超卖心智模型
Kubernetes 资源超卖心智模型 · 点击查看 SVG 原图

步骤 3:用「真实用量」校正

若压测显示单副本稳态 CPU ≈ 0.8 核、WSS ≈ 850Mi:

  • request CPU 1 核、内存 1Gi → 订座略高于稳态,合理;
  • 若 request 仍停在 100m/256Mi,却 lim 2c/2Gi → 调度会以为很瘦,容易和别的胖家伙挤爆。

迷你配方卡片(可抄)

1. allocatable ≈ 物理 × 0.85~0.9(本例 16→14)
2. 业务 Σ request 目标 ≤ 65% allocatable
3. 内存:Σ request 严格;Σ 真实峰值不要长期逼近物理
4. CPU:允许 limit 之和 > 物理,但盯住 P99 延迟
5. 同节点混部:把「抖得起」和「抖不起」的服务错开

超卖:分清「订座」和「天花板」

类型含义默认 K8s 行为 / 建议
Σ CPU request > allocatable订座加总超过可分配调度不让,新 Pod Pending
Σ Mem request > allocatable同上调度不让,新 Pod Pending
Σ CPU limit > 物理核天花板加总超过机器常态;靠「不同时满载」
Σ Mem limit > 物理内存内存天花板超卖危险;高峰易互相 OOM
request << limit(Burstable)订小座、允许冲高利用率好看,忙时互相抢空闲 CPU → throttle

后端类比再强调一次:

  • CPU limit 超卖 + Burstable ≈ 连接池 max 加总超过 DB 上限,平时只用一小部分;
  • Memory limit 超卖 ≈ 多进程 -Xmx 之和大于物理内存;
  • Σ request > allocatable ≈ 「保证连接」加总超上限——在默认调度里直接订不上座,不是默默挤进去。

高峰争用:怎么避免

高峰不是平均利用率问题,是 相关性 问题:大促时所有 Pod 一起忙。

实用策略:

  1. 核心链路提高 request,甚至逼近 Guaranteed
    订足座,减少和邻居硬抢。

  2. 水平扩展优先于单机赌极限
    3 个 1 核副本,往往比 1 个「limit 拉满却和别人挤在一台」更稳。

  3. 避免「全家桶」高峰同节点
    用拓扑、反亲和(概念层):别把所有 backend-api 和另一个同样吃 CPU 的服务全钉死在同一小规格节点池。

  4. 给内存尖峰留 headroom
    WSS 已经 84% limit,就不要指望再靠「再塞几个」省钱。

  5. 节点规格别过碎
    一堆 2~4 核小节点,大 request 的 Pod 更难落地,容易 Pending,然后误判「集群不够」——其实是碎片。

ASCII 示意:

糟糕高峰(同节点):
  [api 顶满][api 顶满][批处理顶满]  → 全体 throttle / 延迟炸

稍好:
  Node1: [api][api][闲]
  Node2: [api][批处理]
  + HPA 把 api 扩到更多 Node

和集群观察对一下表

脱敏的集群侧观察(教学用):

  • 节点规格混杂,不少 2~4 核 小节点;
  • 监控面板上有时会出现 CPU Requests% > 100%——先别急着当成「订座超卖合法」:核对公式是否用了 capacity、是否重复统计、时间窗是否含已结束 Pod;默认调度下 Running Pod 的 Σ request 不应超过 allocatable;
  • 更常见的「挤」来自 limit 超卖 + Burstable(订座不大、天花板很高);
  • 部分节点 内存压力更高;
  • 压力大时 Cluster Autoscaler 可能加节点。

对后端的启示:

  1. 你在小节点上申请 cpu: 2000m request,可能直接 Pending;
  2. 看到 Requests% 很奇怪 → 先核对监控口径,再看真实用量与 limit;
  3. 内存告警优先于 CPU 争用告警——内存翻车是硬杀。
节点资源规划决策流程
节点资源规划决策流程 · 点击查看 SVG 原图

小结

  • 心算先用 allocatable ≈ 14c/14Gi(对 16c/16G),不要用标称值自欺。
  • 按 request 算能放几个;按真实峰值和 limit 评估会不会抢爆。
  • 业务 request 建议先占 allocatable 的六成左右,留缓冲。
  • CPU/内存的 Σ request 都别超 allocatable;可超的是 limit(CPU 常见,内存要非常谨慎)。
  • 高峰靠:订足座、水平扩、错峰混部、警惕小节点碎片。

下一篇预告

下一篇进入战场:压测把资源打满时怎么办——怎么区分 CPU throttle 和内存 OOM,何时加副本、何时抬 limit,以及 HPA 是怎么盯着指标自动加减副本的。


系列导航:03 request/limit · 04(本文) · 05 压测 · 06 清单