API 压测别写死在脚本里:配置驱动 + 通用 Runner

API 压测别写死在脚本里:配置驱动 + 通用 Runner

Hello,我是小兔大白糖。 每加一个 API 就改一段压测脚本、复制粘贴一遍 check()——门槛一高,冒烟就停更,CI 形同虚设。写成这篇,给要做 API 冒烟 / 压测门禁选型 的初中级后端同学:不是某仓库改造工单,而是业界常见的配置驱动 + 通用 Runner心智模型。

说明:工具名(如 k6、Artillery、Locust)仅作公开举例——重要的是「配置与执行器分轨」,不是某 CLI 的专有功能名。模式 A/B/C 是分析框架,不是某厂官方定档。YAML 字段(含 extract / json_paths)均为教学 schema 示意。同站分工:Mongo 慢查询审计 管线上证据尺子;限流与熔断 管入口闸门——本文只管发版前契约门禁长什么样。

估计阅读时间:10 分钟


目录


为什么现在要关心

硬规则:用例进配置、执行器要通用;CI 默认只跑 smoke——压测绿不等于生产 P95 合同。

现场最常见的两种撕裂:

  1. 停更:新接口从不进门禁,因为「再写一段脚本太贵」。
  2. 自嗨:CI 全绿就宣称容量 OK——其实只证明了「关键路径契约没裂」,没证明全流量延迟达标。

把「发请求的脚本」和「要验什么契约」缠在一起,diff 难审、门槛抬高,门禁迟早腐烂。拆开之后,业务侧增 API 主要改配置;Runner 只在能力不够时才动。

可复述的六条硬规则:

  1. 用例与执行器分轨:配置写业务契约;Runner 负责替换、发请求、断言。
  2. 单请求契约写全:method / path / auth / expected status(及可选 JSON 断言)。
  3. 多步靠 extract + 变量,不为每个流程复制一整份脚本。
  4. CI 默认跑 smoke;avg-load / stress 按环境与配额另门。
  5. 密钥与真实业务 ID 用占位 / 环境注入,禁止入库明文。
  6. 压测绿 ≠ 生产 P95 合同——门禁回答「契约没裂」,不回答「全流量已达标」。

心智模型:考卷与阅卷机

一句话:YAML/JSON 是考卷,通用 Runner 是阅卷机;CI smoke 是入场安检,avg-load 是体能抽检。

类比含义
考卷(题目)用例配置:方法、路径、体、期望状态、可选断言与 extract
阅卷机通用 Runner:变量替换 → 请求 → 断言 → 写入上下文
入场安检CI smoke:部署后或主干合并时阻断/告警
体能抽检定时或手动 avg-load / stress:看吞吐与延迟趋势

类比局限:管门禁形状,解释不了容量规划怎么定数字——配额、副本、下游限流要另开尺子(可对照 限流与熔断)。线上「慢在哪、合同怎么量」见 Mongo OTel 审计;本文不把 smoke 绿当生产 P95 证据。

配置用例、通用 Runner、CI smoke 三层
配置用例、通用 Runner、CI smoke 三层 · 点击查看 SVG 原图

问题空间:绿了仍炸

现象对不上真相时,先查「门槛」和「尺子」,别先怪工具名。

你看到的常见真相
新接口从不进压测改脚本成本高于改配置;门禁停更
CI 全是 200,线上仍炸smoke 太浅、未覆盖关键写路径;或把 smoke 当容量证明
多步流复制 N 份脚本无 extract / 变量合同,流程一变全库复制
配置里塞了真实 token密钥进库事故;轮换困难
expected 写成「任意 2xx」门禁失明:4xx 业务错也能「绿」

核心矛盾不是「选哪个压测品牌」,而是:契约是否可审、可增、可注入密钥,以及 CI 回答的问题是否被夸大。


三种模式怎么选

调研默认选 C(配置驱动 + 通用 Runner);极复杂流可用少量脚本插件补,不把默认路径退回 A。

模式做法优点代价
A. 脚本内联用例每个 API 一段代码 + check灵活;复杂编排好写门槛高;易停更;diff 难审
B. 纯录制回放抓包重放上手快脆;难变量化;密钥易泄漏
C. 配置驱动 + 通用 Runner域配置文件 + 一 Runner;CI smoke增 API 只改配置;diff 可读复杂编排要扩展 Runner;断言表达力有上限

公开工具里,不少产品都支持「场景文件 / 配置 + 引擎」这一形态——品牌不重要,分轨合同重要。选 C 的副作用也要写清:

  • Runner 要维护 schema 与变量作用域,否则配置会变成「半脚本」。
  • 断言表达力不够时,会诱惑人把一切塞回 A;正确姿势是少量插件,不是默认回滚。
  • smoke 越全,CI 越慢、环境依赖越多——深度与门禁速度要显式取舍。

教学用配置字段(示意,非某工具契约):name、method、path、path_params、query、body、auth、expected.status / valid_json / json_paths、extract。

三种模式取舍:脚本、录制、配置驱动
三种模式取舍:脚本、录制、配置驱动 · 点击查看 SVG 原图

可复述落地清单

按域拆配置 → 定 schema → 一个 Runner 跑通 → CI 只默认 smoke;密钥永不进库。

落地顺序(业界常见归纳,非某仓步骤):

  1. 按域拆配置文件(如 chat / device / catalog),避免巨型单文件难审。
  2. 定 schema:必填期望状态;可选 json_path 断言与 extract。
  3. Runner 流水线:读配置 → 替换变量 → 请求 → 断言 → 写入步骤上下文。
  4. setup 注入 auth;步骤间只经 extract 传值,禁止硬编码业务 ID。
  5. CI:部署后或 main 合并跑 smoke;失败阻断或告警按团队合同。
  6. avg-load 单独调度;标明环境、并发与配额,避免和 smoke 抢同一套门禁语义。
  7. 密钥走 env / secret store;配置只留占位符。

教学片段(脱敏):

# 教学示意:字段名随 Runner schema 调整
requests:
  - name: list_cities
    method: GET
    path: /config/cities
    auth: bearer
    expected:
      status: [200]
      valid_json: true
  - name: create_item
    method: POST
    path: /items
    body: { name: "demo" }
    expected:
      status: [200]
    extract:
      item_id: "$.data.id"

多步时,下一步 path 用 {{item_id}} 一类占位即可——流程差异进配置,不进第二份 Runner。


常见坑

门禁腐烂通常不是工具坏了,而是合同写宽了、尺子用错了。

  1. 每接口一份完整脚本,无共享 Runner——门槛抬高,停更是迟早的事。
  2. smoke 打真实生产写接口且无隔离账号——脏数据与风控误伤;应用隔离租户 / 沙箱。
  3. 配置提交长期有效 token——泄露面随仓库克隆扩散;占位 + 流水线注入。
  4. 用 smoke 通过宣称容量 OK——尺子错了;容量另测,线上证据另审计。
  5. expected 过宽(任意 2xx)——业务 404/409 也能绿,门禁失明。
  6. 把录制回放当默认——变量与密钥难治理;只适合一次性摸底,不适合长期 CI。

选型结论

默认:配置驱动 + 通用 Runner + CI smoke;门禁答契约,容量另测,线上证据另尺子。

带走这几条即可转发同事:

  1. 分轨:考卷(配置)与阅卷机(Runner)分开,增 API 优先改配置。
  2. 默认 C:脚本内联作例外插件;录制回放不作长期门禁骨架。
  3. CI 答对问题:smoke = 契约回归;avg-load / stress = 另门;P95 合同看线上审计,不看冒烟绿灯。
  4. 密钥合同:占位符进库,明文进 secret——没有第三条。
  5. 有代价:Runner schema 要养;断言上限要用插件补,而不是假装配置万能。

系列轻链:发版前形状 → 本文;入口保护 → 限流与熔断;线上 Mongo 证据 → 慢查询 + OTel 合计。