
Hello,我是小兔大白糖。 压测周下游 RT 飙到秒级,入口还在疯狂重试——线程池被拖死之前,限流和熔断往往是最后两道闸。写成这篇,给熟悉超时重试、却还把「入口闸门」和「下游保险丝」揉成一件事的后端同学:做一次业界向的流量治理选型调研。
限流是容量闸门,熔断是下游故障隔离;二者常联用,但不要当成同一个开关。
说明:文中 QPS、阈值与伪流程均为教学脱敏 / 示意,不绑定某司业务栈。Guava / Sentinel / Resilience4j / Hystrix 等只谈公开能力边界与常见归纳,不声称任何厂商「官方内部就是这样」。
估计阅读时间:12 分钟
目录
- 为什么现在要关心这件事?
- 心智模型是什么:闸机与保险丝
- 限流、熔断、降级怎么区分?
- 四种限流算法怎么选?
- 多级漏斗怎么分层?
- 熔断状态机与慢调用怎么配合?
- 单机配额还是集群配额?
- 常见坑有哪些?
- 该怎么选?一句话结论
为什么现在要关心这件事?
硬规则先说清:限流是容量闸门;熔断是故障隔离;两者互补,谁也替不了谁。
现场里常见的误伤,几乎都来自把两件事当成一道开关:
| 你看到的现象 | 常见真相 |
|---|---|
| 下游超时,上游线程池打满 | 没有熔断,失败请求继续占满线程 |
| 刷接口时正常用户一起挂 | 只有全局限流,没有用户 / IP / 设备分层 |
| 扩容后新实例立刻超时再熔断 | 冷启动没有预热(Warm Up),瞬时全量打进来 |
| 限流了还是把 DB 拖死 | 入口允许突发,下游却需要平滑输出 |
| 配额在扩缩容后「莫名变松/变紧」 | 只有单机限流,没有按集群容量重算 |
和本系列前面讲的事务补偿、分布式锁同一类问题:你以为在「挡流量」,其实在谈容量合同和依赖健康合同是否写清楚。
心智模型是什么:闸机与保险丝
先记住一个主比喻,再进精确定义。
限流 ≈ 景区闸机:单位时间只放进这么多人,防止里面挤爆。
- 固定窗口计数器:整点清零——边界处容易「双倍进场」。
- 滑动窗口:看「过去一段时间」滚动统计,更平滑。
- 令牌桶:按固定速率发卡;空闲时票会攒着,允许合法突发。
- 漏桶:人先进缓冲间,出去速度恒定——最平滑,也最不吃突发。
熔断 ≈ 家里的保险丝:
| 状态 | 人话 |
|---|---|
| CLOSED(闭合) | 保险丝正常,电流照常过 |
| OPEN(断开) | 故障率 / 慢调用过高,直接断路 |
| HALF_OPEN(半开) | 过一会放几路探测;正常再全开,失败再断开 |
类比局限一句说清:景区闸机解释的是「入口速率」;保险丝解释的是「依赖健康」——解释不了超时重试怎么把线程池打满,那是熔断 + 降级要一起管的。
后端类比:限流像线程池的 core/max 与队列上限(管进场);熔断像对某个依赖单独挂断(管别把整屋电器烧了)。类比只管调度直觉,解释不了业务降级合同该返回什么。
限流、熔断、降级怎么区分?
限流(Rate Limiting):控制单位时间内进入系统(或某一维度)的请求量,防止突发流量压垮后端——目的是保护核心链路,不是「拒服越多越好」。
熔断(Circuit Breaking):当依赖出现高错误率、高延迟(慢调用)等不健康信号时,自动停止或大幅减少对该依赖的调用,把「雪崩等待」变成「快速失败」。
降级(Fallback / Degradation):熔断或过载之后显式换一条更便宜的响应路径(缓存、默认值、人工复核队列)。没有合同的「抛异常给上游」不算合格降级。
| 机制 | 盯什么 | 时机 | 典型动作 |
|---|---|---|---|
| 限流 | 入口流量是否过大 | 预防过载 | 拒绝 / 排队 / 429 + Retry-After |
| 熔断 | 下游是否健康 | 止损、防级联 | OPEN 快速失败 |
| 降级 | 系统还剩什么能力 | 过载或熔断后 | 简化响应、关非核心 |
关系链:限流是第一道防线,熔断是第二道,降级是失败后的合同。 三者可以共存;禁止用限流代替容量规划,也禁止用熔断假装「下游永远健康」。
四种限流算法怎么选?
选型核心是突发与平滑的取舍,不是「哪个算法更高级」。
| 算法 | 核心机制 | 优点 | 代价 | 类比 |
|---|---|---|---|---|
| 固定窗口计数器 | 固定时间窗内计数,窗末清零 | 简单、内存小 | 边界突刺严重 | 电梯限载,整点重置 |
| 滑动窗口 | 窗切多格或记时间戳,滚动统计 | 更平滑、更准 | 实现与内存成本更高 | 滑动门分段统计 |
| 令牌桶 | 固定速率放令牌,请求取令牌 | 允许突发、长期平均可控 | 突发仍可能打穿脆弱下游 | 停车场自动发卡 |
| 漏桶 | 请求进桶,固定速率漏出 | 输出绝对平滑 | 吃不了合法突发 | 输液匀速滴落 |
一句话选型(教学向):
- API 入口、需要合法突发 → 优先令牌桶(或带 Warm Up 的变种);
- 保护脆弱下游(短信网关、严格配额第三方 API) → 漏桶更合适;
- 用户 / 设备频控要「过去 N 秒计数」 → 滑动窗口(常配 Redis);
- 演示 / 极简场景 → 固定窗口可以,但别当生产默认。
令牌桶的数学直觉是流量整形里的 (σ, ρ) 模型:σ = 桶容量(最大突发),ρ = 令牌产生速率(长期平均)。漏桶则强制输出速率恒定。
固定窗口的核心缺陷:窗口边界处,前后两个窗口的剩余配额可以叠加,瞬时通过量接近翻倍。滑动窗口把时间切成多个小格子,每次统计最近 N 格之和——格子越多越平滑,内存与更新开销也线性上升。公开实现里,Sentinel 一类组件常用环形格子(如 LeapArray)做近似滑动窗口,默认常见是「1 秒少量格子」:精度与成本的折中,不是「格子越多越好」。
多级漏斗怎么分层?
硬规则:多级漏斗与线程池隔离同一哲学——外层挡洪水,内层挡单点刷穿,资源层挡连接池耗尽。
单一维度不够。生产常见做法是从外到内层层收窄配额:
| 层级(教学) | 典型维度 | 作用 | 代价 |
|---|---|---|---|
| 边缘 | IP / 地域 / CDN | 挡最粗糙的刷量 | 代理池可绕过,不能当唯一防线 |
| 服务 / API | 路径、方法 | 保护后端集群与单接口容量 | 阈值要跟压测,不能拍脑袋 |
| 租户 / 用户 | userId、AppKey | 防单租户占满配额 | Key 设计不当会误伤(见坑) |
| 键 / 资源 | 热点商品、设备指纹 | 热点隔离、防设备农场 | 指纹可伪造,需与行为信号配合 |
| 资源池 | DB 连接、线程池 | 最后一道硬顶 | 满了只能拒绝或排队,别无限等待 |
教学伪流程(非生产 API):
on_request(ctx):
if !allow("edge", ctx.ip): return 429 + Retry-After
if !allow("api", ctx.path): return 429 or queue
if !allow("tenant", ctx.uid): mark_suspicious; return 429
if !allow("key", ctx.device): return 429
return handle(ctx) # 再受连接池 / 线程池硬顶约束限流返回值建议用 HTTP 429(Too Many Requests),并带 Retry-After,让客户端知道何时再试。用 200 + "系统繁忙" 会把限流伪装成业务成功,排障和客户端协作都会变难。
熔断状态机与慢调用怎么配合?
熔断写清三件事:错误率 / 慢调用阈值、最小样本、OPEN 时长与半开探测策略。
| 状态 | 行为 | 进入 | 退出 |
|---|---|---|---|
| CLOSED | 正常放行 | 初始 / 探测恢复 | 错误率或慢调用率超阈值 |
| OPEN | 直接拒绝(快速失败) | 超阈值且样本够 | 熔断时长到期 → HALF_OPEN |
| HALF_OPEN | 放行少量探测 | OPEN 到期 | 成功 → CLOSED;失败 → OPEN |
三种常见熔断策略:
- 错误比例:错误率超过阈值(且请求数 ≥ 最小样本);
- 慢调用比例:RT 超过阈值的请求占比过高——依赖「亚健康」不报错也能拖死线程池;
- 错误计数:累计错误次数超过阈值。
公开库对照(选型时看合同,不背 API 墙):
| 能力 | Guava RateLimiter | Sentinel | Resilience4j | Hystrix(已停更,思想仍常用) |
|---|---|---|---|---|
| 单机令牌桶 / 预热 | 强 | 有 Warm Up / 排队 | 限流另配 | 弱(侧重隔离) |
| 滑动窗口指标 | — | 核心 | 滑动窗统计 | 滚动窗 |
| 慢调用熔断 | — | 有 | 有 | 超时 + 错误 |
| 线程池 / bulkhead 隔离 | — | 并发线程数等 | Bulkhead | 线程池隔离经典 |
HALF_OPEN 不要「探一个成功就全开」:刚恢复的依赖可能缓存未热、连接池未满。业界常见是限制半开最大探测数,再渐进放量,避免 抖动(flapping):CLOSED ↔ OPEN 来回甩。
降级合同必须显式。教学向例子(风控 / 评分类链路常见归纳,非某厂定档):
| 触发 | 常见降级合同 | 代价 |
|---|---|---|
| 模型 / 评分依赖 OPEN | 跳过模型,只走本地规则或缓存 | 可能误杀升高,但保住入口 |
| 规则引擎也 OPEN | 默认保守决策 + 进人工 / 异步复核 | 吞吐掉、人工成本升 |
| 连接池耗尽 | 读本地短缓存;未命中则拒绝 | 一致性窗口变大 |
原则是:快速失败要有 Fallback 合同;「熔断了然后抛给上游」只是把雪崩往上推一层。
单机配额还是集群配额?
保护单实例用本地限流;保护共享资源用集群配额——扩缩容时配额要跟着重算。
| 维度 | 单机限流 | 集群限流 |
|---|---|---|
| 实现 | 本地计数 / Guava / Sentinel 本地模式 | Redis + Lua、Token Server 等 |
| 精度 / 延迟 | 高、几乎无网络 | 有 RTT 与协调开销 |
| 适用 | 保护本进程线程池、本机连接 | 保护 DB、第三方 API、全集群总配额 |
| 扩缩容 | 每台阈值 × 台数 ≈ 总容量,易「越扩越松」 | 总配额固定,按实例分配或集中扣减 |
混合模式在高 QPS 很常见:本地令牌桶挡尖刺,周期性与中心配额对齐——接受少量误差,换掉每次请求都打 Redis 的成本。
中心限流挂了怎么办(教学三档):
- 本地降级:退回单机限流,至少保本机不炸;
- Fail-Open:非核心接口暂时不限流,优先可用性;
- Fail-Close:资金 / 履约类接口宁可拒绝,优先一致性。
选哪档写进合同,别临场拍脑袋。
阈值怎么定(公开可复述的四步):
- 压测找到「RT 突增 / 错误率抬头」的临界 QPS;
- 阈值落在临界的约 70%~80%,留缓冲;
- 核心写路径保守,只读查询可相对宽松;
- 上线后用 CPU、RT、队列深度微调;自适应限流(如按负载收紧)是增强项,不是免压测的借口。
示意公式(教学):阈值 ≈ min(压测上限 × 0.8, 下游最小承载 × 0.9)。
常见坑有哪些?
常见坑:阈值拍脑袋、熔断后无脑重试、限流与熔断揉成一个开关。
-
阈值拍脑袋:「平时到不了」
平时到不了 ≠ 被刷或热点时刻到不了。阈值应来自压测,并留缓冲。 -
熔断后无 Fallback
OPEN 的目的是快速失败,失败后要有显式降级合同,而不是把异常原样砸回入口。 -
一种算法打天下
入口常吃突发(令牌桶),脆弱下游要平滑(漏桶),频控要滚动精确(滑动窗口)——按场景拆。 -
HALF_OPEN 一探就全开
易抖。限制探测数并渐进放量。 -
阈值写死在代码里
活动前后要调;规则宜动态下发,并灰度生效(先小比例实例观察再全量)。 -
只盯错误率,忽略慢调用
依赖可以「全成功但 RT 从 20ms 涨到 2s」,照样拖死线程池。慢调用比例是发现亚健康的关键。 -
限流 Key 维度不够
只用userId时,查询可能占满配额导致同用户写路径也被挡。常见补法是userId + apiPath(或等价组合)。 -
只限入口,不限服务间调用
A 调 B 也要有并发 / QPS 上限;否则 A 的线程池会被 B 拖垮。 -
只看 QPS,不看 in-flight
10 QPS × 每请求 10s ≈ 同时 100 个在飞。并发上限(bulkhead)和 QPS 限流要一起看。 -
用限流代替容量规划
闸门保护的是「别被打死」;长期靠拒请求撑业务,说明该扩容或减载,而不是把阈值当容量本身。
该怎么选?一句话结论
- 限流管入口容量,熔断管依赖健康,降级管失败合同——三件事分开写清。
- 算法按突发/平滑选:入口令牌桶、脆弱下游漏桶、频控滑动窗口;固定窗口别当默认。
- 多级漏斗:边缘 → 服务 → 租户 → 键 → 资源池;与线程池隔离同一哲学。
- 熔断必配慢调用 + 最小样本 + 半开渐进;OPEN 之后要有显式 Fallback。
- 单机保自身,集群保共享资源;扩缩容重算配额;中心挂了的 Fail-Open / Fail-Close 预先定档。
- 429 + Retry-After;客户端协作降速,比「200 + 系统繁忙」好排障。
下一步:画一张「入口 → 关键依赖」漏斗图,给每一层标算法、维度、阈值来源(压测 / 下游合同)、熔断阈值与降级合同——缺任一项就先补合同,再谈微调数字。
系列导航:
- 上一篇:/blog/cap_base_consistent_hash/(
distributed-deepseriesOrder 3)— CAP / BASE 与一致性哈希 - 再上一篇:/blog/distributed_lock_selection/(seriesOrder 2)— 分布式锁选型
- 更早:/blog/distributed_tx_saga_tcc/(seriesOrder 1)— 分布式事务与 Saga / TCC
- 本篇(seriesOrder 4):限流、熔断与多级漏斗
- 下一篇(发布后补链):/blog/idempotency_design/(seriesOrder 5)— 幂等设计(限流/熔断后的重试合同)