协程爆炸:m×n 扇出为什么要把「go」收成工作池

协程爆炸:m×n 扇出为什么要把「go」收成工作池

Hello,我是小兔大白糖。 推送压测里 goroutine 曲线像电梯失控——消息一多、接收者一多,机器还没 OOM,调度器先喘不过气。写成这篇,给熟悉线程池、但还把「Go 随便 go」当免费午餐的后端同学。

说明:数字、伪代码均为教学脱敏 / 示意,不是某产品线上配置。读完带走的是心智模型与取舍清单,不是可粘贴的内部实现。

估计阅读时间:10 分钟


目录


为什么现在要关心

Goroutine 便宜,不等于「按接收者数线性开协程」也便宜。

常见现场:

你看到的现象常见真相
推送高峰 goroutine 数飙到数万、数十万每条消息 × 每个接收者各 go 一次(m×n)
RSS 还没顶到 limit,延迟已经拉长海量协程抢调度;栈起始虽小,调度与元数据仍贵
「已经用了信号量限并发」仍卡无界创建 + 门口排队:协程照样先造出来再等许可
换成工作池后内存曲线平了,消息却越来越晚爆炸变成了队列积压——问题没消失,只是换了形态

实时通道怎么搭可以看 /blog/websocket_protobuf_framework/;入口闸门与下游保险丝见 /blog/rate_limit_circuit_breaker/。本文只钉一件事:扇出并发怎么从「无限叫号」收到「有界窗口」——以及你必须付的代价。


心智模型:无限叫号 vs 固定窗口

主比喻:银行大厅。

  • 无限叫号:每个客户到柜台前先领一个号码牌,并立刻占一个「虚拟窗口」——人再多也先发牌。对应:每条投递任务 go 一个协程。
  • 固定窗口:只有 N 个柜员;客户进有限座椅排队,柜员忙完接下一位。对应:固定 / 有上限的 worker + 任务队列。
无界 m×n 扇出与有界工作池加背压
无界 m×n 扇出与有界工作池加背压 · 点击查看 SVG 原图

类比局限一句说清:窗口/排队解释「并发上限与积压形态」;解释不了业务上「谁该收到、离线怎么补」——那是领域规则,不是池子配置。


精确定义:什么是 m×n 扇出

m×n 扇出:对 m 条待投递消息,每条要对 n 个接收者各做一次异步投递;若每次投递都 go,瞬时协程数近似 m × n(教学量级,忽略共享与提前返回)。

教学数字(脱敏):

m(并发消息)n(每条接收者)无界 go 量级
10050≈ 5,000
1,000500≈ 500,000

再钉三条硬边界:

  1. Go 起始栈通常很小(常见叙述约 2KB 量级,随运行时与版本会变),不是「每个协程默认吃几 MB」。
    但海量 goroutine 仍有:调度排队、栈增长、per-G 元数据、缓存抖动。别用「栈很小」给无界扇出开脱。

  2. 「限并发」≠「限创建」。
    若先 go 再在门口抢信号量,峰值协程数仍可按 m×n 冒头——大部分时间在等许可,调度器照样忙。

  3. 有界池消灭的是爆炸形态,不是负载本身。
    产生速率 > 处理速率时,压力变成队列长度、延迟、丢弃率——见下一节。


有界工作池:把「创建」改成「提交」

心智切换:业务侧不再 go deliver(user),而是 submit(task);真正跑投递的只有固定(或有上限)的 worker。

维度无界 go有界工作池
并发形态峰值 ≈ m×n峰值 ≈ worker 数(+ 队列里排队的任务,不是等价协程)
资源曲线随扇出基数陡升更平滑,但仍受队列容量约束
失败形态调度卡死 / 内存与 FD 等资源被拖垮提交阻塞、拒绝、或策略性丢弃
可观测「goroutine 很多」难归因队列长度、入队拒绝、处理耗时可单独盯

教学伪代码(合计约十几行,非生产实现):

# 启动:W 个 worker 从 queue 取任务
for i in 1..W:
  go worker: loop { task = queue.recv(); deliver(task) }

# 业务扇出:提交,不再 per-user go
for each recipient in recipients:
  ok = queue.try_send(PushTask{recipient, msg})
  if not ok:
    handle_backpressure(task)   # 阻塞 / 拒绝 / 丢低优 —— 必须显式选

固定池的好处是可预期:goroutine 数不再跟「消息 × 人数」线性开。坏处也直白——吞吐上限被 W 钉死,尖峰只能进队列或被背压策略消化。

动态扩缩容(按队列长度加 worker)能缓解尖峰,但带来扩缩延迟、抖动、缩容打断在途任务等另一套复杂度;分享向建议:先把「有界 + 明确背压」跑通,再谈弹性。


积压与背压:池子不是免费午餐

处理慢于产生时,有界池把「协程爆炸」换成「任务积压」——这不是银弹,是换账单。

教学算术(示意):

量示意值读法
瞬时任务1,000 消息 × 500 人 = 500,000扇出基数
Worker20并发上限
单任务耗时~100,ms含网络抖动
粗算吞吐≈ 200 任务/秒20 / 0.1s
清空时间量级可达数十分钟期间新任务继续涌入 → 延迟雪球

积压的账单通常长这样:

代价发生什么谁先疼
队列内存任务对象 / 消息引用堆在 channel 或缓冲里RSS、GC
延迟新消息排在长队尾P99 推送延迟、用户体感「消息晚到」
阻塞提交队列满时 send 卡住调用方API / 上游协程被拖死(背压传到入口)
拒绝 / 丢弃满则返回错误,或丢掉低优先级消息丢失、要补拉 / 重试;需业务可接受
弹性扩缩按积压加 worker抖动、资源争用;缩容时机难拍

背压(backpressure) 人话:下游忙不过来时,上游必须减速或丢弃,而不是假装「提交成功了」。常见三选一(可组合):

  1. 阻塞:调用方等有空位——保护内存,牺牲入口延迟与线程/协程占用。
  2. 拒绝:立刻失败,让上游重试或走降级——要幂等与明确错误码。
  3. 丢低优:保紧急通知,牺牲营销 / 批量已读之类——必须可观测(丢了多少、哪一类)。

无限长队列 ≈ 把 OOM 推迟到更难看的时刻。有界队列 + 显式策略,才是「可控的坏」。


优先级一眼表

不是每种推送都该抢同一条生命线;分层是为了「坏的时候先保什么」。

车道典型内容(教学)池 / 配额直觉队列满时更倾向
高优安全验证、强提醒小而稳的固定 worker尽量不丢;可阻塞短超时
普通会话消息主池或有上限弹性拒绝并让客户端补拉
低优批量已读、运营广播更严的配额 / 更小缓冲优先丢弃或合并

限流思路可与 /blog/rate_limit_circuit_breaker/ 的多级漏斗对照:池子管并发形态,限流管进入速率——两道闸配错,仍会在某一层堆成山。


常见坑

  1. 「Go 栈很小,多开点没关系」
    起始栈小是真的;m×n 无界扇出的调度与内存压力也是真的。用正确的半句事实,推错误的全句结论。

  2. 先 go 再限流 / 抢锁
    协程已经造出来了。要限的是创建与在途任务,不是门口的等待人数化妆成「已经限住了」。

  3. 无界队列当「异步就完事」
    提交永远成功,直到内存报警。延迟在积压里偷偷涨,比 goroutine 曲线更晚被发现。

  4. 池子上线却不盯队列长度与丢弃率
    goroutine 数好看了,P99 和丢消息投诉上来了——看板缺关键列。

  5. 动态扩缩当默认答案
    阈值、冷却、缩容是否打断在途任务说不清时,扩缩本身会制造抖动。先固定上界 + 背压。

  6. 所有优先级进同一个满队列
    紧急通知排在万条「已读」后面——分层或可抢占策略没写进合同。

  7. 把「工作池」写成银弹口号
    正确说法是:用可预期的积压与丢弃,换不可预期的协程爆炸——账单要当着写出来。


小结

  1. m×n 扇出:消息数 × 接收者数若每条都 go,峰值协程按乘积长。
  2. 有界工作池:固定/有上限 worker + 任务队列;业务侧「提交」而不是「创建」。
  3. 栈小 ≠ 免费:起始栈通常不大,海量 G 仍有调度与内存成本。
  4. 池子把爆炸变成积压:处理跟不上就排队;必须选阻塞 / 拒绝 / 丢低优,并接受延迟与丢失。
  5. 可观测优先盯:队列长度、入队失败、处理耗时、按优先级的丢弃计数——不只看 goroutine 总数。

下一步:用一次压测画出「无界扇出 vs 有界池」的 goroutine 与 P99 对比 → 给队列定容量与满载策略 → 再决定要不要弹性 worker。相关阅读:/blog/websocket_protobuf_framework/、/blog/rate_limit_circuit_breaker/。