FIFO 的 MessageGroupId:组内有序、组间并行,别把吞吐打成单线程

Hello,我是小兔大白糖。 上了 FIFO「保证顺序」,推送却越推越慢——压测一看,所有聊天共用一个分组键,并行度被打成 1。写成这篇,给要做有序队列分组键(MessageGroupId 一类)业界调研的初中级后端同学:不是某云产品说明书,而是可复述的顺序边界与吞吐心智模型。
说明:文中的档位、伪流程与数字均为教学脱敏 / 示意。有序托管队列以 Amazon SQS FIFO 的公开能力作举例(
MessageGroupId、去重、可见性超时),同类产品语义相近但细节不同——数字与默认值以厂商当前文档为准。读完带走的是选型清单,不是可粘贴的内部实现。
估计阅读时间:10 分钟
目录
为什么现在要关心
硬规则一:有序队列的顺序保证通常绑在「消息组 / MessageGroupId」上——组内串行,组间可并行;一个全局组 ≈ 整队单线程。
现场里常见误伤,几乎都来自「开了 FIFO」却没设计分组键:
| 你看到的现象 | 常见真相 |
|---|---|
| FIFO 开了,吞吐比标准队列差一个数量级 | 绝大多数消息落在同一个 MessageGroupId |
| 「保证顺序」后延迟尖刺 | 热点组内排队;组间本可并行却没用上 |
| 偶发双推 / 重复通知 | 把队列侧短窗口去重当成业务 exactly-once |
| 处理稍慢就再推一遍 | 处理时间超过可见性超时(visibility timeout),消息重投且无幂等 |
| 其实只要会话内有序,却上了「全站一条有序队」 | 顺序边界画得过粗,吞吐当代价付掉了 |
同站已写过两层异步——进程内池解耦请求、托管队列跨进程保活,见 /blog/inprocess_pool_vs_managed_queue/。触达三平面里「别用推送队列当聊天真相」见 /blog/im_push_priority_channels/。本文只钉一件事:上了有序托管队列之后,分组键怎么选,以及去重 / 可见性超时你必须签的合同。
问题空间:本篇钉什么
硬规则人话:需要顺序的边界有多细,分组键就画多细——不要为「全部有序」牺牲吞吐。
| 主题 | 本篇 | 已有 |
|---|---|---|
| 进程内池 vs 托管队列何时迁 | 点到 | /blog/inprocess_pool_vs_managed_queue/ |
| 推送三平面 / 优先级 | 点到 | /blog/im_push_priority_channels/ |
| 有序队列分组键与吞吐 | 主线 | — |
| 可见性超时 + worker 消费 | 配合讲 | 与两层异步文的「至少一次合同」衔接 |
先分清两层问题:
- 要不要托管队列(持久化、多实例抢活)——上一篇。
- 要不要 FIFO / 有序,以及组键怎么切——本篇。
不需要跨消息严格顺序时,标准(无序)队列通常更简单、吞吐更高;别为了「听起来更稳」默认上 FIFO。
公开机制:有序队列在保证什么
以 SQS FIFO 类公开能力为示意:顺序按组保证;吞吐跟组的数量与热点分布强相关。
| 概念 | 人话 | 代价 / 边界 |
|---|---|---|
| FIFO / 有序队列 | 同一消息组内,大致按入队序投递与消费 | 吞吐与组设计强相关;不是「整队列无限有序且无限并行」 |
| MessageGroupId(分组键) | 同组串行;不同组可并行消费 | 键选错 → 热点组(假并行)或假顺序(本该有序的边界被拆散) |
| DeduplicationId / 内容去重 | 短窗口内防重复入队(公开文档常见为约数分钟级窗口;以厂商文档为准) | 过窗仍可能重复;不是业务 exactly-once |
| Visibility timeout(可见性超时) | 消费中暂对其他 worker 不可见;超时未删 / 未 ack 则重投 | 处理太久 → 重复消费;太短更易撞车 |
硬规则二:去重窗口 ≠ 业务幂等。 队列侧去重有时效;消费者仍要用 client id / 业务去重键做幂等。把「入队去重」当成「永远只送达一次」,会在窗口外或重投路径上翻车。
心智模型:超市收款口
主比喻:每个 MessageGroupId 是一条收款口;多条口可以同时结账。
- 顾客按「自己所在口」排队 → 组内有序。
- 商场开多条口 → 组间并行。
- 把全商场顾客塞进一个口,再雇再多收银员也没用——FIFO 在组内本来就是单通道。
类比局限一句说清:收款口解释并行度与热点组;解释不了跨区域复制、厂商配额与「高吞吐模式」开关等产品细节——那些以公开文档为准,不在本比喻里。
分组键怎么选
先画「必须有序」的最小边界,再让边界映射到 MessageGroupId;IM / 推送场景常用会话或收件箱。
| 键策略 | 顺序范围 | 并行度(示意) | 适用 |
|---|---|---|---|
| 全局单一 group | 「全站一条队」 | ≈1 | 反模式(除极小流量或强全局串行需求) |
| 按会话 / 收件人 inbox | 单聊或单收件箱有序 | 约等于活跃会话 / 收件箱数 | 聊天推送、按用户触达等常见 |
| 按分片哈希 | 分片内有序 | 分片数 | 要控组数量、或键空间过大时 |
| 无序标准队列 | 无组序保证 | 通常更高 | 不需要跨消息顺序的离线戳醒、可乱序重试的任务 |
选型时三问:
- 乱序会坏什么? 同一会话的推送乱序?还是全站任何两条都不能乱?后者极少见,却最贵。
- 热点会不会砸在一个键上? 大 V、大群、全局广播若共用一键,等于自制单线程瓶颈。
- 顺序能否由业务侧补? 若会话已有 seq / 游标,强上「全局 FIFO」往往是重复付费。
代价先说清:键越细 → 并行越好,但要接受「跨键不保证顺序」;键越粗 → 顺序范围越大,吞吐天花板越低。稳的是边界,不是「全部有序」。
消费侧:有界 worker 仍要有
托管有序队列解决跨进程保活与组内顺序;本机仍要有界 worker 做并发上限与背压——与两层异步文同一合同。
失败不删 / 不 ack → 可见性超时后重投;成功再删。这与「至少一次投递 + 幂等」是同一套,不是 FIFO 专属彩蛋。
教学伪流程(脱敏,非某云 SDK):
produce(intent):
group = group_key(conversation_or_inbox) # 勿全局常量
send_fifo(body, group_id=group, dedup_id=...)
worker_loop:
batch = receive(max=n, wait=long_poll)
for msg in batch:
handle_idempotent(msg) # 业务幂等
delete_or_ack(msg)要点:
- Produce 侧:分组键来自业务边界,不要写死成常量。
- Consume 侧:有界并发;组间可并行不代表本机可以无界拉满。
- 处理时长要落在可见性超时预算内,或主动延长;否则准备好幂等扛重投。
常见坑
从架构视角看,下面几条会把「有序」用成「单线程」,或把「去重」用成「假 exactly-once」。
-
全局 MessageGroupId
开了 FIFO,吞吐却像单消费者。先查键分布,再怪队列。 -
把队列去重当业务 exactly-once
去重窗口短且只管入队侧;过窗、重投、多生产者路径仍可能重复。消费者必须幂等。 -
处理时间 > 可见性超时,且无幂等
同一条意图被两个 worker 各推一遍——用户看到的是「FIFO 双推」。 -
用 FIFO 扛超高吞吐却不分片 / 不分组
顺序产品不是无限吞吐开关;热点组会先打满。 -
顺序本可用会话 seq 保证,却强上 FIFO 全局
账本在 Sync plane(见三平面文),门铃队列再叠一层全局有序,成本高、收益薄。 -
不需要顺序却默认 FIFO
可乱序的离线戳醒、可合并的 hint,用标准队列往往更省事。
选型结论
- 组内有序、组间并行:MessageGroupId(或等价分组键)= 你愿意为之串行的顺序边界。
- 键画在最小必要边界:会话 / inbox 常见;全局单组是反模式。
- 去重窗口短;消费者仍要幂等——队列去重 ≠ 业务 exactly-once。
- 有界 worker + 可见性超时:与 /blog/inprocess_pool_vs_managed_queue/ 的至少一次合同衔接;FIFO 不取消这层。
- 先问要不要有序:不需要跨消息顺序时,优先标准队列;需要时再选 FIFO 并设计组键。
相关阅读:/blog/inprocess_pool_vs_managed_queue/(两层异步与可见性 / 幂等)、/blog/im_push_priority_channels/(推送是 hint,别用通知队列当同步真相)。