FIFO 的 MessageGroupId:组内有序、组间并行,别把吞吐打成单线程

FIFO 的 MessageGroupId:组内有序、组间并行,别把吞吐打成单线程

Hello,我是小兔大白糖。 上了 FIFO「保证顺序」,推送却越推越慢——压测一看,所有聊天共用一个分组键,并行度被打成 1。写成这篇,给要做有序队列分组键(MessageGroupId 一类)业界调研的初中级后端同学:不是某云产品说明书,而是可复述的顺序边界与吞吐心智模型。

说明:文中的档位、伪流程与数字均为教学脱敏 / 示意。有序托管队列以 Amazon SQS FIFO 的公开能力作举例(MessageGroupId、去重、可见性超时),同类产品语义相近但细节不同——数字与默认值以厂商当前文档为准。读完带走的是选型清单,不是可粘贴的内部实现。

估计阅读时间:10 分钟


目录


为什么现在要关心

硬规则一:有序队列的顺序保证通常绑在「消息组 / MessageGroupId」上——组内串行,组间可并行;一个全局组 ≈ 整队单线程。

现场里常见误伤,几乎都来自「开了 FIFO」却没设计分组键:

你看到的现象常见真相
FIFO 开了,吞吐比标准队列差一个数量级绝大多数消息落在同一个 MessageGroupId
「保证顺序」后延迟尖刺热点组内排队;组间本可并行却没用上
偶发双推 / 重复通知把队列侧短窗口去重当成业务 exactly-once
处理稍慢就再推一遍处理时间超过可见性超时(visibility timeout),消息重投且无幂等
其实只要会话内有序,却上了「全站一条有序队」顺序边界画得过粗,吞吐当代价付掉了

同站已写过两层异步——进程内池解耦请求、托管队列跨进程保活,见 /blog/inprocess_pool_vs_managed_queue/。触达三平面里「别用推送队列当聊天真相」见 /blog/im_push_priority_channels/。本文只钉一件事:上了有序托管队列之后,分组键怎么选,以及去重 / 可见性超时你必须签的合同。


问题空间:本篇钉什么

硬规则人话:需要顺序的边界有多细,分组键就画多细——不要为「全部有序」牺牲吞吐。

主题本篇已有
进程内池 vs 托管队列何时迁点到/blog/inprocess_pool_vs_managed_queue/
推送三平面 / 优先级点到/blog/im_push_priority_channels/
有序队列分组键与吞吐主线—
可见性超时 + worker 消费配合讲与两层异步文的「至少一次合同」衔接

先分清两层问题:

  1. 要不要托管队列(持久化、多实例抢活)——上一篇。
  2. 要不要 FIFO / 有序,以及组键怎么切——本篇。

不需要跨消息严格顺序时,标准(无序)队列通常更简单、吞吐更高;别为了「听起来更稳」默认上 FIFO。


公开机制:有序队列在保证什么

以 SQS FIFO 类公开能力为示意:顺序按组保证;吞吐跟组的数量与热点分布强相关。

概念人话代价 / 边界
FIFO / 有序队列同一消息组内,大致按入队序投递与消费吞吐与组设计强相关;不是「整队列无限有序且无限并行」
MessageGroupId(分组键)同组串行;不同组可并行消费键选错 → 热点组(假并行)或假顺序(本该有序的边界被拆散)
DeduplicationId / 内容去重短窗口内防重复入队(公开文档常见为约数分钟级窗口;以厂商文档为准)过窗仍可能重复;不是业务 exactly-once
Visibility timeout(可见性超时)消费中暂对其他 worker 不可见;超时未删 / 未 ack 则重投处理太久 → 重复消费;太短更易撞车
有序队列:同一 MessageGroupId 组内串行;不同组可并行消费;全局单组等于整队单线程
有序队列:同一 MessageGroupId 组内串行;不同组可并行消费;全局单组等于整队单线程 · 点击查看 SVG 原图

硬规则二:去重窗口 ≠ 业务幂等。 队列侧去重有时效;消费者仍要用 client id / 业务去重键做幂等。把「入队去重」当成「永远只送达一次」,会在窗口外或重投路径上翻车。


心智模型:超市收款口

主比喻:每个 MessageGroupId 是一条收款口;多条口可以同时结账。

  • 顾客按「自己所在口」排队 → 组内有序。
  • 商场开多条口 → 组间并行。
  • 把全商场顾客塞进一个口,再雇再多收银员也没用——FIFO 在组内本来就是单通道。
心智模型:MessageGroupId 如超市收款口;多口并行结账,单口再多人收银也快不了
心智模型:MessageGroupId 如超市收款口;多口并行结账,单口再多人收银也快不了 · 点击查看 SVG 原图

类比局限一句说清:收款口解释并行度与热点组;解释不了跨区域复制、厂商配额与「高吞吐模式」开关等产品细节——那些以公开文档为准,不在本比喻里。


分组键怎么选

先画「必须有序」的最小边界,再让边界映射到 MessageGroupId;IM / 推送场景常用会话或收件箱。

键策略顺序范围并行度(示意)适用
全局单一 group「全站一条队」≈1反模式(除极小流量或强全局串行需求)
按会话 / 收件人 inbox单聊或单收件箱有序约等于活跃会话 / 收件箱数聊天推送、按用户触达等常见
按分片哈希分片内有序分片数要控组数量、或键空间过大时
无序标准队列无组序保证通常更高不需要跨消息顺序的离线戳醒、可乱序重试的任务

选型时三问:

  1. 乱序会坏什么? 同一会话的推送乱序?还是全站任何两条都不能乱?后者极少见,却最贵。
  2. 热点会不会砸在一个键上? 大 V、大群、全局广播若共用一键,等于自制单线程瓶颈。
  3. 顺序能否由业务侧补? 若会话已有 seq / 游标,强上「全局 FIFO」往往是重复付费。

代价先说清:键越细 → 并行越好,但要接受「跨键不保证顺序」;键越粗 → 顺序范围越大,吞吐天花板越低。稳的是边界,不是「全部有序」。


消费侧:有界 worker 仍要有

托管有序队列解决跨进程保活与组内顺序;本机仍要有界 worker 做并发上限与背压——与两层异步文同一合同。

失败不删 / 不 ack → 可见性超时后重投;成功再删。这与「至少一次投递 + 幂等」是同一套,不是 FIFO 专属彩蛋。

教学伪流程(脱敏,非某云 SDK):

produce(intent):
  group = group_key(conversation_or_inbox)  # 勿全局常量
  send_fifo(body, group_id=group, dedup_id=...)

worker_loop:
  batch = receive(max=n, wait=long_poll)
  for msg in batch:
    handle_idempotent(msg)   # 业务幂等
    delete_or_ack(msg)
消费侧:有界 worker 领取消息;处理中靠可见性超时暂隐;成功 ack,超时未完成则重投且需幂等
消费侧:有界 worker 领取消息;处理中靠可见性超时暂隐;成功 ack,超时未完成则重投且需幂等 · 点击查看 SVG 原图

要点:

  • Produce 侧:分组键来自业务边界,不要写死成常量。
  • Consume 侧:有界并发;组间可并行不代表本机可以无界拉满。
  • 处理时长要落在可见性超时预算内,或主动延长;否则准备好幂等扛重投。

常见坑

从架构视角看,下面几条会把「有序」用成「单线程」,或把「去重」用成「假 exactly-once」。

  1. 全局 MessageGroupId
    开了 FIFO,吞吐却像单消费者。先查键分布,再怪队列。

  2. 把队列去重当业务 exactly-once
    去重窗口短且只管入队侧;过窗、重投、多生产者路径仍可能重复。消费者必须幂等。

  3. 处理时间 > 可见性超时,且无幂等
    同一条意图被两个 worker 各推一遍——用户看到的是「FIFO 双推」。

  4. 用 FIFO 扛超高吞吐却不分片 / 不分组
    顺序产品不是无限吞吐开关;热点组会先打满。

  5. 顺序本可用会话 seq 保证,却强上 FIFO 全局
    账本在 Sync plane(见三平面文),门铃队列再叠一层全局有序,成本高、收益薄。

  6. 不需要顺序却默认 FIFO
    可乱序的离线戳醒、可合并的 hint,用标准队列往往更省事。


选型结论

  1. 组内有序、组间并行:MessageGroupId(或等价分组键)= 你愿意为之串行的顺序边界。
  2. 键画在最小必要边界:会话 / inbox 常见;全局单组是反模式。
  3. 去重窗口短;消费者仍要幂等——队列去重 ≠ 业务 exactly-once。
  4. 有界 worker + 可见性超时:与 /blog/inprocess_pool_vs_managed_queue/ 的至少一次合同衔接;FIFO 不取消这层。
  5. 先问要不要有序:不需要跨消息顺序时,优先标准队列;需要时再选 FIFO 并设计组键。

相关阅读:/blog/inprocess_pool_vs_managed_queue/(两层异步与可见性 / 幂等)、/blog/im_push_priority_channels/(推送是 hint,别用通知队列当同步真相)。