RPC 成帧别跟 IDL 捆死:Framed vs 自定义 Header vs HTTP/2

Hello,我是小兔大白糖。 压测里 QPS 明明没掉,却有一小撮请求卡在「连上了、读不到完整包」——两端日志各说各话,最后才发现:IDL 早就对齐了,成帧协议却不一样。写成这篇,给要做 RPC 传输层选型、或排查「能连上却解不开包」 的初中级后端同学:讲的是业界通用的成帧心智模型,不是某仓库的迁移工单。
说明:下文 Framed(长度前缀帧)、自定义 Header 帧(如 Kitex 生态里公开的 TTHeader 一类做法)、HTTP/2 + gRPC 都只作公开可核对的概念举例。与 IDL:Thrift 换 Protobuf 怎么分轨 正交——那边管契约与序列化选型;本稿管字节怎么成帧、治理元数据放哪。
估计阅读时间:8 分钟
目录
为什么现在要关心
成帧协议和 IDL/序列化是两条轨道:只改一端、或只改契约,都可能「握手成功、解码失败」。
服务间 RPC 至少叠三层:契约(IDL) → 序列化 → 传输成帧(framing)。现场里常见两种捆法:
| 你看到的现象 | 常见真相 |
|---|---|
| 「Protobuf 都上了,怎么还乱码」 | 只换了序列化或生成物,Framed 与 Header 帧仍不一致 |
| 灰度一切客户端就报错 | 一半连接走长度前缀,一半走带 meta 的 Header 帧,无探测、无回滚 |
| tracing 字段塞进每个业务 struct | 治理信息该走帧 meta,却污染了业务 DTO |
| 对外要接 Java/Go/Node,内网却锁死自研帧 | 跨语言成本在成帧层爆发,而不在 IDL 层 |
先把「包从 TCP 里怎么切出来、meta 放哪」讲清楚,再谈换 Thrift、换 Protobuf,顺序才对。
心智模型:快递箱与面单
Framed 像只印重量的纸箱;自定义 Header 帧像面单上多印单号、线路、加急标——分拣不用先拆箱。
- Framed(长度前缀):先读长度,再读固定长度的 body。实现简单,和经典 Thrift 栈里常见的 Framed Transport 同一思路。
- 自定义 Header 协议:在帧里单独划一块 元数据平面(tracing、路由、超时、自定义 header),业务 payload 保持「货」,治理信息保持「面单」。
类比局限:这套比喻解释 meta 放哪、为什么别塞进 DTO;解释不了 HTTP/2 多路复用、流控、HPACK 的全部细节——那些属于模式 D 的另一套书。
精确定义:成帧在栈里管什么
成帧(framing)回答:从字节流里切出哪一段是「一帧」、帧里 meta 与 body 的边界在哪;它不替代 IDL,也不替代序列化格式。
| 层 | 管什么 | 典型选型(教学示意) |
|---|---|---|
| 契约 | 方法名、字段、版本 | Thrift / Protobuf IDL |
| 序列化 | 结构体 ↔ 字节 | Thrift binary、Protobuf |
| 成帧 | 长度边界、帧头 meta、与对端对齐的 wire 形态 | Framed、header + body、HTTP/2 帧 |
| 传输 | 连接、TLS、背压 | TCP、TLS |
Framed 的常见形态是「长度前缀 + payload」:meta 要么塞进 payload(业务侧可见),要么走旁路(另一通道、另一字段),框架层往往没有统一的治理 header 槽位。
自定义 Header 帧(公开生态里如 Kitex 文档中的 TTHeader 类协议)则在帧结构里显式留出 header 区,便于 tracing、路由键、超时等与服务代码解耦——代价是绑定框架/方言,跨语言要对齐同一套 wire 文档。
HTTP/2 + gRPC 把成帧与多路复用交给标准栈:header 走 HPACK,body 走 DATA 帧;更重,但公开边界上工具链与互操作通常更省心。
业界模式对照
没有银弹:A 灵活易踩坑,B 简单少 meta,C 内网治理友好但锁定,D 标准栈适合跨语言与对外。
| 模式 | 做法 | 优点 | 代价 / 边界 |
|---|---|---|---|
| A. 裸流 / 自研粘包 | 应用自己切包 | 极灵活 | 难互操作;粘包/半包 bug 高发 |
| B. Framed 长度前缀 | 长度前缀 + payload | 实现简单;与 Thrift 经典栈契合 | 帧内 meta 受限;治理易污染业务 |
| C. 自定义 Header 帧 | 帧头承载治理字段 + body | tracing/路由与业务解耦 | 生态/框架绑定;跨语言对齐成本高 |
| D. HTTP/2 + gRPC | 标准多路复用 + header | 跨语言、观测与网关成熟 | 相对自研帧栈更重;治理靠标准扩展与约定 |
教学基线(条件句,非绝对):
- 内网 同构、高 QPS、框架自带 Header 帧且团队接受锁定 → 可重点调研 C。
- 多语言、公网或对外 API → 优先 D。
- 存量 Thrift 双端要从 B 迁到 C 时:客户端与服务端必须同一成帧协议;迁移窗口、开关与回滚按所用框架的公开文档来,别搞「一半 Framed、一半 Header」且无能力探测。
六条硬规则
下面几条删掉比喻后也应能单独复述——选型评审和同事拷问都靠它们。
- 传输成帧与 IDL 分轨选型:换 Protobuf / 换生成物 ≠ 自动换成 Header 帧;合同分开写、分开测。
- 双端必须同协议:只改客户端或只改服务端 → 常见结果是握手或解码失败;切流要有 特性开关 + 回滚路径。
- 治理字段优先走帧 meta,不要每个业务 struct 都长 tracing、路由、超时字段。
- 滚动发布要有兼容窗口或同发:先服务端还是先客户端,跟框架公开文档;禁止长时间 「一半 Framed、一半 Header」 且无版本探测。
- 性能数字以你自己的压测为准:延迟/QPS 对比只作示意,不抄营销表;成帧层差异常被序列化、连接池、业务逻辑淹没。
- 公开边界优先标准栈(D);内部同构可以选 C,但要书面接受 锁定成本(换语言、换框架、对接外部系统)。
一层示意栈
从上到下:业务 → 框架 → 成帧 → 序列化 → TCP/TLS;成帧这一层换错了,下面全对也白搭。
App handlers
→ RPC framework
→ Framing: Framed | CustomHeader | HTTP/2
→ Serialization: Thrift / Protobuf / …
→ TCP / TLS同一条调用链上,IDL 文档和成帧 wire 说明应该是两份能单独评审的 artifact——和 Thrift→Protobuf 分轨 里「先定契约、再定别的」是同一套分工习惯。
反模式
这些坑在灰度和「只改一端」时特别常见。
- 以为改了 IDL 或生成物,传输层就跟着换了。
- 客户端开 Header 帧、服务端仍默认 Framed(或反过来)。
- 把 tracing、路由键塞进每一个业务 DTO 字段,版本一升全链路改 struct。
- 上线前删了 Framed 路径,却没有 一键退回 Framed 的开关或配置。
- 用「我们内网永远同构」拒绝写 wire 文档——半年后人要接 Java 侧或对外 gRPC,成本在成帧层爆炸。
选型怎么拍板
内网同构 + 框架原生 Header 且接受锁定 → C;多语言/对外 → D;只修粘包、暂无治理 → B 可过渡;任何迁移都要双端同帧 + 可回滚。
| 你的约束 | 更常先看的模式 | 别忘了的副作用 |
|---|---|---|
| 内网同构、框架已提供 Header 帧(如公开文档中的 TTHeader 类) | C | 跨语言、离框对接外部时要补 wire 与 SDK |
| 多语言、公网、要标准观测/网关 | D | 栈更重;仍要在 IDL 与 deadline 约定上和团队对齐 |
| 存量 Thrift、先对齐双端、治理需求还不强 | B 过渡 | meta 仍易进 payload;别把它当成长期治理方案 |
| 从零自研切包 | 尽量避免 A | 互操作与测试矩阵成本极高 |
和系列怎么读:契约与序列化分轨见 IDL:Thrift 换 Protobuf 怎么分轨——先定 IDL/序列化,再定本稿的成帧;两文合在一起,才是一套完整的 RPC wire 选型清单。
带走三句:
- 成帧 ≠ IDL ≠ 序列化,三条轨道分开选、分开测。
- Framed 省事先对齐双端;Header 帧省 DTO 污染但要付生态锁定。
- 对外与多语言默认往标准栈(gRPC/HTTP/2)靠;内网同构再评估框架自带 Header 帧。