Kafka 事件入湖:旁路 Connect Iceberg,双消费组对账再切流

Hello,我是小兔大白糖。 「把 Kafka 里的埋点写进湖仓」——很多人第一反应是改应用直连对象存储,或再写一个消费者落 Parquet。更稳、也更常见的拆法是:应用继续只生产 Kafka;入湖用 Kafka Connect Iceberg Sink;与线上实时 / OLTP 旁路用**不同 consumer group(消费组)**并行一段时间,对账后再关旧路径。
写成这篇,给要做事件入湖管道选型的初中级后端同学:不是某集群对接 runbook,而是业界常见的数据管道心智模型。
说明:文中的切换天数、分区字段、配置键名均为教学脱敏 / 示意。Iceberg Sink、catalog、对象存储 warehouse 以各开源项目与云厂商当前公开文档为准;不编造「某厂官方内部就是这样」。读完带走的是可复述合同,不是可粘贴的内部 YAML。
估计阅读时间:11 分钟
目录
为什么现在要关心
硬规则:入湖默认挂在 Kafka 旁路——业务不直写湖;湖路径与在线路径各用独立消费组,绝不能共用。
现场里常见误伤,几乎都来自「能写进去」却没签清合同:
| 你看到的现象 | 常见真相 |
|---|---|
| 业务服务开始依赖对象存储 SDK | 把存储扩缩、权限、重试塞进了 OLTP 路径 |
| 「切到湖了」线上实时断流 / 重复 | 两路径共用一个 consumer group,在抢同一份 offset |
| Bronze 表对不上查询 | 按库里的嵌套文档建表,而不是按 Kafka 线格式(wire format) |
| Connect 一开就建出怪表 | auto-create 打开,分析侧 DDL 与 connector 漂移 |
| 坏消息静默消失或整条任务卡死 | 没有 DLQ(死信队列),错误无处可查 |
| 关了旧 ingest,分析作业还在空转 | 「入湖成功」≠「下游调度已切完」 |
四条可复述硬规则:
- 生产方契约不变:服务只发 Kafka;不把对象存储 / Iceberg SDK 塞进业务写路径。
- 双 group 并行,绝不能共用:湖路径与线上路径各自独立 offset;共用 group = 抢消息。
- 表结构对齐线格式(JSON / Avro 等),不要对齐 OLTP 文档嵌套:迁移期最常见的 schema 翻车,来自「按库里的文档模型建表」。
- 先建表再开 connector;自动建表建议关:避免 Connect 自动建表与分析侧 DDL 漂移。
队列侧「至少一次 + 幂等」合同另见 /blog/fifo_queue_message_group_id/;本文钉的是流上两条消费路径怎么并行切流,不是 FIFO 分组键。
问题空间:三平面,不是一条写库函数
目标不是「多一个写 S3 的函数」,而是生产、在线消费、入湖三条合同分轨。
| 目标 | 常见错误拆法 | 更稳的拆法 |
|---|---|---|
| 事件进湖做分析 | 业务服务直写对象存储 / Iceberg | Producer → Kafka → Connect Sink → 表 |
| 不停机迁移 | 直接切掉旧消费者 | 双 consumer group 并行 + 对账窗口 |
| schema 正确 | 按 Mongo / 业务文档嵌套建表 | 按 Kafka 消息体建 Bronze(原始入湖层) |
| 失败可回滚 | 无 DLQ、无暂停手段 | DLQ + 可暂停 connector;旧路径可独活 |
三平面(教学用语,不是某厂产品名):
| 平面 | 职责 | 成功标准 |
|---|---|---|
| 生产平面 | 业务只保证「事件进 Kafka」 | 线格式稳定、可演进 |
| 在线消费平面 | 实时特征 / OLTP 旁路(旧路径可暂留) | 延迟与语义按在线合同 |
| 入湖平面 | Connect 独立 group 写 Bronze | 可查询、可对账、坏消息进 DLQ |
三平面可以并行,但offset 合同不同:在线路径回答「此刻业务要不要这条」;入湖路径回答「分析侧能不能事后重放这条」。绑成一个 group,就变成抢水。
心智模型:总管与两只水桶
主比喻:Kafka topic 像总管;两个 consumer group 像两只水桶——各记水位。
- 水从总管流出 → topic 里的消息。
- 每只桶自己刻水位线 → 各自的 consumer offset。
- 把两只桶绑成一只 → 共用 group → 变成抢水,不是「双写备份」。
Connect 是「按配置搬运的管道工」,不是业务服务里的第二个写库函数。它吃的是 connector 配置、插件版本与 catalog 权限;不吃「业务里再 import 一个 SDK」。
类比局限一句说清:水桶解释「独立 offset / 别抢消息」;解释不了 Iceberg 提交语义、catalog 一致性与查询引擎方言——那些以公开文档与引擎能力为准,不在本比喻里。
业界常见入湖模式
团队已有 Kafka、要少改业务、Bronze 以追加为主时,Connect Iceberg Sink 常是甜点——代价是运维 Connect / 插件 / IAM,而不是改业务代码。
| 模式 | 做法 | 优点 | 代价 / 边界 |
|---|---|---|---|
| A. 应用直写湖 | SDK 写对象存储 / 表 | 路径短、调试直观 | 业务耦合存储;扩缩、权限、重试进应用 |
| B. 自研 consumer 写 Parquet | 自管文件切分与提交 | 灵活;可深定制 | 要自建 exactly-once / 提交语义与运维面 |
| C. Kafka Connect Iceberg Sink(本文主线) | 独立 Connect 集群 + connector | 少改业务;配置驱动 | 运维 Connect、插件 pin、catalog / IAM |
| D. 流式引擎落湖 | Flink 等写 Iceberg | 能力强、变换丰富 | 团队与成本更重;别为「能写」默认上引擎 |
选型句:已有 Kafka + 要旁路入湖 + Bronze 以追加为主 → 优先评估 C;需要复杂流变换或强状态时再上 D;A 只适合原型或极窄路径,长期会把存储运维拖进业务。
Connect 路径仍是 at-least-once(至少一次) 常见语义:对账窗口要接受重复,下游用幂等键或去重视图消化——别把「Sink 跑起来了」听成 exactly-once。
切换节奏:可复述的合同
先 DDL、再 connector、再双写对账、最后关旧——顺序反了,回滚面最大。
教学向节奏(天数与字段名为示意,按你的延迟与数据量裁剪):
- Catalog / warehouse / 查询引擎就绪
公开能力示意:Glue 类或等价 catalog、对象存储上的 warehouse、Trino / Spark 等查询引擎能读同一 catalog。 - 先 DDL 建 Bronze
分区示意:day(event_time);列对齐 Kafka 线格式字段,而不是 OLTP 嵌套文档。 - Connect 集群 + Iceberg 插件
独立 consumer group;tasks.max不宜大于 topic 分区数(示意:任务数受分区上限约束,过大会空转)。 - DLQ topic
解析失败 / 写表失败进死信,而不是静默丢或无限卡住整条任务。 - 发样例 → 查询引擎可见 → lag / DLQ 健康
先证明「能查到、错误可观测」,再谈切流。 - 双写窗口
示意数天;抽样对账;接受 at-least-once 重复。 - 关旧 ingest
湖路径独活;旧 group 可保留一段时间作回滚保险。 - 回滚合同
暂停 / 删除 connector;旧消费路径仍可独活——这是切流前就要写进计划的,不是出事再想。
配置立场(教学):关闭自动建表(公开文档里常见为 auto-create / auto.create 一类开关,以你所用 Iceberg Sink 插件当前文档为准);schema 演进走显式 ALTER 或受控 evolve,避免「connector 先建、分析后改」双向漂移。
教学伪流程(脱敏,非某厂商 REST / 内部 API):
# 示意顺序,不是可执行脚本
prepare_catalog_and_warehouse()
ddl_create_bronze(align_to_kafka_wire_schema)
deploy_connect_plugin(pinned_version)
start_iceberg_sink(
topics=["events-ingest"], # 占位名
group_id="lake-ingest-v1", # 与在线 group 不同
dlq_topic="events-ingest-dlq",
auto_create=false
)
dual_run_window(days=N): # N 按对账需求
sample_reconcile(online_path, lake_path) # 接受重复
cutover_disable_old_ingest()
# 回滚:pause_or_delete_sink(); old_group 可独活代价先说清:双写窗口期间,存储与计算成本上升;对账要人时与抽样策略;Connect 集群本身也是故障面。换来的是业务代码少动、可回滚、可观测——不是「零成本切流」。
常见坑
从架构视角看,下面几条会把「旁路入湖」做成「抢消息」或「假 schema」。
-
两路径共用一个 consumer group
不是双写,是抢 offset。湖与在线必须各记水位。 -
按 OLTP 嵌套文档建 Iceberg 表
线格式是扁的 / 有明确字段集;文档模型是嵌套的。Bronze 跟 Kafka,不跟库里的「好看文档」。 -
Connect 自动建表与分析 DDL 不一致
两边各改各的,查询迟早翻车。先 DDL、关 auto-create。 -
无 DLQ
坏消息要么拖死任务,要么静默丢——排障都难。 -
未 pin 插件版本 / catalog 实现与查询引擎不一致
「能写入」不等于「Spark / Trino 用同一套元数据语义可读」。 -
对账期不够就关旧路径
切流合同缺了抽样窗口;出问题只剩猜。 -
把「入湖成功」当成「分析作业已切完」
下游调度、物化视图、报表任务是另一张清单——入湖只签「Bronze 可查」。
选型结论
- 入湖默认挂在 Kafka 旁路:业务只产事件;存储扩缩与权限不要进 OLTP 写路径。
- 双 consumer group + 对账窗口是迁移合同,不是可选项:共用 group = 抢消息;无对账 = 盲切。
- Bronze schema 跟线格式:别用库里的嵌套文档「翻译」成表。
- 先 DDL、关自动建表、必有 DLQ:可暂停 connector + 旧路径可独活,才算有回滚面。
- Connect 运维成本换的是少改业务:接受插件 pin、catalog 与 IAM 复杂度;需要复杂流变换再评估 Flink 等引擎。