历史存量回填别塞进增量 DAG:辅路与主车道分开跑

历史存量回填别塞进增量 DAG:辅路与主车道分开跑

Hello,我是小兔大白糖。 上周有同事把「补历史数据」直接挂进日常增量 DAG,结果在线窗口被拖死、K8s 配额打满——业务方问「为什么今天的增量还没跑完」,排障才发现是百万级存量和「只跟水位走」的增量挤在同一条调度链上。写成这篇,给要做历史回填 vs 增量管道选型、或要写进团队共识的后端同学。

估计阅读时间:8 分钟


先给结论

增量和存量回填可以复用同一套 parse/sync 算子,但调度、限速、断点、监控必须分开。业界稳妥基线是 模式 B:独立回填作业 + 复用核心逻辑,别把辅路工程车开进主车道。


为什么现在要分清这两件事

数据管道几乎都会拆成两块:

类型在干什么典型期望
增量(incremental)只处理「上次成功水位」之后的新事件或新行稳定 SLA、小批量、可预期延迟
存量回填(historical backfill)历史未处理、漏同步,或产品要求重算的全集吞吐优先、可限流、可中断续跑

现场最常见的误伤有三类:

  1. 把百万级存量塞进只为「今日增量」设计的调度任务 → 拖垮在线窗口、占满集群配额。
  2. 没有可靠断点:失败从头跑;或用 OFFSET 分页在「边读边写」时漂移,漏行或重复。
  3. 把「强制重算已完成」和「只补未完成」混为一谈,没有清晰的 force 合同,监控也分不清。

如果你只能带走一条:回填不是「增量跑久一点」,而是另一类作业的合同。


心智模型:主车道与施工辅路

可以把管道想成一条高速公路:

  • 主车道 = 增量:日更车流,要准点、要限峰。
  • 施工辅路 = 回填:运土、补路基,可以慢,但不能堵死主道。
增量主车道与存量回填辅路隔离
增量主车道与存量回填辅路隔离 · 点击查看 SVG 原图

辅路可以借用主道的「装卸工艺」(同一套 parse/sync 函数),但通行证、限速、施工时段必须单独发——对应独立 Job、独立配额、独立进度与告警。

类比局限:这套说法能讲清调度隔离和背压;它解释不了 exactly-once、跨库事务、以及「解析成功但未同步」的分布式幽灵状态的全部细节,那些要靠下面的硬规则和检查点设计补全。


精确定义与边界

增量水位(watermark / checkpoint)
表示「在线管道已承认处理到哪里」。回填默认不得偷偷改写这个指针;只有产品明确「重置水位」或运维执行受控的重置流程时,才动它。

选集(selection set)
每一批从哪拉数据必须写进合同:

  • 默认:未完成集合(未 parse、未 sync、或业务定义的「待补」)。
  • 显式开关(如 force_reparse):才扫「已完成但仍要重算」的子集。
    两套选集的 QPS、失败率、进度条应分开监控,别混在一张「增量健康」大盘里。

批次与背压
回填是长时间占用 CPU、连接、下游 API 的作业。需要「每批 N 条 + 批间间隔 + 有界内存」,而不是一次性把连接池和下游打满。

断点(durable checkpoint)
崩溃后能续跑而不是重扫全表。优先:稳定排序键 + seek(按 entity_id 或单调 cursor 往后捞);对在写入过程中会漂移的 OFFSET 分页保持警惕。

单批闭环
理想情况:同一批内 parse 与 sync 成对完成(或两阶段各有持久检查点),避免「解析了、没同步、又无观测」的中间态长期堆积。


业界模式对照

存量处理四种模式对照
存量处理四种模式对照 · 点击查看 SVG 原图
模式做法优点代价
A. 增量任务硬扛存量同一 DAG 步骤扫全表或超大窗口少维护一个入口拖死增量 SLA;难单独限流;故障面耦合
B. 独立回填 + 复用算子脚本/K8s Job 调同一 parse/sync 核心,自管 batch 与断点限流、断点、配额独立;在线与离线解耦两套入口都要测;文档要写清「何时走哪条」
C. 历史 key 灌进「伪增量」队列把存量当作消息灌进增量 topic下游消费逻辑统一污染增量语义;consumer lag 失真;难区分「真迟到」与「假历史」
D. 一次性离线批(Spark 等)大集群扫仓、入湖或入 serving吞吐高、适合超大规模与在线算子易逻辑漂移;成本高;上线窗口与对账成本大

教学基线:选 B。 复用核心逻辑,隔离调度与背压;A 适合「存量极小且一次性」的例外,C/D 各有场景但别当默认增量替身。


六条硬规则(写进设计评审也能用)

  1. 增量水位合同不变
    回填不得默认修改「上次成功 task / 水位」;重置必须是显式、可审计的操作。

  2. 选集明确,force 单独开关
    默认未完成;强制重算走独立 flag;监控与告警分轨。

  3. 批次 + 间隔 + 有界内存
    例如每批 1k 条(数字仅示意)、批间 sleep、批结束释放连接与大对象,避免 OOM 和连接池耗尽。

  4. 断点可恢复
    持久化游标或已处理 id 集合;崩溃后续跑。排序键 seek 优于脆弱 OFFSET。

  5. 单条失败不吞整批进度
    失败记集合、可重试;避免「整批 rollback 却丢 checkpoint」这种既没进度又没数据的局面。

  6. parse 与 sync 同批闭环(或分阶段检查点)
    每一阶段都要有可观测、可恢复的边界,别留长期「只 parse 不同步」的幽灵行。


示意流程(伪代码级,非某仓库实现)

回填选批解析同步与断点闭环
回填选批解析同步与断点闭环 · 点击查看 SVG 原图

下面是一条独立回填 Job 常见的控制流,算子名故意 generic:

load_checkpoint
→ select_batch(unprocessed, limit N)
→ parse_batch(keys)    # 与增量共用同一套核心
→ sync_batch(keys)
→ save_checkpoint + emit_metrics
→ sleep(interval)
→ loop until empty or deadline

增量 DAG 里通常没有这个 loop,或者只有「小窗口 catch-up」;不要把「全历史 while true」嵌进日更 DAG 的同一步。


反模式(架构评审里可直接标红)

  • 回填与增量共用连接池且无配额,回填一跑在线就超时。
  • checkpoint 只存在进程内存,Pod 重启等于白跑。
  • 策略写成「增量跑完再顺手全表扫一遍」——没有选集、没有断点、没有限流,本质是 A 模式裸奔。
  • 把回填进度写进增量 watermark,监控显示「已追平」,业务却仍在漏历史。
  • 用 consumer lag 当回填进度条(C 模式常见),无法回答「还有多少 entity 未补」。

选型怎么拍板

你的情况建议
有明显存量缺口,增量 SLA 紧独立回填 Job(B),与增量 DAG 并行但资源隔离
存量很小、偶发、可接受窗口拉长可临时抬高增量窗口或一次性开关,但仍要写清「非常态」并设上限
超大规模、与在线完全异构评估 D,但要投入对账与算子版本一致,防双轨逻辑
想「一个队列走天下」C 要单独论证 lag 语义与监控,别默认

另:入湖双消费组、CDC 旁路之类,解决的是「事件从哪来」;本稿说的是批处理回填作业与增量调度如何隔离——正交问题,别混在一个方案里一笔带过。相关入湖切流见 Kafka 旁路 Iceberg。


小结:可复述的五句话

  1. 增量跟水位,回填扫选集——合同不同,别共用一个 DAG 步骤扛全表。
  2. B 模式是默认:算子复用,调度、配额、断点、监控分开。
  3. 水位指针、force 选集、批间 sleep、持久 checkpoint——缺一条都会在生产里还账。
  4. OFFSET 分页、内存 checkpoint、lag 当进度,是高频踩坑 trio。
  5. 选型问一句:「存量跑满时,今天的增量还能不能准时?」 不能,就该上独立回填,而不是把辅路并到主车道。