Demo / Mock 造数三路径:API、直写库与关系图优先

Demo / Mock 造数三路径:API、直写库与关系图优先

Hello,我是小兔大白糖。 新产品演示、CRM 看板、压测前灌底数——现场最常卡在同一句:「要看起来像真的,但别把真用户捅进来。」写成这篇,给要做 Demo / Mock 造数选型 的初中级后端同学:不是某家仓库的灌数脚本说明,而是业界常见路径对比与可复述的硬规则。

说明:文中「用户 / 会话 / 消息 / 成员」只是教学实体;数字与配置均为脱敏示意。模式名(API / Bulk / Hybrid / Sanitized clone)是分析标签,不是某厂产品名。

估计阅读时间:8 分钟


目录


为什么现在要关心

造数选型看目标:验规则走 API;要速度与可控形状走直写;Demo 环境永远不接未脱敏生产副本。

关联数据一旦「看起来像真的」,选择就会拧成三股绳:

  1. 经公开 API 灌 vs 脚本直写库;
  2. 纯合成 vs 从脱敏生产样例变形;
  3. 量级上去之后的耗时、幂等、环境隔离。

用户、会话、消息、业务实体要互相指得上——字段随机好看,解决不了「列表空、详情 403、一登录就炸」。删掉后文表格,你仍应能复述:目标定路径、关系图优先、PII 不过线。


心智模型:片场置景

API 是演员按剧本走位;直写库是布景组摆道具;关系图是人物关系表——先钉谁和谁有关,再填台词。

片场:演员走位(API)vs 布景摆拍(bulk)
片场:演员走位(API)vs 布景摆拍(bulk) · 点击查看 SVG 原图
类比工程动作你买到的你可能买到的坑
演员走位调注册 / 建会话 / 发消息等 API校验、钩子、权限、副作用一起过慢、依赖服务就绪、撞限流
布景摆拍insert_many / COPY / bulk upsert快、形状可控、好算 ETA绕过不变量,摆出戏里不该有的状态
人物关系表先规划实体与边,再生成载荷Demo 故事能讲通只灌消息不灌成员 → 空列表 / 403

这个比喻管 「规则完整性 vs 灌数速度」 很顺手;管不了 具体库是否有触发器、CDC、异步索引——那些要在选型后单独立项断言。类比局限:布景摆拍解释「快」,解释不了你们业务里「写后必须发的那条事件」有没有被漏掉。


硬规则与边界

三条硬规则:无真实 PII;关系完整性优先于字段好看;路径按目标选,不是按手感选。

  1. Demo / 预发禁止真实 PII(个人身份信息)与未脱敏生产副本。 合成数据,或走正式脱敏管道后再导入。这条和可观测面红线同级——明文手机号/邮箱不该进 Demo 库,也不该进日志;可对照 PII 别进 Logs / URL / Error。
  2. 先定关系图再灌数。 外键、成员、会话边先钉牢;「昵称随机、文案好看」排后面。
  3. 选路径看目标。 要验收业务规则 → 经 API(或关键路径抽样走 API);要大体量底数与可控形状 → 直写 bulk,但仍须满足不变量,并用断言兜底。

「不变量」人话:库里允许出现的状态,业务层也认。直写若生成「从未注册设备的登录态」,Demo 一登录就炸——那不是数据「丰富」,是非法态。


业界常见造数模式

本地 / 预发 Demo 常见折中是混合:底数 bulk,关键路径抽样走 API;CI 冒烟用小规模 API;从不直接上未脱敏克隆。

灌数三路径:API 验规则、Bulk 求速度、混合折中
灌数三路径:API 验规则、Bulk 求速度、混合折中 · 点击查看 SVG 原图
模式做法优点代价更适用
A. 经 API调注册、建实体、发消息等公开接口完整校验、钩子、权限慢、依赖服务与限流验收业务正确性、CI 小规模冒烟
B. 直写 DB bulk批量 insert / COPY / upsert快、形状与分布可控易绕过不变量、漏副作用大体量 Demo / 压测底数
C. 混合主数据直写,关键路径抽样走 API速度与规则覆盖折中两套脚本、契约要对齐本地与预发 Demo 的常见默认
D. 脱敏克隆生产抽样 → 脱敏 → 导入分布真实合规与流水线成本重已有成熟脱敏平台时

有代价再说推荐: 选 A 就要接受灌数分钟级甚至小时级、以及依赖矩阵;选 B 就要接受「写后钩子可能没跑」、并为此加不变量检查;选 C 要维护两套入口,别让 bulk 形状与 API 形状漂移;选 D 前先问「脱敏平台是否已过合规」,没有平台就不要用「改几个字符的生产邮箱」冒充脱敏。

教学倾向(非强制):本地 / 预发 Demo 默认 C;CI 冒烟用小规模 A;从不把未脱敏 D 当捷径。


关系图先于字段随机

先实体、后边、再载荷;顺序反了,Demo 故事对不上,接口也会按「空成员」惩罚你。

先钉关系图:实体 → 边 → 载荷,再填随机字段
先钉关系图:实体 → 边 → 载荷,再填随机字段 · 点击查看 SVG 原图

推荐顺序(通用,不是某 schema):

  1. 实体 — 用户、代理、商品等可独立存在的节点;
  2. 边 — 会话、成员、关注、订单归属等「谁和谁有关」;
  3. 载荷 — 消息正文、备注、标签等可随机的字段。

只灌消息、不灌成员行,是现场最高频的空列表 / 详情 403 来源之一:读路径按成员过滤,布景组却只摆了台词板。


规模、种子与幂等

先算行数与 ETA;bulk 按批提交;固定种子让 Demo 话术可复述;用标签保证可续跑、可销毁。

教学向量级示意(脱敏,按你们实体改名即可):

config:
  users: 100–500
  edges_per_user: 1–3
  messages_per_edge: 5–20
→ 先估总行数与 ETA;bulk 按批 commit;幂等 key 支持断点续跑

三点值得单独钉:

点为什么不做会怎样
固定随机种子同一套话术对应同一批「角色」每次 Demo 故事对不上脚本
幂等 key / demo_tag可续跑、可按标签整批删除重跑翻倍;环境越灌越脏
批大小与提交节奏控制锁与 WAL / 复制延迟一次巨事务拖垮预发

类比局限:种子管「可复现故事」,解释不了「线上真实分布」——要真实分布,走正式脱敏管道,而不是把种子调大。


常见坑

多数翻车不是「 faker 库选错」,而是非法态、伪脱敏、关系残缺、无种子。

现象常见根因更好的默认
Demo 一登录就炸直写了从未注册设备 / 从未走过注册流的会话态登录态走 API,或直写后断言「可登录不变量」
合规 / 安全告警生产邮箱、手机「只改几个字符」仍可反推合成,或正式脱敏;禁止「差不多脱敏」
列表空、详情 403有消息无成员 / 无会话边关系图先于载荷
话术对不上数据无固定种子、每次全随机种子 + 少量具名角色实体
预发库越来越大不可销毁、无 demo_tag灌数带标签,销毁按标签

选型结论

带走五条就够开会用:

  1. 先写清目标 — 演示故事 / 规则验收 / 压测底数,三选一主导,再定 A/B/C/D。
  2. 关系图 + 种子 + 量级配置 — 先边后字段;故事可复述;ETA 先算再灌。
  3. 规则敏感用 API 或混合;量大用 bulk,并断言不变量 — 快不是免检通行证。
  4. PII 红线与日志红线一致 — Demo 库不进真实身份;详见 PII 三平面。
  5. 脚本可幂等、可销毁 — 续跑不翻倍,结束能按标签清场。

下次有人说「先随便灌点假数据」,你可以回一句:假数据可以假,关系和图上的合法态不能假。