
Hello,我是小兔大白糖。 「地址 / 标题模糊搜一下」——第一反应常是 %keyword% 或 $regex。数据一涨就全表扫、普通索引帮不上、超时开始刷屏。
写成这篇,给要做文档库文本检索选型调研的初中级后端同学:公开能力里还有 text index + $text(词项匹配 + 相关性评分);再往上是 专用搜索引擎 / 托管全文(可调分析器、同义词、规模)。目标是带走选型心智模型,不是某集合的建索引操作手册。
说明:MongoDB
$text/ text index、正则、外部搜索(含托管全文)均为公开举例;模式 A/B/C 是分析框架,不是某厂 SLA。语言与分词行为因引擎 / 版本而异,文中标示意。公开文档里经典$text多词默认为词项间 OR(短语 / 否定另有语法);经典语言列表偏若干语系 +none——中文任意子串常不满足「内置 text ≈ contains」幻想,必须抽样验收。同站分工:索引归属 管谁建索引;慢查询审计 管怎么量——本文钉选哪种搜索合同。
估计阅读时间:10 分钟
目录
为什么现在要关心
硬规则一句话:前导通配的正则 ≈ 扫库候选;别把它当默认「搜索」方案。
删掉比喻之后,你仍应能对同事复述这六条:
- 前导通配正则 ≈ 扫库候选:
$regex/LIKE %x%很难吃到普通 B-tree;规模一上来就变成超时工厂。 - text index 是 DDL:走迁移 / infra,不塞启动 Ensure(见索引归属文)。
$text换的是「词项匹配 + 可评分」,不是任意子串contains的万能替代。- 相关性排序用
textScore(或引擎等价分);再叠业务次级排序要写进合同。 - 多语言 / 同义词 / 拼写容错超出内置 text 边界时,上专用搜索,别硬拧正则。
count与find同一过滤器:大结果集 count 也要有超时与降级(估值 / 截断)。
心智模型:放大镜、主题词卡片、独立检索室
主比喻:三种找书方式,对应三种合同。
| 类比 | 含义 |
|---|---|
| 用放大镜逐页找「含某串」的字 | 前导 % / 无锚正则 |
| 图书馆主题词卡片 | text index + $text |
| 独立检索室(分词器、同义词表、可调相关性) | 专用搜索 / 托管全文 |
类比局限:这三把尺子解释选哪份搜索合同;解释不了具体业务字段权重表,也解释不了你们产品对「子串命中」的承诺能不能改。
精确定义:三种合同
先问产品到底要「任意子串」还是「词项 / 相关性」;合同没定,技术选型只是在赌运气。
| 概念 | 人话 | 边界(公开可核对方向) |
|---|---|---|
| 正则 / like 子串 | 在字段值里找连续字符片段 | 前导通配通常吃不到普通索引;适合极小库或已有前缀索引的前缀匹配 |
text index + $text | 对已建 text 索引的字段做词项检索,并可拿 textScore | 需要先有 text index;一个集合至多一个 text index(可盖多字段);默认按词项组合匹配,不是任意子串;default_language 影响停用词与词干 |
| 专用搜索 | 独立分析器、同义词、可调相关性、常可多索引 | 双写 / 同步管道;运维与一致性税;能力上限更高 |
两处容易混称(写进笔记里):
- 查询算子是
$text;里面的检索字符串字段叫$search。别和聚合里托管全文的$searchstage 当成同一个东西。 - 若托管全文分析器覆盖 CJK,那是模式 C 能力,不要假装「经典
$text已经等于中文子串搜索」。
问题空间:本地绿、生产红
先问「我手里的症状在控诉哪份合同」;答错题,加字段进 text 只会更慢。
| 你看到的 | 常见真相 |
|---|---|
| 搜索 P95 崩 | 正则无法用 B-tree;或 text 未建 / 查询没走 $text |
| 「contains 中文地址」结果怪 | 分词 / language 与预期不符;误以为 $text = 子串 |
| 本地绿、生产红 | 索引未迁;应用账号无权限;或排序未用 textScore |
| 越加字段进 text 越慢 | 索引膨胀与写放大;应裁剪可搜字段集合 |
| count 单独超时 | 大结果集 count 与 find 同贵;缺超时 / 降级 |
证据怎么诚实量,见慢查询审计文。
业界常见模式对照
调研默认:先问是否真要子串;词项检索试 B;产品要「搜索体验」再 C。A 仅限极小库或前缀匹配。
| 模式 | 做法 | 优点 | 代价 / 边界 |
|---|---|---|---|
| A. 正则 / like 子串 | $regex / LIKE %x% | 实现直觉;任意子串语义直观 | 难用普通索引;易全扫;规模不友好 |
B. 内置 text index + $text | DDL 建多字段 text;查询 $text;排序 textScore | 中小规模、与库一体;有相关性分 | 分词 / 语言边界;非任意子串;每集合一个 text index;功能上限 |
| C. 专用搜索 | ES / OpenSearch / 托管全文等 | 分析器、同义词、规模、可调相关性 | 双写 / 同步;运维与一致性税;团队要会排「索引滞后」 |
推荐 B 时必须写清副作用:写路径多一份 text 索引维护;查询语义从「contains」变成「词项合同」——产品文案若仍承诺「输入任意片段必出」,你会在验收抽样里翻车。
推荐 C 时必须写清副作用:同步延迟窗口内「库里有、搜不到」;回滚要同时想主存与搜索侧。
可复述清单与伪流程
目标态:可搜字段有清单;text 索引归 DDL;查询带评分与超时;子串预期抽样验收。
- 定义可搜字段集合(标题、摘要、地址部件…),避免整文档扔进 text。
- DDL 建 text index(
default_language按产品;不确定就先标示意并抽样)。 - 应用不在启动 Ensure 建索引;只假设已存在。
- 查询用
$text;投影 / 排序带textScore,再叠业务次级键(如created_at)。 - 分页 + 查询超时(驱动参数名因栈而异,示意如
maxTime);count 失败有降级(估值 / 「很多」占位)。 - 观测:搜索慢查询 shape、空结果率、超时率。
- 验收:抽样「子串预期」是否被 text 满足;不满足则改合同或上 C。
- 禁止默认
$regex上生产热路径。
伪流程(教学示意,非某驱动 API):
search(q, page):
filter = { $text: { $search: q } }
sort = [textScore desc, created_at desc]
return find(filter, sort, limit, skip) with maxTime教学级 find 形状(脱敏):
// 教学示意:需已有 text index;排序用 textScore
db.docs.find(
{ $text: { $search: q } },
{ score: { $meta: "textScore" }, title: 1 }
).sort({ score: { $meta: "textScore" }, created_at: -1 })反模式
下面五条,删掉场景名之后仍应能当评审红线念。
- 热路径
$regex无锚点当搜索——规模上来就是扫库。 - 启动 Ensure 建 text index——多副本与权限面;归索引归属红线。
- 把所有字符串字段塞进一个 text index——写放大 + 噪声命中;每集合还只有一个 text index 名额。
- 排序忘了
textScore——结果「像随机」,产品以为搜索坏了。 - 用内置 text 硬撑电商级搜索体验,却不接受分词 / 语言边界——验收必翻车;该上 C 或改承诺。