
Hello,我是小兔大白糖。 Atlas 专用副本集黄灯超过一周:一台从节点卡在 RECOVERING,配置发布停在 UPDATING,业务读写却还在——排障到最后,往往不是「再点一次升级」,而是某台从节点已经掉出 oplog 窗口。
**oplog 被卷掉(oplog rollover)**指固定容量的 oplog 覆盖了落后从节点要接上的位点:增量追赶从此做不到,只能 initial sync(全量同步)或换节点;Atlas 用户通常还要点 Support 才能清掉卡住的变更。
心智模型:把 oplog 想成固定长度的环形录像带——新写入不断覆盖最老的一截。类比管「窗口会缩、位点会丢」;解释不了 Atlas 发布状态机,也不解释从节点应用有多慢。
写成这篇,给要在 MongoDB Atlas / 副本集上跑大批量写入、又要看清 RECOVERING 与 w=majority 边界的后端同学。下文时间线、容量与延迟是教学案例读数。English:Atlas secondary stuck in RECOVERING。
估计阅读时间:18 分钟
目录
- 一句话结论是什么?
- 影响面有多大?
- 时间线怎么串起来?
- 怎么发现的?
- 怎么排查?
- 根因是什么?
- 架构上发生了什么?
- 能做什么、不能做什么?
- Support 恢复之后做什么?
- 批量写入该怎么限速?
- 下次怎么查?
- 要记住哪几条?
1. 一句话结论是什么?
结论:快写让一台从节点掉出 oplog 窗口后,只能全量重建;升配修不好已经卷掉的历史。
持续、大批量的 upsert(有则更新、无则插入)让主节点写 oplog 的速度,超过其中一台从节点应用 oplog 的速度。这台从节点的复制延迟(replication lag)越拉越大,直到它要接上的那一段历史被新写入覆盖。增量追赶从此做不到,只能全量 initial sync。
全量重建慢或卡住,节点就一直停在 RECOVERING。Atlas 要等 3 台都健康才结束这次配置发布,所以集群会在 UPDATING(界面上是 “0 of 3 servers complete”)停很久——教学案例里超过一周。
应用还能读写,是因为主节点和另一台从节点是好的。容错只剩下「不能再坏一台」。
把规格从 M10 升到 M20 修不好已经掉出 oplog 的这台机器。它只能降低以后再遇到持续快写时走到同一步的概率:从节点追得动,oplog 能保住的时间通常也更长。真正卡住写入节奏的,是批次之间的间隔和延迟检查,不是单独把 write concern(写关注点)调高。
2. 影响面有多大?
| 方面 | 实际情况 |
|---|---|
| 可用性 | 主节点和那台健康从节点上,读和 majority 写都还在。 |
| 容错 | 一个有投票权的成员不可用。再坏一台就可能凑不齐多数。 |
| 集群变更 | 一直 UPDATING 时,发布、用故障切换做演练、改规格都不安全或做不了。 |
| 坏节点上的数据 | 教学案例里停在大约 15 天前(syncedTo 2026-10-27 16:30 HKT)。主节点上的数据没有因此丢。 |
| 自助处理 | Atlas 没有「重启这一台」或「强制 resync」按钮。 |
3. 时间线怎么串起来?
告警时间是 UTC,延迟读数是香港时间。下面按教学案例把信号串起来。
| 时间 | 信号 |
|---|---|
| 2026-10-26 | REPLICATION_OPLOG_WINDOW_RUNNING_OUT,窗口后来短暂恢复,告警关闭。 |
| 2026-10-27 16:30 HKT | 不健康从节点的 syncedTo 停在这里,之后的读数没有再往前。 |
| 2026-10-27 | 指标越限告警,随后关闭。 |
| 2026-11-03 | 副本集 HOST_DOWN 约 9 分钟,然后关闭。 |
| 2026-11-04 | oplog 窗口告警再次出现。 |
| 2026-11-09 | 界面仍是黄灯 / RECOVERING。API 状态 UPDATING。告警面板无 OPEN / TRACKING 项。磁盘大约用了一半。 |
| 2026-11-10 | 又一次 oplog 窗口告警。小版本从 8.0.36 变成 8.0.37,集群仍是 UPDATING。 |
| 2026-11-11 | 延迟:健康从节点 0 秒;不健康从节点大约 354 小时,状态仍是 RECOVERING。 |
4. 怎么发现的?
- Overview 一直是黄的。顶上两条:变更发布失败、稍后重试;以及
0 of 3 servers complete(在等 3 台变成 healthy,并在配置 MongoDB)。 - 成员列表里,主节点和一台从节点后来变绿;剩下一台一直是
RECOVERING。 - 早期三行都是黄的。那是整个集群停在
UPDATING,不是三台进程都死了。 - 常见误判是「先升 M10 → M20」。在对上磁盘、延迟和告警之前,升配只当作假设,不当作已经掉窗成员的修复。
5. 怎么排查?
5.1 Atlas 上能看到和看不到的
- Admin API:状态
UPDATING,规格仍是 M10,没有暂停。 - 排查当时告警面板没有 OPEN / TRACKING 项。这是变更流程卡住,不是当时正在报「磁盘满」或「主机宕机」。
- 已关闭告警把过程串起来了:oplog 窗口告急 → 短暂 HOST_DOWN → oplog 窗口再次告急。
- 集群
...菜单里有Test Resilience、暂停、删除。没有单节点重启,也没有 resync。 Test Resilience只把当前主节点踢下去做选举。官方前提是所有成员健康,且延迟小于 10 秒。它不会修RECOVERING。
5.2 复制延迟
能看到从节点复制信息的客户端读数(教学案例):
| 成员 | 当时角色 | syncedTo | 延迟 |
|---|---|---|---|
| node-a | SECONDARY | 2026-11-11(当时) | 0 秒 |
| node-b | PRIMARY | — | — |
| node-c | RECOVERING | 2026-10-27 16:30 HKT | 约 354 小时 |
健康成员上 dbStats:磁盘大约 33 GB / 60 GB(约 54%)。不是磁盘写满。
健康主节点上的 oplog,采样时大约还能覆盖 5–6 天。从节点停在 2026-10-27,已经在这段窗口外面,不可能再靠重放 oplog 接上。
能连上的成员上,自动化还有一个比「已成功应用的配置版本」更新的待应用版本。这和界面上的失败重试一致:Atlas 反复做 “configure MongoDB”,每轮都在等 3 台健康。
5.3 业务侧
可疑的写入是一次数百万行的 upsert(业务实体形态的文档,教学示意;UpdateOne + upsert,bulk_write 一批一批打)。没有一条慢日志能单独证明「就是这条命令把节点打死」。但它就是会在 M10 上快速灌满 oplog 的那种活:
- 每次 upsert 都是一条 oplog,哪怕内容差不多是覆盖写
- 紧循环不会等最慢的那台从节点
- M10 的磁盘 IOPS 和 CPU 决定从节点能应用多快
别的大批量 insert / update / delete 效果一样。问题不在 “upsert” 这三个字,而在 每秒 oplog 字节数和从节点应用速度。
5.4 排除掉的判断
| 判断 | 为什么对不上 |
|---|---|
| 磁盘满 | 健康成员大约只用了 54%。 |
| 三台都挂了 | 主节点和一台从节点还在服务;健康从节点延迟是 0。 |
| 在 Atlas 界面重启那一台 | Atlas 没有这个按钮(Cloud Manager 才有)。 |
Test Resilience | 只重启主节点,而且要求副本集本来就是健康的。 |
| 立刻升配就能修好 | 坏节点比 oplog 窗口大约落后 15 天。机器变大不会把已经覆盖掉的历史变回来。 |
| 现在 CPU 打满所以必须升配 | 卡住期间没有仍在 OPEN 的资源类告警。容量线索是历史上的 oplog 窗口告警,不是「先付钱再 resync」。 |
6. 根因是什么?
写入比某台从节点应用得更快
→ 这台的复制延迟变大
→ oplog 是固定容量的环,最老的记录被新记录覆盖
→ 落后的从节点找不到还能接上的 oplog 位点
→ 增量追赶做不到
→ 只能 initial sync(全量重建)或换掉这台机器
→ 重建慢,或者卡在重建里
→ 成员一直 RECOVERING
→ Atlas 发布要等 3 台都健康
→ 集群停在 UPDATING,失败了再重试oplog 被卷掉就是被覆盖,不是文件突然没了。新写入往一个有容量上限的集合里追加;顶满以后删掉最老的记录。**oplog 窗口(oplog window)**是剩下这些记录能覆盖的时钟时间。写得越快,同样的字节数能覆盖的时间越短,几天可以缩成几小时。
node-c 需要的记录一旦老过当前窗口,再等多久也接不上。Atlas 自动恢复走的是 initial sync。同步完不了,界面就停在 RECOVERING,发布就停在 0/3。
7. 架构上发生了什么?
正常时:客户端写主节点;两台从节点都追同一条 oplog,并且停在窗口里面。
掉窗后的坏状态:
8. 能做什么、不能做什么?
| 动作 | 结果 |
|---|---|
| 普通业务继续用这个集群 | 可以,只要主节点和那台健康从节点还在。不要再丢成员。 |
| 在 3 台都健康之前停下大批量 upsert | 要做。 再快写会把窗口缩得更短,可能把仅剩的那台健康从节点也甩出去。 |
Test Resilience | 不要点。工具不对,前提也不满足。 |
| 暂停或删除整个集群 | 不要拿来当修复。删除会拆掉这套部署。 |
| 现在把 M10 升到 M20 | 变不回已经被覆盖的 oplog。等副本集健康之后,可以单独评估要不要买余量。 |
让 Atlas Support 对 RECOVERING 成员做 resync 或替换,并清掉卡住的计划 | 必须。 |
给技术支持的模板
Subject: Stuck UPDATING — one member RECOVERING and outside the oplog window
Cluster: <project name> / <cluster name>
Tier: M10 dedicated, single-region, MongoDB 8.0, 3-node replica set
State: UPDATING for more than a week.
UI:
- "Deploying your changes failed; we will try again shortly."
- "0 of 3 servers complete (waiting for 3 servers to be healthy, configuring MongoDB)."
- Members: PRIMARY healthy, one SECONDARY lag 0, one member RECOVERING.
Replication:
- Healthy secondary syncedTo "now", lag 0s.
- RECOVERING member syncedTo 2026-10-27 16:30 HKT, about 354 hours behind.
- Sampled oplog window on the healthy primary was about 5–6 days, so incremental catch-up is impossible.
- Disk on a healthy member ~33GB / ~60GB. Not disk-full.
- No OPEN alerts at time of writing.
- Closed alerts: REPLICATION_OPLOG_WINDOW_RUNNING_OUT (Oct 26, Nov 4, Nov 10), HOST_DOWN x3 on Nov 3.
Please:
1. Force a clean initial sync or replace the RECOVERING member.
2. Clear the stuck UPDATING / failed deploy so the cluster returns to IDLE with 3 healthy members.
3. Do not treat an M10→M20 upgrade as the fix for this member. A tier change does not replay overwritten oplog.
We will keep large bulk writers paused until the set is healthy.9. Support 恢复之后做什么?
- API 状态不再是
UPDATING,界面是一台主节点加两台从节点,没有RECOVERING。 - 两台从节点延迟都接近 0,
syncedTo是当前时间。 - 然后再跑批量任务,按第 10 节限速。
- 下一次数百万行的任务要不要 M20、要不要加大 oplog,单独决定。那是预防,不是掉窗成员的修复。
升配对以后有用,因为:
- 更多 CPU、内存和磁盘 IOPS,从节点应用更快
- 磁盘变大通常带来更大的默认 oplog,同样的落后更不容易掉出窗口
这不是保险。循环够紧,M20 一样能被写穿。真正的控制是限速和看延迟。
10. 批量写入该怎么限速?
10.1 w=2 管什么、不管什么
WriteConcern(w=2) 的意思是:这次写入要有 两个 数据节点确认(主节点 + 任意一台从节点)才返回。wtimeout 是这个等待的上限。
在 3 节点副本集上,这不等于「每台从节点都应用完才返回」。
| 设置 | 保证 | 不保证 |
|---|---|---|
w=1 | 主节点已经写下。最快。 | 确认过的数据当时可能只在主节点上。 |
w=2 或 w=majority(3 个投票节点时,多数就是 2) | 确认时已经有两份。坏一台还在。 | 更慢的那台从节点。快的那台确认后调用就返回,慢的那台仍可能掉出 oplog。 |
wtimeout | 客户端超时失败,而不是永远卡住。 | 超时的这一批并没有按该 write concern 落稳,必须重试或记失败。 |
所以只设 w=2、BATCH_SIZE=2000、批次之间不睡觉,调的是确认级别,不是复制延迟的刹车。只要还有一台从节点是健康的,bulk_write 等它确认完就返回,生病的那台不参与这个等待。
在线写入默认用 w=majority。批量任务也用它,另外加上批次间隔和延迟门槛。
10.2 有间隔、可重试的 upsert
要满足:
- 过滤条件稳定(稳定业务键,示意用
entity_id),重试不会插出第二行 ordered=False,批里坏了一条不要挡住后面的- 看
BulkWriteError的内容,不要只靠「没抛异常」 - 批和批之间暂停
- write concern 超时就退避,不要马上再打下一组 2000 条
- 延迟或 oplog 窗口越过预算,而且短时间等不回来,就停任务
BATCH_SIZE=500、PAUSE_SECONDS=0.5 是 M10 上的起点,不是万能常数。延迟一直接近 0 再加大批次。数百万行要能从上次成功的键接着跑。
import time
from pymongo import MongoClient, UpdateOne
from pymongo.errors import AutoReconnect, BulkWriteError, NetworkTimeout
from pymongo.write_concern import WriteConcern
# 小规格专用集群先保守。只有从节点延迟接近 0、
# oplog 窗口大于 24 小时,再加大批次。
BATCH_SIZE = 500
PAUSE_SECONDS = 0.5
MAX_RETRIES = 5
client = MongoClient(
"mongodb+srv://<user>:<password>@<cluster-host>/?retryWrites=true&w=majority",
serverSelectionTimeoutMS=10000,
)
collection = client["<database>"].get_collection(
"<collection>",
write_concern=WriteConcern(w="majority", wtimeout=10000),
)
def flush(operations: list) -> None:
"""写一批。副本集来不及确认时退避,而不是继续灌。"""
delay = PAUSE_SECONDS
for attempt in range(1, MAX_RETRIES + 1):
try:
collection.bulk_write(operations, ordered=False)
time.sleep(PAUSE_SECONDS)
return
except BulkWriteError as exc:
# write concern 超时:主节点上可能已经有了。
# 用稳定业务键做 upsert,重试是安全的。
# 校验失败这类错误在 exc.details 里看,不要无限重试。
write_concern_error = (exc.details or {}).get("writeConcernError")
if write_concern_error and attempt < MAX_RETRIES:
time.sleep(delay)
delay = min(delay * 2, 30)
continue
raise
except (AutoReconnect, NetworkTimeout):
if attempt == MAX_RETRIES:
raise
time.sleep(delay)
delay = min(delay * 2, 30)
def iter_documents():
"""产出源数据。调用方自己记检查点,中断后能续跑。"""
raise NotImplementedError
pending = []
for item in iter_documents():
pending.append(
UpdateOne(
{"entity_id": item["entity_id"]},
{"$set": item},
upsert=True,
)
)
if len(pending) >= BATCH_SIZE:
flush(pending)
pending = []
if pending:
flush(pending)10.3 延迟门槛
业务账号通常不能跑 replSetGetStatus。两条路:
- 人看或监控账号看(Atlas → Metrics → Replication Lag 和 Oplog Window):
// 在主节点上,账号要有读副本集状态的权限
db.adminCommand({ replSetGetStatus: 1 })
// 用每台从节点的 optimeDate 和主节点比
// 也可以:rs.printSecondaryReplicationInfo()- 任务规则: 每一批或每 N 批之前,如果最大从节点延迟超过 30 秒,或 oplog 窗口不到 24 小时,就等到恢复或直接停。任一成员是
RECOVERING时,不要启动数百万行的任务。
下面是这个规格上的起点,要用真实延迟曲线再改:
| 信号 | 继续 | 放慢 | 停下 |
|---|---|---|---|
| 最大从节点延迟 | 不到 5 秒 | 5–30 秒 | 超过 30 秒,或有成员不是 SECONDARY/PRIMARY |
| oplog 窗口 | 超过 48 小时 | 24–48 小时 | 不到 24 小时 |
| 成员状态 | 1 主 + 2 从 | — | 出现 RECOVERING / DOWN |
10.4 oplog 容量
专用集群可以在配置里把 oplog 调大。oplog 更大占用磁盘,从节点可以离线更久而不必全量同步。它不会让从节点应用变快。改之前要有空闲磁盘(教学案例里大约用了一半,有一点余量,不是无限)。Atlas 上这项设置的名字以当前界面为准;默认一般是磁盘的一个百分比。
11. 下次怎么查?
- Overview 顶栏:发布失败、
0 of N、在等 healthy。 - 成员状态:集群还在
UPDATING时,不要把「三行都黄」当成「三台都死了」。 - 看每台从节点的延迟,不要只看主节点的 operations 图。
- 拿 oplog 窗口去比落后成员的
syncedTo。落后时间大于窗口,就只剩 initial sync。 - 看延迟正在变大那段时间的磁盘、CPU、IOPS,以及已关闭的
REPLICATION_OPLOG_WINDOW_RUNNING_OUT/HOST_DOWN。 - 当时是谁在写(批量 upsert、回填、迁移),批次多大,批次之间睡不睡。
- 然后再选:等它自己追上、找 Support 做 resync,或者为下一次运行加容量。
12. 要记住哪几条?
- 主节点是绿的,不等于副本集健康。要看每台从节点的延迟和 oplog 窗口。
- 掉出 oplog 之后,增量复制这条路就断了。修复是 initial sync 或换节点,Atlas 用户自己点不了。
w=majority/w=2保护的是「已确认的写入」。它不负责把最慢的从节点留在窗口里。- 批量 upsert 要限速:批次大小、间隔、超时退避、延迟和窗口门槛。
- 升配降低再发生的概率。它修不回接上位点已经没了的那台。
- 有成员
RECOVERING时,不要再跑全表 upsert。先保住还跟得上的那台从节点。