Atlas 从节点 oplog 被卷掉后一直 RECOVERING

Atlas 从节点 oplog 被卷掉后一直 RECOVERING

Hello,我是小兔大白糖。 Atlas 专用副本集黄灯超过一周:一台从节点卡在 RECOVERING,配置发布停在 UPDATING,业务读写却还在——排障到最后,往往不是「再点一次升级」,而是某台从节点已经掉出 oplog 窗口。

**oplog 被卷掉(oplog rollover)**指固定容量的 oplog 覆盖了落后从节点要接上的位点:增量追赶从此做不到,只能 initial sync(全量同步)或换节点;Atlas 用户通常还要点 Support 才能清掉卡住的变更。

心智模型:把 oplog 想成固定长度的环形录像带——新写入不断覆盖最老的一截。类比管「窗口会缩、位点会丢」;解释不了 Atlas 发布状态机,也不解释从节点应用有多慢。

写成这篇,给要在 MongoDB Atlas / 副本集上跑大批量写入、又要看清 RECOVERING 与 w=majority 边界的后端同学。下文时间线、容量与延迟是教学案例读数。English:Atlas secondary stuck in RECOVERING。

估计阅读时间:18 分钟

目录


1. 一句话结论是什么?

结论:快写让一台从节点掉出 oplog 窗口后,只能全量重建;升配修不好已经卷掉的历史。

持续、大批量的 upsert(有则更新、无则插入)让主节点写 oplog 的速度,超过其中一台从节点应用 oplog 的速度。这台从节点的复制延迟(replication lag)越拉越大,直到它要接上的那一段历史被新写入覆盖。增量追赶从此做不到,只能全量 initial sync。

全量重建慢或卡住,节点就一直停在 RECOVERING。Atlas 要等 3 台都健康才结束这次配置发布,所以集群会在 UPDATING(界面上是 “0 of 3 servers complete”)停很久——教学案例里超过一周。

应用还能读写,是因为主节点和另一台从节点是好的。容错只剩下「不能再坏一台」。

把规格从 M10 升到 M20 修不好已经掉出 oplog 的这台机器。它只能降低以后再遇到持续快写时走到同一步的概率:从节点追得动,oplog 能保住的时间通常也更长。真正卡住写入节奏的,是批次之间的间隔和延迟检查,不是单独把 write concern(写关注点)调高。


2. 影响面有多大?

方面实际情况
可用性主节点和那台健康从节点上,读和 majority 写都还在。
容错一个有投票权的成员不可用。再坏一台就可能凑不齐多数。
集群变更一直 UPDATING 时,发布、用故障切换做演练、改规格都不安全或做不了。
坏节点上的数据教学案例里停在大约 15 天前(syncedTo 2026-10-27 16:30 HKT)。主节点上的数据没有因此丢。
自助处理Atlas 没有「重启这一台」或「强制 resync」按钮。

3. 时间线怎么串起来?

告警时间是 UTC,延迟读数是香港时间。下面按教学案例把信号串起来。

时间信号
2026-10-26REPLICATION_OPLOG_WINDOW_RUNNING_OUT,窗口后来短暂恢复,告警关闭。
2026-10-27 16:30 HKT不健康从节点的 syncedTo 停在这里,之后的读数没有再往前。
2026-10-27指标越限告警,随后关闭。
2026-11-03副本集 HOST_DOWN 约 9 分钟,然后关闭。
2026-11-04oplog 窗口告警再次出现。
2026-11-09界面仍是黄灯 / RECOVERING。API 状态 UPDATING。告警面板无 OPEN / TRACKING 项。磁盘大约用了一半。
2026-11-10又一次 oplog 窗口告警。小版本从 8.0.36 变成 8.0.37,集群仍是 UPDATING。
2026-11-11延迟:健康从节点 0 秒;不健康从节点大约 354 小时,状态仍是 RECOVERING。

4. 怎么发现的?

  1. Overview 一直是黄的。顶上两条:变更发布失败、稍后重试;以及 0 of 3 servers complete(在等 3 台变成 healthy,并在配置 MongoDB)。
  2. 成员列表里,主节点和一台从节点后来变绿;剩下一台一直是 RECOVERING。
  3. 早期三行都是黄的。那是整个集群停在 UPDATING,不是三台进程都死了。
  4. 常见误判是「先升 M10 → M20」。在对上磁盘、延迟和告警之前,升配只当作假设,不当作已经掉窗成员的修复。

5. 怎么排查?

5.1 Atlas 上能看到和看不到的

  • Admin API:状态 UPDATING,规格仍是 M10,没有暂停。
  • 排查当时告警面板没有 OPEN / TRACKING 项。这是变更流程卡住,不是当时正在报「磁盘满」或「主机宕机」。
  • 已关闭告警把过程串起来了:oplog 窗口告急 → 短暂 HOST_DOWN → oplog 窗口再次告急。
  • 集群 ... 菜单里有 Test Resilience、暂停、删除。没有单节点重启,也没有 resync。
  • Test Resilience 只把当前主节点踢下去做选举。官方前提是所有成员健康,且延迟小于 10 秒。它不会修 RECOVERING。

5.2 复制延迟

能看到从节点复制信息的客户端读数(教学案例):

成员当时角色syncedTo延迟
node-aSECONDARY2026-11-11(当时)0 秒
node-bPRIMARY——
node-cRECOVERING2026-10-27 16:30 HKT约 354 小时

健康成员上 dbStats:磁盘大约 33 GB / 60 GB(约 54%)。不是磁盘写满。

健康主节点上的 oplog,采样时大约还能覆盖 5–6 天。从节点停在 2026-10-27,已经在这段窗口外面,不可能再靠重放 oplog 接上。

能连上的成员上,自动化还有一个比「已成功应用的配置版本」更新的待应用版本。这和界面上的失败重试一致:Atlas 反复做 “configure MongoDB”,每轮都在等 3 台健康。

5.3 业务侧

可疑的写入是一次数百万行的 upsert(业务实体形态的文档,教学示意;UpdateOne + upsert,bulk_write 一批一批打)。没有一条慢日志能单独证明「就是这条命令把节点打死」。但它就是会在 M10 上快速灌满 oplog 的那种活:

  • 每次 upsert 都是一条 oplog,哪怕内容差不多是覆盖写
  • 紧循环不会等最慢的那台从节点
  • M10 的磁盘 IOPS 和 CPU 决定从节点能应用多快

别的大批量 insert / update / delete 效果一样。问题不在 “upsert” 这三个字,而在 每秒 oplog 字节数和从节点应用速度。

5.4 排除掉的判断

判断为什么对不上
磁盘满健康成员大约只用了 54%。
三台都挂了主节点和一台从节点还在服务;健康从节点延迟是 0。
在 Atlas 界面重启那一台Atlas 没有这个按钮(Cloud Manager 才有)。
Test Resilience只重启主节点,而且要求副本集本来就是健康的。
立刻升配就能修好坏节点比 oplog 窗口大约落后 15 天。机器变大不会把已经覆盖掉的历史变回来。
现在 CPU 打满所以必须升配卡住期间没有仍在 OPEN 的资源类告警。容量线索是历史上的 oplog 窗口告警,不是「先付钱再 resync」。

6. 根因是什么?

写入比某台从节点应用得更快
        → 这台的复制延迟变大
        → oplog 是固定容量的环,最老的记录被新记录覆盖
        → 落后的从节点找不到还能接上的 oplog 位点
        → 增量追赶做不到
        → 只能 initial sync(全量重建)或换掉这台机器
        → 重建慢,或者卡在重建里
        → 成员一直 RECOVERING
        → Atlas 发布要等 3 台都健康
        → 集群停在 UPDATING,失败了再重试

oplog 被卷掉就是被覆盖,不是文件突然没了。新写入往一个有容量上限的集合里追加;顶满以后删掉最老的记录。**oplog 窗口(oplog window)**是剩下这些记录能覆盖的时钟时间。写得越快,同样的字节数能覆盖的时间越短,几天可以缩成几小时。

node-c 需要的记录一旦老过当前窗口,再等多久也接不上。Atlas 自动恢复走的是 initial sync。同步完不了,界面就停在 RECOVERING,发布就停在 0/3。

根因链:快写压垮从节点应用 → oplog 位点被覆盖 → RECOVERING → Atlas UPDATING
根因链:快写压垮从节点应用 → oplog 位点被覆盖 → RECOVERING → Atlas UPDATING · 点击查看 SVG 原图

7. 架构上发生了什么?

正常时:客户端写主节点;两台从节点都追同一条 oplog,并且停在窗口里面。

健康副本集:主节点追加 oplog,两台从节点都在窗口内
健康副本集:主节点追加 oplog,两台从节点都在窗口内 · 点击查看 SVG 原图

掉窗后的坏状态:

坏状态:一台从节点掉出 oplog 窗口,停在 RECOVERING
坏状态:一台从节点掉出 oplog 窗口,停在 RECOVERING · 点击查看 SVG 原图

8. 能做什么、不能做什么?

动作结果
普通业务继续用这个集群可以,只要主节点和那台健康从节点还在。不要再丢成员。
在 3 台都健康之前停下大批量 upsert要做。 再快写会把窗口缩得更短,可能把仅剩的那台健康从节点也甩出去。
Test Resilience不要点。工具不对,前提也不满足。
暂停或删除整个集群不要拿来当修复。删除会拆掉这套部署。
现在把 M10 升到 M20变不回已经被覆盖的 oplog。等副本集健康之后,可以单独评估要不要买余量。
让 Atlas Support 对 RECOVERING 成员做 resync 或替换,并清掉卡住的计划必须。

给技术支持的模板

Subject: Stuck UPDATING — one member RECOVERING and outside the oplog window

Cluster: <project name> / <cluster name>
Tier: M10 dedicated, single-region, MongoDB 8.0, 3-node replica set
State: UPDATING for more than a week.

UI:
- "Deploying your changes failed; we will try again shortly."
- "0 of 3 servers complete (waiting for 3 servers to be healthy, configuring MongoDB)."
- Members: PRIMARY healthy, one SECONDARY lag 0, one member RECOVERING.

Replication:
- Healthy secondary syncedTo "now", lag 0s.
- RECOVERING member syncedTo 2026-10-27 16:30 HKT, about 354 hours behind.
- Sampled oplog window on the healthy primary was about 5–6 days, so incremental catch-up is impossible.
- Disk on a healthy member ~33GB / ~60GB. Not disk-full.
- No OPEN alerts at time of writing.
- Closed alerts: REPLICATION_OPLOG_WINDOW_RUNNING_OUT (Oct 26, Nov 4, Nov 10), HOST_DOWN x3 on Nov 3.

Please:
1. Force a clean initial sync or replace the RECOVERING member.
2. Clear the stuck UPDATING / failed deploy so the cluster returns to IDLE with 3 healthy members.
3. Do not treat an M10→M20 upgrade as the fix for this member. A tier change does not replay overwritten oplog.

We will keep large bulk writers paused until the set is healthy.

9. Support 恢复之后做什么?

  1. API 状态不再是 UPDATING,界面是一台主节点加两台从节点,没有 RECOVERING。
  2. 两台从节点延迟都接近 0,syncedTo 是当前时间。
  3. 然后再跑批量任务,按第 10 节限速。
  4. 下一次数百万行的任务要不要 M20、要不要加大 oplog,单独决定。那是预防,不是掉窗成员的修复。

升配对以后有用,因为:

  • 更多 CPU、内存和磁盘 IOPS,从节点应用更快
  • 磁盘变大通常带来更大的默认 oplog,同样的落后更不容易掉出窗口

这不是保险。循环够紧,M20 一样能被写穿。真正的控制是限速和看延迟。


10. 批量写入该怎么限速?

10.1 w=2 管什么、不管什么

WriteConcern(w=2) 的意思是:这次写入要有 两个 数据节点确认(主节点 + 任意一台从节点)才返回。wtimeout 是这个等待的上限。

在 3 节点副本集上,这不等于「每台从节点都应用完才返回」。

设置保证不保证
w=1主节点已经写下。最快。确认过的数据当时可能只在主节点上。
w=2 或 w=majority(3 个投票节点时,多数就是 2)确认时已经有两份。坏一台还在。更慢的那台从节点。快的那台确认后调用就返回,慢的那台仍可能掉出 oplog。
wtimeout客户端超时失败,而不是永远卡住。超时的这一批并没有按该 write concern 落稳,必须重试或记失败。

所以只设 w=2、BATCH_SIZE=2000、批次之间不睡觉,调的是确认级别,不是复制延迟的刹车。只要还有一台从节点是健康的,bulk_write 等它确认完就返回,生病的那台不参与这个等待。

在线写入默认用 w=majority。批量任务也用它,另外加上批次间隔和延迟门槛。

10.2 有间隔、可重试的 upsert

要满足:

  • 过滤条件稳定(稳定业务键,示意用 entity_id),重试不会插出第二行
  • ordered=False,批里坏了一条不要挡住后面的
  • 看 BulkWriteError 的内容,不要只靠「没抛异常」
  • 批和批之间暂停
  • write concern 超时就退避,不要马上再打下一组 2000 条
  • 延迟或 oplog 窗口越过预算,而且短时间等不回来,就停任务

BATCH_SIZE=500、PAUSE_SECONDS=0.5 是 M10 上的起点,不是万能常数。延迟一直接近 0 再加大批次。数百万行要能从上次成功的键接着跑。

import time
from pymongo import MongoClient, UpdateOne
from pymongo.errors import AutoReconnect, BulkWriteError, NetworkTimeout
from pymongo.write_concern import WriteConcern
 
# 小规格专用集群先保守。只有从节点延迟接近 0、
# oplog 窗口大于 24 小时,再加大批次。
BATCH_SIZE = 500
PAUSE_SECONDS = 0.5
MAX_RETRIES = 5
 
client = MongoClient(
    "mongodb+srv://<user>:<password>@<cluster-host>/?retryWrites=true&w=majority",
    serverSelectionTimeoutMS=10000,
)
collection = client["<database>"].get_collection(
    "<collection>",
    write_concern=WriteConcern(w="majority", wtimeout=10000),
)
 
 
def flush(operations: list) -> None:
    """写一批。副本集来不及确认时退避,而不是继续灌。"""
    delay = PAUSE_SECONDS
    for attempt in range(1, MAX_RETRIES + 1):
        try:
            collection.bulk_write(operations, ordered=False)
            time.sleep(PAUSE_SECONDS)
            return
        except BulkWriteError as exc:
            # write concern 超时:主节点上可能已经有了。
            # 用稳定业务键做 upsert,重试是安全的。
            # 校验失败这类错误在 exc.details 里看,不要无限重试。
            write_concern_error = (exc.details or {}).get("writeConcernError")
            if write_concern_error and attempt < MAX_RETRIES:
                time.sleep(delay)
                delay = min(delay * 2, 30)
                continue
            raise
        except (AutoReconnect, NetworkTimeout):
            if attempt == MAX_RETRIES:
                raise
            time.sleep(delay)
            delay = min(delay * 2, 30)
 
 
def iter_documents():
    """产出源数据。调用方自己记检查点,中断后能续跑。"""
    raise NotImplementedError
 
 
pending = []
for item in iter_documents():
    pending.append(
        UpdateOne(
            {"entity_id": item["entity_id"]},
            {"$set": item},
            upsert=True,
        )
    )
    if len(pending) >= BATCH_SIZE:
        flush(pending)
        pending = []
 
if pending:
    flush(pending)
批量 upsert 限速流程:延迟门槛、majority、退避与检查点
批量 upsert 限速流程:延迟门槛、majority、退避与检查点 · 点击查看 SVG 原图

10.3 延迟门槛

业务账号通常不能跑 replSetGetStatus。两条路:

  1. 人看或监控账号看(Atlas → Metrics → Replication Lag 和 Oplog Window):
// 在主节点上,账号要有读副本集状态的权限
db.adminCommand({ replSetGetStatus: 1 })
// 用每台从节点的 optimeDate 和主节点比
// 也可以:rs.printSecondaryReplicationInfo()
  1. 任务规则: 每一批或每 N 批之前,如果最大从节点延迟超过 30 秒,或 oplog 窗口不到 24 小时,就等到恢复或直接停。任一成员是 RECOVERING 时,不要启动数百万行的任务。

下面是这个规格上的起点,要用真实延迟曲线再改:

信号继续放慢停下
最大从节点延迟不到 5 秒5–30 秒超过 30 秒,或有成员不是 SECONDARY/PRIMARY
oplog 窗口超过 48 小时24–48 小时不到 24 小时
成员状态1 主 + 2 从—出现 RECOVERING / DOWN

10.4 oplog 容量

专用集群可以在配置里把 oplog 调大。oplog 更大占用磁盘,从节点可以离线更久而不必全量同步。它不会让从节点应用变快。改之前要有空闲磁盘(教学案例里大约用了一半,有一点余量,不是无限)。Atlas 上这项设置的名字以当前界面为准;默认一般是磁盘的一个百分比。


11. 下次怎么查?

  1. Overview 顶栏:发布失败、0 of N、在等 healthy。
  2. 成员状态:集群还在 UPDATING 时,不要把「三行都黄」当成「三台都死了」。
  3. 看每台从节点的延迟,不要只看主节点的 operations 图。
  4. 拿 oplog 窗口去比落后成员的 syncedTo。落后时间大于窗口,就只剩 initial sync。
  5. 看延迟正在变大那段时间的磁盘、CPU、IOPS,以及已关闭的 REPLICATION_OPLOG_WINDOW_RUNNING_OUT / HOST_DOWN。
  6. 当时是谁在写(批量 upsert、回填、迁移),批次多大,批次之间睡不睡。
  7. 然后再选:等它自己追上、找 Support 做 resync,或者为下一次运行加容量。
排查树:先看是否还能服务,再判断能否增量追赶
排查树:先看是否还能服务,再判断能否增量追赶 · 点击查看 SVG 原图

12. 要记住哪几条?

  1. 主节点是绿的,不等于副本集健康。要看每台从节点的延迟和 oplog 窗口。
  2. 掉出 oplog 之后,增量复制这条路就断了。修复是 initial sync 或换节点,Atlas 用户自己点不了。
  3. w=majority / w=2 保护的是「已确认的写入」。它不负责把最慢的从节点留在窗口里。
  4. 批量 upsert 要限速:批次大小、间隔、超时退避、延迟和窗口门槛。
  5. 升配降低再发生的概率。它修不回接上位点已经没了的那台。
  6. 有成员 RECOVERING 时,不要再跑全表 upsert。先保住还跟得上的那台从节点。