
Hello,我是小兔大白糖。 这篇整理面试口述与高频追问要点,方便对照站内同主题通识文。
正文
目标岗位:大型加密货币交易所 · 后端(风控方向)
题目数:18 题
核心主题:可观测性三维建设、Prometheus/SkyWalking/ELK、Agent 设计、AI 应用
Q1:介绍一个与可观测性相关的项目
TL;DR
口述模板——用你 某业务 经验:
"我负责 某业务 的 业务 API 网关 服务可观测性建设。我们从零搭建了:
- Metrics:Prometheus + Grafana,核心指标 QPS/延迟/错误率/GC/JVM 线程数
- Tracing:SkyWalking 全链路追踪,解决跨服务定位问题
- Logging:ELK 统一日志平台,按 traceId 串联日志
最大价值:把故障定位从'逐个服务翻日志 30 分钟'缩短到'SkyWalking 3 分钟定位瓶颈'
Q2:什么是可观测性?三维建设
TL;DR
可观测性 = Metrics(知道系统哪里不对劲)→ Tracing(知道是哪个请求链路不对)→ Logging(知道具体哪里报什么错)。三维互补,缺一不可。
类比
🚗 汽车仪表盘:Metrics = 速度表/油量表(告诉你快没油了)。Tracing = GPS 轨迹(告诉你从哪条路过来的)。Logging = 行车记录仪(回放具体发生了什么)。
三维对比
| Metrics | Tracing | Logging | |
|---|---|---|---|
| 问什么 | "系统健康吗?" | "这个请求经过了哪些服务?" | "这行代码执行了什么?" |
| 粒度 | 聚合(QPS/P99) | 单次请求链路 | 单行日志 |
| 存储 | Prometheus/InfluxDB | Jaeger/SkyWalking/ES | Elasticsearch |
| 成本 | 低 | 中(采样) | 高(量大) |
| 告警 | ✅ 主力 | ⚠️ 辅助 | ❌ |
记忆锚
"Metrics 告警 → Tracing 定界 → Logging 定位"
Q3:分布式链路追踪——海量 Span 采集/传输/存储/查询
TL;DR
Span 全链路 = 采集(Agent 字节码注入,不侵入代码)→ 传输(gRPC/HTTP → Kafka 削峰)→ 存储(ES 按天索引 + 冷热分离)→ 查询(按 traceId 秒级检索)。
架构
采样策略
头部采样(Agent 端):
- 正常:1% 采样(减少 99% 数据)
- 错误:100% 采样(错误调用链全保留)
- 慢请求:P99 以上 100% 采样
尾部采样(Collector 端):
- 基于业务规则:VIP 用户 100% 采样
- 基于错误:含 error=true 的 trace 全保留
记忆锚
"Agent 字节码采集 → Kafka 削峰 → ES 按天存储 → 采样降量 99%"
Q4:指标降采样(Downsampling)和滚存(Rollup)
TL;DR
降采样 = 把细粒度数据聚合成粗粒度。策略:原始 1min 保留 7 天 → 聚合 5min 保留 30 天 → 1h 保留 1 年 → 1d 永久。
类比
📸 照片分辨率:原始照片(1min 粒度)存手机,缩略图(5min)存云端,压缩版(1h)存硬盘,只要缩略图(1d)放相框。越久的数据越粗糙,但趋势还在。
策略表
| 粒度 | 保留期 | 存储量(100 指标) |
|---|---|---|
| 1min 原始 | 7 天 | ~10GB |
| 5min 聚合 | 30 天 | ~2GB |
| 1h 聚合 | 1 年 | ~500MB |
| 1d 聚合 | 永久 | ~100MB |
Prometheus 实现
# recording rules:预聚合
groups:
- name: risk_rollup
interval: 5m
rules:
- record: risk:check_latency:p99_5m
expr: histogram_quantile(0.99, rate(risk_check_duration_bucket[5m]))记忆锚
"1min→5min→1h→1d,越老越粗,降采样金字塔"
Q5:日志实时采集与分析——ELK 架构优化
TL;DR
ELK = Filebeat(采集)→ Kafka(缓冲削峰)→ Logstash/Fluentd(解析清洗)→ ES(存储检索)→ Kibana(可视化)。优化的核心:Kafka 前置(防 ES 写入波动丢日志)。
类比
📬 信件分拣中心:Filebeat = 邮递员收信(采集)。Kafka = 分拣中心传送带(缓冲)。Logstash = 分拣员(格式统一、过滤垃圾)。ES = 信件存档柜(检索)。Kibana = 柜子搜索屏。
优化要点
1. Kafka 前置:Filebeat → Kafka → Logstash → ES
→ ES 挂了/慢了,日志暂存在 Kafka,不丢
2. 索引生命周期(ILM):
→ hot(7天 SSD) → warm(30天 HDD) → cold(90天) → delete
3. 字段裁剪:只保留核心字段(traceId/level/message/timestamp)
4. grok 解析优化:避免复杂正则(CPU 大户)
记忆锚
"Filebeat→Kafka→Logstash→ES,Kafka 前置防丢,ILM 冷热分离"
Q6:多租户可观测性 SaaS 平台设计
TL;DR
多租户 = 数据隔离(按 tenant_id 分 ES 索引或独立集群)+ 资源隔离(租户级限流/配额)+ 权限隔离(RBAC)。核心:不能因为一个租户的打爆 ES 影响其他租户。
隔离方案
| 级别 | 方案 | 成本 | 隔离度 |
|---|---|---|---|
| ES 索引级 | tenant_id 分区(同一集群不同索引) | 低 | 中 |
| ES 集群级 | 每租户独立 ES 集群 | 高 | 强 |
| 混合 | VIP 租户独立集群,普通租户共享 | 中 | 中 |
限流策略
每个租户配额(per-tenant):
- Span 写入:10 万/分钟
- Log 写入:1GB/天
- 存储保留:30 天
→ 超配额 → 拒绝写入 + 告警
记忆锚
"按 tenant_id 索引隔离 + 配额限流 + GDPR 合规"
Q7:eBPF 技术了解
TL;DR
eBPF = 在 Linux 内核中运行沙箱程序,无需修改内核或重启。可观测性应用:网络监控(Cilium)→ 性能分析(火焰图,无侵入)→ 安全监控(Falco 系统调用审计)。
一句话
"eBPF 让你直接在内核层采集指标(如 TCP 重传、系统调用耗时),
不需要应用层埋点。目前主要用于网络和性能分析,完整替代 APM Agent 还不成熟。"
记忆锚
"内核沙箱小程序,无侵入采集,Cilium/Falco 是典型应用"
Q8:分布式行情系统健康度监控
TL;DR
行情系统核心指标:延迟(数据源到用户 P99)、数据质量(丢包率/乱序率)、连接数(WS 连接数+断开率)、吞吐量(tick/s、推送量)。
核心指标
| 指标 | 含义 | 告警阈值 |
|---|---|---|
market_data_lag_ms | 数据源到推送的端到端延迟 | > 100ms |
tick_drop_rate | 丢包率 | > 0.01% |
ws_connections_active | 活跃连接数 | 偏离基线 20% |
ws_disconnect_rate | 断连率 | > 1%/min |
order_book_depth_accuracy | 订单簿与实际偏差 | > 0 |
记忆锚
"延迟+丢包率+连接数+订单簿准确度,四个核心"
Q9:监控 Agent 自身资源控制
TL;DR
Agent 必须不拖累业务应用。手段:CPU 限制(cgroup/低优先级)→ 内存限制(堆外池化、固定大小 RingBuffer)→ 自适应降级(Agent 检测到自己 CPU > 5% 则降低采样率)。
自我限流
// Agent 自检:占用超过阈值 → 自动降级
if (agentCpuUsage > 0.05) { // 超过 5%
samplingRate = Math.max(0.001, samplingRate / 2); // 采样降到一半
}
if (agentHeapUsage > 100 * 1024 * 1024) { // 超过 100MB
ringBuffer.resize(ringBuffer.size() / 2); // 缩小队列
}记忆锚
"CPU > 5% 降采样,内存 > 100MB 缩队列——Agent 永远不给业务添乱"
Q10:全链路压测 + 数据隔离
TL;DR
全链路压测 = 染色(在请求头打标 x-stress-test: true)→ 流量识别(网关/中间件识别染色标记)→ 数据隔离(压测数据写影子表/影子 Redis)→ 结果对比(压测结果 vs 基线)。
数据隔离方案
DB 层:影子表(order_stress 和 order 结构相同,压测写影子表)
Redis 层:key 前缀隔离(stress:user:123 vs user:123)
MQ 层:影子 topic(risk-events → risk-events-stress)
外部调用:Mock 或 HTTP Header 标识
记忆锚
"请求染色 + 影子表/影子 Key + 流量识别,压测数据绝不污染线上"
Q11:监控告警体系设计——交易系统核心指标
TL;DR
交易系统告警 = 技术指标(CPU/内存/QPS/P99)+ 业务指标(成交率/撤单率/资金对账差异)。业务指标比技术指标更关键——CPU 高可以降级,对账差异是资金安全问题。
业务指标
| 指标 | 含义 | 告警 |
|---|---|---|
trade_success_rate | 下单成功率 | < 99.9% |
order_book_cross | order book 交叉(买价>卖价) | > 0(异常!) |
balance_diff | DB vs Redis 资金差异 | > 0.01 |
withdraw_block_rate | 提现拦截率异常升高 | 偏离基线 3σ |
settlement_delay | 清算延迟 | > 5min |
记忆锚
"技术指标看健康,业务指标看正确——资金对账差异是 zero-tolerance"
Q12:数据驱动在研发流程中的应用
TL;DR
数据驱动 = 用数据做决策,而非凭感觉。三个层次:性能优化(用 P99 而不是感觉判断"慢不慢")→ 故障预警(用指标偏离基线预测故障)→ 产品决策(用 A/B 测试数据选方案)。
口述版
"我在 某业务 推行的数据驱动实践:
1. 所有优化前先看监控——不是'感觉慢',而是'P99 从 50ms 涨到 200ms'
2. 故障预警:设置基线 ±3σ 告警,而不是等出事了再看
3. 发版质量:对比发版前后 1h 的指标变化,异常自动回滚
4. 容量规划:用 QPS 增长趋势预测扩容时间点,提前 2 周扩容"
Q13:开源可观测性项目启发
TL;DR
SkyWalking(字节码注入 + 插件化架构)→ Prometheus(Pull 模型 + 多维标签 + PromQL)→ OpenTelemetry(统一标准,CNCF 基金会)。核心启发:协议先行(OTLP),实现跟上。
一句话
"SkyWalking 的插件化 Agent 让我学到——核心框架保持稳定,新功能靠插件扩展。
Prometheus 的 Pull 模型让我学到——服务端主动拉比自己被推送更可靠。
OpenTelemetry 告诉我——协议统一比实现统一更重要。"
Q14:全链路追踪方案(SkyWalking)
TL;DR
SkyWalking = Java Agent(byte-buddy 字节码注入)+ gRPC 协议传输 + H2/ES 存储 + OAP(分析平台)。自动采集 Spring/MySQL/Kafka/Redis 的 Span,无需改代码。
一句话
"SkyWalking 通过 Java Agent 字节码注入自动采集链路数据,
支持 Spring Boot/MySQL/Kafka/Redis 等常见组件。
中文社区活跃,适合国内团队。
缺点:对 Go/Python 支持不如 Java 完善。"
Q15:可观测性三维建设实践 → 见 Q2,此处略。
Q16:AI 在可观测性领域的应用
TL;DR
AI 三大落地:异常检测(自动识别指标异常,替代固定阈值)→ 根因分析(告警风暴自动关联根因)→ 智能告警降噪(减少 90% 误报告警)。现状:辅助角色,未来:自动化修复。
具体应用
1. 异常检测:Prometheus 的固定阈值 "P99 > 200ms" 太粗糙
→ AI 用历史数据建模正常模式,自动检测偏离(3σ / 时间序列异常检测)
2. 根因分析:一个 DB 慢导致 10 个服务告警
→ AI 关联告警图谱,识别"根因服务"(依赖链最上游的异常)
3. 告警降噪:每天 1000 条告警
→ AI 聚合归类 → "20 条告警都是因为同一个 DB 慢" → 只发 1 条
记忆锚
"AI 做异常检测+根因分析+告警降噪——现在辅助,未来自动化"
Q17:跨语言可观测性 Agent 数据协议
详见 B10 Q12。精简版:
OpenTelemetry Protocol (OTLP) 是 CNCF 标准:
- 统一数据模型:Span / Metric / LogRecord
- 各语言 SDK 实现:Java Agent / Go SDK / Python SDK
- Collector 统一接收 → 路由到不同后端
Q18:Go 高性能并发数据采集 vs Java → 详见 B11 Q25,此处略。
总结
Metrics (Prometheus) → 健康监控 + 告警
Tracing (SkyWalking) → 链路定位 + 瓶颈分析
Logging (ELK) → 错误详情 + 上下文关联
Kafka → 日志/Trace 传输的缓冲层,防后端波动丢数据
AI → 异常检测 + 根因分析 + 告警降噪
下一篇:B15 团队管理 / 软技能(25 题)