面试题集锦:AI 客服系统设计

面试题集锦:AI 客服系统设计

Hello,我是小兔大白糖。 这篇整理面试口述与高频追问要点,方便对照站内同主题通识文。


面向后端开发者(FastAPI / PostgreSQL / Redis / K8s)。
经典系统设计题:如何设计 AI 客服的架构、技术选型与数据流。
可与 00-langchain-langgraph-for-backend-dev.md、本仓库 agentic-rags 对照阅读。


一、先澄清需求(面试开场 30 秒)

不要上来堆技术,先界定范围:

维度要问 / 要假设的
渠道App 内聊天、Web、微信;语音需另架构
知识来源帮助中心、商品/订单 API、CRM、历史工单
自动化程度仅 FAQ,还是查单、改地址、退款(写操作)
人工何时转人工、坐席是否看 AI 草稿
规模QPS、知识库体量、是否多租户
合规数据是否出境、日志留存、PII 脱敏

示例假设(可直接说):

我按 B2C App 内文字客服 设计:以只读问答为主,订单类走内部 API,低置信度转人工,知识库可运营更新。


二、逻辑架构(分层)

interview ai cs system design · 图 1
interview ai cs system design · 图 1 · 点击查看 SVG 原图

各层职责

层职责不应放在这里
BFF / Gateway鉴权、用户身份、接口聚合复杂 AI 逻辑
Conversation Service存消息、会话状态、限流、幂等向量检索实现
AI Orchestrator路由、RAG、Tool、LLM、缓存、转人工策略订单库事务
Knowledge文档入库、Embedding、检索实时 IM 长连接
人工 / 运营排队、接管、质检、知识更新—

与 Real 技术栈的映射

面试抽象层可参考实现
BFFreal-backend-api(Go / Hertz)
AI Orchestratoragentic-rags(Python FastAPI + LangGraph)
向量 / 缓存 / PGMilvus·Qdrant、Valkey、PostgreSQL(listing RAG 同款)

三、技术选型

3.1 核心组件

组件推荐解决什么问题备选
对外 APIGo/Java BFF + Python AI 服务接入高并发;AI 生态在 Python小团队全 Python
AI 编排LangGraph(复杂)/ 手写 Service(简单 FAQ)多分支、记忆、checkpoint、流式Temporal + 自研
LLM 零件LangChain 或薄 HTTP 封装模型、Prompt、结构化输出直接 OpenAI SDK
LLM 推理vLLM / Ollama 内网 + 云 API 兜底成本、隐私、延迟纯商用 API
向量库大规模 Milvus/Qdrant;小规模 pgvector语义检索 FAQOpenSearch kNN
业务库PostgreSQL会话、工单、checkpointMySQL
缓存Redis/Valkey会话热数据、语义答案缓存、限流—
消息队列Kafka日志、评测、索引异步化Redis Stream
可观测OTel + Langfuse链路 + Prompt/节点级 debugLangSmith
知识入库CronJob / Airflow + 切块文档→向量版本一致—

3.2 MVP vs 生产

MVP(1~2 个月)生产(类 agentic-rags)
编排线性 RAG:检索→生成(类 game-reco)LangGraph:路由 + RAG + Tool + 记忆
向量pgvector 与业务同库独立 Milvus / Qdrant
多轮Redis 存最近 N 轮PG checkpoint + thread_id
转人工关键词 + 置信度阈值意图分类 + 敏感词 + 用户按钮

四、核心数据流

4.1 用户提问(主路径)

interview ai cs system design · 图 2
interview ai cs system design · 图 2 · 点击查看 SVG 原图

口述要点:

  1. 先落库再调 AI,避免丢消息。
  2. 读路径:记忆 → 路由 →(缓存 | 向量 | API)→ LLM。
  3. 返回:confidence、source_ids,供转人工与审计。

与 listing_agent_query 同构:retrieve_memories → smart_routing → cache/vector/SQL → generate。

4.2 知识库更新(离线 / 准实时)

运营上传文档 / CMS 改文章
  → 对象存储 (S3)
  → 切块 + Embedding Job (K8s Cron / Airflow)
  → 写入向量库 (doc_id, version)
  → 可选:新 collection 蓝绿切换

4.3 转人工

触发:用户点击 | confidence < 阈值 | 敏感词 | 连续无法理解
  → Conversation Service 创建 ticket (waiting_agent)
  → 推送坐席队列
  → 展示:最近 N 轮 + AI 草稿(可选)

4.4 反馈闭环

点踩 / 坐席改正
  → Kafka 事件
  → 评测表 + trace_id
  → 离线:回归集、调 Prompt、调路由阈值

五、关键设计决策(追问)

问题答法要点
为什么拆 BFF 和 AI 服务?发布节奏、依赖、语言栈不同
为什么需要向量库?问法多样,关键词漏召回
为什么还要 SQL/Tool?订单号等精确查询,向量不适合 → 混合 + 路由
语义缓存?降成本、降延迟(listing RAG 同款)
LangGraph 必须吗?简单 FAQ 不必;多数据源/多轮建议用
幻觉怎么控?检索约束、引用、低置信转人工、写操作只信 Tool
多租户?tenant_id 进 cache key、collection、Prompt

六、非功能(加分项)

维度做法
可用性LLM 超时 → 模板回复 + 转人工;向量超时 → 关键词降级
性能流式首 token;检索与 LLM 分阶段 SLA;异步 webhook(现有模式)
安全Prompt 注入防护;日志 PII 脱敏;Tool 用用户 token 防越权
成本语义缓存;小模型路由;大模型只负责生成

七、面试话术

30 秒

AI 客服分 会话服务、AI 编排、知识库、人工 四层。BFF 扛流量;Python 做 意图路由 + RAG + Tool 查业务库,复杂流程用 LangGraph,LLM 优先自托管。消息落 PostgreSQL,FAQ 走向量库,相似问法走 Redis 语义缓存,低置信转人工,全链路 Langfuse/OTel 追踪。

2 分钟

用户消息先进 Conversation Service 落库,再调 Orchestrator:会话记忆 → 路由到 FAQ 向量检索或订单 API → LLM 生成并带引用和置信度。知识库离线切块入 Milvus。MVP 可用 pgvector + 单 Service 线性 RAG;规模上来再拆向量库、加缓存和 LangGraph。Kafka 做日志与评测异步化,部署在 K8s。

结合项目经历

房源场景已实践:记忆、smart routing、SQL/向量/RAG 分支、语义缓存、FastAPI + webhook,与 AI 客服是同一架构模式,领域从帮助文档换成 listing/房源,Tool 换成订单/用户 API。


八、平台 vs 自研(一句)

低代码 (Dify/Coze)自研 (LangGraph + 自建)
适合PoC、标准 FAQ深耦合业务 API、合规、自定义路由与评测
风险定制与数据出境受限工程与运维成本高

九、相关文档

文档内容
00-langchain-langgraph-for-backend-dev.mdLangChain / LangGraph 分工
02-architecture.mdlisting RAG 分层架构
05-api-workflow.mdAPI 与主工作流

文档版本:2026-05 · 面试系统设计参考

相对 Intercom Fin、Zendesk AI、企业知识库 Copilot、Dify 生产版 这类成熟问答机器人,agentic-rags(Listing RAG) 在「引擎层」已经不错(路由、RAG、缓存、记忆、多向量库),差距主要在 产品化、质量闭环、可靠性治理、运营能力。下面按 目标 → 差距 → 可做什么优化 来组织,方便面试和排期。


一、先定「优化目标」有哪些

成熟 AI 客服 / 问答机器人通常同时追这些目标(会互相 trade-off):

目标含义业务上怎么体现
回答质量准、全、少幻觉、有依据用户觉得「真的在帮我找房」
延迟与体验首字快、全流程 P99 可控App 里不卡顿、可流式
成本单次问答 Token / GPU 花费量级上来还能扛
可靠性路由错了能兜底、依赖挂了能降级少「答非所问」、少 500
安全与合规注入防护、越权、PII、审计ToB / 上线必备
可运营运营能改知识、看效果、A/B不靠改代码发版
可观测与迭代知道哪类问题答不好持续变准
工程可维护团队能改、能测、能扩少 duplicate、少巨型文件

你们项目 强项:编排(LangGraph)、smart routing、语义缓存、记忆、Milvus hybrid(部分)、Langfuse。
弱项(分析文档 + 代码现状):认证/后台、评测闭环、路由置信度治理、产品化能力。


二、按目标拆解:可优化什么

1. 回答质量(Accuracy / Grounding)

相对成熟产品的差距

现状成熟产品常见做法
向量 Top-K → 直接生成Rerank(交叉编码器)再喂 LLM
smart_routing 一次决策,错了整链偏低置信 二次路由 或 多路召回合并
有 SQL refine 环,RAG 侧缺「检索为空 / 答案不可信再检」Self-RAG / CRAG:检索质量评估 → 重写 query 再检
引用 listing 有 mentioned_listings,用户侧「依据」弱答案里 强制引用 chunk + 链接,不可编造字段
TOON / MD 双索引,选型靠参数生产侧 默认融合策略 + 离线评测定格式

可做的优化(对应目标:质量)

  • 加 Rerank 节点(BGE-reranker / Cohere),在 search_vector_db 和 format_context 之间。
  • 路由置信度阈值:confidence < τ → 强制 RAG+SQL 双查或转「澄清问题」节点。
  • 检索为空 / 低分:触发 query rewrite(1~2 次,有上限),避免硬生成。
  • 生成后校验(轻量):检查 answer 里价格/地址是否在 context 内;不过 → 降级话术。
  • 建立 黄金评测集(100~500 条真实问法),每次改 prompt/路由跑回归(已有 Giskard 可选,需常态化)。

2. 延迟与体验(Latency / UX)

差距

现状成熟产品
主路径串行:记忆 → 路由 → 缓存/检索 → 生成可 并行(记忆 + 路由预分类)
webhook 异步好,但同步 wait 路径仍长流式 token 到客户端 + 中间「正在查房源…」
语义缓存命中才快热门 query 预热、按地区/用户分桶缓存
多 graph(qdrant/milvus/agent)增加认知成本对上游 单一 SLA 接口,内部选 backend

可做的优化(目标:体验)

  • 节点级 耗时预算:路由用小模型 / 规则,大模型只生成。
  • 并行 fan-out:retrieve_memories 与 粗检索 同时进行(需注意 state 合并)。
  • 统一 SSE 流式 到 App(不仅 webhook 给 backend)。
  • 缓存 key 加 业务维度(城市、tenant),提高命中率。
  • 对「只要列表不要长文」的意图 → 结构化 JSON 响应 短路径,跳过长生成。

3. 成本(Cost)

差距

现状成熟产品
已有语义缓存(亮点)分层:精确缓存 → 语义缓存 → 小模型 → 大模型
每次可能走完整 LLM 路由高频 FAQ 规则/embedding 分类 跳过 LLM 路由
长 context 全塞 promptContext 压缩、只保留 Top-N chunk 摘要
双向量库双栈运维成本生产 单一主 backend,另一套只做过渡

可做的优化(目标:成本)

  • 路由:规则 + 小分类模型 处理 60% 高频意图,LLM 只处理长尾。
  • 缓存:Prompt 版本 + embedding 版本 进 cache scope(部分已有),避免错用旧答案。
  • 生成:max_tokens / 模板化 简短答复;复杂再「展开详情」。
  • 离线批处理 embedding;在线只 query embedding。
  • 指标:$/1k queries、缓存命中率、路由分布 — 驱动优化优先级。

4. 可靠性与容错(Reliability)

差距

现状成熟产品
smart_routing one-shot(smart_routing_graphs.py 注释即说明)失败重试、备选路径、熔断
SQL 有 refine loop;Graph/RAG 弱统一 「主路径失败 → 备选路径」 表
Milvus/Qdrant/LLM 任一超时分级降级:仅 SQL → 仅关键词 → 固定文案 + 转人工
checkpoint 依赖 PG,失败则无 checkpointer健康检查 + 无状态降级模式 文档化
遗留 listing_agent/ 与 agent/ 双份代码易修一处漏一处

可做的优化(目标:可靠)

  • 路由输出加 policy 层:不只信 LLM 字符串,用枚举 + 校验。
  • Timeout / 熔断 包在每个外部调用(Milvus、LLM、PG SQL)。
  • 定义 Degrade L1/L2/L3(与 AI 客服文档一致),自动化测试降级路径。
  • 删除或归档 duplicate 目录,单一 agent/ 源码。
  • 双写/对账:ingest 后抽样 query 验证向量可查。

5. 安全与合规(Safety / Compliance)

差距(产品分析:认证 0%)

现状成熟产品
/listing/query 层未见统一 authAPI Key / JWT / mTLS;按 user 隔离 memory
Prompt 注入、越权查他人会话输入过滤 + 输出策略
Giskard 在 optional evalCI 安全扫描 进流水线
日志可能含 query PII脱敏、 retention 策略

可做的优化(目标:安全)

  • Gateway 或 FastAPI:鉴权 + rate limit(Redis 你们熟)。
  • user_id / chat_id 绑定校验,防 horizontal privilege。
  • Guardrails 节点:敏感词、禁止承诺价格/法律结论。
  • Tool/SQL:只读账号 + 行级(按 agent MLS id 等)。
  • 审计日志:谁问了什么、用了哪条 listing 来源(合规)。

6. 可运营(Operability)

差距(管理后台 0%、数据分析 ~20%)

现状成熟产品
知识更新靠 graph ingest / 脚本CMS:文档上下线、立即生效
改 prompt 要发版Prompt 配置中心 / 按 tenant 版本
运营看不到「坏答案」控制台:会话回放、点踩、一键加 FAQ
A/B 靠换 linearization 参数实验平台:流量 %、指标对比

可做的优化(目标:运营)

  • 轻量 Admin API:重载 cache、触发 re-embed、禁用某 listing。
  • Bad case 队列:来自 webhook/点踩 → 人工标注 → 进评测集。
  • Prompt / 路由阈值 环境变量 → 配置表,热更新。
  • 与 backoffice-cms 类系统集成:帮助文档即 RAG 源。

7. 可观测与迭代(Observability / MLOps)

差距

现状成熟产品
Langfuse 有接入固定 dashboard:质量、延迟、路由分布、缓存命中
缺系统化评测RAGAS / 自建指标:faithfulness、context recall
trace 有,缺与业务关联answer_id ↔ listing 点击/转化 闭环

可做的优化(目标:迭代)

  • 每 answer 打 trace_id,backend 回传 用户是否满意/是否点击 listing。
  • weekly 离线评测 + 路由/confidence 校准。
  • 节点级 metrics(Prometheus):各 node P95、错误率。
  • 路由混淆矩阵:该走 RAG 却走 SQL 的样本专项优化。

8. 工程可维护(Maintainability)

差距(08 章已点出)

  • 19 个 graph、EnhancedQueryState 字段多。
  • Milvus hybrid 有,Qdrant 路径能力不一致。
  • 测试:集成多、路由/缓存/边界 单测不足。

可做的优化(目标:可维护)

  • Graph 合并/分层:对外 3~4 个 assistant,内部 subgraph。
  • State 拆子 state 或 pydantic 模型分域。
  • 契约测试:/listing/query request/response 与 real-backend-api 固定。
  • 核心路径 表驱动测试(given query → expect route + 是否命中缓存)。

三、总览:目标 × 优化 × 优先级

interview ai cs system design · 图 3
interview ai cs system design · 图 3 · 点击查看 SVG 原图
优先级目标建议动作
P0安全 + 可靠鉴权、限流、降级路径、路由枚举校验
P0质量(低成本)路由 confidence 阈值、检索为空 rewrite、黄金评测集
P1质量 + 成本Rerank、缓存策略优化、小模型路由
P1体验流式、并行节点、结构化短答
P2运营Admin、bad case、Prompt 配置化
P2工程去重复代码、graph 收敛、契约测试
P3进阶 Agent多轮 reflect 环(仅在高价值场景)

四、和「成熟问答机器人」的功能对照(还差什么)

能力本项目成熟产品
多轮对话✅ checkpoint + memory✅
RAG✅ 双格式 + hybrid(Milvus)✅ + rerank
结构化查询✅ SQL/Graph 路由✅
语义缓存✅✅
转人工 / 低置信⚠️ 有 confidence 字段,产品策略未闭环✅ 完整工单流
引用与溯源⚠️ 内部 listing id✅ 用户可见引用
运营后台❌✅
评测与 A/B⚠️ 可选 Giskard✅ 常态化
安全治理⚠️ 弱✅
多租户⚠️ 部分 cache namespace✅

五、面试 / 对内沟通怎么说

Listing RAG 在 编排层 已经对齐业界 agentic RAG:路由、记忆、缓存、多数据源。和成熟 AI 客服的差距主要在 质量闭环(rerank、评测、置信度策略)、产品化(运营后台、转人工)、安全与 SLO(鉴权、降级)。
优化不会一上来做「更自主的 Agent 循环」,而是先 P0:可信、可测、可上线;再 P1:更准更省;最后才考虑复杂 multi-agent。


如果你希望,我可以把以上内容整理成 PROJECT_ANALYSIS/14-optimization-roadmap.md,并按 Q1/Q2 可排期项 拆成表格,方便你写 OKR 或 Jira。