面试官视角：大模型应用候选人的四个集体露馅点（体检表）
来源：面试官自述 —— 一天集中面 6 位大模型应用开发候选人，简历全栈覆盖（RAG / Agent / Prompt / 微调），深挖落地细节全员露馅，清一色只会跑 Demo，没碰过真实业务。 笔记用法：这是反面清单 + 自检表。左边是候选人答不上来被刷掉的地方，右边是我补的标准应答要点和对应笔记 —— 考前按这个过一遍。 适用面次：二面深度 / 三面综合（面试官深挖环节）
【总量表】四个露馅点速览
| # | 露馅点 | 面试官的原话判据 | 我的应答出处 |
|---|---|---|---|
| 1 | 只会调 API，不懂调度逻辑 | 异常兜底只会说"加个 try-catch" | 10 + 本文一 |
| 2 | 自称精通 RAG，检索优化一问三不知 | 说不清排查路径，提不出多路召回/重排/HyDE | 1213 + 本文二 |
| 3 | 缺工程思维，管控不住模型不确定性 | 不知道指数退避、二次审核、缓存降本 | 14 + 本文三 |
| 4 | 评测只看准确率，不懂指标体系 | 讲不清指标间关系，不会建评测集 | 14 + 本文四 |
面试官的结论句（值得背下来当自己的标准）： "现在不缺会调 API、跑 Demo 的人，稀缺的是能用工程手段把模型不确定性管住、把不稳定能力变成稳定业务交付的开发者。" 核心壁垒四件事：检索优化、Prompt 迭代、异常兜底、成本管控。
一、只会调 API，不懂 Agent 核心调度逻辑
面试官会怎么问（原题实录）
- Function Calling：模型返回的 JSON 格式错乱、参数缺失，代码层怎么捕获、怎么重试？
- 工具调用失败后，是回滚还是跳过继续？
- 多轮任务中上下文丢失、执行中断怎么办？
- 追问状态管理和异常兜底 —— 追问到重试策略、降级方案、人工介入机制。
❌ 露馅的答法
"任务拆解 → 调用工具 → 返回结果"，异常就说"加个 try-catch"。
✅ 标准应答（分三层说）
第一层：参数校验与自我修正
- 用 JSON Schema / Pydantic 做结构化校验，不靠正则硬抠；
- 捕获失败不是直接崩 —— 把结构化错误信息回灌给模型让它重新生成（自我修正）；
- 重试要有上限 + 指数退避 + 抖动，且重试必须保证幂等（不幂等的工具重试会出脏数据）；
- 连续失败 → 走降级，绝不无限重试。
第二层：失败后的策略分级（核心得分点）
| 情况 | 策略 |
|---|---|
| 幂等 + 临时故障 | 重试（带退避） |
| 工具不可用 | 降级：换工具 / 换参数 / 简化目标 |
| 关键步骤失败 | 回滚到上一个检查点 |
| 非关键步骤失败 | 跳过继续，但打标记录（不静默吞掉） |
| 超阈值仍失败 | 上报人工队列 |
第三层：上下文丢失与中断
- 会话状态状态机 + 检查点持久化（落库），支持断点续跑；
- 中断后不是从零开始 —— 加载检查点 → 上下文重建 → 触发重规划（不是硬走原计划）；
- 这才是"状态管理"该答的东西。
📎 详细机制见 10Agent长任务失控治理-任务管控三层体系与执行闭环（回滚/熔断/重规划）、14（工具调用故障恢复）
二、自称精通 RAG，检索优化一问三不知
面试官会怎么问（原题实录）
用户反馈 AI 回答和知识库内容不一致，第一步排查什么？ 是文档解析时表格撕裂、分块策略切断语义、Embedding 模型选偏，还是 Top-K 带进太多噪声？
❌ 露馅的答法
说不清排查路径；提不出多路召回、重排序、HyDE；本质上只是"机械地把文档塞进向量库"。
✅ 标准应答（先分诊，再逐段查）
第一步不是查，是分诊 —— 判断问题出在 「召回不到」 还是 「召回到了但生成歪了」：
| 症状 | 归属 | 排查方向 |
|---|---|---|
| 答案在库里但没捞出来 | 召回问题 | 往下查解析/分块/Embedding/Top-K |
| 捞到正确块但答错 | 生成问题 | 查 Prompt、上下文注入、引用约束 |
召回问题的排查链路（按顺序走，别跳）：
| 环节 | 典型故障 |
|---|---|
| ① 解析 | 表格撕裂、扫描件没 OCR、图文信息割裂 |
| ② 分块 | 固定长度切，切断语义；表格被拆成两半 |
| ③ Embedding | 模型选偏（中文/领域不匹配）、未做领域适配 |
| ④ 检索参数 | Top-K 过大引入噪声、过小漏召回；无阈值过滤 |
优化手段（主动抛出这些，直接拉开差距）：
| 手段 | 治什么 |
|---|---|
| 多路召回 | BM25（关键词）+ 向量（语义）+ 图（关系）并发 |
| 重排序 Rerank | 粗排后上 cross-encoder 精排，解决 Top-K 噪声 |
| HyDE | 先让模型生成"假设答案"再去检索，弥合问法与原文的语义差 |
| 查询改写/扩展 | 多轮指代消解、同义扩展 |
| 上下文注入 + 引用标注 | 块独立可理解 + 答案可追溯 |
📎 详细机制见 12PDF文档RAG工程化-四环节流水线（解析/分块排查路径）、13GraphRAG跨文档多跳推理-三层架构与生产防御（多路召回、混合检索）
三、缺乏工程思维，不会管控模型不确定性
面试官的判断
大模型天生有幻觉、延迟高、输出不稳定，这正是 AI 开发和传统后端最大的区别 —— 但候选人几乎没有风控意识。
❌ 露馅的答法
并发限流不知道指数退避；敏感/错误输出没有二次审核；不懂速度与成本平衡、不用缓存降本。
✅ 标准应答（四类风险各有一套）
| 风险 | 工程手段 |
|---|---|
| 限流 / 并发超限 | 指数退避 + 抖动（防重试风暴）、配额池、优先级队列、并发闸门；上游降级（换模型/排队） |
| 幻觉 / 敏感 / 逻辑错 | 二次审核校验：规则过滤 + 输出 schema 约束 + 判别模型复核 + 关键路径人工确认 |
| 延迟 vs 成本 | 缓存降本（prompt cache / 语义缓存 / 结果缓存）、模型分级路由（简单问题用小模型）、批处理 |
| 体验 | 流式输出优化首 Token 感知延迟（客服场景尤其关键） |
真正落地的开发一定会做这三件事（主动说，加分）：
- 流式优化 —— 体感延迟比真实延迟更重要；
- Bad Case 闭环复盘 —— 收集 → 分类归因 → 回流机制（补校验/调阈值）；
- 关键路径回归测试 —— 改 Prompt/换模型后，跑回归集确认不劣化。
📎 见 14有含金量的Agent项目-六要素完整体系（评估体系、人机协同）、10（复盘闭环）
四、评测只看准确率，不懂指标体系
面试官会怎么问（原题实录）
上线后怎么判断这版模型有没有变好？只看准确率够不够？ Agent 系统该重点看哪些指标？它们之间什么关系？怎么建评测集、做版本对比和 Bad Case 归因？
❌ 露馅的答法
只谈准确率；讲不清任务成功率、工具调用成功率、首 Token 延迟、幻觉率、Token 成本之间的关系。
✅ 标准应答（指标体系是三维权衡）
核心指标五件套：
| 指标 | 维度 | 说明 |
|---|---|---|
| 任务成功率 | 效果 | 端到端有没有办成事，Agent 系统的第一指标 |
| 工具调用成功率 | 效果（过程） | 单点故障定位用，比端到端更早暴露问题 |
| 首 Token 延迟 | 体验 | 用户感知最强，客服场景是生死线 |
| 幻觉率 | 可信 | 无依据输出占比，需人工/判别模型抽检 |
| Token 成本 | 成本 | 单次会话成本，决定能不能规模化 |
关系（这是面试官要听到的）：
这五个不是并列关系，是三维权衡：效果（成功率/幻觉率）× 体验（首 Token/总延迟）× 成本（Token/调用数）。 一味提成功率常靠加大 Top-K、多轮自我修正 → 延迟和成本双双上涨。评测的目的是找 Pareto 最优点，不是把单一指标拉满。
怎么建、怎么比、怎么归因：
- 建评测集：标注「问题 → 期望答案 / 应命中块」，覆盖典型场景 + 历史 badcase，分层（单跳/多跳/拒答）；
- 版本对比：离线跑回归集做 A/B，关键路径必须回归测试不劣化才放行；
- Bad Case 归因：按 解析 / 召回 / 生成 / 工具 四类归位 —— 归错类会导致改错地方，这是很多人优化无效的根因。
五、考前自检清单（照这个过一遍）
□ Function Calling 出错，我能说出：schema 校验 → 错误回灌自修 → 重试上限/退避/幂等？
□ 工具失败，我能讲清「重试/降级/回滚/跳过+打标/人工」五档策略的分级依据？
□ 上下文丢失，我答得出状态机 + 检查点持久化 + 断点续跑 + 重规划？
□ RAG 答不准，我第一步是「分诊：召回不到 vs 生成歪」，而不是乱猜？
□ 我能顺口报出解析/分块/Embedding/Top-K 四段排查链路？
□ 我能主动提到多路召回、Rerank、HyDE、查询改写？
□ 限流我能说指数退避+抖动+配额池+优先级队列？
□ 输出风险我能说出规则+schema约束+判别模型+人工确认四层？
□ 降本我能说缓存三件套 + 模型分级路由？
□ 我能报出五件套指标，并讲清效果/体验/成本三维权衡？
□ 我会建评测集、做版本回归、把 badcase 归因到解析/召回/生成/工具四类？
□ 我能说出面试官那句结论：稀缺的是「管住不确定性、稳定交付」的人？六条以下过，说明还在 Demo 层；优先补 ②③（RAG 排查链路 + 工程风控） —— 这正是面试官原话里最集中的两个失分点。
六、避坑提醒
- ❌ 别只说"我做的时候加了 try-catch" → ✅ 说分级策略（重试/降级/回滚/跳过/人工），try-catch 是语法不是方案。
- ❌ 被问"回答不准"别急着答优化手段 → ✅ 先分诊（召回 vs 生成），体现排查方法论而非背招式。
- ❌ 别只报准确率当效果 → ✅ 报任务成功率为主，并说明与其他四维的权衡关系。
- ❌ 别编指标数字 → ✅ 讲怎么测、看哪些、怎么归因；具体值如实说"以评测集/监控为准"。
七、面试官到底在筛什么（收尾）
一句话：筛掉"会用 API 的人"，留下"能交付的人"。
| 面试官要的 | 你的证据 |
|---|---|
| 真实业务经验 | 场景有需求/流程/评估标准（14 要素①），不是玩具 Demo |
| 工程手段管住不确定性 | 异常兜底分级 + 风控四件套（本文一、三） |
| 稳定业务交付 | 评估体系 + 回归测试 + Bad Case 闭环（本文四） |
| 核心壁垒 | 检索优化 / Prompt 迭代 / 异常兜底 / 成本管控 四件事说得透 |
关联笔记：10Agent长任务失控治理-任务管控三层体系与执行闭环（异常兜底/回滚/熔断）、12PDF文档RAG工程化-四环节流水线（RAG 排查链路）、13GraphRAG跨文档多跳推理-三层架构与生产防御（多路召回/混合检索）、14有含金量的Agent项目-六要素完整体系（评估体系/人机协同/项目自查）