Agent 性能量化评估：五维指标体系（口播版）
面试高频问题：怎么衡量一个 Agent 做得好不好？你怎么评估它的性能？ 一句话答案：不能只看"结果对不对"，Agent 要测过程。我建五个维度：任务完成度（做没做到）、推理规划（想得对不对）、工具调用（用得准不准）、工程效率（跑得快不快、贵不贵）、安全鲁棒性（会不会出事）。最大难点是开放性任务没有唯一答案，解法是判据化 + rubric 评分卡 + 人工抽检校准三件套。 适用面次：三面综合 / 架构深挖 / 负责人视角 本版定位：口语应答脚本 —— 这题是"你能不能把 Agent 当工程系统来运营"的分水岭，只答"看成功率"直接掉档。
【30 秒极简版】（面试官随口一问时用）
Agent 评估不能只测结果，要结果 + 过程一起测。我分五个维度：任务完成度（按完成判据逐条打勾，看交付物能不能直接用）、推理规划（步骤必要不必要、顺序对不对、路径效率）、工具调用（选对没有、参数对不对、重复调用率、失败能不能换路走通）、工程效率（时延 P50/P95、单任务 token 成本、缓存命中率）、安全鲁棒性（越权拦截率、幻觉率、注入抵抗、该上报时上报没有）。 最大的难点是开放性任务没有唯一标准答案，不好打分。我的解法是三件套：一是判据化，把目标拆成可勾选的完成判据，把主观变客观；二是LLM 当评委配 rubric 评分卡，多评委投票并做一致性校验；三是人工抽检校准，抽百分之五到十人工打分，用来校准自动评委。 地基是全链路 trace 留痕——没有 trace，这些指标一个都采不到。
【2 分钟完整口播】（正式被问到时的主干回答）
Agent 评估和传统软件测试最大的区别是：不能只看结果，必须看过程。因为 Agent 可能"结果对了但过程一塌糊涂"——绕了二十步、调错八次工具、碰巧蒙对。这种系统上线了就是定时炸弹。所以我的指标分五个维度。
第一个，任务完成度。这是结果指标，但不能只写"成功率"，要看四样：任务成功率、目标达成率（按完成判据逐条打勾，看勾了几条）、部分完成度（子任务完成比例，这个能暴露"做了一半假装完成"）、以及交付物可用性（产出能不能直接用，还是要人工返工）。最后这条最实在——用户只关心能不能用。
第二个，推理规划。这是过程质量。看规划合理性（每一步是不是必要的、顺序对不对）、重规划触发是否及时（走错了能不能及时掉头）、无效步数占比（有多少步是白走的）、以及路径效率——实际步数除以最优步数，这个比值越接近 1 越好。
第三个，工具调用。看调用准确率（选对工具没有）、参数正确率、首次成功率、重复调用率（同一个参数反复调，这是最常见的浪费）、以及失败恢复率——失败了能不能换条路走通，而不是卡死。
第四个，工程效率。这些是硬指标：端到端时延（要看 P50 和 P95，平均值会骗人）、单任务 token 成本、上下文利用率（上下文是不是塞了一堆没用的）、缓存命中率、以及并发下的稳定性。
第五个，安全鲁棒性，这是底线维度：权限越界拦截率、幻觉率（没有依据的断言占多少）、提示注入抵抗、异常输入崩溃率、以及降级合规率——该上报的时候它上报了没有，还是硬编一个答案糊弄过去。
这道题真正的难点不在列指标，而在开放性任务怎么打分——比如"帮我写一份竞品分析报告"，没有唯一标准答案。我的解法是三件套。 第一，判据化：把目标拆成可勾选的完成判据——有没有覆盖三家竞品、有没有定价对比、有没有优缺点分析。这样就把主观打分变成了客观勾选，这是最关键的一步。 第二，LLM 当评委配 rubric 评分卡：给评委明确的评分细则、分档描述和参考答案锚点，不然评委也是凭感觉。而且多评委投票取平均，同时做一致性校验——几个评委分歧太大就转人工。 第三，人工抽检校准：抽百分之五到十人工打分，用来校准自动评委，看两者的相关系数。评委也会漂，必须定期校准。
还有两个容易忽略的点。一是地基：所有指标都依赖全链路 trace 留痕——每一步的输入输出、工具调用、token 数、耗时。没有 trace，这些指标一个都采不到。二是指标会漂也会被刷：所以要有回归测试集定期重跑，上线走灰度 A/B；而且要注意评委偏差——LLM 评委通常偏爱更长的答案、偏爱自家模型，可以用位置互换、多模型交叉评审来降低。
最后一句：指标体系必须挂业务目标——人工介入率、用户满意度、单次任务成本。为了指标而指标的体系，最后一定变成没人看的仪表盘。
一句话收尾：Agent 评估的本质，是把"感觉它还不错"变成"我知道它哪一步不行、差多少"。
一、先立判断（第一得分点）
开口说：
不能只看结果——结果对了但过程一塌糊涂的 Agent，上线就是定时炸弹。
| 只看结果的问题 | 说明 |
|---|---|
| 蒙对 | 绕二十步、调错八次，碰巧答对 |
| 不可复现 | 这次对下次错，无法定位原因 |
| 无法优化 | 只知道"错了"，不知道哪一步错了 |
二、五维指标体系（核心，必背）
速记：做没做到 · 想得对不对 · 用得准不准 · 跑得快不快 · 会不会出事
维度一：任务完成度（结果）
| 指标 | 说明 |
|---|---|
| 任务成功率 | 整体是否达成 |
| 目标达成率 | 按 DoD 判据逐条打勾，看勾了几条 |
| 部分完成度 | 子任务完成比例——暴露"做一半假装完成" |
| 交付物可用性 | 产出能否直接用，还是要人工返工（最实在的一条） |
维度二：推理规划（过程质量）
| 指标 | 说明 |
|---|---|
| 规划合理性 | 步骤是否必要、顺序是否正确 |
| 重规划及时性 | 走错了能否及时掉头 |
| 无效步数占比 | 多少步是白走的 |
| 路径效率 | 实际步数 / 最优步数，越接近 1 越好 |
维度三：工具调用
| 指标 | 说明 |
|---|---|
| 调用准确率 | 有没有选对工具 |
| 参数正确率 | 参数填对没有 |
| 首次成功率 | 一次调通的比例 |
| 重复调用率 | 同参数反复调——最常见的浪费 |
| 失败恢复率 | 失败后能否换路走通，而不是卡死 |
维度四：工程效率
| 指标 | 说明 |
|---|---|
| 端到端时延 | 看 P50 和 P95，均值会骗人 |
| 单任务 token 成本 | 成本可归因到步 |
| 上下文利用率 | 上下文是否塞了无用内容 |
| 缓存命中率 | 结果沉淀的收益 |
| 并发稳定性 | 高负载下是否劣化 |
维度五：安全鲁棒性（底线）
| 指标 | 说明 |
|---|---|
| 权限越界拦截率 | 越权请求是否被拦住 |
| 幻觉率 | 无依据断言占比 |
| 提示注入抵抗 | 注入攻击下的表现 |
| 异常输入崩溃率 | 脏输入是否导致崩溃 |
| 降级合规率 | 该上报时上报没有，还是硬编糊弄 |
三、最大难点：开放性任务怎么打分（本题区分度所在）
开口说：
真正的难点不是列指标，是"帮我写份竞品分析报告"这种题没有唯一答案。
解法三件套
| 招 | 做法 | 关键点 |
|---|---|---|
| ① 判据化 | 把目标拆成可勾选的 DoD（覆盖三家竞品？有定价对比？有优劣分析？） | 把主观变客观，这是最关键的一步 |
| ② LLM-as-Judge + rubric | 给评委评分细则 + 分档描述 + 参考答案锚点；多评委投票取平均 | 没 rubric 的评委也是凭感觉；要做一致性校验，分歧大转人工 |
| ③ 人工抽检校准 | 抽 5%~10% 人工打分，算与自动评委的相关系数 | 评委也会漂，必须定期校准 |
评委偏差（加分点）
LLM 评委的典型偏差：偏爱更长的答案、偏爱自家模型输出。 缓解：位置互换（消除顺序偏差）、多模型交叉评审、rubric 里明确"长度不作为评分项"。
四、两个容易忽略的工程前提
① 地基：全链路 trace 留痕
每步的输入输出、工具调用、token 数、耗时全部留痕。 没有 trace，这五个维度一个都采不到 —— 呼应 10 号 的过程合规，留痕同时服务排查、审计、评估三用。
② 防漂：回归集 + 灰度 A/B
- 回归测试集（golden set）定期重跑，看指标有没有劣化
- 上线走灰度 A/B，用真实流量验证
- 指标要按场景分层看，别只看全局均值（均值会掩盖某类任务的崩溃）
五、避坑提醒
- ❌ "我看成功率" → ✅ 五维展开，且结果 + 过程都要测
- ❌ 只看平均时延 → ✅ 看 P95，长尾才是用户体感
- ❌ 用 LLM 评委但不给 rubric → ✅ 必须有评分细则 + 锚点 + 一致性校验
- ❌ 设了指标不挂钩业务 → ✅ 挂人工介入率 / 满意度 / 单次成本，否则变没人看的仪表盘
- ❌ 编数字（"成功率 95%、幻觉率 2%"）→ ✅ 说"以回归集与线上 trace 实测为准，具体值取决于任务集"
六、面试官在考什么
| 维度 | 你的证据 |
|---|---|
| 系统思维 | 五维覆盖结果/过程/成本/安全，不是单一成功率 |
| 评估方法论 | 判据化 + rubric + 人工校准三件套，懂主观指标怎么客观化 |
| 工程地基意识 | 主动提trace 留痕是指标的前提 |
| 防自欺 | 知道指标会漂、评委会偏，有回归集与交叉评审 |
| 业务导向 | 指标挂业务目标，交付物可用性优先于漂亮数字 |
七、追问预案（Q&A 演练）
Q1：这些指标权重怎么定？
按业务阶段定。探索期看重完成度和质量（先证明能做）；上线期看重工程效率和安全鲁棒性（成本与风险）；规模期看重成本和稳定性。没有固定权重，只有当前阶段的瓶颈指标。
Q2：指标之间冲突怎么办？（比如完成度和成本）
设约束式目标：把安全鲁棒性设成硬红线（不可交易），完成度设成主目标，成本设成约束上限（在预算内最大化完成度）。这样优先级清晰，不用每次临时拍。
Q3：怎么判断是 Agent 变好了还是题目变简单了？
靠固定回归集——题目不变，只变系统，指标变化才归因到系统。线上指标要按任务类型分层，避免任务分布变化污染结论。
Q4：人工抽检比例多少合适？
常规 5%~10%；新任务上线、评委刚调整、指标异常波动时要临时提高。抽检不是固定比例，是校准成本与置信度的权衡。
Q5：这套评估成本会不会比开发还高？
分层做：高价值核心链路全量评估；边缘链路只采工程指标（时延、成本、崩溃率）+ 轻量判据勾选。评估本身也可以模型分级——机械的判据勾选用小模型，主观质量评审才用大模型。
全篇串联（考前 10 秒扫这个）
先立判断：不只测结果，要测过程（结果对≠过程好）
→ 五维：完成度（判据勾选+可用性）· 规划（路径效率）· 工具（首次成功率+重复率+恢复率）· 效率（P95+成本）· 安全（拦截率+幻觉率+降级合规）
→ 难点：开放性任务 → 判据化 → rubric 评委 → 人工抽检校准
→ 地基：trace 留痕（无 trace 无指标）
→ 防漂：回归集 + 灰度 A/B + 交叉评审
→ 收尾：指标挂业务目标关联笔记：20Agent长任务不跑偏也不摆烂-目标铰链与反敷衍机制（DoD 判据是任务完成度指标的地基，没有判据就无法量化）、10Agent长任务失控治理-任务管控三层体系与执行闭环（trace 留痕 = 过程合规，服务排查/审计/评估三用）、23结构化输出兜底-四层架构与强类型校验（首次通过率、重试次数属工具调用维度）、22多Agent场景边界与部署模式-串行与层级分发（多 Agent 场景需额外测协调成本与收敛性）、14有含金量的Agent项目-六要素完整体系（有量化评估是项目含金量的硬证据）