一、为什么智能体（Agent）评测这么难
做过 Agent 项目的人都知道：开发不是最难的，难的是评测。我们在过去 18 个月里服务了 60+ Agent 项目，发现四个最常见的痛点：
- 结果不确定：同一个问题，Agent 跑两次答案可能不一样。"对不对"变成了"看起来像对"——评测者只能凭感觉。
- 链路复杂：Agent 是"思考 → 行动 → 观察"的循环，每一步都可能出错。传统软件的单元测试不顶用。
- 业务标准模糊："好的客服对话"到底怎么定义？谁来打分？打几分算合格？没有现成答案。
- 回归困难：Prompt 改了一行，所有测试都要重跑；模型升一次级，效果是涨是跌全靠猜。
没有评测体系的 Agent 项目，最终都会退化成"业务方凭感觉投诉，技术方凭感觉调参"。这篇文章把理讯网络服务客户时沉淀的评测方法论摊开来讲。
二、评测金字塔：从底向上分五层
我们对 Agent 的评测划分为五层，每一层有明确的指标和验证方式：
| 层级 | 评测对象 | 核心指标 |
|---|---|---|
| L1 工具调用 | 工具 schema 是否正确解析、参数是否填对、错误是否能恢复 | 工具调用成功率、参数准确率 |
| L2 单步推理 | Agent 在不调工具的情况下，单步回答的准确度 | 任务级准确率、拒答率 |
| L3 多步链路 | 完整任务链路（搜索→分析→输出）的成功率 | 端到端成功率、平均步数 |
| L4 用户体验 | 答案的可读性、流畅度、格式合规 | 人工评分、采纳率 |
| L5 业务结果 | 对真实业务指标的影响（转化率、效率、成本） | 业务 KPI 提升 |
经验：90% 的团队只评估 L1–L2，剩下三层靠运气。建议上线门控至少卡到 L3，业务关键场景卡到 L4–L5。
三、评测集设计：黄金集、流量集、对抗集
评测集不是"找 100 个问题就行"，需要按用途分层设计：
3.1 黄金集（Golden Set）
- 规模：200–500 条。
- 来源：业务方与 AI 团队共同整理的高频问题 + 标准答案 / 关键引用段落。
- 用途：回归测试。每次 Prompt、模型、链路变更都跑一遍。
- 质量要求：每条都有"标准答案 + 评分点 + 拒答条件"三件套。
3.2 流量集（Traffic Set）
- 规模：滚动累积，越多越好。
- 来源：线上真实用户问题的脱敏样本，定期（如每周）采样入库。
- 用途：发现"评测盲区"——黄金集没覆盖到的真实场景。
- 质量要求：不需要标注答案，但需要标注"是否被采纳 / 是否被点踩"作为弱监督信号。
3.3 对抗集（Adversarial Set）
- 规模：100–300 条。
- 来源：刻意构造的边界场景：超长输入、敏感问题、提示注入、错别字、专业黑话、跨语种混杂。
- 用途：验证 Agent 的鲁棒性与安全护栏。
- 质量要求：每条都要明确期望行为："应拒答"、"应引导人工"、"应给出免责声明"。
四、自动化评测：能机器评的，绝不人工评
人工评测慢且贵，能交给机器的环节一定要自动化。我们把自动化评测分为四类：
4.1 规则匹配
- 答案必须出现的关键词、必须排除的禁用词。
- JSON schema 校验（结构化输出场景）。
- 长度区间校验（避免过短/过长）。
4.2 文本相似度
- BLEU / ROUGE：适合有标准答案的抽取型任务。
- Embedding 余弦相似度：适合答案灵活但语义要对的生成任务。
- 不要迷信单一指标，用业务反馈反向校准。
4.3 大模型裁判（LLM-as-a-Judge）
- 用一个强模型当"裁判"，给 Agent 的答案打分。
- 关键：裁判模型必须比被评测的模型更强，否则评不准。
- 把评分标准写在 prompt 头部，给裁判一个评分维度表（如准确性、完整性、格式、引用）。
- 警惕 LLM 裁判的偏好偏差：偏好长答案、偏好看起来自信的答案。定期抽样对比，校正。
4.4 链路断言
- Agent 调了几个工具、按什么顺序、最终是否走到了出口节点。
- 死循环防护：超过 N 步必须终止并报警。
- 成本断言：单次任务 Token 消耗上限（如 0.5 元）。
五、人工评测：最难也最值钱
机器评不了的部分：语气是否得体、引用是否准确、是否符合业务语境——这些必须靠人。我们建议建立三档人工评测：
5.1 抽样盲评
- 每周从线上抽取 50–100 条 Agent 输出，由业务专家盲评。
- 评分维度：准确性、流畅度、合规性、引用质量。
- 评测者不知道答案来自哪个版本，确保评分公正。
5.2 红队攻防
- 定期组织"红队"专门找 Agent 的漏洞：诱导越狱、敏感提问、误导性指令。
- 发现的每个漏洞入库，作为对抗集的一部分。
5.3 终评会
- 重大版本升级前，业务方、AI 团队、产品负责人三方评审。
- 必须看到：黄金集回归通过率、流量集采纳率、对抗集拦截率。
- 缺一不可，不接受口头背书。
六、上线门控：什么时候算"可以上"
评测的目的不只是发现问题，更是决定能不能上线。我们建议设置四道门：
| 门 | 触发条件 | 通过标准 |
|---|---|---|
| 门 1：黄金集回归 | 任何 Prompt / 模型 / 工具变更 | 准确率 ≥ 基线 95%，引用命中率 ≥ 基线 95% |
| 门 2：对抗集拦截 | 重大版本升级 | 拦截率 ≥ 98%，漏拦截必须 ≤ 1 条 |
| 门 3：流量抽样 | 灰度发布前 | 抽样 100 条，采纳率 ≥ 80% |
| 门 4：业务指标 | 全量上线 2 周后 | 至少一项业务 KPI 显著提升（≥5%） |
反例：很多团队上线 Agent 只看"用户没报错"，忽略了引用准确率和业务指标。结果是Agent 在线三个月，业务部门说"AI 没价值"，被迫下线。
七、持续回归：让评测真正"跑起来"
评测体系建好后，必须持续跑、自动化、可视化。我们推荐的做法：
7.1 周回归制度
- 每周固定时间自动跑黄金集，邮件/IM 通知负责人。
- 任何指标下降超过 5%，自动开 issue。
7.2 版本对比看板
- 每次模型升级、Prompt 变更、A/B 实验都自动产出对比报告。
- 关键指标：准确率、引用率、平均 Token、拒答率、平均步数。
7.3 数据回流闭环
- 用户每次点踩、纠正、改写都回流到评测候选集。
- 人工标注后纳入下一轮黄金集。
- 评测集越用越大，效果越来越好。
八、一句话总结
Agent 评测不是"做一个测试"，而是"建一个持续运行的工程系统"。我们把它总结为五层金字塔（工具→单步→多步→体验→业务）、三类评测集（黄金 / 流量 / 对抗）、四道上线门、四类自动化手段、三档人工评测，外加周回归 + 数据回流的持续闭环。
没有评测的 Agent 项目是不可持续的；没有持续回归的评测是不可信的。
如果你正在搭建或优化 Agent 评测体系，欢迎联系理讯网络 Agent 平台团队，我们可以基于已有项目模板，帮你快速搭起这套体系。
关于作者
理讯网络 Agent 平台团队。负责多智能体协作引擎、评测体系、可与工作平台研发。本文方法论来自理讯网络 2025–2026 年服务 60+ 企业 Agent 项目的实战沉淀。
相关阅读
