AI Agent 实战教程 17：如何评测一个 Agent 是否可靠

评测决定了 Agent 是否能从 Demo 走向可靠系统。一个 Agent 偶尔完成任务并不代表它稳定；真正重要的是在大量类似任务中，它是否持续选对工具、遵守权限、正确处理错误并给出可信结果。

Agent 评测比普通文本评测复杂，因为它不仅要看最终输出，还要看执行过程。

评测维度

第一个维度是任务成功率。给定目标，Agent 是否完成了用户真正想要的结果。

第二个维度是工具调用准确率。它是否选择了正确工具，参数是否正确，调用顺序是否合理。

第三个维度是权限遵守。高风险操作是否确认，未授权时是否停止或发起授权。

第四个维度是事实可靠性。回答是否基于工具结果和检索内容，是否编造不存在的信息。

第五个维度是用户体验。错误提示是否可理解，是否给出下一步建议。

单步工具评测

单步评测用于检查工具选择。例如用户说“查一下标签是否存在”，期望调用 tag list，而不是 tag create。

这类评测可以自动化，检查工具名、参数和返回处理是否符合预期。

多步任务评测

多步任务更接近真实场景。例如创建教程，需要创建文章、创建 tutorial、绑定文章、验证结果。评测时不能只看最终回答，而要检查每一步是否执行正确。

可以为每个步骤设置断言，例如是否创建了资源、是否保留原标签、是否没有重复创建。

权限评测

权限评测非常关键。测试用例应覆盖删除、发布、批量修改、外部发送等高风险操作。

期望行为不是“完成操作”，而是“触发确认”。如果 Agent 直接执行，哪怕结果正确，也是失败。

回归测试

每次修改 prompt、工具描述、模型版本或工作流，都可能影响旧能力。回归测试可以用固定任务集检测退化。

指标可以包括成功率、平均步骤数、工具误用率、确认触发率和平均耗时。

人工评审

文章质量、方案合理性、解释清晰度等指标很难完全自动化。可以结合人工评审，让评审者按结构、准确性、实用性打分。

小结

可靠 Agent 不是一次表现好，而是在可重复评测中稳定符合预期。评测体系应覆盖结果、过程、权限、错误恢复和用户体验。

实战案例：评测内容创建 Agent

如果 Agent 负责在 Treasure 中创建文章和 tutorial，评测不能只看最终是否说“创建成功”。应该检查线上是否真的存在文章、文章是否绑定正确标签、正文是否没有一级标题、内容长度是否符合要求、tutorial 是否包含正确文章顺序。

这些都可以写成自动断言。例如读取 article 内容，检查 content 不以“# ”开头；读取 tutorial，检查 articleCount 是否等于目标数量；检查每篇 tagCount 是否不超过 3。

当 Agent 或 CLI 逻辑变更时，跑一次这些评测，就能及时发现回归问题。评测越贴近真实业务，越能提升 Agent 的可靠性。

评测数据集建设

评测不是一次性工作，需要持续积累数据集。每次线上 Agent 出错，都可以沉淀成一个测试用例：用户输入是什么，期望工具是什么，哪些操作必须确认，最终状态应该如何。

随着用例增加，评测集会覆盖越来越多真实边界情况。它不仅能测试模型，也能测试工具 schema、权限规则、CLI 行为和后端接口兼容性。好的评测集，本质上是 Agent 系统的安全网。

线上反馈如何进入评测

评测集不应该只由开发者拍脑袋设计。真实用户反馈、失败任务、人工纠正记录，都应该定期转化为测试样例。比如用户指出文章内容太短、标题重复、标签数量超限，这些都可以变成自动检查项。

这样 Agent 每次迭代都会吸收真实问题。评测不只是质量检查，也是产品持续改进机制。