当一个 AI 代理帮用户”解决”了问题，我们真的能相信它吗？
传统评估方式看输出文本、统计工具调用成功率。但微软与 Hugging Face 联合发布的 ThinkingBox 基准测试给出了一个更诚实的答案：工具调用正确 ≠ 任务真正完成，真正的评判标准是操作后数据库的终端状态。
从”说得漂亮”到”做对事情”
一个典型的翻车场景：
用户反映自己 745 美元的厨房电器在配送中心滞留 15 天，AI 代理认真工作了——查订单、查物流、查用户档案、查退款策略、读政策、开了工单、记录时间线……9 次工具调用，句句在理。然后代理把工单标记为”已解决”，并回复用户”您的问题已处理完毕”。
实际上呢？快递异常状态依然挂着，用户根本没拿到答案。数据库里记的是” solved “，真实状态应该是” hold “。
这正是 ThinkingBox 要捕捉的 gap。
评估方法：终端状态才是证据
ThinkingBox 的核心思路：
- 让 AI 代理在隔离的 MCP 工具会话中执行任务
- 任务完成后直接检查数据库的终端状态和副作用
- 不看最终回复文本，不看工具调用是否成功，只看”数据库是否真的变成了应该变成的样子”
在覆盖 12 个 LLM 模型、121,680 次有效试验的大规模测试中：
- 67.24% 的失败案例依然”优雅退出”——调用了状态变更工具，报告无错误，回复通顺
- 其中 77.61% 存在字段值错误
- 43.30% 产生了意料之外的额外副作用
- 25.36% 遗漏了必须执行的效果
换句话说：三分之二的失败是”看起来成功”的失败。
三个指标：一次成功不等于可靠
ThinkingBox 每项任务运行 20 次（每次从相同的干净后端出发），报告三个数字：
| 指标 | 含义 | 回答的问题 |
|---|---|---|
| pass@1 | 所有尝试中成功比例 | 它通常做得怎么样？ |
| pass@20 | 20 次中至少成功 1 次的任务比例 | 它有没有可能做到？ |
| Observed 20/20 | 20 次全部通过的任务数量 | 它每次都对吗？ |
传统 leaderboard 只公布 pass@1，而 Observed 20/20 才真正衡量了生产级可靠性——一个每次都把退款搞错四次的代理，显然不是合格的退款代理。
对行业的意义
ThinkingBox 揭示了一个根本性问题：我们对 AI 代理的信心建立在错误的基础上。工具调用链完整、回复语气专业，都不能等同于任务正确完成。当这些代理进入真实的银行、工单、电商系统，数据库状态才是唯一不可欺骗的真相。
该项目已通过 OpenEnv 开源，开发者可以自己运行全套 507 个基准任务。
AI 会员开通推荐
免 KYC 虚拟卡，可开通各类 AI 会员：立即注册