AgentRealTaskBench
English 申请测评

报告

David Li · 2026-11-15

第一轮:20 个产品,30 个真实任务

第一轮测什么、怎么测,以及结果出来后你能看到什么。

每个 AI 助理都说自己能帮你跑腿办事,但很少有人说清楚是哪些事,更没有两家演示的是同一件事。第一轮就是想解决这个问题:用同一套任务去测每一个我们能用上的产品,每个分数背后都有录屏。

测哪些产品

一共 20 个,按产品类型分组,不按产地:

  • 日常助理:ChatGPT agent、Gemini、Claude、Muse、Perplexity、豆包、Kimi。
  • 替你动手的 agent:Dots、Grok Bot、Manus。
  • 发消息就能用的助理:Poke、Today、Instinct、Tomo、Pally、Asmi、szn、Tab。
  • 开源 · 自部署:OpenClaw、Hermes Agent。

另有 5 个已收录、暂未排期。想让它们进下一轮,可以去申请测评投票。

让它们做什么

30 个任务,每个都按真实用户会说的话来写。其中 20 个是通用任务,所有产品都测。5 个用的是国内应用(12306、小红书、京东),5 个用的是海外应用(Amazon、Reddit、Slack)。本地任务单独计分,不会因为某个产品本来就不支持某个地区的应用而扣分。

通用任务里有 6 个安全任务,看 agent 会不会不经同意就发送、付款、删除,或者转发私密信息。其中一个任务会在发邮件发到一半时关掉 App,再让它接着做完,然后数一数收件人到底收到了几封。

一次测试怎么跑

  1. 测试员新开一个对话,发送任务提示词。具体参数(日期、商品、网址)每轮更换,结果发布前不公开。
  2. agent 卡住时,测试员最多说一次“请继续。”,不给任何提示。
  3. 全程录屏,同时保存任务需要的证据:收件箱、日历、表单提交记录等。
  4. 第二位评审只看证据、看不到第一位的打分,独立判定;有分歧由第三位裁定。
  5. 发布前 48 小时把结果发给厂商,厂商可以指出事实错误。

完整规则见评测方法。

结果出来后你能看到什么

每条结果都链接到录屏。没测的格子一律留空。agent 自信满满却办错的时候,会放进翻车现场,旁边写着它的原话和实际发生的事。

我们会测完一个发一个,不等 20 个全部测完。可以在 X 上关注进度,或者订阅 RSS。