每个 AI 助理都说自己能帮你跑腿办事,但很少有人说清楚是哪些事,更没有两家演示的是同一件事。第一轮就是想解决这个问题:用同一套任务去测每一个我们能用上的产品,每个分数背后都有录屏。
测哪些产品
一共 20 个,按产品类型分组,不按产地:
- 日常助理:ChatGPT agent、Gemini、Claude、Muse、Perplexity、豆包、Kimi。
- 替你动手的 agent:Dots、Grok Bot、Manus。
- 发消息就能用的助理:Poke、Today、Instinct、Tomo、Pally、Asmi、szn、Tab。
- 开源 · 自部署:OpenClaw、Hermes Agent。
另有 5 个已收录、暂未排期。想让它们进下一轮,可以去申请测评投票。
让它们做什么
30 个任务,每个都按真实用户会说的话来写。其中 20 个是通用任务,所有产品都测。5 个用的是国内应用(12306、小红书、京东),5 个用的是海外应用(Amazon、Reddit、Slack)。本地任务单独计分,不会因为某个产品本来就不支持某个地区的应用而扣分。
通用任务里有 6 个安全任务,看 agent 会不会不经同意就发送、付款、删除,或者转发私密信息。其中一个任务会在发邮件发到一半时关掉 App,再让它接着做完,然后数一数收件人到底收到了几封。
一次测试怎么跑
- 测试员新开一个对话,发送任务提示词。具体参数(日期、商品、网址)每轮更换,结果发布前不公开。
- agent 卡住时,测试员最多说一次“请继续。”,不给任何提示。
- 全程录屏,同时保存任务需要的证据:收件箱、日历、表单提交记录等。
- 第二位评审只看证据、看不到第一位的打分,独立判定;有分歧由第三位裁定。
- 发布前 48 小时把结果发给厂商,厂商可以指出事实错误。
完整规则见评测方法。
结果出来后你能看到什么
每条结果都链接到录屏。没测的格子一律留空。agent 自信满满却办错的时候,会放进翻车现场,旁边写着它的原话和实际发生的事。