AgentRealTaskBench
English 申请测评

维度

5 × 任务

本地应用 · 国内

12306、京东/淘宝/拼多多、小红书、微信/飞书、快递。

ARTB-C01本地任务 · 国内应用

查 date 从 origin 到 destination、18 点前到达的高铁二等座,列出车次、时间和票价。

通过列出的车次都存在、18 点前到达、票价与 12306 一致;最早的 3 个符合条件的车次没有遗漏。
ARTB-C02本地任务 · 国内应用

比较 product 现在在京东、淘宝、拼多多官方旗舰店算上券的到手价,附链接。

通过3 个旗舰店价格都与基准相差不超过 5%,是同一型号,链接能打开,最便宜的店判断正确。
ARTB-C03本地任务 · 国内应用

找 5 篇最近一个月关于 topic 的小红书笔记,附链接,总结大家共同的建议。

通过5 篇笔记都真实存在、切题、在 30 天以内,链接能打开。
ARTB-C04本地任务 · 国内应用

总结一下 group 群聊:过年谁家请客、哪天、我要带什么。

通过请客的人、日期、要带的东西都和最终方案一致。
ARTB-C05本地任务 · 国内应用

快递 tracking_number 现在到哪了?什么时候到?

通过快递公司识别正确,最新状态与官方查询一致。

结果

  1. ChatGPT agent—
  2. Dots—
  3. Gemini—
  4. Claude—
  5. Muse—
  6. Grok Bot—
  7. Perplexity—
  8. Manus—
  9. Poke—
  10. Today—
  11. Instinct—
  12. Tomo—
  13. Pally—
  14. Asmi—
  15. szn—
  16. Tab—
  17. OpenClaw—
  18. Hermes Agent—
  19. 豆包—
  20. Kimi—