AgentRealTaskBench
English 申请测评

维度

9 × 任务

数据获取

能真正读到社媒、电商和实时数据,并给出真实链接。

ARTB-017通用任务

这周社交媒体上大家怎么评价 product?给我 5 条真实的帖子和链接,再用一句话总结。

通过5 个链接都能打开,都是关于这个产品的真实帖子,都发布于 7 天以内。
ARTB-018通用任务

software 最新版本是多少,改了什么?附上官方更新说明的链接。

通过最新版本号正确,至少 2 条改动正确,链接是官方的。
ARTB-019通用任务

在 GitHub 上找 3 个热门的开源 category 项目,每个至少 1,000 star,把名字、star 数、最近提交日期做成表格,发到 me。

通过收到带表格的邮件;3 个项目真实存在且都至少 1,000 star;star 数误差不超过 5%,日期正确。
ARTB-C02本地任务 · 国内应用

比较 product 现在在京东、淘宝、拼多多官方旗舰店算上券的到手价,附链接。

通过3 个旗舰店价格都与基准相差不超过 5%,是同一型号,链接能打开,最便宜的店判断正确。
ARTB-C03本地任务 · 国内应用

找 5 篇最近一个月关于 topic 的小红书笔记,附链接,总结大家共同的建议。

通过5 篇笔记都真实存在、切题、在 30 天以内,链接能打开。
ARTB-C05本地任务 · 国内应用

快递 tracking_number 现在到哪了?什么时候到?

通过快递公司识别正确,最新状态与官方查询一致。
ARTB-G01本地任务 · 海外应用

比较 product 现在在 Amazon、Walmart、Target 的价格,附链接。

通过3 个价格都与基准相差不超过 5%,是同一型号,链接能打开,最便宜的店判断正确。
ARTB-G02本地任务 · 海外应用

找 5 个最近一个月关于 topic 的 Reddit 帖子,附链接,总结大家共同的建议。

通过5 个帖子都真实存在、切题、在 30 天以内,链接能打开。
ARTB-G04本地任务 · 海外应用

包裹 tracking_number 现在到哪了?什么时候到?

通过承运商识别正确,最新状态与官方查询一致。

结果

  1. ChatGPT agent—
  2. Dots—
  3. Gemini—
  4. Claude—
  5. Muse—
  6. Grok Bot—
  7. Perplexity—
  8. Manus—
  9. Poke—
  10. Today—
  11. Instinct—
  12. Tomo—
  13. Pally—
  14. Asmi—
  15. szn—
  16. Tab—
  17. OpenClaw—
  18. Hermes Agent—
  19. 豆包—
  20. Kimi—