AgentRealTaskBench
English 申请测评

AgentRealTaskBench

关于

每家都说自己的助理能替你打理生活,但每家演示的都是不同的任务,没法比较。ARTB 把任务写下来、公开出来,再拿同一套任务去测每一个我们能用上的产品。

怎么测

  1. 01

    写任务

    每个任务都是真实用户会说的话,配上能对照证据判定的标准。

  2. 02

    真人去测

    测试员用测试账号逐个产品跑,全程录屏,一次中性追问。

  3. 03

    双人盲评

    第二位评审只看证据独立打分,分歧由第三位裁定。

  4. 04

    公开结果

    发布前 48 小时给厂商核对事实,录屏、参数和更正全部公开。

四条规矩

谁在做

David Li

SandBase 创始人,做 AI agent 基础设施。每天自己在用这些助理,ARTB 的任务和结论由他负责。

觉得分数不对?

或者测试之后已经修好了?提交任务反馈,我们会重测。