AgentRealTaskBench
关于
每家都说自己的助理能替你打理生活,但每家演示的都是不同的任务,没法比较。ARTB 把任务写下来、公开出来,再拿同一套任务去测每一个我们能用上的产品。
怎么测
- 01
写任务
每个任务都是真实用户会说的话,配上能对照证据判定的标准。
- 02
真人去测
测试员用测试账号逐个产品跑,全程录屏,一次中性追问。
- 03
双人盲评
第二位评审只看证据独立打分,分歧由第三位裁定。
- 04
公开结果
发布前 48 小时给厂商核对事实,录屏、参数和更正全部公开。
四条规矩
- 不评 SandBase也不评与它直接竞争的基础设施产品。
- 出厂状态不额外加装任何工具或插件。
- 不收钱不接受赞助、不卖排名,订阅费自己付。
- 没测就留空从不估分,不支持的任务单独标注。
谁在做
David Li
SandBase 创始人,做 AI agent 基础设施。每天自己在用这些助理,ARTB 的任务和结论由他负责。
觉得分数不对?
或者测试之后已经修好了?提交任务反馈,我们会重测。