网站 · 项目档案
ClawBench
面向真实网站的评测框架,提供日常任务定义、浏览器 Agent 框架、轨迹记录及请求或轨迹评分。
它可以用来做什么?
评估需要利用文档信息的在线流程,并在明确语料版本、框架和评分规则后检查动作、请求及模型消息。
使用前需要知道什么?
运行涉及真实生产网站,可能需要账号或外部服务。拦截仅阻止匹配任务规则的请求;未匹配请求仍发送到真实网站,占位规则不会阻止提交。请求被拦截且评审通过,不代表真实结果已提交。当前 V1/V2 目录有152/129项任务,历史数量及评分协议不同。
我们核查了什么?
运行方式:v0.11.0 软件包要求 Python >=3.11、Docker/Podman 或文档支持的远程浏览器,并配置模型/评审服务。本地拦截评分与历史 V1 人工参考轨迹评审属于不同协议。真实网站、登录及浏览器限制仍是外部依赖。
许可说明:仓库代码及已查阅的官方任务/V1轨迹元数据声明 Apache-2.0;该许可不涵盖第三方网站,也不代表获得执行真实任务的授权。 上游许可 ↗
本条目依据原始项目材料整理,未独立运行或复现结果。AI 参与开发的描述来自作者说明;上游版本、运行条件和许可应以原始来源为准。
- 资源类型
- 评测套件
- 开发方式
- 开发方式未确认
- 来源核查
- 平台
- Web