应用 · 项目档案
SWE-bench Pro
Scale AI 的长流程代码库修复基准，公开任务容器、问题说明及补丁验证工具。
它可以用来做什么？
在 Python、JavaScript／TypeScript 和 Go 代码库中，通过任务专用失败测试及回归测试评估补丁。
使用前需要知道什么？
当前公开 V2 有642项任务，HARD-51 是其子集，旧 v1 有731项；论文更大的集合包含未公开赛道。冻结 Harbor 包仍标731，尚不能视为 V2 的等价发布。V2 协议让 Agent 阶段离线，并在全新容器中重评捕获的补丁。版本、子集和不同命名空间不能累加为任务总数。
我们核查了什么？
运行方式：V2 提供 Harbor 任务目录及公开 linux/amd64 镜像引用。文档中的固定协议使用 Harbor、Modal 分阶段网络策略及独立重评分器；旧的本地 Docker 示例属于 v1。本次未拉取容器、执行任务或独立验证参考补丁结果。
许可说明：当前框架／工具采用 MIT；任务指令、补丁及测试保留原代码库许可，其中可能包含 copyleft 条款。旧 Harbor 适配器的 Apache-2.0 说明不能确立当前发布材料统一适用该许可。 上游许可 ↗
本条目依据原始项目材料整理，未独立运行或复现结果。AI 参与开发的描述来自作者说明；上游版本、运行条件和许可应以原始来源为准。
- 资源类型
- 评测套件
- 开发方式
- 开发方式未确认
- 来源核查
- 平台
- 请查阅上游说明