应用 · 项目档案
SWT-Bench
软件测试生成基准，要求 Agent 将仓库问题转化为修复前失败、修复后通过的测试。
它可以用来做什么？
通过 Docker 支持的修复前后检查、适用性及覆盖率变化报告，评估问题复现测试。
使用前需要知道什么？
问题族来自 SWE-bench，Lite、Verified 和 Full 是筛选后的变体，不是独立任务全集。单元测试模式与独立复现脚本模式采用不同检查，脚本模式使用退出状态而不运行测试套件。上游列出276项 Lite、433项 Verified 和2,294项 Full；需固定数据集及过滤条件。框架 MIT 不替代被评测仓库的许可。本次未构建 Docker、运行生成测试或复现覆盖率结果。
我们核查了什么？
运行方式：需要 Python3.9+ 和 Docker。公开指引为快速评测建议 x86_64、至少120GB空闲存储、16GB内存及8核 CPU；arm64 支持属于实验性。报告覆盖率变化时应保留执行模式及可用的标准评测结果。
许可说明：基准框架代码采用 MIT；来自 SWE-bench 的任务内容、原始仓库和依赖保留各自条款。 上游许可 ↗
本条目依据原始项目材料整理，未独立运行或复现结果。AI 参与开发的描述来自作者说明；上游版本、运行条件和许可应以原始来源为准。
- 资源类型
- 评测套件
- 开发方式
- 开发方式未确认
- 来源核查
- 平台
- 请查阅上游说明