AI 做出的软件，
AI 学习的环境。

提供快捷键语音输入、转写和本机笔记文件夹的 Windows 听写及会议笔记应用。

基于容器的基准，评估 Agent 修复或修改 dbt 项目、SQL 转换及数据仓库结果的能力。

用于多轮 Agent 研究的生成流水线及已发布合成工具环境套件，通过 MCP 提供接口并以 SQL 数据库维护状态。

跨领域 Agent 基准，当前函数调用版本为系统命令、数据库、知识图谱、购物和文本家庭任务等任务提供容器化运行。

跨环境评测套件，在网页浏览、工具操作、游戏和模拟世界任务中，同时跟踪中间进展与最终成功情况。

包含模拟应用和不可信工具数据的工具使用评测环境，用于衡量任务完成能力及对提示注入的抵抗能力。

为交互式 Agent 环境提供统一客户端与服务端接口，并配有评测任务、轨迹数据和 Agent 开发流程。

将 AgentGym 环境服务连接到轨迹生成与策略优化的多轮强化学习栈，训练部分基于 verl 构建。

OpenCUA 项目提供的跨平台计算机操作演示数据，并附录制工具和离线动作匹配评测器。

根据维护的 CSV 展示商品表格、单品历史和图表的个人杂货价格记录网站。

相互对齐的文字与具身家庭环境，Agent 可先通过语言学习任务规划，再尝试对应的视觉交互。

面向数值及算法程序优化的基准和执行框架，在保持输出有效的前提下与参考运行时间比较。

结合元素定位、屏幕及元素功能描述、指令驱动动作链的 Android GUI 数据集。

使用 Apple 屏幕使用时间功能限制选定博彩应用和网站，并提供签到与进度记录的 iPhone 与 iPad 应用。

Android 软件工程的公开 1.0 任务集：Agent 修改 Kotlin／Java 代码库，由构建与测试框架检查补丁。

大规模离线人工 Android 操作演示数据，包含自然语言目标、界面截图以及触屏、输入和导航动作记录。

基于 Android in the Wild 子集构建的数据集，为记录的截图与动作序列补充屏幕描述及动作推理标注。

提供 Android 人类任务示范，包含整体目标、逐步指令、截图、无障碍树及结构化动作。

将 Android 应用封装为强化学习环境的框架，提供触屏动作、像素观察和可配置的任务奖励。

Android Agent 框架，提供预设虚拟设备、可复现应用任务、评估工具和 Android Instruct 训练数据。

运行于 Android 模拟器的环境，为日常移动应用提供参数化任务和基于系统状态的奖励。

Android 直角三角形计算器，提供示意图、可配置小数精度及命名保存的计算记录。

提供可执行 API 实现、评测对话和独立训练数据的工具使用基准，覆盖规划、检索和调用工具。

基于可控模拟 Android 应用的移动 GUI 基准，提供与任务相关的交互流程、预置后端数据和结果检查。

由相互关联的日常应用组成的模拟世界，提供 API、持久任务状态和可执行检查，用于函数调用及交互式编程 Agent。

基于 Stella 模拟器的 Atari 2600 接口，为学习型 Agent 提供观察、动作、游戏得分和回合终止信号。

面向在线网页研究的基准，包含实际信息收集任务、公开开发集答案和 SeePlanAct 浏览器 Agent 实现。

OpenAI 单次提示生成作品集中的浏览器太空射击游戏，公开生成提示和应用文件。

AI 生成的浏览器鼓机音序器，包含十六步网格、速度与摇摆节奏控制、样式保存和 WAV 导出代码。

包含 50 个任务的 AutoCAD 计算机操作评测，覆盖带尺寸的二维绘图与真实三维建模，公开任务语料、Windows 控制代理及最终 DWG 评分代码。

在现有交互游戏上评估语言与视觉语言 Agent 的框架，覆盖文字冒险和基于 NetHack 的任务。

提供共享竞技场、在线对战和机器人补位的浏览器平台格斗游戏。

一组受控的交互式强化学习实验，通过标准化记录诊断探索、记忆等 Agent 能力。

支持富文本、文件快捷方式、粘贴图片、代码块、提醒和分页便签的桌面便签应用。

包含数据库状态、辅助知识、用户模拟器和可执行检查的交互式 text-to-SQL 环境，覆盖查询及数据修改任务。

生物信息学基准，提供笔记本执行环境，让 Agent 检查数据、运行 Python／R／Bash 分析并解释结果。

三维图形编辑基准，要求模型系统修改 Blender Python 代码，使初始场景匹配目标场景。

浏览器 Agent 安全评估工具包，提供合成网站、行为数据和轨迹分类器，用于研究 Agent 是否执行有害请求。

连接多种网页基准的统一浏览器环境接口，为 Agent 提供一致的观察和动作表示。

AI 生成的开发者平台落地页，包含黑白网格、终端动画、代码标签页、价格表和注册弹窗。

FreeCAD 计算机操作基准，通过对保存的 CAD 项目及工程输出执行检查，评估基于截图的 GUI 操作。

在终端中检查仓库、编辑文件和执行开发任务的编程 Agent 应用，官方文档明确支持原生 Windows。

Anthropic 发布的 Agent 团队研究产物：由 Claude Opus 4.6 编写、以 Rust 实现的实验性 C 编译器。

面向真实网站的评测框架，提供日常任务定义、浏览器 Agent 框架、轨迹记录及请求或轨迹评分。

原生 macOS MCP 调试应用，可调用工具、预览资源并查看实时日志。

浏览器中的三维跑酷射击游戏，玩家随关卡推进切换跑道、跳过障碍并射击目标。

用 JAX 实现的生存与制作世界，在 Crafter 基础上扩展了类 roguelike 机制；同一项目另提供较简化的 Craftax-Classic 模式。

程序化生成的生存游戏，通过资源收集、制作和生存成就研究探索与长期决策能力。

基于 Salesforce 的专业 CRM 任务基准，公开评测代码和数据；Pro 扩展覆盖销售、服务、报价流程及多轮用户交互。

OpenAI 发布的生成式浏览器工具，读取 CSV 文件并配置柱状图、折线图、饼图或环形图，包含列映射、颜色设置及 PNG 下载逻辑。

Android 媒体记录应用，通过两两比较来排列电影、电视剧、游戏和书籍，而非固定星级。

多文件数据分析任务，结合支付记录、JSON 业务数据及说明文档，并公开代码执行型 Agent 基线和答案评分器。

公开代码的仪表盘重建基准，要求 Agent 探索 Plotly+Dash 仪表盘并复现外观和交互；配套 DashboardMimic 数据需要申请访问。

面向 Apple 容器平台的原生 macOS 界面，提供容器控制、镜像管理、日志和资源监控。

可定制的第一人称三维游戏平台，用于视觉导航、记忆和控制任务，基于 Quake III/ioquake3 引擎体系。

用于构建分层二维网格世界的 C++/Lua 引擎，支持多个 Agent、文本地图和可编程行为。

截图到 HTML 的生成基准，提供参考网页、模型生成结果和自动视觉指标，用于评估前端代码生成。

面向 Ubuntu 桌面专业创作与工程工作流的评测，包含 386 个标准任务及 152 个加入分阶段模拟用户交互的任务。

通过照片识别犬种，并将照片、名字和笔记保存到个人收藏中的 iPhone 应用。

受 Doom 启发、通过滚动或滑动操作的浏览器游戏，包含自动射击、怪物、武器升级和新闻标题铭牌。

覆盖七种常用库、包含1,000道 Python 问题的数据科学代码生成基准，通过执行测试判分。

处于 alpha 阶段的 Rust 动态图形与合成应用，结合图层、关键帧和特效，提供原生项目格式及文档化的 Lottie／媒体导出。

专业工程基准，覆盖 CAD、仿真、制造、建筑设计、电子设计及三维内容制作的 GUI 与 CLI 工作流。

OpenAI 署名的 AI 生成作品集中的单文件浏览器迷宫游戏，包含键盘移动、计时和最短路径比较。

Cursor 长时间多 Agent 编程研究产生的实验性 Rust 浏览器引擎及桌面外壳。

处于 alpha 阶段的 Rust 视频编辑器，包含多轨时间线、修剪、字幕、颜色与音频控制，并提供文档化的媒体导出及时间线交换流程。

围绕木材、斧头及树桩扫描素材构建的三维浏览器劈柴互动作品，支持劈切和视角旋转。

提供悬浮赛车、加速和空气刹车控制、计时挑战及多种比赛模式的未来风格浏览器竞速游戏。

多模态助手基准，任务结合推理、网页检索、文件处理和工具使用，以问题及配套附件的形式发布。

基于 Meta Agents Research Environments 的异步基准，Agent 操作模拟应用，同时应对事件、用户请求和时间约束带来的状态变化。

公开提示与 Blender 场景产物的游戏世界生成基准，配有 Code2Games 的场景分析、素材放置和玩法世界构建代码。

根据规格生成完整可玩二维 Godot 项目的基准，通过启动检查、玩家输入重放和多模态评分标准进行评估。

由限定范围的 Godot 开发任务组成的可执行基准，覆盖玩法逻辑、界面、图形和动画，并提供初始项目及引擎级验证。

使用 YAML 描述语言定义机制、观察与单 Agent 或多 Agent 任务的可配置网格游戏引擎。

面向 Android 跨应用导航的离线示范数据集，提供截图、动作、指令及语义推理标注。

覆盖桌面、移动端、网页及 XR 录屏的 GUI 视频数据集与离线基准，评估界面内容、变化及操作序列理解。

GUICourse 已发布的导航数据部分，包含单步、多步网页任务及 Android 交互的截图与动作记录。

基于 Video Game Description Language 的框架，可跨多款游戏评估规划器，并生成关卡或游戏规则。

用于单 Agent 强化学习的统一接口与参考环境集合，延续 OpenAI Gym 的维护体系。

采用函数式接口的 JAX 环境库，实现经典控制、诊断和小型游戏任务，显式传递状态、随机数和参数。

用于 Agent 评测与训练轨迹生成的执行框架，提供可复用任务格式以及本地或远程沙盒后端。

在 macOS 菜单栏中展示多个 Claude Code 和 Codex 账户用量窗口及重置时间的应用。

面向网页交互状态变化的基准，将交互前后截图与动作标注配对，并公开代码生成和评估实现。

在 Bash、SQL、Python 和夺旗任务执行过程中返回反馈的交互式编程环境框架。

基于 iPhone 模拟器的基准，包含 26 个专门构建的应用、统一虚构用户数据，以及跨应用和个人背景相关任务。

从交互视频重建网页的基准，提供用户操作录像、静态资源、动作序列，以及评估生成页面的公开代码。

将 Agent 连接到交互式文字冒险游戏的 Python 接口，提供游戏状态访问及可复现运行所需的控制。

用 JAX 实现的交互式逻辑游戏、装箱、路径规划等决策环境套件，可配置问题实例。

面向网页 Agent 的基准，要求通过多步工作流研究资料并生成 Google Docs、Sheets 和 Slides 成果。

在使用其他应用时，通过悬浮卡片展示单词及释义的 Windows 词汇工具。

通过浏览器访问的 1990 年代多人文字冒险重建版，使用新实现的引擎运行保留下来的世界脚本。

处于 alpha 阶段的 Rust 照片库与 RAW 显影应用，包含照片整理、非破坏性调整、蒙版及图像导出流程。

Android 任务执行与评测平台，通过检查 Agent 轨迹是否到达人工标注的关键应用状态来评估任务完成。

面向 macOS 的电脑操作基准，在 Apple Silicon 虚拟机环境中组合移植桌面任务与 macOS 特有流程。

面向大量交互 Agent 的网格世界引擎与参考场景，包含战斗、追逐等任务，并提供 PettingZoo 接口。

OpenAI 发布的生成式浏览器工具，将输入的 Markdown 转为幻灯片预览，以独立一行的三个连字符分隔页面。

将交互世界与背景 Agent 群体组合的多 Agent 社会交互评测套件，用于测试面对陌生伙伴时的泛化能力。

离线网页任务演示数据集与基准，将任务指令、人工操作序列和抓取的页面信息配对。

面向长流程网页研究及带来源综合回答的 Agent 搜索基准，提供公开评审 Agent 框架及带版本的任务专用评分器。

基于 Minecraft 的研究套件，提供生存、资源收集、创作和通关任务，并配有独立的知识资料库。

为 Minecraft 研究任务提供 Python 接口，包含分版本维护的环境，以及独立的人类操作示范数据。

可配置的小型网格世界集合，覆盖导航、物体操作和指令执行，并包含 BabyAI 环境。

基于 NetHack 的任务沙盒，可构建导航、物品使用以及程序化生成的游戏挑战。

由点击、输入、选择和操作界面元素等小型浏览器任务组成，提供 Gymnasium 与 JavaScript 接口。

用于导航与目标导向学习的简化三维室内模拟器，支持配置房间、物体和视觉观察。

采用 Gym 风格接口的研究环境，Agent 可修改机器学习方法、运行实验并获得任务反馈。

移动端 Agent 基准库，为日历、联系人和文件管理等日常 Android 应用提供任务专用初始化、完成检查及重置逻辑。

多目标、多 Agent 环境套件，采用类似 PettingZoo 的接口返回奖励向量，包含棋盘游戏、合作物理任务和资源分配模拟。

研究交流、合作和竞争的粒子世界环境，延续此前随 PettingZoo 分发的 MPE 环境。

提供分体布局、假名汉字转换、开发者快捷键及可选语音处理的 Android 日语输入法。

围绕三个习惯设计的 iPhone／iPad 习惯记录应用，提供每日打卡、提醒和进展历史。

在密集霓虹城市中探索的浏览器悬浮车游戏，包含街道驾驶、飞行及计时挑战。

为 NetHack 提供 Gymnasium 接口，包含程序化生成的地牢、物品管理和需要连续决策的任务。

桌面 Markdown 阅读与编辑应用，提供双向链接、独立批注文件、本地资料库及可配置 Agent 集成。

办公工作流基准，让语言 Agent 通过结构化工具命令协调文档、电子表格、邮件及日历操作。

截图到动作程序的数据集，将桌面与网页任务指令、界面图像、目标标注和参考 PyAutoGUI 脚本配对。

用于记录活动时间、统计点击次数和跟踪开关持续时间的 Android 桌面小组件，提供历史记录和 CSV 导出。

AI 生成的浏览器绘图应用，提供画笔、橡皮擦、颜色选择和 PNG 图像导出。

面向公开在线网站的任务基准，提供轨迹提交规范和 WebJudge 评估，与离线 Mind2Web 数据集分别维护。

在浏览器中运行的可配置模拟应用生态，用于训练 UI Agent，并衡量界面及内容变化下的可靠性。

将交互环境封装为统一 step/reset API 的框架，提供 Docker 部署、奖励接口和训练集成。

集成多种游戏环境与算法的研究框架，支持不同信息条件下的单 Agent、多 Agent 学习、搜索与规划。

跨平台 GUI 元素定位预训练语料，结合新采集的桌面／网页界面与复用的移动端、网页数据集。

Android 安全研究框架，结合状态／规则检查与视觉语言模型评审，提供移动任务场景及风险轨迹评测。

包含应用操作、文件处理和可执行任务检查的桌面 Agent 环境，原始论文发布了 369 项任务。

包含 108 项独立任务的计算机操作基准，覆盖 Ubuntu 桌面应用与网页服务中的长流程工作。

为 OSWorld 任务提供人类参考轨迹及效率评分，用于衡量 Agent 成功完成工作流所需的动作数量。

处于 alpha 阶段的 Rust PDF 工作台，用于查看、搜索、批注、表单和页面整理，提供原生应用及命令行工具。

提供逐 Agent 轮转的 Agent Environment Cycle 接口和并行动作接口的多 Agent 环境库，覆盖合作与竞争游戏。

处于 alpha 阶段的 Rust 图像编辑器，提供分层文档、蒙版、画笔、可编辑文字、调整及 PSD／PSB 读写。

用于浏览 Claude Code 会话、检查工具操作和回看对话历史的原生 macOS 配套应用。

计算咖啡与水用量、提供分步手冲流程的原生 iPhone/iPad 应用。

由十六款程序化生成的视觉游戏组成的基准，用于区分熟悉关卡上的学习表现和未见关卡上的泛化表现。

Procgen 的社区重写项目，包含 C++ 游戏实现，以及从 Python 调用编译后世界的 CEnv 接口。

包含 Ocean 原生游戏与模拟实现集合的强化学习执行框架，并提供环境集成和训练基础设施。

结合基地建设、单位控制、技能及军队升级收集的浏览器即时战略演示版。

iPhone 个人评价记录应用，提供自定义字段、照片、两两比较排名、搜索及 JSON 导入导出。

用于提取 KartRider .rho 和 .rho5 素材归档的 Windows 命令行工具，提供独立可执行文件。

为不完全信息条件下的强化学习与搜索提供观察、合法动作和轨迹的卡牌游戏环境工具包。

iPhone 提词器，提供脚本编辑、文本／Markdown 导入、滚动调节、镜像模式及蓝牙遥控。

面向独立 Python 科学分析程序生成的可执行基准，提供任务资产以及直接运行或容器化评测流程。

科学桌面环境及基准，覆盖分子可视化、天文学、GIS、代数、定理证明和科研文档流程。

以文字交互的模拟世界，Agent 可操作物体，完成加热、分类和电学实验等基础科学任务。

检查丝网印刷制版 PDF，并导出标注 TIFF 图片及文本报告的 Python 命令行工具。

基于截图的 GUI 定位基准，要求模型在移动端、桌面和网页界面中找到指令所指的控件。

采用专业软件高分辨率截图的 GUI 定位基准，覆盖开发工具、创意应用、CAD 和办公套件。

按人物和场合记录庆典礼物及礼金往来的原生 iPhone/iPad 礼簿应用。

将本机 Shell、编辑器、浏览器和 AI 交互面板结合的 Android 终端开发工作区。

AI 生成的虚构智能手表发布网站，包含规格介绍、产品选项和模拟预订表单。

在浏览器中制作社交媒体图片卡片的工具，提供画面比例、背景色、裁剪预览和图片下载。

Android Agent 评测框架，提供中英文单应用及跨应用任务、轨迹标注和自动评分流程。

玩家控制飞船左右移动、射击下落外星敌人的单人浏览器街机游戏。

面向数据科学与工程流程的可执行桌面基准，结合代码、GUI 操作以及 dbt、Airbyte、BigQuery 等企业工具。

真实场景电子表格编辑数据集与基准，为每条用户指令提供多个工作簿测试用例。

面向复杂多工作表的独立业务流程基准，覆盖端到端电子表格生成、调试及可视化。

持续维护的 Gym Retro 分支，将经典游戏模拟器接入 Gymnasium，并通过集成配置定义奖励、状态变量和回合终止条件。

由 ToolBench 衍生的环境，结合缓存 API 响应、模型模拟和调整后的工具使用评测流程。

便携式 Windows 桌面便签应用，支持复选框、提醒，以及跟随指定应用窗口显示的便签。

源码修复基准，要求 Agent 解决真实仓库问题，再通过项目测试评估补丁。

Scale AI 的长流程代码库修复基准，公开任务容器、问题说明及补丁验证工具。

面向 Python 仓库问题的可执行任务与测试验证环境，用于训练软件工程 Agent 和解法验证器。

软件工程基准，其公开 Diamond 版本结合真实自由职业项目中的应用代码修复及实现方案选择。

通过构建代码库执行环境，并引入会使现有测试失败的修改来合成代码修复任务的工具包。

按版本发布的可执行终端任务集合，配有容器化初始环境、参考解法和用于判断 Agent 结果的自动检查。

提供竞争与合作类文字游戏，以统一的字符串观测与动作接口训练、评估语言模型 Agent。

可生成和运行文字冒险的工具包，支持控制任务难度、跟踪状态并为学习型 Agent 提供奖励。

可自行部署的模拟软件公司，Agent 通过内部网页服务、文件、代码及与模拟同事的对话完成工作任务。

将 Quake 移植到 Three.js 浏览器环境的项目，包含原作共享版章节及公开源码仓库。

来自 OpenAI 生成案例集的罗马主题浏览器井字棋作品，提供本地双人和电脑对手模式。

提供 Wiki、News 和 Shop 受控网站环境的网页 Agent 基准，以多个历史时期的界面风格测试泛化。

AI 生成的浏览器看板应用，支持卡片流转、本地保存、搜索和进行中任务数量限制。

有状态的工具使用评测环境，结合模拟对话、相互依赖的工具动作，以及对中间和最终环境状态的检查。

展示密尔沃基高速路行程时间、事故信息、收藏路线及通勤提醒的 iPhone/iPad 工具。

AI 生成的浏览器打字游戏，通过下落单词、逐渐增加的难度、得分和准确率形成交互。

离线桌面 GUI 基准，已公开元素定位、布局定位所需的截图、标注及评测代码。

通过 Unity SDK 和 Python 接口，将游戏与模拟场景连接为可交互环境，用于强化学习、模仿学习及多 Agent 研究。

Pygame 生成数据集与评估工具，包含自然语言要求、参考代码，并通过模型评估生成代码、截图及短时游戏录像。

处于 alpha 阶段的 Rust 矢量编辑器，提供路径、形状、文字、图层及原生／SVG／PDF 文档流程，并发布桌面和 WebAssembly 构建。

提供原生 Mac 应用和浏览器界面的终端会话管理器，可远程查看输出并操作运行中的 Shell。

自动将视频重新编码为较小文件的 iPhone/iPad 应用，支持后台处理和分享。

来自教学视频的创意软件 GUI 评测数据，分别考查高层规划、子任务规划及单步鼠标／键盘操作。

可执行家庭活动动作程序的模拟器，提供 Unity 视觉环境和独立的动态场景图后端。

结合图像和文字信息的网页 Agent 基准，涵盖购物、分类信息和论坛任务。

基于网站截图的静态多模态网页基准，覆盖页面理解、OCR、元素定位和动作定位。

可配置的第一人称游戏环境，为视觉强化学习和 Agent 评测提供 Doom 引擎的观察与控制接口。

可自行部署的网站及任务评分器，覆盖购物、论坛、内容管理和软件协作等网页操作。

独立维护的 WebArena 评测产物，提供修订任务、结构化答案检查及基于已记录网络轨迹的离线判分。

公开的真实网站任务指令集合，覆盖阅读、账号修改及文件操作，并附有已发布的评测结果。

基于 WebArena 网站构建的独立任务套件，聚焦需要记忆大量细节、进行计算及跨页面跟踪信息的繁琐流程。

将网页渲染截图、HTML/CSS 和布局信息配对的数据集，附带截图到代码的评估流程。

面向指令驱动、多文件交互网站生成的基准，提供浏览器 Agent 功能检查及外观评测。

面向对话式网页导航的数据集与基准，包含多轮人工演示、页面观察和动作预测评估工具。

可自行部署的购物基准，包含四个不同商店，覆盖跨店商品比较、模糊需求、兼容替代品和模拟结账。

模拟购物网站，Agent 根据自然语言要求搜索、查看并选择商品，提供 HTML 和简化文本两种接口。

公开的网页能力诊断数据集，覆盖页面感知、HTML 代码任务和图像与 HTML 对应理解，目前发布八个评测子集。

结合截图与文字信息、通过 Selenium 在真实网站上执行任务的浏览器 Agent 实现及基准。

面向 Windows 应用、浏览器和操作系统任务的桌面 Agent 基准与环境，提供本地及 Azure 运行方式。

基于 ServiceNow 的办公任务套件，用于评估知识库搜索、表单填写和记录筛选等能力。

提供沙盒数据库和读写工具的办公 Agent 基准，包含邮件、日程与项目管理等任务，并依据最终状态评分。

为桌面与网页工作流设置不同初始状态的评测数据，并提供用于规划及自我纠错的 Windows 智能体实现。

用于元强化学习的 JAX 网格世界套件，通过组合规则和目标改变 Agent 需要探索的环境动力学。

结合领域政策、可执行工具和模拟用户的客服环境；当前仓库从 τ²-Bench 扩展为包含文字、语音和知识任务的 τ³ 框架。