应用与工具，
真实的任务与评测。

提供快捷键语音输入、转写和本机笔记文件夹的 Windows 听写及会议笔记应用。

基于容器的基准，评估 Agent 修复或修改 dbt 项目、SQL 转换及数据仓库结果的能力。

用于多轮 Agent 研究的生成流水线及已发布合成工具环境套件，通过 MCP 提供接口并以 SQL 数据库维护状态。

跨领域 Agent 基准，当前函数调用版本为系统命令、数据库、知识图谱、购物和文本家庭任务等任务提供容器化运行。

跨环境评测套件，在网页浏览、工具操作、游戏和模拟世界任务中，同时跟踪中间进展与最终成功情况。

包含模拟应用和不可信工具数据的工具使用评测环境，用于衡量任务完成能力及对提示注入的抵抗能力。

为交互式 Agent 环境提供统一客户端与服务端接口，并配有评测任务、轨迹数据和 Agent 开发流程。

将 AgentGym 环境服务连接到轨迹生成与策略优化的多轮强化学习栈，训练部分基于 verl 构建。

OpenCUA 项目提供的跨平台计算机操作演示数据，并附录制工具和离线动作匹配评测器。

面向数值及算法程序优化的基准和执行框架，在保持输出有效的前提下与参考运行时间比较。

结合元素定位、屏幕及元素功能描述、指令驱动动作链的 Android GUI 数据集。

使用 Apple 屏幕使用时间功能限制选定博彩应用和网站，并提供签到与进度记录的 iPhone 与 iPad 应用。

Android 软件工程的公开 1.0 任务集：Agent 修改 Kotlin／Java 代码库，由构建与测试框架检查补丁。

大规模离线人工 Android 操作演示数据，包含自然语言目标、界面截图以及触屏、输入和导航动作记录。

基于 Android in the Wild 子集构建的数据集，为记录的截图与动作序列补充屏幕描述及动作推理标注。

提供 Android 人类任务示范，包含整体目标、逐步指令、截图、无障碍树及结构化动作。

将 Android 应用封装为强化学习环境的框架，提供触屏动作、像素观察和可配置的任务奖励。

Android Agent 框架，提供预设虚拟设备、可复现应用任务、评估工具和 Android Instruct 训练数据。

运行于 Android 模拟器的环境，为日常移动应用提供参数化任务和基于系统状态的奖励。

Android 直角三角形计算器，提供示意图、可配置小数精度及命名保存的计算记录。

提供可执行 API 实现、评测对话和独立训练数据的工具使用基准，覆盖规划、检索和调用工具。

基于可控模拟 Android 应用的移动 GUI 基准，提供与任务相关的交互流程、预置后端数据和结果检查。

由相互关联的日常应用组成的模拟世界，提供 API、持久任务状态和可执行检查，用于函数调用及交互式编程 Agent。

AI 生成的浏览器鼓机音序器，包含十六步网格、速度与摇摆节奏控制、样式保存和 WAV 导出代码。

包含 50 个任务的 AutoCAD 计算机操作评测，覆盖带尺寸的二维绘图与真实三维建模，公开任务语料、Windows 控制代理及最终 DWG 评分代码。

支持富文本、文件快捷方式、粘贴图片、代码块、提醒和分页便签的桌面便签应用。

包含数据库状态、辅助知识、用户模拟器和可执行检查的交互式 text-to-SQL 环境，覆盖查询及数据修改任务。

生物信息学基准，提供笔记本执行环境，让 Agent 检查数据、运行 Python／R／Bash 分析并解释结果。

三维图形编辑基准，要求模型系统修改 Blender Python 代码，使初始场景匹配目标场景。

FreeCAD 计算机操作基准，通过对保存的 CAD 项目及工程输出执行检查，评估基于截图的 GUI 操作。

在终端中检查仓库、编辑文件和执行开发任务的编程 Agent 应用，官方文档明确支持原生 Windows。

Anthropic 发布的 Agent 团队研究产物：由 Claude Opus 4.6 编写、以 Rust 实现的实验性 C 编译器。

原生 macOS MCP 调试应用，可调用工具、预览资源并查看实时日志。

基于 Salesforce 的专业 CRM 任务基准，公开评测代码和数据；Pro 扩展覆盖销售、服务、报价流程及多轮用户交互。

Android 媒体记录应用，通过两两比较来排列电影、电视剧、游戏和书籍，而非固定星级。

多文件数据分析任务，结合支付记录、JSON 业务数据及说明文档，并公开代码执行型 Agent 基线和答案评分器。

面向 Apple 容器平台的原生 macOS 界面，提供容器控制、镜像管理、日志和资源监控。

面向 Ubuntu 桌面专业创作与工程工作流的评测，包含 386 个标准任务及 152 个加入分阶段模拟用户交互的任务。

通过照片识别犬种，并将照片、名字和笔记保存到个人收藏中的 iPhone 应用。

覆盖七种常用库、包含1,000道 Python 问题的数据科学代码生成基准，通过执行测试判分。

处于 alpha 阶段的 Rust 动态图形与合成应用，结合图层、关键帧和特效，提供原生项目格式及文档化的 Lottie／媒体导出。

专业工程基准，覆盖 CAD、仿真、制造、建筑设计、电子设计及三维内容制作的 GUI 与 CLI 工作流。

Cursor 长时间多 Agent 编程研究产生的实验性 Rust 浏览器引擎及桌面外壳。

处于 alpha 阶段的 Rust 视频编辑器，包含多轨时间线、修剪、字幕、颜色与音频控制，并提供文档化的媒体导出及时间线交换流程。

多模态助手基准，任务结合推理、网页检索、文件处理和工具使用，以问题及配套附件的形式发布。

基于 Meta Agents Research Environments 的异步基准，Agent 操作模拟应用，同时应对事件、用户请求和时间约束带来的状态变化。

面向 Android 跨应用导航的离线示范数据集，提供截图、动作、指令及语义推理标注。

覆盖桌面、移动端、网页及 XR 录屏的 GUI 视频数据集与离线基准，评估界面内容、变化及操作序列理解。

GUICourse 已发布的导航数据部分，包含单步、多步网页任务及 Android 交互的截图与动作记录。

用于 Agent 评测与训练轨迹生成的执行框架，提供可复用任务格式以及本地或远程沙盒后端。

在 macOS 菜单栏中展示多个 Claude Code 和 Codex 账户用量窗口及重置时间的应用。

在 Bash、SQL、Python 和夺旗任务执行过程中返回反馈的交互式编程环境框架。

基于 iPhone 模拟器的基准，包含 26 个专门构建的应用、统一虚构用户数据，以及跨应用和个人背景相关任务。

在使用其他应用时，通过悬浮卡片展示单词及释义的 Windows 词汇工具。

处于 alpha 阶段的 Rust 照片库与 RAW 显影应用，包含照片整理、非破坏性调整、蒙版及图像导出流程。

Android 任务执行与评测平台，通过检查 Agent 轨迹是否到达人工标注的关键应用状态来评估任务完成。

面向 macOS 的电脑操作基准，在 Apple Silicon 虚拟机环境中组合移植桌面任务与 macOS 特有流程。

采用 Gym 风格接口的研究环境，Agent 可修改机器学习方法、运行实验并获得任务反馈。

移动端 Agent 基准库，为日历、联系人和文件管理等日常 Android 应用提供任务专用初始化、完成检查及重置逻辑。

提供分体布局、假名汉字转换、开发者快捷键及可选语音处理的 Android 日语输入法。

围绕三个习惯设计的 iPhone／iPad 习惯记录应用，提供每日打卡、提醒和进展历史。

桌面 Markdown 阅读与编辑应用，提供双向链接、独立批注文件、本地资料库及可配置 Agent 集成。

办公工作流基准，让语言 Agent 通过结构化工具命令协调文档、电子表格、邮件及日历操作。

截图到动作程序的数据集，将桌面与网页任务指令、界面图像、目标标注和参考 PyAutoGUI 脚本配对。

用于记录活动时间、统计点击次数和跟踪开关持续时间的 Android 桌面小组件，提供历史记录和 CSV 导出。

AI 生成的浏览器绘图应用，提供画笔、橡皮擦、颜色选择和 PNG 图像导出。

将交互环境封装为统一 step/reset API 的框架，提供 Docker 部署、奖励接口和训练集成。

跨平台 GUI 元素定位预训练语料，结合新采集的桌面／网页界面与复用的移动端、网页数据集。

Android 安全研究框架，结合状态／规则检查与视觉语言模型评审，提供移动任务场景及风险轨迹评测。

包含应用操作、文件处理和可执行任务检查的桌面 Agent 环境，原始论文发布了 369 项任务。

包含 108 项独立任务的计算机操作基准，覆盖 Ubuntu 桌面应用与网页服务中的长流程工作。

为 OSWorld 任务提供人类参考轨迹及效率评分，用于衡量 Agent 成功完成工作流所需的动作数量。

处于 alpha 阶段的 Rust PDF 工作台，用于查看、搜索、批注、表单和页面整理，提供原生应用及命令行工具。

处于 alpha 阶段的 Rust 图像编辑器，提供分层文档、蒙版、画笔、可编辑文字、调整及 PSD／PSB 读写。

用于浏览 Claude Code 会话、检查工具操作和回看对话历史的原生 macOS 配套应用。

计算咖啡与水用量、提供分步手冲流程的原生 iPhone/iPad 应用。

iPhone 个人评价记录应用，提供自定义字段、照片、两两比较排名、搜索及 JSON 导入导出。

用于提取 KartRider .rho 和 .rho5 素材归档的 Windows 命令行工具，提供独立可执行文件。

iPhone 提词器，提供脚本编辑、文本／Markdown 导入、滚动调节、镜像模式及蓝牙遥控。

面向独立 Python 科学分析程序生成的可执行基准，提供任务资产以及直接运行或容器化评测流程。

科学桌面环境及基准，覆盖分子可视化、天文学、GIS、代数、定理证明和科研文档流程。

检查丝网印刷制版 PDF，并导出标注 TIFF 图片及文本报告的 Python 命令行工具。

基于截图的 GUI 定位基准，要求模型在移动端、桌面和网页界面中找到指令所指的控件。

采用专业软件高分辨率截图的 GUI 定位基准，覆盖开发工具、创意应用、CAD 和办公套件。

按人物和场合记录庆典礼物及礼金往来的原生 iPhone/iPad 礼簿应用。

将本机 Shell、编辑器、浏览器和 AI 交互面板结合的 Android 终端开发工作区。

Android Agent 评测框架，提供中英文单应用及跨应用任务、轨迹标注和自动评分流程。

面向数据科学与工程流程的可执行桌面基准，结合代码、GUI 操作以及 dbt、Airbyte、BigQuery 等企业工具。

真实场景电子表格编辑数据集与基准，为每条用户指令提供多个工作簿测试用例。

面向复杂多工作表的独立业务流程基准，覆盖端到端电子表格生成、调试及可视化。

由 ToolBench 衍生的环境，结合缓存 API 响应、模型模拟和调整后的工具使用评测流程。

便携式 Windows 桌面便签应用，支持复选框、提醒，以及跟随指定应用窗口显示的便签。

源码修复基准，要求 Agent 解决真实仓库问题，再通过项目测试评估补丁。

Scale AI 的长流程代码库修复基准，公开任务容器、问题说明及补丁验证工具。

面向 Python 仓库问题的可执行任务与测试验证环境，用于训练软件工程 Agent 和解法验证器。

软件工程基准，其公开 Diamond 版本结合真实自由职业项目中的应用代码修复及实现方案选择。

通过构建代码库执行环境，并引入会使现有测试失败的修改来合成代码修复任务的工具包。

按版本发布的可执行终端任务集合，配有容器化初始环境、参考解法和用于判断 Agent 结果的自动检查。

可自行部署的模拟软件公司，Agent 通过内部网页服务、文件、代码及与模拟同事的对话完成工作任务。

AI 生成的浏览器看板应用，支持卡片流转、本地保存、搜索和进行中任务数量限制。

有状态的工具使用评测环境，结合模拟对话、相互依赖的工具动作，以及对中间和最终环境状态的检查。

展示密尔沃基高速路行程时间、事故信息、收藏路线及通勤提醒的 iPhone/iPad 工具。

离线桌面 GUI 基准，已公开元素定位、布局定位所需的截图、标注及评测代码。

处于 alpha 阶段的 Rust 矢量编辑器，提供路径、形状、文字、图层及原生／SVG／PDF 文档流程，并发布桌面和 WebAssembly 构建。

提供原生 Mac 应用和浏览器界面的终端会话管理器，可远程查看输出并操作运行中的 Shell。

自动将视频重新编码为较小文件的 iPhone/iPad 应用，支持后台处理和分享。

来自教学视频的创意软件 GUI 评测数据，分别考查高层规划、子任务规划及单步鼠标／键盘操作。

面向 Windows 应用、浏览器和操作系统任务的桌面 Agent 基准与环境，提供本地及 Azure 运行方式。

提供沙盒数据库和读写工具的办公 Agent 基准，包含邮件、日程与项目管理等任务，并依据最终状态评分。

为桌面与网页工作流设置不同初始状态的评测数据，并提供用于规划及自我纠错的 Windows 智能体实现。

结合领域政策、可执行工具和模拟用户的客服环境；当前仓库从 τ²-Bench 扩展为包含文字、语音和知识任务的 τ³ 框架。