Code2Games: Enabling Coding Agents for Gaming World Generation
提出将场景结构与玩法生成连接的 Code2Games，以及用于研究游戏世界质量和后续引擎适配的 GameCode4D。
原始研究与引用
研究文献与发布状态
142 篇原始论文，提供作者、已知发表日期、双语简介、产物状态与可下载引用。
论文支持研究背景，不代表实验已复现。其中 3 篇仅有论文记录，尚无对应的已核查产物条目，不计入目录条目数。arXiv 日期为首次提交；其他来源保留其已知日期，未知日月不会补造。
关键词可组合搜索；用英文引号查找完整短语。年份采用文献记录的日期口径。
142 篇文献
没有匹配的文献。
换一个关键词，或重置筛选条件。
EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?
提出覆盖多类工程软件及 GUI／CLI 接口的任务，基于工程文件判分，并明确区分主要实验使用的任务子集。
The Hard Part Comes After Search: Benchmarking Web Agents on Synthesizing, Organizing, and Displaying Knowledge
提出以文档、表格或演示文稿为最终成果的网页研究任务，结合成果专属检查与模型判分进行评估。
CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design
定义 FreeCAD 长流程任务，并对保存的项目执行检查，覆盖几何、约束及后续工程输出。
APPSim-Bench: Bridging Real-world Apps and Reproducible Evaluation for Mobile GUI Agents
提出具有人工验证任务和结果检查的可控模拟 Android 应用，以降低移动 GUI Agent 评测中的环境变化。
原始论文 ↗目录项目：AppSim-Bench
GameXpert-Bench: How Far Are Coding Agents from Expert Game Development?
提出游戏生成、缺陷修复和多轮优化三条评测轨道，结合交互、行为测试及回归检查。
论文记录 · 尚无已核查产物条目
仓库目前只有 README 和项目网站骨架，说明基准数据、评估代码和模型产物仍在准备中；网站模板许可不代表基准复用条款。
状态核查：2026-10-16Dashboard2Code: Evaluating Multimodal Models on Reconstructing Interactive Dashboards
提出通过主动探索重建仪表盘的任务、基于 Plotly+Dash 的 DashboardMimic 基准，以及结合代码语义和交互测试的评估方法。
GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
提出 Unreal Engine 项目中限定范围的 C++ 修改任务，评估不同游戏引擎子系统中的编译和运行行为。
论文记录 · 尚无已核查产物条目
论文及作者研究页已公开，但尚未确认可核查的任务与评分器发布；所检查的仓库地址返回404。本条论文记录不表示已能通过公开产物运行基准。
状态核查：2026-10-16SpreadsheetBench 2: Evaluating Agents on End-to-End Business Spreadsheet Workflows
提出端到端电子表格生成、调试及可视化工作流，覆盖复杂跨表依赖并采用不同文件评测路径。
OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks
提出一套独立的长流程计算机操作任务，结合真实工作资料、变化中的上下文及跨应用依赖。
原始论文 ↗目录项目：OSWorld 2.0
GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?
提出端到端 Godot 游戏生成评测，结合完整可执行产物、演示重放和基于评分标准的多模态评审。
iOSWorld: A Benchmark for Personally Intelligent Phone Agents
提出使用关联虚构用户数据的原生 iOS 模拟器基准，评估跨应用任务和对个人背景信息的推理。
MacArena: Benchmarking Computer Use Agents on an Online macOS Environment
提出基于 Apple Silicon 的 macOS 评测环境，将移植的桌面任务与 macOS 特有操作流程结合。
DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration
提出专业桌面任务及分阶段交互协议，允许模拟用户澄清、打断或反馈。研究关注长工作流与主动协作；已发布任务集和模型驱动的用户模拟器应与原始 OSWorld 任务分别固定版本。
OpenGame: Open Agentic Coding for Games
提出使用可复用模板与调试知识的网页游戏生成框架，并描述基于构建、视觉和意图标准的评测基准。
论文记录 · 尚无已核查产物条目
游戏生成框架和示例归档已公开，但 README 仍将 OpenGame-Bench 评估流程列为待发布。本记录保留研究文献，不声称完整评分器已经公开。
状态核查：2026-10-16ClawBench: Can AI Agents Complete Everyday Online Tasks?
提出在日常生产网站流程上评测浏览器 Agent，并记录交互证据及按任务配置提交拦截。
TimeWarp: Evaluating Web Agents by Revisiting the Past
跨历史界面变体测试网页 Agent 的泛化，并提出计划蒸馏方法以收集覆盖多个变体的训练轨迹。
Gaia2: Benchmarking LLM Agents on Dynamic and Asynchronous Environments
提出包含动态事件与动作级验证的异步模拟应用场景，支持在时间及协作要求下开展评测和基于奖励的学习。
原始论文 ↗目录项目：Gaia2 (ARE)
GameDevBench: Evaluating Agentic Capabilities Through Game Development
提出将代码修改与视觉素材结合的 Godot 项目编辑任务，并研究图像和视频反馈对多模态编程 Agent 评估的作用。
原始论文 ↗目录项目：GameDevBench
Agent World Model: Infinity Synthetic Environments for Agentic Reinforcement Learning
提出生成数据库驱动、可执行 MCP 工具环境的流水线，并利用其状态转换与评分器开展多轮 Agent 学习。
Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces
提出 Terminal-Bench 2.0，汇集具有独立运行环境、人工参考解法和可执行完成检查的高难度命令行任务。
原始论文 ↗目录项目：Terminal-Bench
OpenApps: Simulating Environment Variations to Measure UI-Agent Reliability
借助可配置应用及基于状态的任务奖励，研究模拟应用外观与内容变化对 UI Agent 可靠性的影响。
OS-Sentinel: Towards Safety-Enhanced Mobile GUI Agents via Hybrid Validation in Realistic Workflows
提出结合显式状态检查与上下文模型评审的移动安全检测器，并配套 Android 研究环境及风险轨迹标注。
BIRD-INTERACT: Re-imagining Text-to-SQL Evaluation for Large Language Models via Lens of Dynamic Interactions
提出包含澄清提问、辅助知识和可执行检查的交互式数据库任务，并区分预设对话协议与开放式 Agent 交互两种评测方式。
原始论文 ↗目录项目：BIRD-Interact
IWR-Bench: Can LVLMs reconstruct interactive webpage from a user interaction video?
提出根据用户操作视频及配套资源重建交互网页，并通过动作序列评估视觉保真度与功能行为。
V-GameGym: Visual Game Generation for Code Large Language Models
提出 Pygame 生成数据集和多模态评估流程，将生成代码与游戏的视觉、动态输出结合检查。
ARE: Scaling Up Agent Environments and Evaluations
介绍 ARE 对应用、事件、场景和验证器的抽象，并展示如何用它构建动态 Gaia2 基准。
原始论文 ↗目录项目：Gaia2 (ARE)
SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?
提出长流程代码库级软件工程任务，区分公开及非公开集合，并依据测试要求评估候选补丁。
原始论文 ↗目录项目：SWE-bench Pro
AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning
介绍通过多轮环境交互训练 Agent 的 AgentGym-RL，以及在强化学习过程中逐步延长交互时长的 ScalingInter-RL 方法。
原始论文 ↗目录项目：AgentGym-RL
WebMall -- A Multi-Shop Benchmark for Evaluating Web Agents
提出可复现的多商店购物环境，用于评估商品比较、模糊需求、替代品选择及结账流程。
OpenCUA: Open Foundations for Computer-Use Agents
介绍 OpenCUA 的演示采集、AgentNet 轨迹及生成状态—动作推理的流程。目录关联已发布数据和离线动作评测器，模型成绩及 OSWorld 评测与该数据产物的范围保持区分。
AlgoTune: Can Language Models Speed Up General-Purpose Numerical Programs?
提出包含问题生成器、正确性验证器及参考计时的数值程序优化任务，并提供迭代式优化 Agent。
DABstep: Data Agent Benchmark for Multi-step Reasoning
提出需执行代码并跨文件理解背景的金融数据分析问题，通过规范化后的最终答案比对评分。
Mind2Web 2: Evaluating Agentic Search with Agent-as-a-Judge
提出长流程 Agent 搜索任务及任务专用评审 Agent，结合网页证据检查回答覆盖度和来源归属。
原始论文 ↗目录项目：Mind2Web 2
OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents
分析计算机操作 Agent 的延迟，并引入人类参考轨迹，用于评估 OSWorld 任务中的动作效率。
原始论文 ↗目录项目：OSWorld-Human
τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment
提出 τ²-Bench，使 Agent 与模拟用户都能通过工具改变共享环境，用于评估任务执行、沟通与协作能力。
WebUIBench: A Comprehensive Benchmark for Evaluating Multimodal Large Language Models in WebUI-to-Code
将网页到代码评估划分为视觉感知、HTML 编程、图像与 HTML 对应理解及页面生成，用于诊断模型能力。
原始论文 ↗目录项目：WebUIBench
WebChoreArena: Evaluating Web Browsing Agents on Realistic Tedious Web Tasks
提出更具挑战性的 WebArena 任务，聚焦观察信息保持、数值推理和长流程浏览中的信息跟踪。
原始论文 ↗目录项目：WebChoreArena
ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows
提出面向多模态计算机操作 Agent 的科学桌面工作流及应用状态评测，覆盖科学软件和科研文档任务。
原始论文 ↗目录项目：ScienceBoard
CRMArena-Pro: Holistic Assessment of LLM Agents Across Diverse Business Scenarios and Interactions
将 CRMArena 扩展至更广泛的销售与服务流程、B2B/B2C 场景及角色引导的多轮交互，并加入保密性评估。
WebGen-Bench: Evaluating LLMs on Generating Interactive and Functional Websites from Scratch
提出基于指令的网站生成任务及浏览器 Agent 功能评测，并发布用于训练代码生成系统的指令数据。
原始论文 ↗目录项目：WebGen-Bench
SWE-smith: Scaling Data for Software Engineering Agents
构建可执行的代码库环境，通过合成导致测试失败的修改，扩大软件工程训练任务及 Agent 轨迹数据。
TextArena
提出文字游戏集合及在线对战接口 TextArena，用于研究和训练语言模型的交互行为，包括对抗中的社会推理。
ScreenSpot-Pro: GUI Grounding for Professional High-Resolution Computer Use
提出专业软件 GUI 定位基准及引导式视觉搜索方法，用于在高分辨率截图中寻找小型目标。
原始论文 ↗目录项目：ScreenSpot-Pro
BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing
在五类图形编辑任务中评估视觉模型系统通过代码重建 Blender 场景的能力，并研究生成与验证计算量的分配。
原始论文 ↗目录项目：BlenderGym
An Illusion of Progress? Assessing the Current State of Web Agents
提出 Online-Mind2Web 和自动任务评审方法，研究网页 Agent 评测能否反映其在真实在线网站上的表现。
UI-Vision: A Desktop-centric GUI Benchmark for Visual Perception and Interaction
定义桌面 GUI 的元素定位、布局定位和动作预测任务；本次检查的公开版本目前提供两个定位部分。
BixBench: a Comprehensive Benchmark for LLM-based Agents in Computational Biology
提出生物信息学数据分析胶囊及基于笔记本的 Agent 框架，通过开放式和选择题评估多步计算工作。
MLGym: A New Framework and Benchmark for Advancing AI Research Agents
提出 MLGym 与 MLGym-Bench，用于开发和评估能够实现机器学习方法、运行实验并迭代改进任务结果的 Agent。
SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?
通过代码修复与实现方案选择任务研究自由职业软件工程工作，提供端到端测试及公开的 Diamond 评测划分。
原始论文 ↗目录项目：SWE-Lancer
WorldGUI: An Interactive Benchmark for Desktop GUI Automation from Any Starting Point
研究工作流从不同界面与应用状态开始时桌面智能体的鲁棒性。WorldGUI 为基础任务增加状态变体，并提出批评规划和执行的智能体；条件变体不能当作独立用户目标统计。
WebArena Verified: Reliable Evaluation for Web Agents
重新核查 WebArena 任务定义及评分流程，引入确定性的结构比较和单独定义的困难任务子集。
Training Software Engineering Agents and Verifiers with SWE-Gym
提出包含单元测试的可执行 Python 仓库任务，用于训练软件工程 Agent，并研究利用 Agent 轨迹学习解法验证器。
TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks
提出具有内部服务和任务检查的模拟软件公司，用于评估浏览网站、运行程序并与模拟同事协作的 Agent。
The BrowserGym Ecosystem for Web Agent Research
提出统一的浏览器 Agent 接口和实验工具，用于比较 Agent 在多个网页基准中的行为。
原始论文 ↗目录项目：BrowserGym
BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games
提出连接现有不同复杂度游戏的基准，用于评估语言与视觉语言 Agent 的连续决策能力。
Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping
研究根据交互状态截图生成网页代码，并同时评估渲染外观和指定交互行为。
CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments
提出基于相互关联业务记录的专业 CRM 任务，用于评估客服 Agent 的推理、函数调用和规则遵循能力。
AndroidLab: Training and Systematic Benchmarking of Android Autonomous Agents
提出 Android Agent 环境、可复现任务基准和指令数据集，用于训练与比较文本及多模态 Agent。
原始论文 ↗目录项目：AndroidLab
OS-ATLAS: A Foundation Action Model for Generalist GUI Agents
介绍跨平台 GUI 定位数据采集及动作模型训练，将新采集界面与已有来源结合。公开语料用于定位预训练，数据元素、评测任务和已发布模型版本是不同统计单位。
原始论文 ↗目录项目：OS-Atlas Data
SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation
提出覆盖单应用与跨应用流程的 Android 任务、Agent 集成，以及对任务完成和资源消耗的自动评估。
Refusal-Trained LLMs Are Easily Jailbroken As Browser Agents
提出 BrowserART，用于研究语言模型在聊天中的安全拒绝行为能否延续到浏览器 Agent 的操作中。
原始论文 ↗目录项目：BrowserART
ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery
提出需要独立程序完成的科学分析任务，依据已发表研究设计任务专用执行检查及输出评估。
Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale
将桌面 Agent 评测扩展到 Windows 应用，并通过并行运行支持可重复的电脑操作实验。
ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities
提出有状态的对话式工具使用评测，结合模拟用户、工具动作间的依赖，以及对中间里程碑和最终结果的检查。
原始论文 ↗目录项目：ToolSandbox
OfficeBench: Benchmarking Language Agents across Multiple Applications for Office Automation
通过结构化操作空间及任务专属文档、执行检查，研究办公工作流中的规划和应用切换。
原始论文 ↗目录项目：OfficeBench
AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents
提出由 API 驱动的可控应用世界及任务基准，通过应用状态变化评估交互式编程 Agent。
Gymnasium: A Standard Interface for Reinforcement Learning Environments
介绍 Gymnasium 的统一环境接口、参考任务和支持强化学习实验复现的工具。
MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning
提出标准化的多目标、多 Agent 环境集合及学习基线，用于在不同奖励与效用假设下比较策略。
AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks?
研究真实网页调查任务，并提出 AssistantBench 与 SeePlanAct，评估开放网页中的信息收集、规划和答案可靠性。
原始论文 ↗目录项目：AssistantBench
Spider2-V: How Far Are Multimodal Agents From Automating Data Science and Engineering Workflows?
提出面向数据科学与工程流程的电脑操作基准，要求在专业工具中结合代码生成和 GUI 操作。
AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents
提出带元素定位、功能描述及指令动作链的 Android 截图数据，为移动 GUI Agent 训练提供多层标注。
SpreadsheetBench: Towards Challenging Real World Spreadsheet Manipulation
从真实用户请求构建电子表格操作任务，并通过每条指令对应的多个工作簿测试用例评估解法。
AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents
提出可扩展的工具使用环境，在测试提示注入攻击与防御的同时衡量正常用户任务的成功情况。
GUICourse: From General Vision Language Models to Versatile GUI Agents
提出 GUICourse 中的 GUIEnv、GUIAct、GUIChat 数据集及训练流程，用于提升视觉 GUI 感知和动作预测。
GUI-World: A Video Benchmark and Dataset for Multimodal GUI-oriented Understanding
构建覆盖多类界面场景的视频 GUI 理解任务，研究时序上下文、帧选择及面向 GUI 的视频模型。
VideoGUI: A Benchmark for GUI Automation from Instructional Videos
利用教学视频，从高层规划、子任务规划和原子动作三个层面评测视觉 GUI 工作流，区分专业软件操作中的不同失败原因。所核查版本提供数据，评测实现仍列为待发布。
GUIOdyssey: A Comprehensive Dataset for Cross-App GUI Navigation on Mobile Devices
提出带语义标注的 Android 跨应用示范数据，研究利用历史信息进行动作预测，并区分任务、应用和设备划分。
原始论文 ↗目录项目：GUI Odyssey
MobileAgentBench: An Efficient and User-Friendly Benchmark for Mobile LLM Agents
提出移动应用任务集合与程序化评测框架，旨在减少 Android Agent 测试所需的人工工作。
PufferLib: Making Reinforcement Learning Libraries and Environments Play Nice
介绍早期 PufferLib 的环境互操作与向量化框架；后续原生 Ocean/5.0 组件需结合各自源码说明。
AgentGym: Evolving Large Language Model-based Agents across Diverse Environments
提出 AgentGym 的统一环境接口、任务集合和演示轨迹，并通过 AgentEvol 研究语言模型 Agent 在跨环境探索中的能力提升。
On the Effects of Data Scale on UI Control Agents
利用同时包含高层与低层指令的 AndroidControl 示范，研究数据规模对 UI 动作预测及域外泛化的影响。
原始论文 ↗目录项目：AndroidControl
AndroidWorld: A Dynamic Benchmarking Environment for Autonomous Agents
提出 Android 模拟器基准，使用参数化移动应用流程和从系统状态计算的奖励进行评估。
原始论文 ↗目录项目：AndroidWorld
WorkBench: a Benchmark Dataset for Agents in a Realistic Workplace Setting
提出由办公工具和数据库组成的沙盒，通过数据库的结果变化评估 Agent 的任务完成情况。
LlamaTouch: A Faithful and Scalable Testbed for Mobile UI Task Automation
通过匹配关键应用状态评估 Android 任务执行，使成功轨迹无需与某一条参考动作序列完全相同。
原始论文 ↗目录项目：LlamaTouch
OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
提出真实电脑交互环境和桌面任务基准，通过配置初始状态并检查应用与文件的结果状态进行评估。
WebCode2M: A Real-World Dataset for Code Generation from Webpage Designs
提出将网页设计与代码、布局信息配对的大规模数据集，并提供代码生成基线和结构评测指标。
VisualWebBench: How Far Have Multimodal LLMs Evolved in Web Page Understanding and Grounding?
提出基于截图的网页基准，将页面理解、文字识别和界面定位划分为独立评测任务。
原始论文 ↗目录项目：VisualWebBench
WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?
研究浏览器 Agent 在 ServiceNow 办公任务中的表现，并提出支持观察与动作的交互环境接口。
StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models
通过结合缓存响应和 API 模拟的虚拟服务端，以及调整后的模型评分流程，降低工具使用评测受外部 API 变化的影响。
Design2Code: Benchmarking Multimodal Code Generation for Automated Front-End Engineering
提出真实网页基准，结合视觉指标与人工评估，衡量多模态模型根据截图重建界面的能力。
原始论文 ↗目录项目：Design2Code
Android in the Zoo: Chain-of-Action-Thought for GUI Agents
为 Android 示范补充屏幕、历史动作及后续动作意图描述，研究这些标注对 GUI 动作预测的作用。
OmniACT: A Dataset and Benchmark for Enabling Multimodal Generalist Autonomous Agents for Desktop and Web
提出桌面与网页任务的屏幕图像、指令和动作程序配对数据，并以序列及动作指标评估生成的 GUI 控制代码。
Craftax: A Lightning-Fast Benchmark for Open-Ended Reinforcement Learning
介绍以 JAX 重写的 Craftax-Classic，以及面向探索、规划和开放式学习的扩展 Craftax 世界。
WebLINX: Real-World Website Navigation with Multi-Turn Dialogue
提出对话式网页导航数据集与基准，并研究在多轮交互中筛选相关网页元素的方法。
WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models
提出多模态浏览器 Agent、真实网站任务基准，以及辅助判断任务完成情况的模型评审流程。
原始论文 ↗目录项目：WebVoyager
VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
提出需要结合视觉和文字信息的网页任务，并根据实际执行结果评估任务是否完成。
原始论文 ↗目录项目：VisualWebArena
AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents
提出跨多轮环境衡量中间进展的分析型评测框架，使评估不再仅依赖任务最终是否成功。
原始论文 ↗目录项目：AgentBoard
SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents
提出 SeeClick 视觉 GUI Agent 与 ScreenSpot 基准，研究按指令定位屏幕元素如何支持界面自动化。
原始论文 ↗目录项目：ScreenSpot
XLand-MiniGrid: Scalable Meta-Reinforcement Learning Environments in JAX
提出组合式网格世界任务分布及 JAX 基准，用于研究能适应新任务的元强化学习 Agent。
原始论文 ↗目录项目：XLand-MiniGrid
GAIA: a benchmark for General AI Assistants
提出结合推理、多模态输入、浏览和工具使用的助手任务，并保留部分答案用于评估通用助手。
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
提出取自真实 GitHub 问题的软件修复任务，要求模型修改现有仓库并通过项目测试。
AgentBench: Evaluating LLMs as Agents
提出覆盖八种交互环境的基准，用于研究语言模型 Agent 的推理、决策及失败模式。
原始论文 ↗目录项目：AgentBench
WebArena: A Realistic Web Environment for Building Autonomous Agents
提出可自行部署的真实风格网页环境，并通过可执行检查评估 Agent 的多步骤网站任务完成情况。
Android in the Wild: A Large-Scale Dataset for Android Device Control
提出包含指令、画面和动作的人工 Android 交互数据集，用于研究跨任务、应用和设备配置的控制能力。
InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback
将交互式编程定义为以代码为动作、以执行反馈为观察的环境，并提供采用 Bash、SQL 和 Python 的评测任务。
Minigrid & Miniworld: Modular & Customizable Reinforcement Learning Environments for Goal-Oriented Tasks
介绍 Minigrid 与 Miniworld 的设计和统一接口，用于构建可配置的二维、三维目标导向学习任务。
Jumanji: a Diverse Suite of Scalable Reinforcement Learning Environments in JAX
提出可配置的 JAX 决策环境，覆盖逻辑游戏和组合问题，并提供接口及评测基线。
Mind2Web: Towards a Generalist Agent for the Web
提出覆盖真实网站任务和人工操作序列的数据集，用于研究能够泛化到陌生站点与领域的网页 Agent。
API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs
提出可执行 API 工具与评测对话，用于衡量规划、工具检索和 API 调用能力，并提供独立训练对话以改进工具增强语言模型。
Melting Pot 2.0
介绍 Melting Pot 2.0 的基础世界、背景群体、非对称角色与社会泛化评测规范。
原始论文 ↗目录项目：Melting Pot
DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation
基于改编的真实编程问题，提出覆盖七种 Python 库的数据科学代码生成任务，并进行执行与代码形式检查。
WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents
提出模拟购物环境，用于学习如何理解商品需求，并通过网页交互完成搜索、选择和购买流程。
MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
提出 Minecraft 任务套件和多模态知识资料库，并研究利用视频语言模型提供奖励的 Agent 学习方法。
ScienceWorld: Is your Agent Smarter than a 5th Grader?
提出交互式文字世界，通过实验和物体操作评估 Agent 能否运用基础科学概念。
原始论文 ↗目录项目：ScienceWorld
MiniHack the Planet: A Sandbox for Open-Ended Reinforcement Learning Research
提出基于 NetHack 的沙盒，通过可配置的地图、物品、环境动态和程序化变化构建强化学习任务。
Benchmarking the Spectrum of Agent Capabilities
提出生存游戏环境 Crafter，通过游戏成就评估探索、资源使用和长期决策能力。
Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot
提出利用交互世界和参考共同参与者，评估多 Agent 对陌生社会场景的泛化能力。
原始论文 ↗目录项目：Melting Pot
AndroidEnv: A Reinforcement Learning Platform for Android
提出通过统一触屏接口连接 Android 应用的强化学习平台，并在可配置任务上评估 Agent。
原始论文 ↗目录项目：AndroidEnv
DeepMind Lab2D
介绍支持研究者设计环境和多 Agent 学习实验的网格世界模拟器。
原始论文 ↗目录项目：DeepMind Lab2D
Griddly: A platform for AI research in games
介绍通过 GDY 配置的游戏引擎、观察接口，以及跨游戏配置的泛化实验。
ALFWorld: Aligning Text and Embodied Environments for Interactive Learning
将文字家庭任务与视觉具身环境对齐，使 Agent 能先在 TextWorld 学习抽象动作策略，再迁移到 ALFRED 任务执行。
PettingZoo: Gym for Multi-Agent Reinforcement Learning
提出 PettingZoo 和 Agent Environment Cycle 模型，以一致方式与不同多 Agent 环境交互。
原始论文 ↗目录项目：PettingZoo
The NetHack Learning Environment
提出基于 NetHack 的学习环境，在运行高效、程序化生成的游戏世界中研究探索、规划和技能习得。
Leveraging Procedural Generation to Benchmark Reinforcement Learning
提出程序化生成的游戏环境及实验规范，用于衡量强化学习的样本效率和泛化能力。
RLCard: A Toolkit for Reinforcement Learning in Card Games
提出用于不完全信息场景强化学习的卡牌环境与通用接口。
Interactive Fiction Games: A Colossal Adventure
提出连接现有交互式文字游戏的 Jericho 接口，并分析这些游戏对语言 Agent 带来的挑战。
OpenSpiel: A Framework for Reinforcement Learning in Games
介绍整合游戏环境、算法和分析工具的统一框架，支持强化学习、博弈论和搜索研究。
Behaviour Suite for Reinforcement Learning
定义受控交互实验和标准化分析方法，用于诊断强化学习的核心能力。
MineRL: A Large-Scale Dataset of Minecraft Demonstrations
提出与模拟器配套的人工 Minecraft 演示数据集，用于研究通过示范减少交互需求的学习方法。
ViZDoom Competitions: Playing Doom from Pixels
介绍 2016、2017 年视觉 Doom 比赛、多人评测规则，以及有关 Agent 行为的观察。
Unity: A General Platform for Intelligent Agents
将游戏引擎作为可配置研究平台进行讨论，并以 Unity ML-Agents 展示具有视觉、物理、任务与社会交互复杂度的环境。
TextWorld: A Learning Environment for Text-based Games
提出可控制的文字游戏生成器和学习环境，用于研究强化学习及其在不同冒险任务间的泛化与迁移。
VirtualHome: Simulating Household Activities via Programs
将家庭活动表示为可执行的动作程序，并提出在可视化家庭场景中运行这些程序的模拟器。
原始论文 ↗目录项目：VirtualHome
General Video Game AI: a Multi-Track Framework for Evaluating Agents, Games and Content Generation Algorithms
综述 VGDL 及 GVGAI 的规划、学习和程序化内容赛道，说明不同的信息访问假设与评测目标。
Reinforcement Learning on Web Interfaces Using Workflow-Guided Exploration
提出从演示中提取工作流程来引导网页界面中的强化学习探索，并在浏览器任务上进行评估。
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
介绍原始 MAgent 引擎及其可配置的多 Agent 世界与集体行为研究用途；MAgent2 延续该实现体系。
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
提出多 Agent actor-critic 学习方法及合作、竞争实验，并对应原 MPE 环境的公开发布。
Emergence of Grounded Compositional Language in Multi-Agent Populations
研究粒子 Agent 在目标导向交互中形成的交流方式，是 MPE2 引用的原始环境研究。
DeepMind Lab
提出可编程的第一人称三维平台，用于研究视觉多样、部分可观测世界中的学习。
原始论文 ↗目录项目：DeepMind Lab
ViZDoom: A Doom-based AI Research Platform for Visual Reinforcement Learning
提出可定制的 Doom 研究平台，用于从第一人称观察中学习，并开展导航与控制实验。
The Arcade Learning Environment: An Evaluation Platform for General Agents
提出 Atari 游戏交互接口及评测方法，用于比较通用学习与规划 Agent 在不同游戏中的表现。