应用 · 项目档案
ToolTalk
对话式工具使用基准，提供可执行模拟 API、本地数据库状态，以及跨日常服务的参考调用标注。
它可以用来做什么？
评估每个用户回合后的工具序列，包括改变模拟日历、消息或账户状态的调用；检查整段对话成功率、调用精确率／召回率及错误动作率。
使用前需要知道什么？
公开版本含 28 个简单和 50 个困难对话，并非 78 个工具；工具清单为七类插件下的 28 个工具。每个助手回合前，评测器重置状态并重放参考历史，因此模型错误不会在整段对话中自由累积。成功要求覆盖全部参考调用，且没有成功执行但不匹配参考的状态修改动作。预测器采用旧 OpenAI SDK 接口，openai 依赖未固定；本次未测试兼容性或历史模型可用性。
我们核查了什么？
运行方式：Python 源码包版本 1.0.0，附本地 JSON 数据库、评测脚本及可扩展预测器接口。API 调用执行的是模拟实现，不是原生移动或桌面目标。示例 shell 脚本实际位于 scripts/，README 的命令使用了更短路径。
许可说明：仓库发布 MIT 许可，适用于其公开代码及相关材料；模型 API 访问另受服务条款约束。 上游许可 ↗
本条目依据原始项目材料整理，未独立运行或复现结果。AI 参与开发的描述来自作者说明；上游版本、运行条件和许可应以原始来源为准。
- 资源类型
- 环境与评测
- 开发方式
- 开发方式未确认
- 来源核查
- 平台
- 请查阅上游说明