应用 · 项目档案
ToolHop
多跳工具使用基准，将问题与相互依赖的本地 Python 工具、工具说明及参考答案配对。
它可以用来做什么？
在同一问题集合上比较直接回答、强制工具调用和自由工具调用，使用公开的本地模型或 API 模型评测器及执行反馈。
使用前需要知道什么？
作者报告 995 个问题及 3,912 个关联工具；工具数量不是独立任务数，也不是实时商业 API。评分脚本固定以 995 为分母，并可依据最后一次工具返回中的答案判对，因此部分运行结果不等同于严格最终答案准确率。所附评测器在主机进程中执行工具片段，并用 eval 解析答案字符串；未确立隔离层。代码采用 Apache-2.0，数据采用 CC BY 4.0。
我们核查了什么？
运行方式：公开且无访问门槛的 Hub 仓库，含 data/ToolHop.json、evaluation_open.py／evaluation_closed.py 及 requirements.txt。本地推理使用 Transformers；托管推理需模型访问。本次未下载完整大语料或执行评测器。
许可说明：官方数据卡区分 Apache-2.0 代码与 CC BY 4.0 数据。根 LICENSE 为 Apache-2.0，数据的 CC BY 声明位于数据卡。ToolHop 问题源于 MorehopQA，应保留该来源关系。 上游许可 ↗
本条目依据原始项目材料整理，未独立运行或复现结果。AI 参与开发的描述来自作者说明；上游版本、运行条件和许可应以原始来源为准。
- 资源类型
- 环境与评测
- 开发方式
- 开发方式未确认
- 来源核查
- 平台
- 请查阅上游说明