Berkeley Function Calling Leaderboard (BFCL)

它可以用来做什么？

分别检查函数选择与参数准确性、多轮状态处理、拒绝无关调用、搜索和记忆能力，并使用公开的生成及分类评测工具。

使用前需要知道什么？

须固定 v4 类别集合：单轮／live 使用 AST 检查，多轮核对模拟状态和返回结果，agentic 任务匹配答案。live 指用户贡献样本，并不代表真实 API 执行。记忆与搜索变体复用问题。Harbor 的 3,641 任务适配器不含多轮及 agentic 测试，其 123 任务 parity 子集不增加新任务。网页搜索需要 SerpAPI 或替代服务。旧单轮执行／REST／SQL 类别已停用；部分运行与加权汇总分数不能直接互换。

我们核查了什么？

运行方式：Python >=3.10 的 bfcl-eval 包，提供 bfcl generate／evaluate 命令。需要模型服务凭据或本地模型后端；vLLM／sglang 为可选依赖。不据此声明原生设备平台支持。

许可说明：Gorilla 仓库 LICENSE 与 bfcl_eval 包声明 Apache-2.0；外部模型／搜索服务和依赖项保留自身条款。 上游许可 ↗

本条目依据原始项目材料整理，未独立运行或复现结果。AI 参与开发的描述来自作者说明；上游版本、运行条件和许可应以原始来源为准。

资源类型

评测套件

开发方式

开发方式未确认

来源核查

2026-10-17

平台

请查阅上游说明