应用 · 项目档案
BixBench
生物信息学基准，提供笔记本执行环境，让 Agent 检查数据、运行 Python／R／Bash 分析并解释结果。
它可以用来做什么？
通过开放式或选择题答案评估多步计算分析，并与不执行分析的零样本问答基线分别比较。
使用前需要知道什么？
v1.5 修订并展平为 205 道问题；v1.0 有 296 道问题，两者成绩不能直接等同。公开划分名为 train，但包含基准答案及不得进入训练语料的声明。开放式答案可能需要模型判分。论文、README 与当前元数据的胶囊数量不一致；Harbor 的笔记本／CLI 变体也改变了工具、提示及评分细节。
我们核查了什么？
运行方式：需 Python >=3.12、Aviary／fhda 及 Jupyter 内核；上游推荐其 Docker 镜像。数据胶囊和模型／评审服务需另行准备。虽然 README 有登录说明，当前 Hub 元数据及任务文件公开且无访问门槛。应固定数据版本、执行模式、评分器及重复运行设置。
许可说明：仓库代码及公开数据卡声明 Apache-2.0。本次未解压并逐项核查胶囊中的第三方文件许可。数据中的防污染声明属于评测完整性要求，应与许可声明分别理解。 上游许可 ↗
本条目依据原始项目材料整理，未独立运行或复现结果。AI 参与开发的描述来自作者说明；上游版本、运行条件和许可应以原始来源为准。
- 资源类型
- 环境与评测
- 开发方式
- 开发方式未确认
- 来源核查
- 平台
- 请查阅上游说明