AI can what?

应用 · 项目档案

DABstep

多文件数据分析任务,结合支付记录、JSON 业务数据及说明文档,并公开代码执行型 Agent 基线和答案评分器。

评测请查阅上游说明

它可以用来做什么?

评估跨异构文件的数据关联、聚合、业务规则理解及精确结果报告;在具备参考答案时可本地判分。

使用前需要知道什么?

公开 default 文件有 450 道问题,答案字段为空;10 道附答案的 dev 题中有 6 个 ID 与其重叠。评分检查最终答案,不验证笔记本正确性或 GUI 任务完成。Harbor 从已评分的公开提交重建 default 标签,其成绩尚不能视作官方隐藏答案评测的等价结果。当前 Space 已关闭新的人工验证申请,但仍开放未验证提交。

我们核查了什么?

运行方式:作者基线文档使用 Python 3.10、固定的 smolagents 依赖、模型端点及七个共享背景文件,并通过执行 Python 完成分析;本次源码核查未验证其沙箱隔离。Space 提供评分器和榜单服务,不等于官方完整隐藏答案测试集可在本地取得。

许可说明:数据集和 Space 的 LICENSE 文件声明 CC BY 4.0,但 Space 的 setup.py 标注 MIT 分类;软件包代码的许可元数据存在冲突,不能说已统一明确。 上游许可 ↗

本条目依据原始项目材料整理,未独立运行或复现结果。AI 参与开发的描述来自作者说明;上游版本、运行条件和许可应以原始来源为准。

资源类型
数据集与评测
开发方式
开发方式未确认
来源核查
平台
请查阅上游说明

放到同类资料中比较

继续浏览同类项目