Scale AI 联手 Hugging Face 开源 FineART:53 万条子任务标注,让机器人先想再动
Scale AI 与 Hugging Face LeRobot 开源 FineART 双臂操作数据集:4 万多条遥操作、1718 小时、53 万条人工子任务标注,同时发布能自己规划下一步的 FineART-VLA 模型。
做了多年大模型数据生意的 Scale AI,第一次把自己的机器人数据拿出来开源。Scale AI 与 Hugging Face 的 LeRobot 团队联合发布 FineART,号称目前规模最大的带子任务标注的开源机器人数据集,同时开源了配套的视觉-语言-动作模型 FineART-VLA。
数据规模相当可观:40,543 条遥操作记录,总计 1718 小时、151 种任务,全部采集自 Trossen 的 ALOHA 式双臂机器人。真正的亮点在标注——整套数据被拆成了 533,913 个带时间戳和自然语言描述的子任务,平均每条记录约 13 步。
一条指令不够,机器人需要「步骤」
现在大多数机器人数据集,一整段操作只配一句指令,比如「把衣服叠好」。但真实任务是长链条的:先抓起衣角、再对折、再抚平。缺少中间步骤的监督,模型就很难学会长时程、多步骤的操作。已有的双臂数据集虽然有子任务标注,往往也只覆盖一部分时长。FineART 则是 100% 覆盖。
数据的结构也偏向难活:77% 是抓放和分拣,剩下 23% 是叠布、理线、用工具、精密插接这类接触密集的长尾任务。标注由人工完成,没有用视觉语言模型辅助,采集、标注、质检三支团队分开流水作业——这正是 Scale 最擅长的东西。
FineART-VLA:先规划,再执行
配套的 FineART-VLA 基于 Physical Intelligence 的 π0.5 改造,用一个 20 亿参数的 Gemma 主干加 SigLIP 视觉编码器,再配一个 3 亿参数的动作专家。它把「系统 2」的语言规划和「系统 1」的连续控制放进同一个策略里:先用语言说出下一步该做什么,再按这一步输出动作。这也是 LeRobot 生态里第一个开源的系统 1-系统 2 VLA。
论文里的数字很能说明子任务标注的价值:在需要理解空间指令的任务上,经过 FineART 中训练后成功率从 32% 提到 100%;在没见过的长时程任务上,配合人工逐步指导,成功率从 16% 提到 76%。迁移到一台新机器人 YAM 上时,只用十分之一的微调数据就追平了基线。
Scale 的新故事
对 Scale 来说,这次开源更像一次「样品展示」。随着大语言模型的标注需求见顶,具身智能被普遍看作下一个数据金矿,而机器人数据的采集和标注远比文本昂贵、难以规模化。把一份高质量数据集免费放出来,等于向所有机器人公司证明:我们能把这种脏活累活做好,而且能做大。官方博客里那句「想要更大规模、更高质量的标注,请联系我们」,就是这个意思。
而对整个开源社区,这份数据集和模型、训练代码、标注工具一起放出,是实实在在的公共品。机器人领域最稀缺的从来不是模型架构,而是数据。