
艾伦人工智能研究所(Ai2)11 月 6 日在 Hugging Face 博客发布 ToyBlocks:一个开源机器人仿真框架,场景只有一个机械臂和一桌积木,却是 Ai2 提出的首个「FoundationWorld」——像培养皿一样可控的实验环境,让研究者一次只改一个变量、反复测试、追踪机器人失败的真正原因。代码、数据、两个模型、训练与评测代码全部公开。
ToyBlocks 不靠人手把手遥控采集演示,而是用强化学习加运动规划,在英伟达 Isaac Lab 里自动生成推、翻、叠等短程技能,再由任务与运动规划器把技能串成完整任务;单张 GPU 上可并行跑数百个规划,最高达到 24 倍实时速度。首批数据集包含 85,336 条长程演示、约 1,600 小时机器人执行记录、1.44 亿帧,代码为 Apache-2.0 协议、数据为 ODC-BY 协议、LeRobot 格式。两个配套模型也一并放出:高层规划用约 4.5B 参数的 Molmo 2,底层执行用 3.225 亿参数的 ManiFlow。
评测结果 Ai2 自己也强调只是初步结论。大模型的泛化能力仍远未解决:ManiFlow、π0.5、MolmoAct 2 在新位置、新堆叠高度上的泛化都比较差。但仿真到真机的迁移出现了亮点:在 Franka FR3 机械臂加 Robotiq 夹爪、30 个真实场景上零样本部署,ManiFlow 原子技能成功率仿真 80.0%、真实 81.1%;Molmo 2 加 ManiFlow 的分层系统在最简单的三字母拼字任务上仿真成功率 55.5%(111/200)、真实 50.0%(15/30),Ai2 自己提醒真实样本只有 30 次、统计置信度还不够。用 Claude Opus 5.5 做的智能体在搜索拼字任务上 63% 解决或正确判定不可行。
机器人演示往往只展示成功、不解释失败,ToyBlocks 把「为什么失败」变成了可测量的实验:训练数据、模型、评测条件一次只动一个,仿真里的失败模式还能拿到真机上对照。同样是具身方向,瑞士团队 9 个月造出会学手艺的人形机器人 AIR,干一个月就能自己上岗;国内的智元 10 月底一天连发两个大模型,GO-3 年底开源。Ai2 计划几周内放出更大规模的第二批数据、补上完整的强化学习训练能力,之后还想做双臂操作和灵巧手。对做具身智能的研究者来说,这是一个能直接上手复现的公共试验台,而不是又一个只能看的演示视频。
来源:Hugging Face 博客(Ai2),原文:https://huggingface.co/blog/allenai/toyblocks


没有回复内容