RoboCasa
新一、简介
RoboCasa 是德克萨斯大学奥斯汀分校研究团队与 NVIDIA Research 合作开发的大规模家庭操作仿真框架,2024 年在 RSS 首次发布,当前版本 RoboCasa365 发表于 ICLR 2026。它以厨房场景为核心,从真实的户型与风格出发建模,并配置可交互的家具与电器,用于训练与基准化通才机器人在日常家务上的能力。最新版本把平台扩展为一个完整的家庭移动操作基准:365 个日常任务、2500 个多样化厨房环境、超过 600 小时人类演示数据,以及超过 1600 小时合成生成的演示数据。设计上明确面向三类问题设定:多任务学习、机器人基础模型训练与持续学习。对一个物理 AI 方案而言,它的意义在于把具身智能里的「环境侧」变成了可复现、可扩展的资产:与其争论某个策略离通用能力还有多远,团队可以在同一套任务、同一规模上跑出数字,并在公开榜单上横向比较。本条目所有事实于 2026 年 11 月 14 日对照项目主页、GitHub 仓库与两篇论文核实,第九节记录版本与许可口径。
从评测方法论的角度看,它填补的是具身智能里长期缺失的一环:可复现的大规模家庭操作基准。此前的家庭操作评测往往分散在少量场景与少量任务上,不同团队的数据口径、场景集合与成功率定义各不相同,结果难以横向拼接;RoboCasa365 把任务、场景、演示数据与评测协议打包成同一份契约,使”某个策略在家庭操作上达到什么水平”这一问题第一次有了可比的答案。对一个要在物理 AI 上做长期投入的团队,这类基准的价值往往高于再训一个更大的模型,因为它决定了投入能否被外部验证。
二、原理与工作方式
技术栈构建在 robosuite 之上,物理后端是 MuJoCo,因此场景是带接触、质量与摩擦的铰接刚体模型,并非只有视觉外观的代理。场景的建模流程是从建筑与家居设计资料中整理出厨房布局与风格,按标准尺寸与空间规格建模,再装配一个可交互家具与电器的资产库,涵盖橱柜、灶台、水槽与微波炉等。其中不少构件是铰接的,门可以开合、旋钮可以转动、灶眼会随旋钮动作而点火,这意味着操作问题包含环境的状态变化,并非只有物体搬运。任务由大语言模型引导生成:GPT-4 依据可用环境与机器人技能词汇提出候选任务,最终任务集分为 65 个原子任务,覆盖十项基础技能,以及 300 个复合任务,把技能串成语义完整的活动,例如补货上架或煮咖啡。一条子任务标注流水线会把演示的每一帧打上子任务编号、原子技能名、阶段与自然语言指令,用以支持分层策略学习。场景外观用 AI 生成的墙面、地板、台面与柜板纹理做变化,物体资产则来自 Objaverse 1.0、LightWheel AI 与 Luma AI 生成。
这套生成式场景构造还有一个容易被忽视的工程含义:因为场景由布局参数与风格参数组合而成,训练集会自然带有分布内的多样性,而评测集可以固定为另一组布局与风格,从而在不变更任务语义的前提下考察泛化。这与手工搭建几十个固定场景的做法有本质区别,后者容易让策略过拟合到具体几何,而前者把几何本身变成了可采样的变量,也让”环境变化对泛化的影响”成为可以单独做实验的因子。
三、适用边界与前提
框架面向家庭移动操作,具体是厨房场景,基准围绕十项基础技能构建:抓取放置、开关门、开关抽屉、拧旋钮、扳动拉杆、按按钮、插入、导航、滑轨推拉以及开关盖子。它支持多种形态的移动操作平台,包括单臂移动底盘、人形机器人与带臂四足机器人,因此结果不绑定单一本体。它是一套仿真基准,并非部署栈:策略在仿真中训练与评测,任何面向真机的结论都需要单独的迁移研究。它假设 MuJoCo 与 robosuite 的依赖链已正确安装,并已通过自带脚本下载约十吉字节的厨房资产。任务集在构造上以厨房为中心,因此关于通用家庭能力的结论会被这一选择所限定;物体库继承上游来源的许可条款,且逐资产不同,商用前需逐项核验。
还需要说明的是它的技能词汇表这一隐含前提:65 个原子任务只覆盖十项基础技能,因此一个策略在本基准上的高分,说明它掌握了这十项技能在厨房语境下的组合,并非说明它具备任意操作能力。团队在引用分数时应当同时说明任务集与技能范围,否则容易把基准的边界误读为方法的边界。对希望扩展到装配、柔性物体或户外场景的项目,本基准只能作为起点参照。
四、上手路径
文档给出的路径是:先建 Python 3.11 的 conda 环境,再从主分支安装 robosuite,然后以可编辑模式安装本仓库,最后运行两个初始化脚本配置系统变量并下载厨房资产,README 明确提示这份资产约十吉字节。环境通过 gymnasium 封装创建,需要任务名如 PickPlaceCounterToCabinet、用于选择预训练或目标厨房场景与物体的 split 参数,以及用于复现的随机种子。仓库自带若干演示入口,可回放某个任务的样例演示、浏览厨房场景、查看物体库,以及用键盘或 SpaceMouse 遥操作机器人,这是在训练任何东西之前最快理解任务要求的方式。一个合理的首次实验是:先跑一次随机动作的 rollout 并录制视频,再回放同一任务的人类演示,对比动作空间与时域长度,最后才去搭建评测流程。原因是 1.0.1 版本把任务时域大幅调整过,旧数字与新数字不可直接比较。
对于打算做长期实验的团队,还有一条更务实的准备步骤:在正式训练前先把评测流程跑通并固定下来,包括选定的 split、种子集合、每个任务的评测回合数与成功判定脚本,并把版本号一并写入实验记录。因为长时域任务的评测本身耗时可观,评测口径若不先固定,很容易在训练中途发现指标不可比,届时已投入的算力无法回收。建议把评测脚本与任务清单作为独立的受控产物管理。
五、横向对比
与 MuJoCo、Newton 这类物理引擎或 GPU 原生求解器相比,RoboCasa 是应用层的基准,买的是任务与评测契约,并非引擎本身,它消费这些引擎并非与之竞争。与 ProtoMotions、SuperMimic 这类运动与全身控制框架相比,差别在任务域与评测方式:后者聚焦移动与动作跟踪,RoboCasa 聚焦长时域家庭操作,并配有固定任务集与公开榜单。与资产集合的关系是互补并非平行:本站的 RoboCasa365 场景与物体条目以就绪度分级索引其资产,本条目则覆盖框架、任务集与基准协议;可比的资产库还有 MuJoCo Menagerie 与 Open X-Embodiment,前者提供模型,后者提供真机数据。RoboCasa 在实践中的辨识度来自三点组合:大模型撰写的任务、带铰接状态的场景,以及公开榜单,这更接近一份基准契约,并非一份仿真器功能介绍。
在选型层面,RoboCasa 与通用机器人学习环境的差别还体现在评测契约的完备程度:它不仅有任务与环境,还规定了划分方式、演示数据与榜单提交规则,这使得第三方可以复现并比较,无需再去猜测对手的实验设置。因此评估一个基准是否值得投入,除了看场景数量,更应看它是否把划分、种子与成功率定义一并固化,这一点上本基准做得较为完整,也是它在较短时间内被社区广泛采纳并持续收到社区模型提交的原因。
六、基准与数据
RoboCasa365 论文报告了一个面向家庭移动操作的综合基准,并用当前最先进的方法做了大量实验,分析任务多样性、数据规模与环境变化对泛化的影响。核心资源是 365 个任务、2500 个厨房场景、超过 600 小时人类演示与超过 1600 小时合成演示。基准支持多任务学习、基础模型训练与持续学习三类设定,公开榜单对比包括 Diffusion Policy、π₀ 与 GR00T 在内的通才策略,同时接受社区提交,并自 2026 年 10 月起接受围绕基础策略构建的智能体式提交。版本史对复现至关重要:1.0 版于 2026 年 2 月发布,含 365 任务、2500 场景与 2200 余小时演示数据;1.0.1 版于 2026 年 5 月把任务时域整体上调约五成以统一口径,因此该变更前后的评测数字不可直接对比。论文关于「哪些因素最强烈影响通才性能」的结论,是作者在其自有基准上的分析,并非第三方的独立复现。
关于数据规模还有一层值得记录的细节:合成演示是通过自动轨迹生成工具扩出来的,其成本远低于人类遥操作,这正是它能把演示时长从数百小时推到两千小时以上的原因。但合成数据与人类数据在动作分布上并不等价,前者更平滑、更接近最优轨迹,后者包含真实操作者的抖动与修正,因此两者混用时的配比会影响策略的行为风格,团队在做数据消融时应把这一维度单独列出。
七、物理 AI 场景中的用法
RoboCasa 处在具身 AI 流水线的环境层:它提供场景、任务与评测契约,策略据此被训练与被衡量。它对物理 AI 方案的贡献并不在于新的物理模型,而在于规模与可比性,因为通才机器人学习的难点常常在于缺少一套能暴露「方法是否真的跨任务多样性与环境变化泛化」的可复现套件,并非单次仿真本身。物理在这里真正起作用的地方是场景的铰接状态:门、抽屉、旋钮与灶眼都是关节与状态机,只做像素匹配的策略会直接失败,而接触、摩擦与质量属性会一路传导进每一条演示。它的合成数据支柱与 Open X-Embodiment 所覆盖的数据问题相连,也与其他具身平台如 AgiBot World、ALOHA 相互参照。物理仿真入门 覆盖了铰接场景背后的建模假设,Python 机器人学 覆盖把策略接到控制器的工具链,物理 AI 学习路径 则把这一环境阶段与 Isaac Sim 资产 所代表的资产侧并列。
从更完整的流水线看,本框架处在一个相当具体的位置:上游是资产与场景的构造,下游是策略训练与真机迁移,而它自身承担的是把两者缝合起来的评测层。这个位置决定了它既不会替代物理引擎,也不会替代策略算法,但它会决定这两者能否被放在同一张表里比较。对物理 AI 团队而言,把评测层当作一等公民来建设,往往比反复更换求解器或骨干网络更能提升整体的研发效率。
八、不适用场景与失效模式
第一条限制是领域范围:任务集以厨房为中心,在这里拿到好成绩只说明具备厨房家务能力,并非通用家庭能力,对外表述应据此收敛。第二条是仿真到现实的差距:一切都在 MuJoCo 中评测,纹理与物体多样性是合成的,因此与真实厨房在视觉与动力学上的差异会被每一个结果所继承。第三条是版本漂移:1.0.1 把任务时域调整了约五成,2026 年中又加入了逐帧子任务标注,因此不同发布版本的数字不可混用,不带版本号的横向对比没有意义。第四条是资产许可:物体库取自 Objaverse 1.0、LightWheel AI 与 Luma AI 生成,即便框架代码是 MIT,商用也需逐资产核验。第五条是算力与存储开销:约十吉字节资产加上长时域任务,使大规模训练成本不低。第六条是一处值得记录的文档层冲突:仓库 LICENSE 声明代码为 MIT,并说明其中内嵌了 Apache-2.0 的 MuJoCo 部分,而 README 另声明资产与数据集为 CC BY 4.0,因此任何下游许可表述都应对照这两个一手来源核验,不能只信二手摘要。
还有一类失效模式与评测经济学有关:由于长时域任务的成功率通常很低,若评测回合数不足,分数会被随机性主导,不同方法之间的差异可能落在噪声范围内。团队应在正式对比前先做一次重复性检验,估计同一策略多次评测之间的方差,再据此决定每个任务需要的回合数;否则很容易得出”某方法更优”的结论,而实际上只是采样波动。这一点在长时域操作基准上尤其重要。
九、版本与口径核对
RoboCasa 于 2024 年在 RSS 首次发布,论文题为《RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots》,作者为 Soroush Nasiriany、Abhiram Maddukuri、Lance Zhang、Adeet Parikh、Aaron Lo、Abhishek Joshi、Ajay Mandlekar 与 Yuke Zhu。当前基准 RoboCasa365 发表于 ICLR 2026,arXiv 编号 2603.04356,2026 年 3 月 4 日提交,作者为 Soroush Nasiriany、Sepehr Nasiriany、Abhiram Maddukuri 与 Yuke Zhu,前三作者贡献相同;核心团队隶属德克萨斯大学奥斯汀分校,并有 NVIDIA Research 支持。仓库 LICENSE 文件声明代码为 MIT,版权归 RoboCasa Team 于 2026 年,并说明该软件包含 DeepMind MuJoCo 的部分实现,后者仍为 Apache-2.0;README 则分别声明代码 MIT、资产与数据集 CC BY 4.0。发布记录从 2024 年 10 月的 0.2 版(迁移至 robosuite 1.5,支持复合控制器与照片级渲染),到 2026 年 2 月的 1.0 版(365 任务、2500 余场景、2200 余小时演示),再到 2026 年 5 月的 1.0.1 版(时域延长),2026 年 7 月的逐帧子任务标注,2026 年 10 月覆盖全部 300 个复合任务的子任务标注流水线,以及 10 月 28 日起接受的智能体式榜单提交。本条目以仓库 LICENSE、README 与两篇论文为一手来源,对人员规模或融资等信息不作超出这些来源的推断。
关于口径再补充一点:本条目所引用的机构归属、许可类型与论文编号均取自项目主页、仓库 LICENSE、README 与两篇论文的一手材料;对团队规模、资金来源或后续路线图等信息,本条目不作超出这些来源的推断。特别提醒读者,仓库 LICENSE 与 README 在资产许可上给出的表述并不完全一致,前者强调代码 MIT 与内嵌 MuJoCo 的 Apache-2.0,后者另行声明资产为 CC BY 4.0,实际使用时应两份都看,并以 LICENSE 文件与各资产上游条款为准,必要时可在法务复核后再进入商用流程。
十、参考资料
- RoboCasa 项目主页 robocasa.ai,总览、环境展示、更新日志与榜单。
- Nasiriany、Nasiriany、Maddukuri、Zhu,《RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots》,ICLR 2026,arXiv 2603.04356。
- Nasiriany、Maddukuri、Zhang、Parikh、Lo、Joshi、Mandlekar、Zhu,《RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots》,RSS 2024。
- RoboCasa 代码仓库 github.com/robocasa/robocasa,安装指南、演示脚本与许可声明。
- RoboCasa 官方文档 robocasa.ai/docs,任务目录、数据集说明与基准指南。
- RoboCasa365 榜单 robocasa.ai/leaderboard.html,通才策略对比,含社区与智能体式提交。
- robosuite,RoboCasa 作为环境层所依赖的机器人操作仿真框架。
- MuJoCo,robosuite 底层的物理引擎,其 Apache-2.0 部分按仓库 LICENSE 内嵌。
- Objaverse 1.0,物体资产库的上游来源之一,许可条款逐资产不同。
- 本站 RoboCasa365 场景与物体条目,同一平台在就绪度分级下的资产视角。