七校结合开源OpenWAM：机械人的「世界仿照器」来了

本文中，来自新加坡国立大学、清华大学、北京大学等七所高校的钻研团队，最新开源 OpenWAM，面向世界作为模型的开源钻研全栈与基座模型

。 当机械人必要实现一个作为时，仅仅鉴别面前的物体还不够

。它还要预测环境将若何变动，并判断哪些作为可能让变动产生

。视频天生模型擅上进建世界若何随功夫演化，机械人轨迹则提供可执行的作为监督

。 论文标题为《OpenWAM: An Open, Modular Exploration Towards Systematic World–Action Model Pretraining》

。钻研团队将问题拆成三个档次：什么知识值得继承，世界建模和作为进建若何协同，以及这种协同若何跨数据域和具体态态扩大

。全文的答案别离由 OpenWAM-Infra、OpenWAM-Study 和 OpenWAM-α 给出

。 主题结论：OpenWAM 通过？榛∩枋┌咽澜缱魑Ｐ痛咏赳詈系牡ヒ皇迪，转化为可控、可复现的尝试系统；钻研了局批注，充足的天生式世界先验、紧凑且信息丰硕的视觉表征、明确的世界到作为信息流，以及跨域具身预训练，是构建高机能 WAM 的关键

。 现有机械人战术通常直接从机械人示范中同时进建视觉法规和节造信号

。视觉说话作为模型则更多继承图像文本预训练带来的语义和说话知识

。世界作为模型选择了另一条蹊径：从视频天生预训练中继承视觉动态先验，再通过具身经验进建在这个世界中采取行动

。 这种路线面对一个现实的数据不合称

。描述世界变动的视频好多，带有精确可执行作为标签的机械人轨迹却相对稀缺

。世界建Ｄ芄徊钩涫泳醺哺呛投，作为进建能够把这些知始定到节造指标，但二者能否真正形成协同，取决于模型结构、信息流、推理方式和数据配方的共同设计

。 论文将问题综合为三个钻研问题：WAM 应该继承什么世界知识；继承的知识若何与作为进建成立有效协同；这种协同若何在分歧领域、分歧机械人状态之间迁徙

。 OpenWAM-Infra 针对现有系统难以扩大、分歧？楸舜俗倘诺奈侍，界说了四个有明确接口的部门：可组合模型、训练运行时、部署运行时和评测和谈

。模型由视觉编码器、分歧的数据流骨干网络以及可见性把稳力掩码组合而成；训练、部署和评测则使用统一的运行方式

。这样，钻研者能够只代替一个设计变量，观察它对了局的影响

。 图 2 OpenWAM-Infra 的？榛杓

。视觉编码器、数据流骨干网络和可见性把稳力掩码能够独立代替，并组合成单系统、双系统和三系统架构

。 在模型层面，OpenWAM-Infra 支持单系统、双系统和三系统三类架构

。单系统让视频与作为共享主体网络；双系统为视频和作为别离配置骨干网络，再通过结合自把稳力、交叉把稳力或逆动力学模型衔接；三系统在此基础上参与视觉说话模型理解流

。分歧架构都由统一套配置和注册机造装配，训练器与战术服务器不必要知路当前运行的是哪一种结构

。 统一运行时还解决了尝试落地中的细节问题

。训练端支持预训练、微和谐断点续训，查抄点保留齐全配置、？槌两ㄐ畔⒁约白魑橐换臣；部署端用统一个战术服务器承载分歧模型，并提供同步或异步推理、分歧去噪日程和多种加快方式；评测端通过轻量客户端衔接服务器，使仿真环境和真实机械人遵循统一套输入输出接口

。 有了统一的尝试底座，OpenWAM-Study 在 RoboTwin2.0 上固定训练预算和评测方式，逐步比力世界先验、架构容量、跨模态信息流、去噪日程和具身预训练配方

。钻研不把了局归因于某个孤立的超参数，而是沿着「继承 — 协同 — 整合」的挨次，将每一步得到的结论带入下一步

。 钻研首先比力了 1.3B、2B、5B 和 14B 四种视频天生骨干

。随着骨干容量提升，WAM 的均匀成功率持续提高：Wan2.1-VACE-1.3B 为 90.14%，Cosmos-Predict2.5-2B 为 91.64%，Wan2.2-TI2V-5B 为 92.39%，Wan2.1-I2V-14B 为 93.79%

。14B 模型固然最好，但 5B 模型只低 1.40 个百分点，训练与部署成本更易节造，因而被选为后续钻研的默认骨干

。论文也提醒，四个模型在结构、数据和指标上并不齐全一样，了局注明骨干选择沉要，但不能单一把收益全数归因于参数量

。 视觉表征尝试进一步注明，关键不在于编码器属于「沉建型」还是「表征型」，而在于潜空间是否紧凑、是否保留丰硕的世界信息

。DINOv3 和 V-JEPA 2.1 等表征编码器直接产生高维特点时阐发较弱，但经过 S-VAE 将维度压缩到适合 DiT 处置的空间后，机能显著提升；DINOv3 加 S-VAE 的了局已靠近 Wan2.2-VAE

。由此得到第一条准则：WAM 必要足够强的天生式骨干，同时必要在功夫维和 token 维都更紧凑、信息密度更高的视觉潜空间

。 仅仅把世界流和作为放逐进统一个模型，并不会自动产生协同

。架构消融显示，模型容量从单系统增长到双系统、三系统时，均匀成功率整体提升；双系吐洫合自把稳力达到 92.36%，三系吐洫合自把稳力达到 92.60%

。在两全机能、复杂度和变量隔离后，钻研选择双系吐洫合自把稳力作为后续尝试的基础

。 信息流尝试给出了更直接的答案

。在 RoboTwin2.0-Full 上，孤立掩码和「视频看作为」别离只有 87.41% 和 87.63% 的均匀成功率；让作为流看见世界流后，均匀成功率达到 92.39%；双向互见为 92.15%

。作为进建能否接见世界信息，是决定协同是否成立的关键

。 推理阶段的去噪挨次也被纳入比力

。尝试测试了同步去噪以及让视频流或作为流当先的异步去噪，了局显示同步去噪阐发最好，没有一种异步去噪不变超过同步规划

。由此得到第二条准则：训练时必须成立明确的世界到作为信息流，推理时则应维持世界和作为的同步结合去噪

。 第三组尝试把问题从单一工作域扩大到跨域具身预训练

。在一样的 600 幼时预算下，钻研比力了从零起头、仅机械人数据、祖先类第一视角再机械人数据，以及人类第一视角与机械人数据单阶段协同训练

。了局显示，预训练对域内阐发的提升相对有限，却显著改善了 Clean2Random 设置下的散布表阐发：从零起头的 OOD 成功率为 14.50%，机械人数据预训练为 23.80%，祖先类后机械报答 26.50%，人类与机械人协同训练为 26.62%

。 两类数据各有作用

；等斯旒４纯芍葱械淖魑 grounding，因而机械人数据预训练的域内阐发更强；人类第一视角视频带来更广的视觉和交互散布，因而混合战术的散布表泛化更好

。单阶段协同训练与分阶段训练了局靠近，但前者略优且省去额表的训练阶段切换，成为最终规划的默认选择

。预训练还扭转了信息流偏好：从零起头时单向世界到作为略占优势，具身预训练后，双向互见在域内和域表都更不变

。由此得到第三条准则：机械人数据保留作为 grounding，人类第一视角数据扩大世界覆盖，单阶段协同训练可能有效整合两者

。 OpenWAM-α 将上述结论组合成一个可公开钻研的基础世界作为模型

。模型使用 Wan2.2-VAE 作为冻结视觉编码器，Wan2.2-TI2V-5B 作为视频流骨干，并配置一个 1B 参数的 ActionDiT 处置作为流

。两个流通过结合自把稳力交互，选取双向互见；说话指令和本体状态通过交叉把稳力提供前提

。 为了让分歧机械人状态共享一个作为头，OpenWAM-α 使用 80 维统一作为空间：两个镜像的 34 维手臂区块别离蕴含结尾地位、6D 旋转、夹爪和灵巧手通路，还有 12 个预留槽位承载移动底盘等具身特定通路

。每个数据集把自身的作为与状态映射到固定槽位，未使用的维度通过有效性掩码不参加训练

。 预训练数据来自五个起源，蕴含人类第一视角视频、真实机械人数据和合成机械人数据

。原始数据约 13.33 亿帧、约 14,300 幼时；经过视觉质量筛选、机械人信号洗濯和按起源采样后，现实训练集为 5.185 亿帧、约 6,369 幼时

。数据组成为：人类第一视角数据约占 30%，合成机械人数据约占 30%，三类真实机械人数据计算约占 40%

。人类数据蕴含 7.16 万段长时第一视角纪录，覆盖 3,006 类日常操作工作；真实机械人数据覆盖 17 个物理平台

。 部署时，OpenWAM-α 使用同步推理和 10 步结合去噪

。通过固定状态编译、CUDA Graph、快率缓存、提醒词嵌入缓存以及跳过节造蹊径中的 VAE 解码，单个作为块在 RTX 5090 上约 170 毫秒实现

。 OpenWAM-α 在八个仿真基准上接受评测，覆盖五类具体态态

。论文汇报显示，它在 LIBERO、VLABench、RoboTwin2.0-Full、RoboCasa365 和 RoboCasa-GR1 上处于第一梯队；在移动双臂基准 EBench 上达到当前最佳，SR 和 Score 均当先第二名约 4 个百分点；在 RoboTwin2.0-Clean2Random 和 RoboDojo 上，固然与最佳 VLA 仍有差距，但均为 WAM 步骤中阐发最强人

。 LIBERO-Plus 是一个值得单独注明的例表

。OpenWAM-α 的降落重要集中在相机和噪声扰动，也波及布景与布局扰动

。论文将原因综合为两点：一是预训练数据中与单臂扰动测试靠近的数据比例有限，二是像素潜空间上的长时将来预测对视角和噪声变动更敏感

。这个了局也注明，模型在某个测试前提下的泛化能力，最终取决于预训练数据是否覆盖相近的具体态态和环境变动

。 论文同时比力了 VLA 与 WAM

。总体成功率不存在一方全面胜出的结论：WAM 借助将来视频潜变量监督，在散布内工作上更容易贴合训练散布；VLA 不承担长时将来预测，在散布表扰动下通常更稳重

。两类不及都与数据有关，足够丰硕、覆盖环境变动且带有精确作为标注的预训练数据，可能同时改善拟合与泛化

。 钻研进一步在三种具体态态上进行真实机械人尝试：Franka-Research-3 单臂平台、RoboDojo 双臂平台，以及 Wuji 灵巧手与 Tianji 机械臂组成的灵巧操作平台

。单臂尝试蕴含堆叠、抓取搁置和悬挂三类工作；双臂尝试覆盖 ARX X5、Piper 和 Piper X 三衷旖台、共 18 个工作；灵巧手尝试测试双臂交互、长时工作和精密操作

。 在单臂尝试中，OpenWAM-α 六项工作均匀成功率为 82.5%，高于 LingBot-VA 的 77.5% 和 π0.5 的 55.0%

。其钟赘将辣椒放入抽屉」和「将积木放入抽屉」两项达到 100% 成功率

。RoboDojo 双臂真实赛路上，OpenWAM-α 的整体均匀分数为 37.6、均匀成功率为 24.4%，在三衷旖台和无数工作上达到目前当先水平

。 灵巧手尝试尤其考验未见过的具体态态

。Wuji 灵巧手与 Tianji 机械臂，以及 9 维结尾位姿加 21 个灵巧手自由度的作为空间，都没有呈此刻 OpenWAM-α 的预训练混合数据中

。微调后，OpenWAM-α 在玩具塔堆叠、羽毛球网络、衣物收纳和瓶盖旋拧四类工作的域内与域表设置中均显著超过 π0.5，注明统一作为空间和预训练先验能够支持模型适配新的机械人状态

。 OpenWAM 的贡献不只是一组模型分数

。OpenWAM-Infra 把模型、训练、部署和评测放入统一接口；OpenWAM-Study 用受控尝试把经验判断转化为可检验的设计准则；OpenWAM-α 则把这些准则扩大到多起源、多领域和多具身数据

。三者共同组成从钻研问题、尝试步骤到可复用模型的齐全链路

。 论文颁布了基础设施、评测和谈、预训练权沉和数据配方，旨在为世界作为模型钻研提供可复现的共同起点

。钻研也明确指出，后续仍必要更大规模、更多样且带有精确作为标注的具身数据，更紧凑并且对环境变动更稳重的视觉表征，以及可能融合 WAM 与 VLA 优势的端到端设计

。