在机器人操作项目里我最近被问得最多的问题就是你为什么不用视频大模型做世界模型让它预测下一帧画面再接个规划器不就能出动作了吗说实话这个问题我一开始也认真验证过。结果在跑完一整轮闭环实验之后我把方向彻底反了过来——不借视频大模型直接拿任务数据从头训练一个世界动作模型World Action Model。这篇文章就把整个过程讲透为什么动作模型和视频模型必须分家动作数据怎么采集和清洗网络骨架怎么选训练里碰到的那些翻车瞬间以及最后怎么判断模型到底是学会执行还是学会生成好看画面。整个过程不一定适合所有项目但如果你也在做具身智能、机器人操作或者任何需要闭环决策的任务这部分经验大概率对你有参考价值。1. 视频大模型的世界观和动作模型差了整整一层1.1 视频大模型预测的是像素动作模型预测的是行为先厘清一个最关键的概念。视频大模型做的事情简单说就是给定过去若干帧预测未来的像素分布。它本质上是在做画面的补全追求的是生成结果在视觉上和真实分布接近。你可以把它理解成一个特别擅长画天气预报的人看到云图走势能画出来明天的大概样子但他不一定告诉你该不该带伞、出门该走哪条路。动作模型则完全不同。它要回答的问题是在当前的观测和历史上下文中下一步我应该给出什么样的关节角度、末端位姿或者夹爪开合指令。它不产出画面产出的是可以直接送进执行器的一串数值。业界讨论里常把这类模型称为世界动作模型关注的不再是世界长什么样而是世界变成什么样之后我的动作该怎么走。这个差异看起来只是输出端的不同实际上决定了整个目标函数、数据来源以及推理链路的路数。视频模型的训练目标是重建误差它要求模型把背景、光照、纹理这些信息全部还原出来但动作模型的目标是让动作序列在物理环境中生效像素纹理对决策来说常常是冗余甚至有害的。你花算力重建的东西不一定是行为决策需要的东西。1.2 借视频大模型做动作实操里会碰到的三个硬伤我不是全盘否定视频生成模型的价值它在数据增强、想象规划、多模态理解上都有意义。但如果你打算借用视频大模型来驱动真实动作闭环至少要面对三个很现实的问题。第一是推理时延。真实机器人控制频率一般需要20到50赫兹也就是每个决策周期只有20到50毫秒。视频大模型生成一帧未来画面哪怕是轻量化版本通常也要几百毫秒到几秒再叠加上由未来画面转化成动作这一层整个链路的时延根本没法用于闭环。你可以把帧率降下来但控制频率一降系统对外界扰动的响应能力立刻退化甚至在任务中途直接翻车。第二是像素空间到动作空间的转换鸿沟。就算视频模型给你画出了接下来几帧完美无缺的画面你依然需要一个逆模型或者规划器把这些画面转成具体的电机指令。这一层转换完全依赖额外的标注和训练相当于在系统里又引入一个误差源。画面上看起来只差一两个像素的偏移转换到动作空间可能就是几厘米的末端偏差这对灵巧操作来说是致命的。第三是分布对齐问题。视频大模型在互联网级别的视频数据上预训练它的世界是开放世界的平均分布你的机器人面对着的是特定机械臂、特定夹具、特定光照和特定传感器噪声。想让视频预训练的知识迁移到你的域里往往需要做大量的domain adaptation而这部分工作量和数据准备程度几乎相当于重新训练一遍。既然如此为什么不直接把预算投入到任务相关的动作数据上这正是我最后选择从头训的根本原因。1.3 动作模型本质上是闭环控制问题不是生成问题还有一个容易混淆的地方。很多人觉得世界模型就应该先学习环境动态再做planning这没错但那是model-based RL的路线。动作模型走的是另一条路它直接拟合观测历史 - 动作分布的条件映射把对世界动态的隐式理解全部压缩到网络权重里。这意味着你不再需要显式预测下一帧画面也不需要维护一个庞大的环境模拟器。模型看到当前状态直接输出动作行为在环境中得到验证然后环境反馈又成为下一步的观测输入。这是一个典型的闭环控制回路。视频生成模型在这个回路里扮演的是旁路角色而不是主导角色。你如果非要从旁路借力最好先想清楚这条路是不是真的比主路省成本在我实际验证中答案是未必。2. 从头训的第一关动作数据管线到底怎么建2.1 先搞明白动作序列长什么样谈训练之前先把数据定义清楚。一段用于世界动作模型训练的样本通常由三部分构成观测序列、动作序列和元信息。观测序列指每个时间步的RGB图像、深度图、关节编码器读数、末端位姿、力传感器数据等动作序列则是对应的机械臂关节增量、末端执行器位姿变化、夹爪开合状态一般以固定控制频率比如10Hz或30Hz采样。这里有一个经常被新手忽略的细节观测和动作必须严格时间对齐。数据采集时如果相机链路的延迟和关节控制器的延迟不一致训练出来的模型会学到错误的因果关系表现为动作滞后、震荡。我们项目中专门做了一个同步校准流程采集时让机械臂执行快速往复运动然后比较视觉观测和关节编码器的时间戳偏移把差值补偿掉之后才进入训练集。另外一个需要注意的件事是控制频率的标准化。不同采集任务里有的轨迹按10Hz记录有的按30Hz记录直接混训会让模型混淆时间步的语义。我的做法是统一重采样到同一频率然后对动作做低通滤波去掉高频抖动的毛刺。这样既保留了任务特性又能让模型在推理时不用区分数据来自哪个采集批次。2.2 动作数据从哪来遥操作、日志与仿真合成既然要从头训动作监督信号就只能从任务执行中来。目前主流的数据来源有三类它们的成本、质量和使用场景差别很大。遥操作数据质量最高。通过主从式遥操作设备、3D鼠标或者虚拟夹具由操作员手把手完成演示记录下来的轨迹天生就是专家级行为。问题是采集效率偏低一条几十秒的轨迹要消耗操作员大量精力。我们通常会把遥操作拆成分段子任务比如抓取移动放置各采一段再用脚本拼装成完整任务。任务日志是容易被低估的数据源。很多厂区里已经有大量半自动设备在跑它们的运行日志里就藏着海量的状态-动作-结果三元组。虽然这类数据里有大量非专家动作和失败轨迹但胜在覆盖场景广、几乎零采集成本。使用前需要做运动学重算和坐标变换把原始指令映射到统一的动作空间。仿真合成适合用来铺量。用MuJoCo、Isaac等仿真器批量生成轨迹可以覆盖大量极端姿态和失败恢复场景。但仿真数据自带sim-to-real gap尤其是接触力、摩擦和视觉纹理上的差异直接混合真机数据训出来的模型在真机上往往会出现动作漂移。我的经验是仿真数据占比不要超过总量的一半而且要配合域随机化使用。2.3 数据清洗与动作chunk化数据清洗这步很多人以为只是去去噪实际比想象中繁琐得多。我们维护了一套清洗规则删除连续零动作超过一定时长的片段剔除末端速度或加速度超出物理上限的异常轨迹对夹爪开合这类二值量做膨胀腐蚀处理避免采样落在切换瞬间最后对关节角速度做平滑插值保证相邻时间步的动作变化连续可微。清洗之后进入关键环节动作chunk化。这个概念的出发点很简单单步动作预测的问题在于误差会累积模型在每步都做一次独立预测环境稍有扰动轨迹就会越偏越远。业界比较成熟的解法比如ACT和AOT这类工作是让模型一次性预测未来一段时间的动作序列叫做一个action chunk然后在执行周期内按序执行。实际操作中chunk长度是个需要调的超参数。太长模型需要预测更远的未来不确定性增大轨迹容易跑偏太短又退化回单步预测的累积误差问题。我在UR5e上加装二指夹爪做抓取放置任务时试过从8到48步的范围最后落在20到24步效果最好对应实际时间约1秒左右。这个值在不同任务上会变建议大家用一个验证集去扫。数据关键因素推荐做法原因说明控制频率统一重采样至10Hz或20Hz消除采集设备差异稳定时序语义时间对齐补偿视觉链路延迟避免模型学到错误的因果映射动作平滑低通滤波加插值去掉高频抖动提升轨迹可执行性失败轨迹保留部分并标注提升模型对异常状态的恢复能力3. 模型骨架怎么选输入融合、输出头与动作时序3.1 输入侧视觉和本体感受怎么进网络世界动作模型的输入不是一张图而是一个多模态的时间窗口。我们的标准做法是取过去6帧RGB图像、当前关节角度、末端位姿和上一时刻动作一起拼接成输入元组。视觉编码这块不需要追求超大模型。我试过ResNet、ViT和DINOv2这几类视觉主干结论是在小规模任务数据上DINOv2这类自监督预训练模型很占便宜它能提供稳定的特征表达让动作头更快收敛但ViT在小数据下容易过拟合需要加很重的数据增强才压得住。视觉特征会经过一个投影层压缩到与本体感受特征相同的维度再和关节角、末端位姿的MLP编码拼接在一起。一个容易踩的坑是把历史动作直接作为输入特征。它确实能提升平滑性但也会让模型产生惯性依赖——测试时一旦历史动作出错误差会像滚雪球一样传导到后续所有决策。我用过的折中方案是在输入侧对历史动作加噪声和dropout强迫模型更多依赖视觉和本体感受而不是躺在历史轨迹上抄答案。3.2 输出侧连续回归、离散token还是扩散策略输出侧是整个模型设计里最影响训练稳定性的部分。直接用一个MLP头回归连续动作向量是最省事的方案但问题在于它天然倾向于拟合所有训练样本的平均值。碰到同一状态下存在多种合理走法的多模态数据时模型会输出一个谁也不挨着的中间动作表现为末端动作疲软、力道不足。离散token方案是先把连续动作通过VQ-VAE量化成动作词表再用自回归方式逐个预测动作token。这个方案的优点是能天然保留多模态行为比如同一个抓取任务既可以走左上方路径也可以走右下方路径模型不会强行平均。缺点是训练链路多了一层tokenizer动作重建精度有损失而且自回归推理速度偏慢。我目前最偏好的方案是扩散策略Diffusion Policy。它把动作生成建模成一个去噪过程训练时对专家动作加噪让模型学会从噪声中还原真实动作。推理时从一个随机噪声向量开始迭代若干步去噪得到最终动作chunk。它在多模态动作拟合、输出平滑性和训练稳定性上都表现不错而且对chunk长度的变化不敏感很适合作为从头训练的首选骨架。3.3 损失函数设计不要只盯着MSE损失函数是很多人简单化处理的地方。只加一个动作MSE模型确实能收敛但收敛出来的行为往往不够好。我会在动作损失之外再加三项速度一致性损失、加速度平滑正则和末端约束损失。速度一致性损失比较好理解就是相邻两步动作的差值要和专家轨迹的差值对齐强迫模型学出正确的运动节奏而不是只把每个时间点的位置凑对。加速度平滑正则用于抑制输出抖动机器人在执行任务时最怕末端震颤这个正则虽然简单但效果非常明显。末端约束损失则是针对有终点精度要求的任务比如插入、堆叠这类让模型对chunk末尾的动作状态额外加大惩罚权重。# 动作损失计算的简化示例PyTorch风格 chunk_len 24 pred model(obs_window) # [B, chunk_len, action_dim] target action_chunk # [B, chunk_len, action_dim] mask (target ! 0).float() # 对padding部分做屏蔽 act_loss F.mse_loss(pred * mask, target * mask, reductionmean) # 速度一致性相邻两步动作的差异要对齐 vel_pred pred[:, 1:] - pred[:, :-1] vel_target target[:, 1:] - target[:, :-1] vel_loss F.mse_loss(vel_pred * mask[:, 1:], vel_target * mask[:, 1:], reductionmean) # 加速度平滑正则抑制输出抖动 acc_pred vel_pred[:, 1:] - vel_pred[:, :-1] smooth_loss torch.mean(acc_pred ** 2) total_loss act_loss 0.2 * vel_loss 0.1 * smooth_loss total_loss.backward()这个损失组合看起来只多了两个小项但在真机测试里的差距非常明显。只训MSE的版本动作经常出现微颤加上速度一致性损失之后整个轨迹的手感会自然很多。4. 训练工程里的资源账本与翻车现场4.1 从头训规模和成本的大致账本从头训听起来很贵实际操作下来并不吓人。拿我们其中一个抓取放置项目举例一共采集了800条有效轨迹每条约5秒控制频率20Hz也就是8万步观测-动作对。数据量大概能装满几十个GB但需要训练的计算量其实很有限。我的训练配置是单张A100batch size设为128动作chunk长度24训练100轮。前20轮用1e-4的学习率做预热之后切换到余弦退火。整个过程大约8到10小时跑完验证集上的动作距离指标已经收敛。如果你的数据规模只有几百条轨迹甚至一块消费级显卡也能在半天内完成训练。核心结论是动作模型的数据规模不是多多益善任务相关的有效数据才是关键。几百条高质量遥操作轨迹配合合理的数据增强足以在单任务上超过那些在互联网视频上预训练的大模型。这背后没有玄学模型的归纳偏置来自动作监督信号而不是来自海量但无标的像素。4.2 容易翻车的几个现场训练过程里我踩过不少坑挑三个最典型的说说。第一个是Loss突然变成NaN。这个现象在扩散策略里尤其常见罪魁祸首通常是float16精度和输入数据里的inf值。我们的排查链路是先检查轨迹数据里有没有关节角跳变导致的无穷大速度再去确认数据加载时是否把缺失值填充成了NaN最后把混合精度训练关掉或改成bfloat16。绝大多数NaN问题不来自模型结构而是来自数据卫生。第二个是模型摆烂输出均值动作。表现是验证集上的MSE挺低但真机执行时末端只会在中间位置小幅蠕动根本完不成任务。原因通常是训练数据里大量轨迹存在重复、静止的片段这些毫无信息量的样本把损失函数主导了。解决办法是编辑数据把静止段裁剪掉或者对高信息量的动作片段加大采样权重。第三个是复读机现象模型在训练集上看起来完美复现专家轨迹但换到新位姿、新光照条件就完全失灵。这本质上是过拟合但视觉领域那套随机裁剪、颜色抖动数据增强在这里特别有效。我会在训练时对输入图像做随机亮度扰动和随机裁剪并且在评估时故意放一些未出现的物体位置来测试泛化性。4.3 训练流程里的实操建议数据混批方式我没有用最普通的随机采样而是按轨迹长度做了分桶采样。因为每条轨迹长短不一如果直接随机抽帧长轨迹里的尾部状态会被严重欠采样短轨迹又会被重复抽爆。分桶之后每个batch里轨迹长度相近训练稳定性和收敛速度都明显改善。学习率这块我强烈建议用warmup加余弦退火。动作模型训练初期的梯度方向极不稳定直接上一个较大的固定学习率经常会在前几百步就把模型推向一个次优区域。用warmup先让模型睁眼再用退火慢慢精调是我目前最稳的方案。还有一条容易被忽视的是推理效率评估。很多模型在GPU上跑到30Hz一部署到机器人的控制主机上就只有8Hz。我们在选型阶段就明确了一块硬约束模型参数控制在5000万以内单次推理时长在35毫秒以下含预处理和后处理。这个约束直接淘汰了很大一部分视觉骨干网络也让部署环节少了很多痛苦。5. 部署闭环里怎么证明动作模型会干活5.1 离线指标能说明什么不能说明什么训练完先别急着上真机离线评测能帮你筛掉大部分明显问题。我最常用的离线指标有三个验证集动作距离predicted和target之间的平均误差、动作分布熵和闭环仿真成功率。动作距离用来衡量拟合精度动作分布熵用来观察模型是否退化成了单一均值模式——如果熵明显低于训练集的分布说明模型在用打安全牌的方式规避风险。但离线指标的局限性必须心里有数。动作距离低只代表在专家轨迹附近不代表模型在遇到偏离轨迹的状态时能把自己拉回来。闭环仿真成功率是一个更接近真实的指标但仿真器的物理精度有限尤其是接触类任务仿真里的成功在真机上一半概率会打折扣。所以我的标准流程是三层验证先看离线指标再在仿真环境里做闭环测试最后才在真机上做小批量验证。每一层都通过模型才具备上线资格。5.2 在线闭环验证从仿真到真机的关键一步仿真闭环测试的重点不是看成功率而是看模型在状态偏移时的恢复能力。我会在仿真里对物体位置加入随机扰动、对相机图像加入噪声、甚至强制模型从非专家状态启动看看它能不能自行修正轨迹。一个能恢复的动作模型会明显表现出弯道修正的行为而一个死记硬背的模型会在偏移状态下输出完全离谱的动作序列。真机验证的批次规划也有讲究。先在固定位姿、固定光照下跑十次确认基础执行稳定再逐步引入物体位置随机化、相机视角变化、光照变化。每次引入一个变量避免多因素混杂导致排查困难。真机测试时一定要有急停开关和逻辑回退机制。动作模型输出的是概率分布哪怕训练得再好也可能在遇到分布外状态时给出危险动作安全兜底电路必须是最后一道防线。5.3 从头训适合什么样的项目和团队说到底不借视频大模型、从头训世界动作模型这条路有它明确的适用边界。如果你的任务是特定场景下的灵巧操作、固定工作站的工业任务、或者实验环境中需要反复迭代的研究项目那动作数据规模可控、任务语义集中、闭环验证路径清晰从头训是性价比极高的路线。如果你的目标是开放世界通用操作想让模型在任何场景、任何物体上都做出合理动作那单靠几万条任务动作数据显然不够这时候借用视频大模型做预训练或者用视频生成做数据增强确实能带来额外的泛化红利。但即便是这种场景我的观点依然是先构建一条干净、可扩展的动作数据采集管线再考虑要不要借视频模型的力。数据管线是地基地基不牢借再多外力也白搭。最后说一点个人体会。我最初尝试接视频大模型的时候预期是省事省数据结果真正省下来的只有视觉特征提取那部分后面补的规划器、控制转换、域适应模块反而多花了三倍的时间。从头训之后整个链路变得短而直接出问题的环节一查就能定位。不借视频大模型不是因为它不好而是因为在做动作决策这件事上直接的动作监督信号才是离执行最近的监督信号。先把这条最短路径打通再考虑其他花活稳得多。 不借视频大模型，从头训练世界动作模型的实践指南
在机器人操作项目里我最近被问得最多的问题就是你为什么不用视频大模型做世界模型让它预测下一帧画面再接个规划器不就能出动作了吗说实话这个问题我一开始也认真验证过。结果在跑完一整轮闭环实验之后我把方向彻底反了过来——不借视频大模型直接拿任务数据从头训练一个世界动作模型World Action Model。这篇文章就把整个过程讲透为什么动作模型和视频模型必须分家动作数据怎么采集和清洗网络骨架怎么选训练里碰到的那些翻车瞬间以及最后怎么判断模型到底是学会执行还是学会生成好看画面。整个过程不一定适合所有项目但如果你也在做具身智能、机器人操作或者任何需要闭环决策的任务这部分经验大概率对你有参考价值。1. 视频大模型的世界观和动作模型差了整整一层1.1 视频大模型预测的是像素动作模型预测的是行为先厘清一个最关键的概念。视频大模型做的事情简单说就是给定过去若干帧预测未来的像素分布。它本质上是在做画面的补全追求的是生成结果在视觉上和真实分布接近。你可以把它理解成一个特别擅长画天气预报的人看到云图走势能画出来明天的大概样子但他不一定告诉你该不该带伞、出门该走哪条路。动作模型则完全不同。它要回答的问题是在当前的观测和历史上下文中下一步我应该给出什么样的关节角度、末端位姿或者夹爪开合指令。它不产出画面产出的是可以直接送进执行器的一串数值。业界讨论里常把这类模型称为世界动作模型关注的不再是世界长什么样而是世界变成什么样之后我的动作该怎么走。这个差异看起来只是输出端的不同实际上决定了整个目标函数、数据来源以及推理链路的路数。视频模型的训练目标是重建误差它要求模型把背景、光照、纹理这些信息全部还原出来但动作模型的目标是让动作序列在物理环境中生效像素纹理对决策来说常常是冗余甚至有害的。你花算力重建的东西不一定是行为决策需要的东西。1.2 借视频大模型做动作实操里会碰到的三个硬伤我不是全盘否定视频生成模型的价值它在数据增强、想象规划、多模态理解上都有意义。但如果你打算借用视频大模型来驱动真实动作闭环至少要面对三个很现实的问题。第一是推理时延。真实机器人控制频率一般需要20到50赫兹也就是每个决策周期只有20到50毫秒。视频大模型生成一帧未来画面哪怕是轻量化版本通常也要几百毫秒到几秒再叠加上由未来画面转化成动作这一层整个链路的时延根本没法用于闭环。你可以把帧率降下来但控制频率一降系统对外界扰动的响应能力立刻退化甚至在任务中途直接翻车。第二是像素空间到动作空间的转换鸿沟。就算视频模型给你画出了接下来几帧完美无缺的画面你依然需要一个逆模型或者规划器把这些画面转成具体的电机指令。这一层转换完全依赖额外的标注和训练相当于在系统里又引入一个误差源。画面上看起来只差一两个像素的偏移转换到动作空间可能就是几厘米的末端偏差这对灵巧操作来说是致命的。第三是分布对齐问题。视频大模型在互联网级别的视频数据上预训练它的世界是开放世界的平均分布你的机器人面对着的是特定机械臂、特定夹具、特定光照和特定传感器噪声。想让视频预训练的知识迁移到你的域里往往需要做大量的domain adaptation而这部分工作量和数据准备程度几乎相当于重新训练一遍。既然如此为什么不直接把预算投入到任务相关的动作数据上这正是我最后选择从头训的根本原因。1.3 动作模型本质上是闭环控制问题不是生成问题还有一个容易混淆的地方。很多人觉得世界模型就应该先学习环境动态再做planning这没错但那是model-based RL的路线。动作模型走的是另一条路它直接拟合观测历史 - 动作分布的条件映射把对世界动态的隐式理解全部压缩到网络权重里。这意味着你不再需要显式预测下一帧画面也不需要维护一个庞大的环境模拟器。模型看到当前状态直接输出动作行为在环境中得到验证然后环境反馈又成为下一步的观测输入。这是一个典型的闭环控制回路。视频生成模型在这个回路里扮演的是旁路角色而不是主导角色。你如果非要从旁路借力最好先想清楚这条路是不是真的比主路省成本在我实际验证中答案是未必。2. 从头训的第一关动作数据管线到底怎么建2.1 先搞明白动作序列长什么样谈训练之前先把数据定义清楚。一段用于世界动作模型训练的样本通常由三部分构成观测序列、动作序列和元信息。观测序列指每个时间步的RGB图像、深度图、关节编码器读数、末端位姿、力传感器数据等动作序列则是对应的机械臂关节增量、末端执行器位姿变化、夹爪开合状态一般以固定控制频率比如10Hz或30Hz采样。这里有一个经常被新手忽略的细节观测和动作必须严格时间对齐。数据采集时如果相机链路的延迟和关节控制器的延迟不一致训练出来的模型会学到错误的因果关系表现为动作滞后、震荡。我们项目中专门做了一个同步校准流程采集时让机械臂执行快速往复运动然后比较视觉观测和关节编码器的时间戳偏移把差值补偿掉之后才进入训练集。另外一个需要注意的件事是控制频率的标准化。不同采集任务里有的轨迹按10Hz记录有的按30Hz记录直接混训会让模型混淆时间步的语义。我的做法是统一重采样到同一频率然后对动作做低通滤波去掉高频抖动的毛刺。这样既保留了任务特性又能让模型在推理时不用区分数据来自哪个采集批次。2.2 动作数据从哪来遥操作、日志与仿真合成既然要从头训动作监督信号就只能从任务执行中来。目前主流的数据来源有三类它们的成本、质量和使用场景差别很大。遥操作数据质量最高。通过主从式遥操作设备、3D鼠标或者虚拟夹具由操作员手把手完成演示记录下来的轨迹天生就是专家级行为。问题是采集效率偏低一条几十秒的轨迹要消耗操作员大量精力。我们通常会把遥操作拆成分段子任务比如抓取移动放置各采一段再用脚本拼装成完整任务。任务日志是容易被低估的数据源。很多厂区里已经有大量半自动设备在跑它们的运行日志里就藏着海量的状态-动作-结果三元组。虽然这类数据里有大量非专家动作和失败轨迹但胜在覆盖场景广、几乎零采集成本。使用前需要做运动学重算和坐标变换把原始指令映射到统一的动作空间。仿真合成适合用来铺量。用MuJoCo、Isaac等仿真器批量生成轨迹可以覆盖大量极端姿态和失败恢复场景。但仿真数据自带sim-to-real gap尤其是接触力、摩擦和视觉纹理上的差异直接混合真机数据训出来的模型在真机上往往会出现动作漂移。我的经验是仿真数据占比不要超过总量的一半而且要配合域随机化使用。2.3 数据清洗与动作chunk化数据清洗这步很多人以为只是去去噪实际比想象中繁琐得多。我们维护了一套清洗规则删除连续零动作超过一定时长的片段剔除末端速度或加速度超出物理上限的异常轨迹对夹爪开合这类二值量做膨胀腐蚀处理避免采样落在切换瞬间最后对关节角速度做平滑插值保证相邻时间步的动作变化连续可微。清洗之后进入关键环节动作chunk化。这个概念的出发点很简单单步动作预测的问题在于误差会累积模型在每步都做一次独立预测环境稍有扰动轨迹就会越偏越远。业界比较成熟的解法比如ACT和AOT这类工作是让模型一次性预测未来一段时间的动作序列叫做一个action chunk然后在执行周期内按序执行。实际操作中chunk长度是个需要调的超参数。太长模型需要预测更远的未来不确定性增大轨迹容易跑偏太短又退化回单步预测的累积误差问题。我在UR5e上加装二指夹爪做抓取放置任务时试过从8到48步的范围最后落在20到24步效果最好对应实际时间约1秒左右。这个值在不同任务上会变建议大家用一个验证集去扫。数据关键因素推荐做法原因说明控制频率统一重采样至10Hz或20Hz消除采集设备差异稳定时序语义时间对齐补偿视觉链路延迟避免模型学到错误的因果映射动作平滑低通滤波加插值去掉高频抖动提升轨迹可执行性失败轨迹保留部分并标注提升模型对异常状态的恢复能力3. 模型骨架怎么选输入融合、输出头与动作时序3.1 输入侧视觉和本体感受怎么进网络世界动作模型的输入不是一张图而是一个多模态的时间窗口。我们的标准做法是取过去6帧RGB图像、当前关节角度、末端位姿和上一时刻动作一起拼接成输入元组。视觉编码这块不需要追求超大模型。我试过ResNet、ViT和DINOv2这几类视觉主干结论是在小规模任务数据上DINOv2这类自监督预训练模型很占便宜它能提供稳定的特征表达让动作头更快收敛但ViT在小数据下容易过拟合需要加很重的数据增强才压得住。视觉特征会经过一个投影层压缩到与本体感受特征相同的维度再和关节角、末端位姿的MLP编码拼接在一起。一个容易踩的坑是把历史动作直接作为输入特征。它确实能提升平滑性但也会让模型产生惯性依赖——测试时一旦历史动作出错误差会像滚雪球一样传导到后续所有决策。我用过的折中方案是在输入侧对历史动作加噪声和dropout强迫模型更多依赖视觉和本体感受而不是躺在历史轨迹上抄答案。3.2 输出侧连续回归、离散token还是扩散策略输出侧是整个模型设计里最影响训练稳定性的部分。直接用一个MLP头回归连续动作向量是最省事的方案但问题在于它天然倾向于拟合所有训练样本的平均值。碰到同一状态下存在多种合理走法的多模态数据时模型会输出一个谁也不挨着的中间动作表现为末端动作疲软、力道不足。离散token方案是先把连续动作通过VQ-VAE量化成动作词表再用自回归方式逐个预测动作token。这个方案的优点是能天然保留多模态行为比如同一个抓取任务既可以走左上方路径也可以走右下方路径模型不会强行平均。缺点是训练链路多了一层tokenizer动作重建精度有损失而且自回归推理速度偏慢。我目前最偏好的方案是扩散策略Diffusion Policy。它把动作生成建模成一个去噪过程训练时对专家动作加噪让模型学会从噪声中还原真实动作。推理时从一个随机噪声向量开始迭代若干步去噪得到最终动作chunk。它在多模态动作拟合、输出平滑性和训练稳定性上都表现不错而且对chunk长度的变化不敏感很适合作为从头训练的首选骨架。3.3 损失函数设计不要只盯着MSE损失函数是很多人简单化处理的地方。只加一个动作MSE模型确实能收敛但收敛出来的行为往往不够好。我会在动作损失之外再加三项速度一致性损失、加速度平滑正则和末端约束损失。速度一致性损失比较好理解就是相邻两步动作的差值要和专家轨迹的差值对齐强迫模型学出正确的运动节奏而不是只把每个时间点的位置凑对。加速度平滑正则用于抑制输出抖动机器人在执行任务时最怕末端震颤这个正则虽然简单但效果非常明显。末端约束损失则是针对有终点精度要求的任务比如插入、堆叠这类让模型对chunk末尾的动作状态额外加大惩罚权重。# 动作损失计算的简化示例PyTorch风格 chunk_len 24 pred model(obs_window) # [B, chunk_len, action_dim] target action_chunk # [B, chunk_len, action_dim] mask (target ! 0).float() # 对padding部分做屏蔽 act_loss F.mse_loss(pred * mask, target * mask, reductionmean) # 速度一致性相邻两步动作的差异要对齐 vel_pred pred[:, 1:] - pred[:, :-1] vel_target target[:, 1:] - target[:, :-1] vel_loss F.mse_loss(vel_pred * mask[:, 1:], vel_target * mask[:, 1:], reductionmean) # 加速度平滑正则抑制输出抖动 acc_pred vel_pred[:, 1:] - vel_pred[:, :-1] smooth_loss torch.mean(acc_pred ** 2) total_loss act_loss 0.2 * vel_loss 0.1 * smooth_loss total_loss.backward()这个损失组合看起来只多了两个小项但在真机测试里的差距非常明显。只训MSE的版本动作经常出现微颤加上速度一致性损失之后整个轨迹的手感会自然很多。4. 训练工程里的资源账本与翻车现场4.1 从头训规模和成本的大致账本从头训听起来很贵实际操作下来并不吓人。拿我们其中一个抓取放置项目举例一共采集了800条有效轨迹每条约5秒控制频率20Hz也就是8万步观测-动作对。数据量大概能装满几十个GB但需要训练的计算量其实很有限。我的训练配置是单张A100batch size设为128动作chunk长度24训练100轮。前20轮用1e-4的学习率做预热之后切换到余弦退火。整个过程大约8到10小时跑完验证集上的动作距离指标已经收敛。如果你的数据规模只有几百条轨迹甚至一块消费级显卡也能在半天内完成训练。核心结论是动作模型的数据规模不是多多益善任务相关的有效数据才是关键。几百条高质量遥操作轨迹配合合理的数据增强足以在单任务上超过那些在互联网视频上预训练的大模型。这背后没有玄学模型的归纳偏置来自动作监督信号而不是来自海量但无标的像素。4.2 容易翻车的几个现场训练过程里我踩过不少坑挑三个最典型的说说。第一个是Loss突然变成NaN。这个现象在扩散策略里尤其常见罪魁祸首通常是float16精度和输入数据里的inf值。我们的排查链路是先检查轨迹数据里有没有关节角跳变导致的无穷大速度再去确认数据加载时是否把缺失值填充成了NaN最后把混合精度训练关掉或改成bfloat16。绝大多数NaN问题不来自模型结构而是来自数据卫生。第二个是模型摆烂输出均值动作。表现是验证集上的MSE挺低但真机执行时末端只会在中间位置小幅蠕动根本完不成任务。原因通常是训练数据里大量轨迹存在重复、静止的片段这些毫无信息量的样本把损失函数主导了。解决办法是编辑数据把静止段裁剪掉或者对高信息量的动作片段加大采样权重。第三个是复读机现象模型在训练集上看起来完美复现专家轨迹但换到新位姿、新光照条件就完全失灵。这本质上是过拟合但视觉领域那套随机裁剪、颜色抖动数据增强在这里特别有效。我会在训练时对输入图像做随机亮度扰动和随机裁剪并且在评估时故意放一些未出现的物体位置来测试泛化性。4.3 训练流程里的实操建议数据混批方式我没有用最普通的随机采样而是按轨迹长度做了分桶采样。因为每条轨迹长短不一如果直接随机抽帧长轨迹里的尾部状态会被严重欠采样短轨迹又会被重复抽爆。分桶之后每个batch里轨迹长度相近训练稳定性和收敛速度都明显改善。学习率这块我强烈建议用warmup加余弦退火。动作模型训练初期的梯度方向极不稳定直接上一个较大的固定学习率经常会在前几百步就把模型推向一个次优区域。用warmup先让模型睁眼再用退火慢慢精调是我目前最稳的方案。还有一条容易被忽视的是推理效率评估。很多模型在GPU上跑到30Hz一部署到机器人的控制主机上就只有8Hz。我们在选型阶段就明确了一块硬约束模型参数控制在5000万以内单次推理时长在35毫秒以下含预处理和后处理。这个约束直接淘汰了很大一部分视觉骨干网络也让部署环节少了很多痛苦。5. 部署闭环里怎么证明动作模型会干活5.1 离线指标能说明什么不能说明什么训练完先别急着上真机离线评测能帮你筛掉大部分明显问题。我最常用的离线指标有三个验证集动作距离predicted和target之间的平均误差、动作分布熵和闭环仿真成功率。动作距离用来衡量拟合精度动作分布熵用来观察模型是否退化成了单一均值模式——如果熵明显低于训练集的分布说明模型在用打安全牌的方式规避风险。但离线指标的局限性必须心里有数。动作距离低只代表在专家轨迹附近不代表模型在遇到偏离轨迹的状态时能把自己拉回来。闭环仿真成功率是一个更接近真实的指标但仿真器的物理精度有限尤其是接触类任务仿真里的成功在真机上一半概率会打折扣。所以我的标准流程是三层验证先看离线指标再在仿真环境里做闭环测试最后才在真机上做小批量验证。每一层都通过模型才具备上线资格。5.2 在线闭环验证从仿真到真机的关键一步仿真闭环测试的重点不是看成功率而是看模型在状态偏移时的恢复能力。我会在仿真里对物体位置加入随机扰动、对相机图像加入噪声、甚至强制模型从非专家状态启动看看它能不能自行修正轨迹。一个能恢复的动作模型会明显表现出弯道修正的行为而一个死记硬背的模型会在偏移状态下输出完全离谱的动作序列。真机验证的批次规划也有讲究。先在固定位姿、固定光照下跑十次确认基础执行稳定再逐步引入物体位置随机化、相机视角变化、光照变化。每次引入一个变量避免多因素混杂导致排查困难。真机测试时一定要有急停开关和逻辑回退机制。动作模型输出的是概率分布哪怕训练得再好也可能在遇到分布外状态时给出危险动作安全兜底电路必须是最后一道防线。5.3 从头训适合什么样的项目和团队说到底不借视频大模型、从头训世界动作模型这条路有它明确的适用边界。如果你的任务是特定场景下的灵巧操作、固定工作站的工业任务、或者实验环境中需要反复迭代的研究项目那动作数据规模可控、任务语义集中、闭环验证路径清晰从头训是性价比极高的路线。如果你的目标是开放世界通用操作想让模型在任何场景、任何物体上都做出合理动作那单靠几万条任务动作数据显然不够这时候借用视频大模型做预训练或者用视频生成做数据增强确实能带来额外的泛化红利。但即便是这种场景我的观点依然是先构建一条干净、可扩展的动作数据采集管线再考虑要不要借视频模型的力。数据管线是地基地基不牢借再多外力也白搭。最后说一点个人体会。我最初尝试接视频大模型的时候预期是省事省数据结果真正省下来的只有视觉特征提取那部分后面补的规划器、控制转换、域适应模块反而多花了三倍的时间。从头训之后整个链路变得短而直接出问题的环节一查就能定位。不借视频大模型不是因为它不好而是因为在做动作决策这件事上直接的动作监督信号才是离执行最近的监督信号。先把这条最短路径打通再考虑其他花活稳得多。