R²D²：三项变革机器人学习的神经突破
虽然在受控环境中，如今的机器人表现出色，但它们仍然难以应对现实世界任务所需的不可预测性、灵巧性和微妙交互——从组装精密部件到以类人的精确度操控日常物体。
机器人学习已成为弥合实验室演示与现实世界部署之间差距的关键。然而，传统方法面临根本性的限制：
- 经典仿真器无法捕捉现代机器人系统的全部复杂性。
- 人类演示难以在不同机器人实体之间迁移。
- 人类视为理所当然的视觉与触觉的复杂协调，对机器而言仍然难以实现。
本文探讨了由某研究机构提出的三项开创性神经创新，这些创新正在改变机器人学习和适应的方式，并在 CoRL 2025 上展示：
- NeRD（神经机器人动力学）：通过学习的动力学模型增强仿真，该模型能在不同任务间泛化，同时支持在现实世界中进行微调。
- Dexplore：将动作捕捉演示视为自适应引导，从而解锁人类水平的灵巧性。
- VT-Refine：结合视觉和触觉感知，通过新颖的“现实-仿真-现实”训练来掌握精确的双手装配任务。
这些进步共同为开发者提供了技术、库和工作流程，以推进研究。
通过神经仿真教授机器人
仿真在机器人开发工作流程中扮演着关键角色。机器人可以在仿真中学习稳健地完成任务，因为在训练过程中可以对质量和摩擦等参数和属性进行随机化。然而，传统仿真器难以捕捉现代机器人的复杂性，这些机器人通常具有高自由度和复杂的机构。神经网络模型可以帮助应对这一挑战，因为它们能够高效预测复杂动力学并适应现实世界数据。
例如，NeRD 是一个用于预测特定机器人（或铰接刚体系统）在接触约束下未来状态的学习动力学模型。它可以替代分析仿真器中的底层动力学和接触求解器，从而实现混合仿真预测框架。
NeRD 使用一种机器人中心的状态表示，该表示强制执行空间不变性——这提高了 NeRD 的训练和数据效率，并极大地改善了泛化能力。NeRD 可以轻松集成到现有的铰接刚体仿真框架中。它已经通过与某物理模拟库的集成得到了验证，未来也将在某个物理引擎中作为众多求解器之一。
为了训练给定机器人的 NeRD 模型，需要收集 10 万条随机轨迹（每条 100 个时间步长）作为训练数据。NeRD 使用轻量级 GPT-2 Transformer 实现进行建模，并为六个不同的机器人系统训练了模型。
NeRD 模型在数千个时间步长上保持稳定和准确，对于某四足机器人的 1000 步策略评估，其累积奖励误差小于 0.1%。该方法还展示了在仿真中学习的某机械臂到达策略与 NeRD 集成后的零样本仿真到现实迁移能力，并且 NeRD 还可以在现实世界数据上进行微调，以进一步缩小仿真与现实之间的差距。
像 NeRD 这样的神经模型将加速机器人研究，使开发者能够准确地模拟复杂的全身训练，并与经典仿真技术相辅相成。
从人体运动学习灵巧技能
教授机器人手达到人类水平的灵巧性历来是一个难题。人类手拥有无与伦比的运动学复杂性、柔顺性和丰富的触觉感知组合。机器人手则自由度较少、驱动有限、传感和控制能力不足。这使得机器人难以从人类那里学习灵巧操作。
手-物体动作捕捉资料库提供了丰富的、富含接触信息的人类演示，但无法轻易用于机器人的直接策略学习。现有的工作流程包含三个主要部分：重定向、跟踪和残差校正，这些步骤会累积误差。
这项研究引入了参考范围探索，这是一种统一的单循环优化方法。它将重定向和跟踪整合起来，直接从动作捕捉数据训练可扩展的机器人控制策略。演示不被视为“严格”的地面实况，而是被视为软性指导。这保留了演示的意图，并使机器人能够自主发现与其自身实体兼容的运动。
工作流程的第二部分，学习一个基于视觉的生成控制策略，以提取基于状态的模仿控制策略。这使得机器人手能够利用从单视角深度图像获得的部分观察，以及稀疏的、用户定义的目标来操作物体。
在训练期间，策略的目标是让机器人手跟随给定的轨迹，以便执行多样化的物体操作技能，如抓取香蕉、手机、杯子和双筒望远镜。该模型由一个编码器、一个先验网络和一个解码器策略组成。在推理时，编码器被省略，潜在嵌入直接从学习的先验中采样，从而产生一个能够仅根据部分观察执行有效的目标条件灵巧操作的生成控制策略。
这种方法在某灵巧手上的成功率提高了近 20%。它在某灵巧手和另一个灵巧手平台上均始终优于各个基线方法。基于状态的策略根据其模仿人类演示和在未见场景中泛化的能力进行评估，而基于视觉的策略框架则在仿真中的操作和成功迁移到现实世界方面进行评估。
结合视觉与触觉进行精确双手装配
人类擅长操作和双手装配任务，因为他们在过程中依赖视觉和触觉反馈。想象用双手进行插头和插座的组装。首先，您会通过视觉识别并抓取所需的部件。接下来，在组装部件时，触觉反馈起着重要作用，因为仅凭视觉反馈（存在遮挡）难以完成任务。
使用扩散策略的行为克隆是有用的，但受到现实世界演示数据有限以及数据收集界面触觉反馈限制的影响。
为了解决这个数据问题，VT-Refine 开发了一个新颖的“现实-仿真-现实”框架，结合仿真、视觉和触觉来解决双手装配任务的这个问题。该框架步骤的高级概述包括：
- 收集少量现实世界演示（例如 30 个回合）来预训练一个双手视觉触觉扩散策略。
- 在并行化的仿真环境中，使用强化学习 对该策略在其数字孪生体上进行微调。
- 将此策略部署回现实世界。
用于触觉感官输入的仿真建立在 TacSL 之上，这是一个基于 GPU 的触觉仿真库，与某机器人仿真平台集成。这实现了更好的仿真到现实可迁移性，因为可以在 GPU 加速的仿真中利用对触觉传感器柔软性的高效近似，从而实现可扩展的训练。用于训练的观察包括：
- 由以自我为中心的相机捕获的点云。
- 触觉传感器反馈的点云表示。
- 手臂和夹爪的关节位置。
收集的数据随后用于预训练扩散策略。为了在仿真中进行规模化训练，设置了带有视觉和触觉传感器的场景数字孪生体。对人类演示的预训练提供了一个强大的先验，指导强化学习的探索，而无需复杂的奖励工程。
经过 RL 微调的策略通过引入必要的探索，显著提高了高精度装配任务的性能。它在现实世界中的成功率在仅视觉变体上提高了约 20%，在视觉触觉变体上提高了约 40%。仿真到现实的迁移性能有大约 5-10% 的轻微下降，这与通过仿真中的 RL 微调带来的超过 30% 的成功率提升相比是微不足道的。
这项工作是首批成功实现双手视觉触觉策略大规模仿真到现实迁移的研究之一。
总结
机器人学习的进步正在改变机器人如何从仿真中获取复杂技能并迁移到现实世界。NeRD 实现了更准确的动力学预测，RSE 简化了从人类演示中学习灵巧操作的过程，而 VT-Refine 则结合视觉和触觉实现了稳健的双手装配。这些方法共同展示了可扩展的、数据驱动的学习如何正在缩小机器人能力与人类能力之间的差距。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
)
