搜维尔科技：具身人工智能中的 MANUS：从人类运动到机器人灵巧性

灵巧的机器人手正成为具身人工智能的基石。动作捕捉、仿真、强化学习和自监督基础模型的最新进展，使得机器人能够执行越来越接近人类的操作技能。

复制人手的精确性、适应性和触觉控制能力（人手由27块骨头、数十块肌肉和肌腱以及近 30 个自由度组成）仍然是机器人领域最大的挑战之一。

制造出能够达到人类灵巧度、灵敏度和协调性的机械手，不仅需要机械设计，还需要能够将人类运动转化为智能控制的先进训练流程。

本文比较了两种领先的训练策略RialTo和V-JEPA 2，并重点介绍了MANUS手套如何支持这两种方法，以培养灵巧的具身智能。

图片
通过仿真调和现实：一种实现稳健操控的“真实-仿真-真实”方法

V-JEPA 2：自监督视频模型实现理解、预测和规划（元人工智能）
两种训练策略：RialTo与V-JEPA 2
RialTo——真实-模拟-真实训练
RialTo 结合了模仿学习 (IL) 和强化学习 (RL)，为特定操作任务训练鲁棒、数据高效的控制策略。

该过程从现实世界的演示开始，在模拟中扩展学习，并将完善的政策带回实际部署。

工作原理
采集专家演示：可以通过远程操作或动作捕捉技术，由操作人员执行任务来获取演示，从而为初始学习提供高质量的演示。
构建数字孪生：利用精确的物理和视觉效果，以3D形式重建真实环境，创建一个可用于模拟训练的空间。
在模拟环境中训练：机器人通过对物体位置、光照和物理干扰进行随机化处理，执行强化学习试验，以增强其鲁棒性。
仿真到实测部署：将优化的基于视觉的策略部署到机器人上，在真实环境下保持稳定性和精度。
这种从真实到模拟再到真实 (R2S2R) 的循环使机器人能够安全地进行大规模练习，弥合模拟与现实之间的差距，并在动态环境中实现可靠的性能。

V-JEPA 2— 自监督世界建模
V-JEPA 2使用自监督学习 (SSL) 构建一个将感知和物理行为联系起来的通用世界模型。它不是掌握一项任务，而是学习运动和因果关系的广泛表征，从而能够在陌生的环境中进行零样本规划。

工作原理
无动作预训练（V-JEPA 2）：大型视觉转换器（ViT）通过预测各种在线视频中的遮罩区域，学习对运动、外观和物理动力学的一般理解。
动作条件后训练（V-JEPA-AC）：使用来自大型机器人操作数据集的未标记机器人视频对较小的Transformer模型进行微调，使其能够学习执行动作与环境变化之间的核心关系。
规划与控制：该系统采用模型预测控制（MPC）来预测未来状态，并选择最接近目标的行动，无需针对特定任务的奖励或重新训练。
这种自监督过程使机器人能够跨任务进行泛化，适应新环境，并在没有先前特定任务经验的情况下智能地行动。

‍

通过MANUS手套捕捉人体运动
RialTo和V-JEPA 2都依赖于高保真度的人类和机器人运动数据，将感知与行动联系起来。

这些数据通常是通过远程操作，使用先进的手部追踪解决方案（例如MANUS 手套）来收集的，这些解决方案可以高精度、低延迟地捕捉细微的手指动作。

通过实时记录自然的手部动作，此类设备为创建灵巧操作数据集奠定了基础，从而推动了具身人工智能的研究。

运动数据表示
关节角度数据
最常用的方法是直接将人类手指关节的旋转映射到机器人手部的关节。这种方法快速简便，但当人类和机器人的运动学特征不同时，精度会下降。

指尖轨迹图
一种新兴方法关注指尖的位置和方向，而不是关节旋转。这减少了运动学上的不匹配，并提高了精细任务（例如手部操作和工具使用）的精度。

模拟政策培训
在 RialTo风格的流程中，远程操作的运动数据可以传输到仿真环境中，其中强化学习和领域随机化可以帮助机器人适应光照、纹理和物理动力学的变化。

NVIDIA Isaac Sim等仿真平台为机器人训练提供安全、可扩展的环境。

借助机器人训练框架Isaac Lab 2.3，研究人员可以加速全身控制，集成多种远程操作界面（包括MANUS手套、Apple Vision Pro和Vive手部追踪），并更有效地评估策略性能。

结论
RialTo和V-JEPA 2的核心都是通过远程操作捕获的高保真人体运动数据。

在RialTo中，它为数字孪生模拟中的模仿学习提供了真实数据。

在V-JEPA 2中，它提供了因果基础，帮助人工智能理解人类运动如何产生现实世界的影响。

MANUS手套以毫米级的精度和逼真的动作保真度，展现了精准的动作捕捉如何将人类的灵巧性和机器的智能结合起来。

随着具身人工智能的不断进步，人类运动与机器人学习之间的这种协同作用将塑造下一代灵巧、适应性强的机器人，使它们能够与世界自然地互动。

关于搜维尔科技
我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus总部签署代理合作协议，成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。