灵巧操作的“强力之躯”:Franka Research 3 在 GR-Dexter 通用机器人系统中的深度应用

在具身智能(Embodied AI)的浪潮中,如何让机器人像人一样灵活地处理复杂、多变的日常任务,是学术界与工业界的共同目标。字节跳动Seed团队近日发布的GR-Dexter技术报告,展示了一个集成了先进硬件、直观遥操作和大规模视觉-语言-动作(VLA)模型的通用操作框架。而在这一庞大系统中,Franka Research 3 (FR3) 机械臂不仅是整个系统的物理支柱,更是实现高精度、高动态响应灵巧操作的核心载体。

硬件协同:FR3与21自由度灵巧手的”合体操作

GR-Dexter系统采用了一套极具竞争力的双臂灵巧操作平台。其核心架构由两台Franka Research 3 (FR3)机械臂组成,每台机械臂末端集成了一只ByteDexter V2灵巧手。

FR3 的角色:宏观定位与动力支撑

FR3作为经典的7自由度协作机器人,以其高灵敏度的力反馈和开放的控制接口闻名。在 GR-Dexter 中,两台 FR3 构成了系统的“大臂”,负责在三维空间内进行大范围的位姿调整。

  • 空间触达FR3的7自由度设计确保了末端灵巧手能够以最优的角度进入受限空间(如抽屉内部、密集的桌面)。

  • 力控优势:利用FR3内置的力传感器,系统能够实现精准的重力补偿和顺从控制,这对于保护脆弱的灵巧手硬件至关重要。

1:展示GR-Dexter 的整体硬件设置。

56 自由度的复杂系统

单侧系统由“7 自由度FR3+21自由度灵巧手”组成,双侧总计拥有56个主动自由度。这种配置极大地扩张了机器人的动作空间(Action Space),使其不仅能完成简单的“抓取-放置”,更能完成如“捏起化妆刷”、“旋转盖子”等需要极高协调性的任务。

PART.02

遥操作:人类智慧向FR3的实时映射

为了训练复杂的VLA 模型,高质量的专家数据必不可少。GR-Dexter 开发了一套基于 VR 设备的直观遥操作界面,将 FR3 的潜力发挥到了极致。

实时动作重定位(Retargeting)

操作员穿戴Meta Quest VR 头显和 Manus 触觉手套。系统需要将人类的动作实时转化为 FR3 关节指令。

  • 位姿对齐:系统将操作员的腕部位置映射为FR3 的末端执行器位姿。

  • 避障与优化:为了防止FR3 在剧烈运动中发生自碰撞或超越运动限制,研究团队采用顺序二次规划(SQP)算法,在毫秒级时间内求解最优关节路径。

2:遥操作系统的示意图。

PART.03

数据驱动:FR3的多模态学习进化

FR3的表现并非仅仅依靠预设程序,而是通过“数据金字塔”进行驱动。

  • FR3真实轨迹数据:团队利用遥操作采集了约20小时、包含各种复杂日常场景(如清理化妆台、吸尘)的高质量数据。

  • 跨具身数据迁移(Cross-Embodiment):这是报告的一大亮点。通过算法将其他机器人平台(如ALOHA或2自由度夹持器)的数据“重定位”到FR3平台上。

  • 互联网级视觉语言数据:通过让模型学习人类视频,FR3获取了对物理世界(如“什么是杯子”、“如何推开门”)的常识性理解。

模型架构:驱动FR3的4B参数“大脑”

GR-Dexter采用了一个拥有40亿参数的VLA模型。该模型将四台摄像头(其中三台俯瞰FR3工作区,一台固定在FR3基座上方)捕获的视觉信息与语言指令相结合,实时输出FR3的关节动作。

动作空间的精细控制

模型输出的动作向量包含88维,其中:

  • 14维用于控制两台FR3的关节角度。

  • 12维用于控制FR3的末端位姿增量。

  • 其余维数控制灵巧手的每一个手指关节。

这种深度集成的控制方式,使得FR3能够与灵巧手形成“手眼协同”,在感知到物体滑移时,FR3能够迅速做出位姿微调以稳固抓取。

3:模型架构图。左侧输入多视角图像和指令,中间经过Transformer结构,右侧输出FR3关节和手部动作的Action Chunk。

PART.04

实战考核:FR3在复杂任务中的卓越表现

在真实世界测试中,基于FR3的GR-Dexter系统展现了惊人的泛化能力。

长程任务:清理化妆台

在这一任务中,FR3需要在凌乱的桌面中识别出化妆刷、调色盘,并逐一将其放入指定的收纳盒。实验结果显示,即使在面对未见过的(OOD)物体布局时,FR3 依然能保持近90%的成功率。

复杂工具使用:吸尘与协作

  • 单臂任务:FR3驱动灵巧手抓握吸尘器,并精准地用拇指按下开关,随后在桌面进行往复式清扫。

  • 双臂协作:一台FR3稳稳托住托盘,另一台 FR3使用夹子将面包精准地放置到托盘中心。这种高动态的力学交互充分证明了FR3在负载平衡与同步控制上的优异性能。

4:一系列任务演示拼图。包括FR3抓取吸尘器、FR3整理化妆品、以及双臂协作分发面包的实拍图。

结语

GR-Dexter框架证明了,依托于Franka Research 3机械臂这一成熟的科研平台,结合高自由度的自主研发灵巧手和多源数据共同训练的VLA模型,机器人可以实现从简单的夹持向人类级灵巧操作的跨越 。

FR3机械臂在这一过程中不仅提供了基础的运动能力,更通过其高精度的控制接口和力反馈特性,成为了连接AI算法与物理世界的高效纽带。

项目链接:https://byte-dexter.github.io/gr-dexter/

原论文:https://arxiv.org/abs/2512.24210

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1169694.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python+Vue的陪诊员系统 django Pycharm flask

这里写目录标题 项目介绍项目展示详细视频演示技术栈文章下方名片联系我即可~解决的思路开发技术介绍性能/安全/负载方面python语言Django框架介绍技术路线关键代码详细视频演示 收藏关注不迷路!!需要的小伙伴可以发链接或者截图给我 项目介绍 随着社会…

嘎嘎降+豆包双工具联动教程:论文降AI效率翻倍的秘密

嘎嘎降豆包双工具联动教程:论文降AI效率翻倍的秘密 TL;DR 单用豆包改写效果有限,单用嘎嘎降处理高AI率内容可能需要多次。把两者结合起来——先用豆包做初步改写,再用嘎嘎降精处理——效率能翻倍,效果更稳定。本文详解这套组合拳…

什么是SOCKS5代理?帮你彻底搞懂SOCKS5代理

SOCKS5代理是网络通信中常见的一种代理协议。许多人在使用爬虫、远程连接或提升连接效率时会听说这个词,但它到底是什么,有什么优势,为什么越来越多的开发者和企业选择它?本文将从SOCKS5代理的工作原理、核心特点、适用场景等方面…

vue基于Python企业员工管系统 flask django Pycharm

这里写目录标题项目介绍项目展示详细视频演示技术栈文章下方名片联系我即可~解决的思路开发技术介绍性能/安全/负载方面python语言Django框架介绍技术路线关键代码详细视频演示收藏关注不迷路!!需要的小伙伴可以发链接或者截图给我 项目介绍 随着信息技…

RKNN模型转换问题: what(): vector::_M_range_check: __n (which is 2) >= this->size() (which is 3)

RKNN模型转换问题:what(): vector::_M_range_check: __n (which is 2) > this->size() (which is 3) 场景:ONNX 转 RKNN 部署时报错 一、问题现象 在使用 RKNN-Toolkit2 将 ONNX 模型转换为 RKNN 模型时,出现如下错误: D …

全网热议!2026年二次元测量仪公司TOP5权威推荐,解锁高品质测量新选择 - 睿易优选

随着2026年技术的迅速进步,激光二次元测量仪和三维二次元测量仪的市场需求不断增加,对高性能测量设备的依赖显著上升。在这个背景下,市场上涌现出许多知名的供货厂家,各自凭借优秀的技术和服务赢得了用户的信任。本…

2026最新VLC播放器官网中文版下载:电脑端安装使用终极指南(附安装包) - xiema

VLC播放器(全称VLC Media Player)是一款完全免费、开源、跨平台的多媒体播放器,自2001年发布以来,它凭借"万能播放"的特性风靡全球,成为无数用户电脑装机必备软件。 和同领域的其他软件相比,VLC播放器…

2026年靠谱GEO开源源码源头汇总,安全可用款 - 源码云科技

2026年靠谱GEO开源源码源头汇总,安全可用款2026年AI搜索风口下,GEO优化已然成为企业引流获客的核心抓手,而选对靠谱的GEO优化源码源头,直接决定了GEO优化排名效果与业务盈利空间。市面上GEO优化服务商鱼龙混杂,源…

论文解读-《Over-Squashing in GNNs and Causal Inference of Rewiring Strategies》 - zhang

1. 论文介绍 论文题目:Over-Squashing in GNNs and Causal Inference of Rewiring Strategies 论文发表:2025-08 Arxiv,Accepted at CIKM 2025 论文领域:图神经网路,图重连算法 论文代码:https://github.com/Dan…

程序员接单渠道怎么选?不同平台的真实体验分享

程序员接单渠道怎么选?不同平台的真实体验分享 很多程序员兄弟白天写公司的需求,晚上还要琢磨怎么找副业,自然也就会想到我们程序员接单,但话说回来,江湖水深,平台各异。 市面上有很多程序员接单的渠道&a…

2026年GEO源码部署源头优选,高效稳定服务商盘点 - 源码云科技

2026年GEO源码部署源头优选,高效稳定服务商盘点随着AI搜索技术的全面普及,GEO优化已经从可选营销手段变成了企业获客的核心抓手,尤其是在2026年生成式AI流量爆发的节点,选对GEO优化服务商和靠谱的GEO优化系统,直接…

25 C++蓝桥杯B组题解

25 C++蓝桥杯B组题解移动距离 题目大意:小明初始在二维平面的原点 (0,0),他想前往坐标 (233,666)。 现在他有两种移动策略:水平向右移动,即沿着 x 轴正方向移动一定的距离。 沿着一个圆心在原点 (0,0)、以他当前位…

强烈安利9个AI论文写作软件,本科生轻松搞定毕业论文!

强烈安利9个AI论文写作软件,本科生轻松搞定毕业论文! AI 工具让论文写作不再难 在当前的学术环境中,越来越多的本科生开始借助 AI 工具来提升论文写作效率。这些工具不仅能够帮助学生快速生成内容,还能有效降低 AIGC 率&#xff0…

2026年Nature重磅研究:告别快速出成果的执念,让AI成为拓展科学边界的伙伴!

AI在学术科研中发挥的潜能,几乎已成为共识,如处理文献更快、写作效率更高、技术门槛更低...... 但矛盾也随之而来,那便是:个体科研效率在提升,真正具有颠覆性的科学突破,却在减少。 清华大学与芝加哥大学这两个研究团队,正是从这一矛盾出发,在Nature上发表了题为《Ar…

2026年GEO开源源码哪家好?优质源头仓库推荐 - 源码云科技

2026年GEO开源源码哪家好?优质源头仓库推荐2026年AI搜索浪潮席卷营销领域,GEO优化已然成为企业精准引流获客的核心抓手,而选对靠谱的GEO优化源码,直接决定了GEO优化排名的效果与运营成本。市面上各类GEO优化服务商…

0x3f第33天复习 (16;45-18:00)

子串基础前缀和思考和为k的子数组思考两数之和思考接雨水思考三数之和ac思考字母异位词分组ac思考最长连续序列ac思考移动零ac思考无重复字符的最长子串ac思考找到字符串中所有字母异位词ac思考滑动窗口最大值1min ac思考最小覆盖子串1min ac思考思考买卖股票的最佳时机1min ac…

彻底搞懂HTTP,从零基础入门到精通,收藏这一篇就够了!

彻底搞懂HTTP HTTP发展史 HTTP(Hypertext Transfer Protocol,超文本传输协议)是用于在互联网上传输超文本(如网页)的应用层协议。 最早版本0.9 仅用于简单的文档浏览,功能极其有限。 正式版本1.0 引入…

2026年诚信的温州团建包车,温州大巴包车,温州包车公司实力推荐榜 - 品牌鉴赏师

引言在当今社会,包车服务在团建、商务出行等场景中扮演着愈发重要的角色。温州作为充满商业活力与旅游魅力的城市,包车市场也日益繁荣。为了给消费者提供客观、真实、公正的包车公司选择依据,我们依据相关参考资料,…

保姆级教程!1 位数码管 0-9 循环展示(附长杂版 + 极致精简版代码)

pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", …

AL_ControlInd代码注释

///////////////////////////////////////////////////////////////////////////////////////// /**\param alControl 请求的新的状态\param alStatusCode 请求的状态码\brief 这个函数处理EtherCAT状态机。它被调用* 在AL控制时间发生(0x220的位0&…