RoboGrasp:一种用于稳健机器人控制的通用抓取策略

25年1月来自北京大学和哈佛大学的论文“RoboGrasp: A Universal Grasping Policy for Robust Robotic Control”。

模仿学习和世界模型在推进通用机器人学习方面显示出巨大的潜力,而机器人抓取仍然是实现精确操控的关键挑战。现有方法通常严重依赖机械臂状态数据和 RGB 图像,导致过拟合特定目标形状或位置。为了解决这些限制,Robo-Grasp,一个通用的抓取策略框架,将预训练的抓取检测模型与机器人学习相结合。利用来自目标检测和分割任务的强大视觉引导,RoboGrasp 显著提高抓取精度、稳定性和通用性,在小样本学习和抓取盒子提示任务中实现高达 34% 的成功率提升。RoboGrasp 基于基于扩散的方法构建,可适应各种机器人学习范式,从而能够在各种复杂场景中实现精确可靠的操控。该框架代表一种可规模化且多功能的解决方案,可用于应对机器人抓取中的现实挑战。

当婴儿第一次遇到一个目标,通常可以本能地抓住它。然而,对于机器人来说,这项任务要复杂得多。针对一个目标训练的策略往往无法推广到其他目标。行为克隆的最新进展,特别是基于扩散的策略,已经成为一种有前途的解决方案,在处理复杂的多模态动作空间方面提供灵活性和表现力(Pearce,2023;Chi,2023)。

然而,行为克隆在训练环境之外的泛化方面仍然面临挑战,特别是在动态、混乱的环境中,有未见过的或干扰性的目标。一个关键的限制,在于它们在训练和推理过程中依赖原始传感器数据作为条件输入(Chi,2023;Ze,2024)。如果没有明确的任务指导,这些策略依赖于从数据中学习的隐式模式,从而限制它们的鲁棒性(Selvaraju,2019)。

机器人策略规划方面的最新进展,促进了行为克隆 (BC) 的民主化,使其范围超出专业研究实验室 (Zhao,2023;Team,2024;Chi,2024)。这些方法通常涉及将传感器观测映射到未来机器人姿势轨迹的模型。在这种背景下,扩散模型已成为解决行为克隆关键限制的有力工具,例如协变量漂移 (Pomerleau,1989),其中机器人无法在其训练数据之外进行推广 (Zhou,2022)。以扩散策略 (DP) (Chi,2023) 为例的基于扩散策略,通过生成多样化和多模态动作轨迹来克服这些挑战,从而显着提高动态和不可预测环境中的鲁棒性。

最近的大型机器人专家演示数据集 (Collaboration,2024) 推动了扩展 BC 架构的努力。机器人扩散Transformer (RDT) (Liu,2024b)、Octo (Octo Model Team,2024) 和 π0 (Black,2024) 等工作表明,从不同数据集中学习到的技能可以迁移到新任务中,一些模型实现零样本泛化以抓取新目标。然而,训练大型模型仍然需要大量计算,这限制了资源受限环境中的可访问性。

最近的努力研究基于点的 affordance 表示 (Liu,2024a;Tang,2024;Huang,2024),其中关键点用于识别与任务相关的目标并使用结构化信息指导策略,通常利用预训练的视觉模型。虽然这些方法可扩展,但它们主要传达目标位置,而缺乏关于如何有效抓取或操纵它们的可操作信息。

基于抓取的 affordance 表示,通过编码可行的抓取策略(Kleeberger,2020)提供更全面的解决方案,提供空间和可操作信息。像 Grasp Anything(Vuong,2023)这样的数据集凸显该领域可扩展数据收集的潜力。然而,将抓取affordance与基于扩散的策略相结合仍未得到充分探索。现有的研究如 GQCNN(Mahler,2017)提供初步步骤,但需要进一步研究才能充分发挥 affordance 驱动规划的潜力。
本文提出的 RoboGrasp 是扩散策略 (DP) 的增强变型,旨在整合特定于抓取的信息以改进机器人操作。关键增强功能包括集成抓取检测模块和修整观察编码器。超参(例如历史时间步数 (2) 和预测动作 (16))与原始 DP 框架保持一致。RoboGrasp 架构概览如图所示:(a)用于训练和推理的数据流和数据集;(b)硬件设置,包括工业级机械臂、RealSense 摄像头和用于数据收集的 Quest VR 耳机;(c)抓取 affordance 的演示注释;(d)实验任务设计;(e)RoboGrasp 策略架构。

请添加图片描述

如图所示,抓取框信息包括抓取框中心点的 x 和 y 坐标以及框的高度和宽度。通常还包括相对于相机方向的旋转角度,但是由于本实验中使用的机械臂无法旋转,因此这些参数在实验中被视为多余的,并且所有物体都保持在未旋转的位置。

请添加图片描述

抓握检测模块利用 YOLOv11-m (Redmon,2016) 的速度、简单性和通用性。YOLOv11-m 在自定义标记的数据集上进行微调,以预测类别目标、抓握框中心的 2D 空间坐标以及框的宽度和高度。在策略训练期间,直接使用抓握检测模块生成的标签,而在推理时,YOLOv11-m 会动态预测观察数据的抓握框。为了简化抓握选择,模块每次运行仅输出置信度得分最高的框,因为该任务涉及每次实验抓取一个目标。如图所示抓取的盒子示意图:

请添加图片描述

观察编码器将视觉和低维数据组合成统一的潜表示。每个摄像机视图都采用基于 ResNet34 的特征金字塔编码器,在连接之前分别处理多视图 RGB 数据。低维输入(例如机械臂的末端姿势和夹持器传感器数据)遵循原始 DP 设计进行整合。一种增强功能将抓取框特征(类标签和空间信息)引入到连接的观察数据中。

此连接数据被投影到固定维度的潜空间中,作为每个时间步的单个token。为了捕获时间依赖性,未经训练的轻量级 Transformer 在指定的历史时间步中应用自注意。

扩散动作头使用与 DP 中相同的轻量级扩散 Transformer 来预测 16 个时间步内的动作。具有余弦 Beta 噪声调度的 DDIM 调度器(Nichol & Dhariwal,2021)用于去噪,确保高效和平滑的采样。

交叉注意机制,根据观察 tokens 来调节噪声动作,使策略能够有效地整合视觉和空间背景。动作被线性投影到潜空间中以便在 Transformer 内进行处理,然后通过专用的线性层重投影到其原始维度。

如图所示:PickBig 任务的放置位置泛化实验设置。(a)和(b)显示八个放置位置中的两个。PickBig 的目标是区分两个形状相似的积木,并成功沿其直径抓住较大的积木。

请添加图片描述

如图所示:PickCup 任务的少样本实验设置。(a) 中的绿色杯子代表只有 5 次演示的抓握手柄少样本任务。(b) 中的蓝色塑料杯代表有 10 次演示的抓握直径少样本任务。

请添加图片描述

如图所示为“PickGoods”饼干的抓取盒。在 (a) 中,提供了巧克力棒的抓取盒,而在 (b) 中,提供了饼干的抓取盒。目标是按照抓取盒提示成功挑选指定商品。
请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/69557.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

接口测试Day12-持续集成、git简介和安装、Gitee远程仓库、jenkins集成

持续集成 概念: 团队成员将自己的工作成果,持续集成到一个公共平台的过程。成员可以每天集成一次,也可以一天集成多 次。 相关工具: 本地代码管理:git远程代码管理:gitee(国内)、github(国外)、gitlib(公司…

pytest测试专题 - 1.1 运行pytest

<< 返回目录 1 pytest学习笔记 - 1.1 运行pytest 1.1 运行pyest 在命令行执行pytest --help usage: pytest [options] [file_or_dir] [file_or_dir] [...] ... ...1.1.1 pytest不携带参数 pytest不带参数时&#xff0c;会扫描当前目录下的所有目录、子目录中符合测试用…

Django REST Framework:如何获取序列化后的ID

Django REST Framework&#xff1a;如何获取序列化后的ID &#x1f604; 嗨&#xff0c;小伙伴们&#xff01;今天我们来聊一聊Django REST Framework&#xff08;简称DRF&#xff09;中一个非常常见的操作&#xff1a;如何获取序列化后的ID。对于那些刚入门的朋友们&#xff…

C语言基础11:分支结构以及if的使用

C语言基础 内容提要 分支结构 条件判断用if语句实现分支结构 分支结构 问题抛出 我们在程序设计往往会遇到如下问题&#xff0c;比如下面的函数的计算&#xff1a; y { 1 / x 当 x ≠ 0 时 10000 当 x 0 时 y \begin{cases} 1/x \quad当x\neq0时\\ \\ 10000 \quad当x0…

利用navicat 17 实现两个不同数据库oracle和sqlserver2008之间多个表数据的自动同步

要实现两个不同数据库&#xff08;Oracle 和 SQL Server 2008&#xff09;之间多个表数据的自动同步&#xff0c;可以利用 Navicat 17 的“数据传输”功能&#xff08;Data Transfer&#xff09;和“任务调度”功能&#xff08;Task Scheduler&#xff09;。下面是一个概括的步…

81页精品PPT | 华为流程与信息化实践与架构规划分享

华为流程与信息化实践与架构规划分享主要围绕华为在业务流程与信息化建设方面的经验、企业架构规划方法以及企业数字化转型路径展开。华为通过持续的业务变革和信息化建设&#xff0c;从本土企业逐步发展为国际化、全球化企业&#xff0c;其管理体系以持续创新和世界级管理体系…

智能客服API接口:提升电商平台用户体验的新途径

在数字化时代&#xff0c;电商平台已成为人们购物的主要渠道之一。随着用户需求的日益多样化和个性化&#xff0c;电商平台面临着前所未有的挑战&#xff0c;即如何在激烈的市场竞争中脱颖而出&#xff0c;提供卓越的用户体验。智能客服API接口作为连接电商平台与智能客服系统的…

【最大开支——优先队列,计算增量】

题目 代码 #include <bits/stdc.h> using namespace std; using ll long long; using pll pair<ll, int>; #define x first #define y second const int N 1e5 10; int n, m; int k[N], b[N], cnt[N]; priority_queue<pll, vector<pll>> pq; // d…

174款复古Y2K酸性镀铬银色金属多样化锁链链条铁链几何抽象PNG免扣元素设计套装 Studio 2AM - Chains

Chains 是以链条纹理为主题的设计元素的集合。以 PNG 格式以高分辨率创建&#xff0c;但文件大小较小&#xff0c;因此不会占用硬盘空间。“Chains” 是以 PNG 格式提供的以链条为主题的设计元素的高分辨率集合。该套装包括 174 个银色、生锈和彩虹色材料的链条纹理&#xff0c…

将 AMD Zynq™ RFSoC 扩展到毫米波领域

目录 将 AMD Zynq™ RFSoC 扩展到毫米波领域Avnet XRF RFSoC 系统级模块适用于 MATLAB 的 Avnet RFSoC Explorer 工具箱5G mmWave PAAM 开发平台突破性的宽带毫米波波束成形特征&#xff1a;OTBF103 Mathworks Simulink 模型优化毫米波应用中的射频信号路径 用于宽带毫米波上/下…

IDEA中打包maven项目,提示Compilation failure

使用IDEA打包maven项目&#xff0c;报错如下&#xff1a; 解决方法&#xff1a;在pom文件中指定JDK版本即可 <properties><maven.compiler.source>17</maven.compiler.source><maven.compiler.target>17</maven.compiler.target> </propertie…

游戏本电脑为什么打开游戏开始玩不卡,过段时间玩却非常卡(比如黑神话悟空)

问题&#xff1a; 游戏本电脑为什么打开游戏开始玩不卡&#xff0c;过段时间玩却非常卡 解决方法&#xff1a; 1.模式设置的问题&#xff1a;可能是电脑的游戏模式没打开&#xff0c;比如一般电脑都有办公模式&#xff0c;均衡模式和狂暴模式&#xff08;亲测用办公模式玩大…

【C#】条件运算符

1.逻辑与(&&) Console.WriteLine(true && true);//true Console.WriteLine(true && false);//false Console.WriteLine(false && false);//false2.逻辑或(||) Console.WriteLine(true || true);//true Console.WriteLine(true || false);//t…

自动化办公|xlwings快速入门

1. 创建和打开 Excel 工作簿 使用 xlwings.Book 创建新的 Excel 工作簿或打开已有的 Excel 文件。 创建新工作簿 import xlwings as xw# 创建一个新的 Excel 工作簿 wb xw.Book()# 获取当前活动的工作表 sheet wb.sheets.active sheet.range("A1").value "…

【CXX-Qt】1 CXX-Qt入门

与其他Qt-Rust绑定相比&#xff0c;CXX-Qt的目标不仅仅是将Qt功能暴露给Rust&#xff0c;而是完全将Rust集成到Qt生态系统中。我们将通过一个最小示例&#xff0c;展示如何使用CXX-Qt在Rust中创建自己的QObject&#xff0c;并将其与基于QML的小型GUI集成。 一、阅读前准备知识…

Idea集成deepseek生成代码

今天我带大家在idea上安装CodeGpt插件&#xff0c;这个插件可以根据我们的提示词生产代码&#xff0c;我们一起试试。 1、安装插件 打开idea&#xff0c;再点击setting菜单&#xff0c;按以下步骤操作。 安装完成后&#xff0c;一定要点击第四步“ok”。再次点击菜单setting…

C++STL(六)——list模拟

目录 本次所需实现的三个类一、结点类的模拟实现构造函数 二、迭代器类的模拟实现为什么有迭代器类迭代器类的模板参数说明构造函数运算符的重载- -运算符的重载和!运算符的重载*运算符的重载->运算符的重载引入模板第二个和第三个参数 三、list的模拟实现3.1 默认成员函数构…

Ubuntu安装PgSQL17

参考官网教程&#xff0c;Ubuntu24 apt在线安装Postgres 17 1. 要手动配置 Apt 存储库 # 导入存储库签名密钥&#xff1a; sudo apt install curl ca-certificates sudo install -d /usr/share/postgresql-common/pgdg sudo curl -o /usr/share/postgresql-common/pgdg/apt…

【iOS自动化】Xcode配置WebDriverAgent

WebDriverAgent 是 iOS 端自动化测试的工具&#xff0c;这里记录下 MacOS 环境 Xcode 如何配置 WebDriverAgent。 【重要】环境准备 ‼️ 注意&#xff1a;Xcode 版本需要支持对应的 iOS 版本&#xff0c;而 Xcode 版本又依赖 MacOS 版本&#xff1b;在开始部署前&#xff0c…

【逆向工程】破解unity的安卓apk包

先了解一下普通apk包的逆向方法&#xff08;无加密或加壳&#xff09; 开发环境&#xff1a; 操作系统&#xff1a;windows 解apk包 下载工具&#xff1a;apktool【Install Guide | Apktool】按照文档说的操作就行&#xff0c;先安装java运行时环境【我安装的是jre-8u441-wind…