ICRA 2025 基于触觉反馈的闭环分层控制框架——开放环境下通用门开启的智能规划与操作

在机器人领域,让机器人在开放环境中与日常物品交互一直是个难题,其中开门任务极具挑战性。门的设计、机械结构和推拉方式多种多样,现有方法存在诸多局限。基于运动学的方法依赖已知门模型,面对未知门时难以发挥作用;几何方法提取3D位姿信息生成轨迹,但在不同形状和环境下泛化能力差;基于关键点的方法受限于RGB-D数据采集。端到端模仿学习和强化学习在实际应用中也面临从模拟到现实的迁移问题。虽然大语言模型和视觉语言模型被用于高层规划,但仍依赖视觉数据和预定义模型,难以适应非视觉属性的变化,比如门的内部机制、意外阻力等情况。然而,人类凭借触觉反馈,采用探索-适应策略,能轻松完成开门任务,成功率近乎100%。受此启发,UIUC原文祯教授团队提出了一种触觉感知闭环控制框架来解决这些问题。在这里插入图片描述
https://github.com/TX-Leo/DoorBot/blob/master/DoorBot_ICRA2025.pdf在这里插入图片描述

背景:机器人开门任务的挑战在非结构化环境中实现自主门开启是机器人领域的重要挑战,其核心难点在于门类多样性(如推/拉类型、把手形态、机械结构)与动态环境的不确定性。现有方法存在三大局限性:1、感知依赖单一模态:传统视觉或几何模型难以应对光照变化、遮挡及非视觉属性(如门锁阻力、把手旋转方向)。2、开环控制的脆弱性:基于预定义模型或轨迹的方法无法实时适应意外事件(如门锁卡滞、碰撞),导致成功率骤降。3、泛化能力不足:端到端学习方法需要大量领域数据,而大语言模型在低层动作规划中存在可靠性缺陷。在这里插入图片描述

现有方法在实验室环境成功率较高,但在真实复杂场景中表现显著下降,且无法处理侧向视角抓取或非常规旋转方向。核心创新:触觉反馈驱动的闭环分层控制框架1、分层控制架构设计我们设计了包含6个运动基元(Approach, Grasp, Unlock-lever, Unlock-knob, Open, Traverse)的分层控制架构,通过有限状态机动态调整任务序列。与学习型策略相比,我们的方法将数据效率提升3倍,并支持显式错误处理,如碰撞后回退至Approach阶段。2、视觉-触觉多模态感知我们提出基于Detic目标检测与SAM分割的视觉抓取点修正模型(GUM),利用ResNet-18预测抓取点偏移(dx, dy)与旋转参数R。我们仅使用1,303张网络图像训练该模型,即可在20种未见把手中实现95%抓取成功率。此外,我们创新性地通过关节电流变化特征实现推拉门分类,准确率达98%。3、低成本触觉反馈实现在硬件受限的条件下,我们验证了关节电流信号的可靠性。例如,当机器人尝试旋转已到极限的门把手时,肘关节电流会显著上升,系统通过实时监测这一阈值终止错误动作,并尝试反向旋转。实验验证:从实验室到真实场景
在这里插入图片描述

1、野外环境门开启测试我们在8栋校园建筑的20种未见门(含5种特殊机械锁)上进行了420次测试,实现了90%的总体成功率,较Gemini+VLM基线(50%)提升40%。在30%的初始抓取失败案例中,我们通过3次重试将累计成功率提升至97%。2、消融实验分析我们关闭闭环反馈机制后,成功率降至58%,尤其在旋转方向误判与推拉类型错误场景表现显著下降。此外,我们尝试仅依赖VLM视觉分类时,推拉类型误判率达41%,导致整体成功率降低至64%。3、跨物体泛化能力验证我们进一步测试了12个抽屉/柜门场景,HCL-Door保持88%成功率,验证了框架对广义铰接物体的适应性。我们特别针对非线性轨道抽屉实现了83%成功率,较基线提升37%。结论提出的触觉反馈闭环控制框架HCL-Door,在20种真实门测试中实现90%成功率,较现有方法提升40%。其核心价值在于通过低成本触觉信号实现动态策略调整,突破纯视觉方法的物理交互瓶颈;我们设计的分层状态机架构兼顾任务规划鲁棒性与数据效率,为长周期操作任务提供新范式。未来,我们计划扩展至多机器人协作开门、非刚性门(如布帘)操作等场景,并探索触觉反馈与强化学习的深度融合,进一步提升开放世界的适应性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/903903.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云服务迁移实战: 07-其他服务迁移

概述 当完成了服务器、数据库、IP、OSS等迁移后,剩下的就是其他服务了。 短信网关 短信模板只能一个个创建,不能批量操作。但是可以使用以下方式优化操作。 在原账号导出模板列表 概述 当完成了服务器、数据库、IP、OSS等迁移后,剩下的…

(六——下)RestAPI 毛子(Http resilience/Refit/游标分页/异步大文件上传)

文章目录 项目地址一、Refit1.1 安装需要的包1.2 创建接口IGitHubApi1.3 创建RefitGitHubService1. 实现接口2. 注册服务 1.4 修改使用方法 二、Http resilience2.1 安装所需要的包2.2 创建resilience pipeline简单版2.3 创建全局的resilience处理1. 创建清理全局ResilienceHan…

leetcode 977. Squares of a Sorted Array

题目描述 双指针法一 用right表示原数组中负数和非负数的分界线。 nums[0,right-1]的是负数&#xff0c;nums[right,nums.size()-1]是非负数。 然后用合并两个有序数组的方法。合并即可。 class Solution { public:vector<int> sortedSquares(vector<int>&…

在 API 模拟阶段:Apipost vs. Faker.js vs. Postman —— 为什么 Apipost 是最优选择

在构建 API 的过程中&#xff0c;模拟数据的能力至关重要。就像你在做饭时等待食材送达一样——没有原料&#xff0c;菜也没法完成。 但是&#xff0c;当你的后端还在开发中&#xff0c;而前端又急需真实的 API 响应进行开发时&#xff0c;该怎么办&#xff1f;这时候&#xf…

一种快速计算OTA PSRR的方法(Ⅰ)

序言:最近碰到了一道有趣的习题&#xff0c;让我重新思考了下如何计算运放的PSRR&#xff0c;再结合相关论文&#xff0c;现将所思所想分享出来&#xff0c;欢迎大家讨论。 1.从Razavi的一道习题引入 题目要求计算电路的PSRR&#xff0c;已知PSRR定义为信号增益除以电源增益&am…

第十二届蓝桥杯 2021 C/C++组 空间

目录 题目&#xff1a; 题目描述&#xff1a; 题目链接&#xff1a; 思路&#xff1a; 思路详解&#xff1a; 代码&#xff1a; 代码详解&#xff1a; 题目&#xff1a; 题目描述&#xff1a; 题目链接&#xff1a; 空间 - 蓝桥云课 思路&#xff1a; 思路详解&#…

TensorFlow深度学习实战——基于循环神经网络的情感分析模型

TensorFlow深度学习实战——基于循环神经网络的情感分析模型 0. 前言1. 数据处理2. 模型构建与训练3. 模型评估相关链接 0. 前言 情感分析 (Sentiment Analysis) 是自然语言处理中的一项技术&#xff0c;旨在识别和提取文本中的情感信息&#xff0c;通常是分析一段文本中是否存…

eslint相关报错收集

[vue/no-multiple-template-root]The template root requires exactly one element.eslint-plugin-vuejsx报错&#xff1a;jsx报错Parsing error: Unexpected token &#xff1c;eslint&#xff1b;ts报错&#xff1a;Parsing error: Unexpected token {eslintmodule报错 ‘mod…

【论文推荐】深度学习赋能地质灾害分析:数据、模型、应用与机遇(用于地质灾害分析的深度学习:数据源)

【论文推荐】深度学习赋能地质灾害分析&#xff1a;数据、模型、应用与机遇&#xff08;用于地质灾害分析的深度学习&#xff1a;数据源&#xff09; 【论文推荐】深度学习赋能地质灾害分析&#xff1a;数据、模型、应用与机遇&#xff08;用于地质灾害分析的深度学习&#xf…

判断用户选择的Excel单元格区域是否跨页?

VBA应用程序开发过程中&#xff0c;经常需要处理用户选中的单元格区域&#xff0c;有的应用场景中&#xff0c;需要限制用户选中区域位于同一页中&#xff08;以打印预览显示的分页划分&#xff09;&#xff0c;但是VBA对象模型中并没有提供相应的接口&#xff0c;用于快速查询…

题解:洛谷 CF2091E Interesting Ratio

思路推导 我们先对 32 32 32 和 96 96 96 进行二进制拆分。 相同部分&#xff08;用 α \alpha α 表示&#xff09;&#xff1a; 5 5 5 个 2 2 2。 不同部分&#xff08;用 β \beta β 表示&#xff09;&#xff1a; 1 1 1 和 3 3 3。 gcd ⁡ ( 32 , 96 ) \gcd(32,9…

linux安装配置PostgreSQL

环境&#xff1a;centos7、SpringBoot、PostgreSQL15 PostgreSQL: Linux downloads (Red Hat family) PostgreSQL安装 1.安装 PostgreSQL Yum 仓库 RPM 包 sudo rpm -ivh https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noar…

docker安装jenkins v2.504.1集群

1 概述 Jenkins是一款开源的、基于Java开发的持续集成&#xff08;CI&#xff09;与持续交付&#xff08;CD&#xff09;工具&#xff0c;旨在通过自动化构建、测试和部署流程&#xff0c;提升软件开发效率与质量。 ‌ 1.1 核心功能与特点 持续集成与交付‌ Jenkins支持自动化…

5月2日日记

今天看了爸爸推荐的书&#xff0c;叫&#xff1a;“高效能人士的七个习惯” 现在刚看完50页&#xff0c;感觉确实有点东西&#xff0c; 七个习惯分别是&#xff1a; 个人层面1积极主动 2要事第一 3以终为始 社交层面 4知彼解己5 统效综合 6双赢思维 7不断更新 目前还没有…

Aws S3上传优化

上传大约 3.4GB 的 JSON 文件&#xff0c;zip算法压缩后约为 395MB&#xff0c;上传至 S3 效率优化&#xff0c;有一些优化方案可以提高上传速率。下面是几种可能的优化方式&#xff0c;包括选择压缩算法、调整上传方式、以及其他可能的方案。 方案 1. 选择更好的压缩算法 压…

CAD(计算机辅助设计)基础知识点整理

以下是CAD&#xff08;计算机辅助设计&#xff09;的基础知识点整理&#xff0c;涵盖核心概念、操作技巧和行业规范&#xff0c;适合新手学习和参考&#xff1a; 一、CAD基本概念 什么是CAD • 利用计算机技术进行设计和绘图的工具&#xff0c;广泛应用于机械、建筑、电子等领…

重构之道:识别并替换不合适使用的箭头函数

1、引言 JavaScript 自 ES6 引入了箭头函数(Arrow Function)后,因其简洁的语法和对 this 的词法绑定机制,迅速成为开发者喜爱的写法之一。然而,并不是所有场景都适合使用箭头函数。 在实际开发中,我们常常会因为追求代码简洁而忽视其潜在问题,例如: this 指向错误不适…

[英语单词] from under

最近在看RCU的资料&#xff0c;读到下面的一句&#xff0c;感觉总是特别怪怪的&#xff0c;就是从单词的组合角度&#xff0c;记录一下。 Use rcu_read_lock() and rcu_read_unlock() to ensure that the structure does not get deleted out from under us。 意思是我们还在使…

Python 中 DAO 层使用泛型的探索

方法一&#xff1a; from types import UnionType from typing import TypeVar, Generic, TypeModelT TypeVar(ModelT)def _new_cls_with_grm_generic_args(cls, __item):new_cls type(f"{cls.__name__}[{__item.__name__}]", (cls,), {})new_cls._grm_generic_ar…

Cesium 环境搭建

一、前提条件 1. **安装 Node.js** - 访问 [Node.js 官方网站](https://nodejs.org/)&#xff0c;下载并安装适合你操作系统的版本。Node.js 用于运行本地开发服务器和安装依赖。 2. **安装 Vue CLI** - Vue CLI 是一个用于快速开发 Vue.js 项目的工具。在终端中运行以下…