【机器人】复现 UniGoal 具身导航 | 通用零样本目标导航 CVPR 2025

UniGoal的提出了一个通用的零样本目标导航框架，能够统一处理多种类型的导航任务。

支持 对象类别导航、实例图像目标导航和文本目标导航，而无需针对特定任务进行训练或微调。

本文分享UniGoal复现和模型推理的过程～

查找沙发，模型会根据输入的实例图片进行匹配的

目录

1、创建Conda环境

2、 安装habitat仿真环境

3、安装第三方的依赖库

3.1 安装LightGlue依赖

3.2 安装detectron2依赖

3.3 安装Grounded-Segment-Anything依赖

3.4 安装其他依赖库

4、下载模型权重

5、下载HM3D数据集

6、安装Ollama，配置LLM 和 VLM

7、模型推理

1、创建Conda环境

首先创建一个Conda环境，名字为unigoal，python版本为3.8

进行unigoal环境

conda create -n unigoal python=3.8
conda activate unigoal

然后下载unigoal代码，并解压：https://github.com/bagh2178/UniGoal

2、 安装habitat仿真环境

执行下面命令进行安装

cd UniGoal
conda install habitat-sim==0.2.3 -c conda-forge -c aihabitat
pip install -e third_party/habitat-lab

安装过程的打印信息：

安装成功啦～

3、安装第三方的依赖库

3.1 安装LightGlue依赖

pip install git+https://github.com/cvg/LightGlue.git

正常安装打印的信息： 

3.2 安装detectron2依赖

需要cuda>=12.1的，用nvcc --version查询

(unigoal) lgp@lgp-MS-7E07:~/2025_project/UniGoal$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Mon_Apr__3_17:16:06_PDT_2023
Cuda compilation tools, release 12.1, V12.1.105
Build cuda_12.1.r12.1/compiler.32688072_0

如果是cuda11.x或更底版本的，需要安装或切换为cuda>=12.1的

将以下内容添加到 ~/.bashrc 

# 设置 CUDA 12.1 为默认版本
export CUDA_HOME=/usr/local/cuda-12.1
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH

然后执行：

source ~/.bashrc

再安装detectron2：

pip install git+https://github.com/facebookresearch/detectron2.git

3.3 安装Grounded-Segment-Anything依赖

执行命令进行安装，等待安装完成～

git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git third_party/Grounded-Segment-Anything
cd third_party/Grounded-Segment-Anything
git checkout 5cb813f
pip install -e segment_anything
pip install --no-build-isolation -e GroundingDINO

3.4 安装其他依赖库

先安装pytorch::faiss-gpu，等待安装完成～

conda install pytorch::faiss-gpu

再安装安装其他依赖库

pip install -r requirements.txt

2025/5/12 补丁安装：

pip install openai mkl faiss-gpu

4、下载模型权重

分别下载sam_vit_h_4b8939.pth和groundingdino_swint_ogc.pth权重，放在data/models目录下

cd ../../
mkdir -p data/models
wget -O data/models/sam_vit_h_4b8939.pth https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth
wget -O data/models/groundingdino_swint_ogc.pth https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

等待下载完成：

5、下载HM3D数据集

从这里下载 HM3D 场景数据集，从这里下载实例-图像-目标导航事件数据集。

数据集的结构概述如下：

UniGoal/
└── data/
    ├── datasets/
    │   └── instance_imagenav/
    │       └── hm3d/
    │           └── v3/
    │               └── val/
    │                   ├── content/
    │                   │   ├── 4ok3usBNeis.json.gz
    │                   │   ├── 5cdEh9F2hJL.json.gz
    │                   │   ├── ...
    │                   │   └── zt1RVoi7PcG.json.gz
    │                   └── val.json.gz
    └── scene_datasets/
        └── hm3d_v0.2/
            └── val/
                ├── 00800-TEEsavR23oF/
                │   ├── TEEsavR23oF.basis.glb
                │   └── TEEsavR23oF.basis.navmesh
                ├── 00801-HaxA7YrQdEC/
                ├── ...
                └── 00899-58NLZxWBSpk/

6、安装Ollama，配置LLM 和 VLM

分别执行下面命令：

curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.2-vision

成功啦～

7、模型推理

运行main.py，就可以进行模型推理啦

python main.py

打印信息：

[22:03:27:032178]:[Assets] ResourceManager.cpp(2210)::loadMaterials : Idx 26:Flat.
[22:03:27:032183]:[Assets] ResourceManager.cpp(2210)::loadMaterials : Idx 27:Flat.
[22:03:27:062166]:[Sim] Simulator.cpp(442)::instanceStageForSceneAttributes : Successfully loaded stage named : data/scene_datasets/hm3d_v0.2/val/00877-4ok3usBNeis/4ok3usBNeis.basis.glb
[22:03:27:062184]:[Sim] Simulator.cpp(474)::instanceStageForSceneAttributes : 
---
The active scene does not contain semantic annotations : activeSemanticSceneID_ = 0  
---
[22:03:27:062207]:[Sim] Simulator.cpp(208)::reconfigure : CreateSceneInstance success == true for active scene name : data/scene_datasets/hm3d_v0.2/val/00877-4ok3usBNeis/4ok3usBNeis.basis.glb  with renderer.
[22:03:27:067606]:[Nav] PathFinder.cpp(568)::build : Building navmesh with 222 x 162 cells
[22:03:27:121110]:[Nav] PathFinder.cpp(842)::build : Created navmesh with 340 vertices 163 polygons
[22:03:27:121130]:[Sim] Simulator.cpp(898)::recomputeNavMesh : reconstruct navmesh successful
2025-05-12 22:03:27,122 Initializing task InstanceImageNav-v1
[05/12 22:03:27 detectron2]: Arguments: Namespace(confidence_threshold=0.5, config_file='configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml', input=['input1.jpeg'], opts=['MODEL.WEIGHTS', 'detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl', 'MODEL.DEVICE', 'cuda:0'], output=None, video_input=None, webcam=False)
[05/12 22:03:27 d2.checkpoint.detection_checkpoint]: [DetectionCheckpointer] Loading from detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl ...
[22:03:27:595720]:[Sensor] Sensor.cpp(69)::~Sensor : Deconstructing Sensor
Loading episodes from: data/datasets/instance_imagenav/hm3d/v3/val/content/4ok3usBNeis.json.gz
Changing scene: 0/data/scene_datasets/hm3d_v0.2/val/00877-4ok3usBNeis/4ok3usBNeis.basis.glb
rank:0, episode:1, cat_id:0, cat_name:chair

看一下运行效果，查找椅子：

查找不同的椅子，模型会根据输入的实例图片进行匹配的

查找卫生间：

分享完成～

相关文章推荐：

UniGoal 具身导航 | 通用零样本目标导航 CVPR 2025-CSDN博客

【机器人】复现 ECoT 具身思维链推理-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/83309.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python + flask 做一个图床

python + flask 做一个图床

1. 起因， 目的: 对这个网站：https://img.vdoerig.com/ ， 我也想实现这种效果。做一个简单的图床，后面，可以结合到其他项目中。 2. 先看效果 实际效果。 3. 过程: Grok 聊天： https://img.vdoerig.co…
阅读更多...
Java生产环境设限参数教学

Java生产环境设限参数教学

哈哈，这个问题问得好！咱们用开餐厅的比喻来理解生产环境的四大必须设限参数，保证你听完再也不会忘！（搓手手） 1. 堆内存上限：-Xmx（厨房的最大容量） 问题：想象…
阅读更多...
电脑出故障驱动装不上？试试驱动人生的远程服务支持

电脑出故障驱动装不上？试试驱动人生的远程服务支持

在日常工作或学习中，驱动问题时常成为电脑用户的一大困扰。尤其是在更换硬件、重装系统、驱动冲突等情况下，许多用户往往手足无措，不知道从何下手。而“驱动人生”作为国内领先的驱动管理工具，一直以高效、便捷、智能著称。现在&a…
阅读更多...
JS手写代码篇---手写 instanceof 方法

JS手写代码篇---手写 instanceof 方法

2、手写 instanceof 方法 instancecof用于检测一个对象是否是某个构造函数的实例。它通常用于检查对象的类型，尤其是在处理继承关系时。 eg: const arr [1,2,3,4,5]console.log(arr instanceof Array); // trueconsole.log(arr instanceof Object); // true那这是…
阅读更多...
使用exceljs将excel文件转化为html预览最佳实践（完整源码）

使用exceljs将excel文件转化为html预览最佳实践（完整源码）

前言 在企业应用中，我们时常会遇到需要上传并展示 Excel 文件的需求，以实现文件内容的在线预览。经过一番探索与尝试，笔者最终借助 exceljs 这一库成功实现了该功能。本文将以 Vue 3 为例，演示如何实现该功能，代码示例…
阅读更多...
PMP-第十二章 项目采购管理

PMP-第十二章 项目采购管理

项目采购管理核心概念 项目采购管理包括从项目团队外部采购或获取所需产品、服务或成果的各个过程项目组织既可以是买方（甲方） ，也可以是卖方（乙 方）项目采购管理过程围绕协议来进行，协议是买卖双方之间具…
阅读更多...
maven和npm区别是什么

maven和npm区别是什么

这是一个很容易搞糊涂新手的问题，反正我刚开始从课堂的知识转向项目网站开发时，被这些问题弄得晕头转向，摸不着头脑，学的糊里糊涂，所以，写了这么久代码，也总结一下，为后来者传授下经…
阅读更多...
Leetcode76覆盖最小子串

Leetcode76覆盖最小子串

覆盖最小子串 代码来自b站左程云 class Solution {public String minWindow(String str, String tar) {char[] s str.toCharArray();char[] t tar.toCharArray();int[] cnt new int[256];for (char cha : t) { cnt[cha]--;}int len Integer.MAX_VALUE;int debt t.length…
阅读更多...
Linux du 命令终极指南：从基础到精通

Linux du 命令终极指南：从基础到精通

文章目录 Linux du 命令终极指南：从基础到精通du 命令简介常用参数详解常见用法示例查看当前目录总大小查看当前目录及其子目录占用空间只显示当前目录总占用空间查看目录下每个文件和子目录的大小查看某目录深度为 1 的大小分布查看某目录并排除日志文件查看多个目…
阅读更多...
sychronized原理（嚼碎了喂版）

sychronized原理（嚼碎了喂版）

先说一下心得吧，我们知道硬软不分家，在学习底层原理的时候我们不需要死扣到底，没必要把硬件方面全吃透，点到为止，学到能够帮助理解代码即可，我们的目标是写出高性能的代码，而不是创造出硬软一体…
阅读更多...
Ngrok 配置：实现 Uniapp 前后端项目内网穿透

Ngrok 配置：实现 Uniapp 前后端项目内网穿透

文章目录 一、下载并安装 ngrok二、配置 ngrok Authtoken三、启动本地 uniapp 项目四、使用 ngrok 暴露本地服务五、通过公网 URL 访问项目六、后端API项目的穿透问题排查 (uni-app 后端 API 示例)交互流程图示 七、ngrok Web 界面 (本地监控)八、停止 ngrok总结 ngrok 是一款…
阅读更多...
k8s灰度发布

k8s灰度发布

基于 Traefik 的加权灰度发布-腾讯云开发者社区-腾讯云 Traefik | Traefik | v1.7 Releases traefik/traefik GitHub 从上面连接下载后上传到harbor虚拟机 vagrant upload /C/Users/HP280/Downloads/traefik 下载配置文件 wget -c http://raw.githubusercontent.com/conta…
阅读更多...
win10-django项目与mysql的基本增删改查

win10-django项目与mysql的基本增删改查

以下都是在win10系统下，django项目的orm框架对本地mysql的表的操作 models.py----->即表对应的类所在的位置 在表里新增数据 1.引入表对应的在models.py中的类class 2.在views.py中使用函数：类名.objects.create(字段名值,字段名"值"。。。…
阅读更多...
`ParameterizedType` 和 `TypeVariable` 的区别

`ParameterizedType` 和 `TypeVariable` 的区别

在 Java 的泛型系统中，ParameterizedType 和 TypeVariable 是两个不同的类型表示，它们都属于 java.lang.reflect.Type 接口的子接口。两者都在反射（Reflection）中用于描述泛型信息，但用途和含义不同。 🌟 一…
阅读更多...
PR-2021

PR-2021

推荐深蓝学院的《深度神经网络加速：cuDNN 与 TensorRT》，课程面向就业，细致讲解CUDA运算的理论支撑与实践，学完可以系统化掌握CUDA基础编程知识以及TensorRT实战，并且能够利用GPU开发高性能、高并发的软件系统&#xf…
阅读更多...
unity使用ZXing.Net生成二维码

unity使用ZXing.Net生成二维码

下载链接 https://github.com/micjahn/ZXing.Net 放到Plugins下即可使用
阅读更多...
Ubuntu 编译SRS和ZLMediaKit用于视频推拉流

Ubuntu 编译SRS和ZLMediaKit用于视频推拉流

SRS实现视频的rtmp webrtc推流 ZLMediaKit编译生成MediaServer实现rtsp推流 SRS指定某个固定网卡，修改程序后重新编译 打开SRS-4.0.0/trunk/src/app/srs_app_rtc_server.cpp，在 232 行后面添加： ZLMediaKit编译后文件存放在ZLMediakit/rele…
阅读更多...
如何备考GRE？

如何备考GRE？

1.引言 GRE和雅思不太相同，首先GRE是美国人的考试，思维方式和很多细节和英系雅思不一样。所以底层逻辑上我觉得有点区别。 难度方面，我感觉GRE不容易考低分，但考高分较难。雅思就不一样了不仅上限难突破，下限还容易6…
阅读更多...
uniapp｜商品列表加入购物车实现抛物线动画效果、上下左右抛入、多端兼容(H5、APP、微信小程序)

uniapp｜商品列表加入购物车实现抛物线动画效果、上下左右抛入、多端兼容(H5、APP、微信小程序)

以uniapp框架为基础，详细解析商品列表加入购物车抛物线动画的实现方案。通过动态获取商品点击位置与购物车坐标，结合CSS过渡动画模拟抛物线轨迹，实现从商品图到购物车图标的动态效果。 目录 核心实现原理坐标动态计算抛物线轨迹模拟​动画元素控制代码实现详解模板层设计脚本…
阅读更多...
React中使用openLayer画地图

React中使用openLayer画地图

OpenLayers（简称ol）是一个‌开源的WebGIS前端开发库‌，基于JavaScript实现，主要用于在网页中嵌入动态二维地图。 官方网站： https://openlayers.org 中文官网： https://openlayers.vip 大家可以去参考学习…
阅读更多...
最新文章

Copyright @ 2022~2023