【深入理解BEVFormer】BEVFormer

任务场景

在这里插入图片描述
多模态融合和多传感器融合

在这里插入图片描述
BEV：鸟瞰图

这个特征空间与每个视角都相关

在这里插入图片描述
早期是用后融合，目前比较流行的是特征级融合

在这里插入图片描述
在这里插入图片描述
自身运动补偿：如果按照像素点进行特征对齐，需要指定偏移量 x y两个方向
特征空间是自己定义的，常见的是200x200，根据自己的硬件成本去考虑，每个网格点是一个特征向量，

在这里插入图片描述
同一个特征空间同时做多个下游任务，每一个相机视图又有多个特征，
分辨率太高，导致计算成本过高，难以训练

BEVFormer

在这里插入图片描述

时间和空间上都要做对齐，
DeformableAttention是目前的主流

输入

在这里插入图片描述
输入是一个序列
batch_size = 16
queue=3 t-2 t-1 t 不仅要考虑当前时刻，还要考虑前两个时刻,t-2 t-1
cam=6 6个摄像头
C=RGB 3
H W 高 宽

在这里插入图片描述

只用6个视角的摄像头
Backbone 是什么都可以 最好要速度快

在这里插入图片描述
在这里插入图片描述实际用自注意力机制做的，时间注意力和空间注意力

可变形注意力机制

在这里插入图片描述
当前的点作为query，只跟周围的4个点作为key，去计算相似度分数。基于当前点的偏移量
这4个点的贡献不相同，

在这里插入图片描述

空间注意力机制
映射到特征图，不一定是准确的那个点，得到的平面是一个高度的，一个点对应4个query，每个query对应一个不同的高度。

先做时间注意力，后做空间注意力

在这里插入图片描述

BEVForm++

在这里插入图片描述在这里插入图片描述
把1x1的卷积核换成3x3的，感受野更大，可以考虑周边的情况，让偏移量的预测更准确

在这里插入图片描述

先做时间，如果不做时间注意力，后面就不准确，可以把前面的query作为初始化。

windows跑不了，必须是Linux环境，显存至少12G以上，

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/684763.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

NumPyML 源码解析（五）

NumPyML 源码解析（五）

numpy-ml\numpy_ml\preprocessing\nlp.py # 导入必要的库和模块 import re import heapq import os.path as op from collections import Counter, OrderedDict, defaultdict import numpy as np# 定义英文停用词列表，来源于"Glasgow Information Retrieval G…
阅读更多...
NBlog个人博客部署过程记录 -- 后端springboot + 前端vue

NBlog个人博客部署过程记录 -- 后端springboot + 前端vue

项目是fork的Naccl大佬NBlog项目，页面做的相当漂亮，所以选择了这个。可以参考2.3的效果图 惭愧，工作两年了也每个自己的博客系统，趁着过年时间，开始搭建一下. NBlog原项目的github链接：Naccl/NBlog: &#…
阅读更多...
毕业设计vue+php幼儿园网站系统yl567

毕业设计vue+php幼儿园网站系统yl567

幼儿园网站系统。采用vscode集成IDE对幼儿园网站系统统进行开发,整合系统的各个模块。 拟开发的幼儿园网站系统通过测试,确保在最大负载的情况下稳定运转,各个模块工作正常,具有较高的可用性。系统整体界面简洁美观,用户使用简单,满足用户需要。在因特网发展迅猛的当今社会,幼儿…
阅读更多...
什么是Java中的JVM（Java虚拟机），你能解释一下JVM的体系结构吗？

什么是Java中的JVM（Java虚拟机），你能解释一下JVM的体系结构吗？

什么是Java中的JVM（Java虚拟机），你能解释一下JVM的体系结构吗？ Java虚拟机（JVM）是Java程序的运行环境，它负责将Java字节码转换为机器码并执行。JVM是Java跨平台特性的关键，它使得Ja…
阅读更多...
代码随想录算法训练营Day58|739. 每日温度、496.下一个更大元素 I

代码随想录算法训练营Day58|739. 每日温度、496.下一个更大元素 I

目录 739. 每日温度 前言——单调栈介绍 思路 算法实现 496.下一个更大元素 I 前言 思路 算法实现 总结 739. 每日温度 题目链接 文章链接 前言——单调栈介绍 通常是一维数组，要寻找任一个元素的右边或者左边第一个比自己大或者小的元素的位置，…
阅读更多...
【计算机网络】网络层之IP协议

【计算机网络】网络层之IP协议

文章目录 1.基本概念2.协议头格式3.网段划分4.特殊的IP地址5.IP地址的数量限制6.私有IP地址和公网IP地址7.路由 1.基本概念 IP地址是定位主机的，具有一个将数据报从A主机跨网络可靠的送到B主机的能力。 但是有能力就一定能做到吗，只能说有很大的概率。…
阅读更多...
[职场] 事业单位医疗岗常见的面试题目 #微信#微信#微信

[职场] 事业单位医疗岗常见的面试题目 #微信#微信#微信

事业单位医疗岗常见的面试题目 面试是步入社会以及就业过程中必须经历的一个首要阶段，也是实现就业必经的之道，可以说面试是双向选择和考试考核评价的过程，是企业选择应聘者的同时也应聘者也在选择企业。 一.常见的面试题目 1.对医学基础知…
阅读更多...
计网体系结构

计网体系结构

计算机网络的概述 概念 网络：网状类的东西或系统。 计算机网络：是一个将分散的、具有独立性功能的计算机系统，通过通信设备与线路连接起来，由功能完善的软件实现资源共享和信息传递的系统。即计算机网络是互连(通过通信链路互连…
阅读更多...
C++ Primer Plus笔记1

C++ Primer Plus笔记1

一、变量 1.1 整型 (以下数据特指win11操作系统中minGW的C11标准) C内置的9种整型变量(wchar_t,char16_t,char32_t等不予讨论) C内置9种整形变量变量名取值范围int(signed int、signed)-2^31~2^31-1unsigned int0~2^32-1short-2^15~2^15-1unsigned short0~2^16-1long-2^31~2^…
阅读更多...
C/C++中的max函数如何使用？哪个头文件？多个数字可以用max吗？

C/C++中的max函数如何使用？哪个头文件？多个数字可以用max吗？

在C中&#xff0c;max函数是一个非常实用的函数&#xff0c;它用于比较两个或更多数值并返回其中的最大值。这个函数在头文件中定义。 下面是如何在C中使用max函数的一些示例&#xff1a; #include <iostream> #include <algorithm> // 引入algorithm头文件以使…
阅读更多...
前端可能需要的一些安装

前端可能需要的一些安装

Node.js Node.js 官网 Node.js 中文网 Node.js is an open-source, cross-platform JavaScript runtime environment. Node.js是一个开源、跨平台的JavaScript运行时环境。Recommended for most users 推荐大多数用户使用哔哩哔哩安装视频 安装 node.js 的时候&#xff0c;会…
阅读更多...
python-使用ffmpeg批量修改文件的后缀名

python-使用ffmpeg批量修改文件的后缀名

import os import subprocessdef convert_ogg_to_mp3(directory):for filename in os.listdir(directory):if filename.endswith(".ogg"):# 获取文件的完整路径file_path os.path.join(directory, filename)# 创建一个新的文件名&#xff0c;只是将扩展名从.ogg更改…
阅读更多...
sqlserver 增删改查

sqlserver 增删改查

1.创建表 create table test_tb( Id int primary key not null, Name varchar(50) not null, Sex char(4) null, Age int null );2.插入单条数据 insert into test_tb(Id,Name,Sex,Age) values(1,PZ,男,10);3.插入多条数据 insert into test_tb(Id,Name,Sex,Age) values (2,…
阅读更多...
Java的异常体系

Java的异常体系

一、体系简介 java中的Exception类的子类不仅仅只是像上图所示只包含IOException和RuntimeException这两大类&#xff0c;事实上Exception的子类很多很多&#xff0c;主要可概括为&#xff1a;运行时异常与非运行时异常。 在上述体系中&#xff0c;Error表示严重的系统错误&am…
阅读更多...
【C++】 为什么多继承子类重写的父类的虚函数地址不同？『 多态调用汇编剖析』

【C++】 为什么多继承子类重写的父类的虚函数地址不同？『 多态调用汇编剖析』

&#x1f440;樊梓慕&#xff1a;个人主页 &#x1f3a5;个人专栏&#xff1a;《C语言》《数据结构》《蓝桥杯试题》《LeetCode刷题笔记》《实训项目》《C》《Linux》《算法》 &#x1f31d;每一个不曾起舞的日子&#xff0c;都是对生命的辜负 前言 本篇文章主要是为了解答有…
阅读更多...
微信小程序框架阐述

微信小程序框架阐述

目录 一、框架 响应的数据绑定 页面管理 基础组件 丰富的 API 二、逻辑层 App Service 小程序的生命周期 注册页面 使用 Page 构造器注册页面 在页面中使用 behaviors 使用 Component 构造器构造页面 页面的生命周期 页面路由 页面栈 路由方式 注意事项 模块化…
阅读更多...
鸿蒙开发系列教程（二十二）--List 列表操作（1）

鸿蒙开发系列教程（二十二）--List 列表操作（1）

列表是容器&#xff0c;当列表项达到一定数量&#xff0c;内容超过屏幕大小时&#xff0c;可以自动提供滚动功能。 用于呈现同类数据类型或数据类型集&#xff0c;例如图片和文本 List、ListItemGroup、ListItem关系 列表方向 1、概念 列表的主轴方向是指子组件列的排列方…
阅读更多...
【汇总】解决IndexedDB报Failed to execute ‘transaction‘ on ‘IDBDatabase‘

【汇总】解决IndexedDB报Failed to execute ‘transaction‘ on ‘IDBDatabase‘

问题发现 再学习HTML5中&#xff0c;有介绍到 Web 存储&#xff0c;当代码编写完成后&#xff0c;运行报错 Failed to execute ‘transaction’ on ‘IDBDatabase’: One of the specified object stores was not found. 示例代码如下&#xff1a; <!DOCTYPE html> <…
阅读更多...
1Coze平台介绍

1Coze平台介绍

2023年随着OpenAI推出GPT 3.5&#xff0c;AI赛道变得更加火热。GPT&#xff08;Generative Pre-trained Transformer&#xff09;是一种自然语言处理&#xff08;NLP&#xff09;模型&#xff0c;用于生成文本、理解语言和进行各种语言任务。GPT是由OpenAI开发的&#xff0c;它…
阅读更多...
Tuxera NTFS2024版本的文件操作功能有哪些特点？

Tuxera NTFS2024版本的文件操作功能有哪些特点？

Tuxera NTFS通过集成先进的文件系统驱动程序和算法&#xff0c;实现了对多种文件系统的全面支持。具体来说&#xff0c;它具备以下功能和特点&#xff0c;使其能够支持多种文件系统&#xff1a; Tuxera NTFS2024下载如下: https://wm.makeding.com/iclk/?zoneid58824 先进的…
阅读更多...
最新文章

Copyright @ 2022~2023