瑞芯微RK3588 C++部署Yolov8检测和分割模型

最近这一个月在研究国产瑞芯微板子上部署yolov8的检测和分割模型，踩了很多坑，记录一下部署的过程和遇到的一些问题：

1 环境搭建

需要的环境和代码主要包括：
（1）rknn-toolkit2-1.5.2：工具链，开发环境
（2）rockchip-yolov8：pt模型转onnx模型
（3）yolov8_onnx2rknn：在（2）的基础上转检测rknn模型
（4）yolov8seg_onnx2rknn：在（2）的基础上转分割rknn模型
在这里插入图片描述
最好使用对应的环境，环境不匹配的话会出现很多问题。

2 ubuntu docker环境

Docker容器主要用来进行模型转换，也就是pt转onnx的过程，因此docker中需要用的的包主要是rockchip-yolov8,需要修改该代码，进行模型的转换，在linux服务器上安装docker环境，创建一个ubuntu系统的docker环境
这一部分的修改代码参考山水无移大哥的部署过程，贼清洗，膜拜一下，少走了很多弯路，直接贴上地址。

3 模型转换问题

在转自己的pt到onnx模型时，容易出现以下问题：
（1）报错信息：

copying a param with shape torch.Size([64,64,3,3]) from checkpoint,the shape in current model is torch.Size(32,64,3,3)

在这里插入图片描述
主要的问题有两种：
1）在最后一步导出onnx时，yolov8s.yaml里面没有修改成自己的模型的类别信息；
2）自己训练的yolov8m模型，但是选择的yaml是yolov8s.yaml


from ultralytics import YOLO# model = YOLO('/cytech_ai/sipingtest/rknntest/model/20230228_yolov8_LiftPerson_filter.pt')
# results = model(task='detect', mode='predict', source='/cytech_ai/sipingtest/rknntest/2.jpg', line_thickness=3, save=True, device='cpu')model = YOLO('/cytech_ai/sipingtest/rknntest/rockchip-yolov8/ultralytics/cfg/models/v8/yolov8s.yaml')
results = model(task='detect', mode='predict', source='/cytech_ai/sipingtest/rknntest/2.jpg', line_thickness=3, save=True, device='cpu')

（2）多处修改时，最终的输出结果和分割模型的结果搞混了，导致模型输出对应不上：
在这里插入图片描述
在这里插入图片描述

4 RK3588上环境搭建

瑞芯微rk3588上，需要的环境主要是rknpu2，主要用来C++编写cmakelists文件时导入动态库和头文件，我这里将检测模型和分割模型全部集成到一个工程里面，分享一个个人的cmakelist文件：

cmake_minimum_required(VERSION 3.4.1)# 声明一个 cmake 工程
set(PROJECT_NAME rknn_yolov8_AlgDetectModel)
project(${PROJECT_NAME})set(CMAKE_CXX_STANDARD 11)set(TARGET_SOC "rk3588")
set(CMAKE_C_COMPILER "aarch64")# rknn api
if(TARGET_SOC STREQUAL "rk356x")set(RKNN_API_PATH ${CMAKE_SOURCE_DIR}/../../runtime/RK356X/${CMAKE_SYSTEM_NAME}/librknn_api)set(RKNN_API_PATH ${CMAKE_SOURCE_DIR}/../../runtime/RK356X/${CMAKE_SYSTEM_NAME}/librknn_api)
elseif(TARGET_SOC STREQUAL "rk3588")set(RKNN_API_PATH /home/siping/testrknn/rknpu2-1.5.2/runtime/RK3588/Linux/librknn_api/aarch64)
else()message(FATAL_ERROR "TARGET_SOC is not set, ref value: rk356x or rk3588 or rv110x")
endif()if (CMAKE_SYSTEM_NAME STREQUAL "Android")set(RKNN_RT_LIB ${RKNN_API_PATH}/${CMAKE_ANDROID_ARCH_ABI}/librknnrt.so)
else()if (CMAKE_C_COMPILER MATCHES "aarch64")set(LIB_ARCH aarch64)else()set(LIB_ARCH armhf)endif()#直接链接这个库了set(RKNN_RT_LIB /home/siping/testrknn/rknpu2-1.5.2/runtime/RK3588/Linux/librknn_api/aarch64/librknnrt.so)
endif()#链接头文件
include_directories(/home/siping/testrknn/rknpu2-1.5.2/runtime/RK3588/Linux/librknn_api/include)#第三方依赖库
include_directories(${CMAKE_SOURCE_DIR}/../3rdparty)# opencv
#if (CMAKE_SYSTEM_NAME STREQUAL "Android")
#    set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/../3rdparty/opencv/OpenCV-android-sdk/sdk/native/jni/abi-${CMAKE_ANDROID_ARCH_ABI})
#else()
#  if(LIB_ARCH STREQUAL "armhf")
#    set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/../3rdparty/opencv/opencv-linux-armhf/share/OpenCV)
#  else()
#    set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/../3rdparty/opencv/opencv-linux-aarch64/share/OpenCV)
#  endif()
#endif()
#find_package(OpenCV REQUIRED)#手动链接opencv480
set(OpenCV_DIR "/home/siping/thirdparty/opencv480/")
set(OpenCV_INCLUDE_DIRS "/home/siping/thirdparty/opencv480/include/opencv4")
set(OpenCV_LDFLAGS "/home/siping/thirdparty/opencv480/lib")include_directories(${OpenCV_INCLUDE_DIRS})
link_directories(${OpenCV_LDFLAGS})message(STATUS "OpenCV library status:")message(STATUS "    version: ${OpenCV_VERSION}")
message(STATUS "    include path: ${OpenCV_INCLUDE_DIRS}")
message(STATUS "    libraries: ${OpenCV_LDFLAGS}")#rga
if(TARGET_SOC STREQUAL "rk356x")set(RGA_PATH ${CMAKE_SOURCE_DIR}/../3rdparty/rga/RK356X)
elseif(TARGET_SOC STREQUAL "rk3588")set(RGA_PATH ${CMAKE_SOURCE_DIR}/../3rdparty/rga/RK3588)
else()message(FATAL_ERROR "TARGET_SOC is not set, ref value: rk356x or rk3588")
endif()
if (CMAKE_SYSTEM_NAME STREQUAL "Android")set(RGA_LIB ${RGA_PATH}/lib/Android/${CMAKE_ANDROID_ARCH_ABI}/librga.so)
else()if (CMAKE_C_COMPILER MATCHES "aarch64")set(LIB_ARCH aarch64)else()set(LIB_ARCH armhf)endif()#链接库，就这一个set(RGA_LIB ${RGA_PATH}/lib/Linux//${LIB_ARCH}/librga.so)
endif()
include_directories( ${RGA_PATH}/include)#瑞芯微 glog日志库
set(GLOG_INCLUDE "/home/siping/thirdparty/glog_arm64/include/")
set(GLOG_LIB "/home/siping/thirdparty/glog_arm64/lib")include_directories(${GLOG_INCLUDE})
link_directories(${GLOG_LIB})message(STATUS "GLOG library status:")
message(STATUS "    include path: ${GLOG_INCLUDE}")
message(STATUS "    libraries: ${GLOG_LIB}")#链接头文件
include_directories( ${CMAKE_SOURCE_DIR}/include)#链接cpp文件
aux_source_directory(src DIR_CPP)#==============================================================# install target and libraries 将所有需要的依赖库放在同一个位置
#set install path
set(CMAKE_BUILD_RPATH "${OpenCV_LDFLAGS}")
set(CMAKE_INSTALL_PREFIX /home/siping/algunion/alglib)
message(STATUS "CMAKE_INSTALL_PREFIX = ${CMAKE_INSTALL_PREFIX}")# set runtime path
set(CMAKE_INSTALL_RPATH ".")# 如果想生成动态库，SHARE .so
#add_library(${PROJECT_NAME} SHARED  ${DIR_CPP})
#set(${PROJECT_NAME} PROPERTIES OUTPUT_NAME ${PROJECT_NAME})
add_executable(${PROJECT_NAME} src/main.cc ${DIR_CPP})target_link_libraries(${PROJECT_NAME}${RKNN_RT_LIB} #必须的runtime  librknnrt.so${RGA_LIB} #rga  librga.so${OpenCV_LDFLAGS}-lopencv_world${GLOG_LIB}-lglog)install(TARGETS ${PROJECT_NAME} DESTINATION ${CMAKE_INSTALL_PREFIX})file(GLOB GLOG_LIB "${GLOG_LIB}/lib*.so.*")
file(GLOB OpenCV_LDFLAGS "${OpenCV_LDFLAGS}/lib*.so.*")install(PROGRAMS${OpenCV_LDFLAGS}${RKNN_RT_LIB}${RGA_LIB}${GLOG_LIB}DESTINATION ${CMAKE_INSTALL_PREFIX})install(DIRECTORY model DESTINATION "/home/siping/algunion")

前面用到的环境和代码打个包，上传到了百度网盘，C++的部署的代码参考的里面都有，我自己这边只是根据自己的项目做了集成，如有需要可私信。

5 参考

检测模型：https://blog.csdn.net/zhangqian_1/article/details/135523096?spm=1001.2014.3001.5502
分割模型：https://blog.csdn.net/zhangqian_1/article/details/131571838?spm=1001.2014.3001.5502

另外一种部署方法，仅检测模型（Python）：
https://blog.csdn.net/m0_48979117/article/details/135628375

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/719487.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

微服务day04-基于Feign的远程调用

微服务day04-基于Feign的远程调用

一.Feign的认识 是http客户端，因为使用RestTemplate存在一些问题：代码可读性差，参数配置费事，不够优雅… String url"http://userservice/user/"order.getUserId(); User userrestTemplate.getForObject(url,User.cla…
阅读更多...
01.23 校招 实习 内推 面经

01.23 校招 实习 内推 面经

绿*泡*泡VX： neituijunsir 交流*裙 ，内推/实习/校招汇总表格 1、蔚来24届实习招聘特辑 | 软件&算法类（内推） 蔚来24届实习招聘特辑 | 软件&算法类（内推） 2、校招 | 普天科技2024校园招聘 校招…
阅读更多...
初始计算机组成原理

初始计算机组成原理

1.初始计算机组成原理 本人相关文章：Linux之计算机概论 声明：大部分图片均来自网络，侵删 一个完整的计算机系统包括硬件子系统和软件子系统两大部分。 组成一台计算机的物理设备的总称叫做计算机硬件子系统,是看得见摸得着的实体,是计算机工…
阅读更多...
华工的各类型PPT模板

华工的各类型PPT模板

华工的各类型PPT模板，包括原创的PPT及改良内容的PPT，适合科研/比赛/组会汇报等 前言各种毕业答辩夏令营答辩复试答辩奖学金答辩比赛/项目答辩组会汇报 前言 设计不易，排版不易，内容编排不易 待更新项目1 原创声明：不经…
阅读更多...
【论文阅读】（2006）Dual-Optimal Inequalities for Stabilized Column Generation

【论文阅读】（2006）Dual-Optimal Inequalities for Stabilized Column Generation

文章目录 摘要一、介绍二、对偶最优不等式（Dual-Optimal Inequalities）三、确定P的最优原始解四、二元切割下料问题4.1 约束聚合4.2 相等约束4.3 计算结果 五、切割下料问题5.1 计算结果 六、三元组的深度对偶最优不等式（Deep Dual-Optimal I…
阅读更多...
C/C++ 乘积尾零问题（蓝桥杯）

C/C++ 乘积尾零问题（蓝桥杯）

如下的10行数据，每行有10个整数，请你求出它们的乘积的末尾有多少个零？ 5650，4542 3554 473 946 4114 3871 9073 90 4329 2758 7949 6113 5659 5245 7432 3051 4434 6704 3594 9937 1173 6866 3397 4759 7557 3070 2287 1453 9899…
阅读更多...
代码随想录算法训练营第三十六天｜435. 无重叠区间， 763.划分字母区间， 56. 合并区间

代码随想录算法训练营第三十六天｜435. 无重叠区间， 763.划分字母区间， 56. 合并区间

435. 无重叠区间 - LeetCode 思路： 本题是一个去除重叠区间的问题， 首先按照区间的 end_point 排序， 从第二个区间开始， 如果第二个区间和第一个区间有交集， 就要移除第二个区间。 因为容易证明之后的区间区间如果和…
阅读更多...
做测试还是测试开发，选职业要慎重！

做测试还是测试开发，选职业要慎重！

【软件测试面试突击班】2024吃透软件测试面试最全八股文攻略教程，一周学完让你面试通过率提高90%！（自动化测试） 突然发现好像挺多人想投测开和测试的，很多人面试的时候也会被问到这几个职位的区别，然后有测…
阅读更多...
每日五道java面试题之mysql数据库篇（三）

每日五道java面试题之mysql数据库篇（三）

目录： 第一题. 百万级别或以上的数据如何删除？第二题. 前缀索引第三题. 什么是最左前缀原则？什么是最左匹配原则?第四题. B树和B树的区别第五题. 使用B树和B树好处 第一题. 百万级别或以上的数据如何删除？ 关于索引：…
阅读更多...
【设计】设计一个web版的数据库管理平台后端精要

【设计】设计一个web版的数据库管理平台后端精要

需求 springboot设计开发一个系统，在这个系统的数据库表中存放着2000个数据库实例，有MySQL、Oracle、sql server3种数据库类型，用户可以在页面上选择不同的实例，连接这些实例上的数据库，来执行业务sql 实现 Service…
阅读更多...
光伏储能MPPT控制系统如何进行浪涌静电保护？

光伏储能MPPT控制系统如何进行浪涌静电保护？

MPPT（Maximum Power Point Tracking）是太阳能电池板光伏发电系统中重要的一种控制技术。MPPT控制器能够实时侦测太阳能板的发电电压，并追踪最高电压电流值（VI），使系统以最大功率输出对蓄电池充电&#xff0…
阅读更多...
06 - ip route和route -n的区别

06 - ip route和route -n的区别

1 ip route和route -n的区别 ip route 和 route -n 都是用于查看和管理Linux系统路由表的命令。但下面是它们的区别： ip route：是Linux系统中的现代工具，它属于iproute2套件；它提供了更多的选项，可以更精确地控制路由表…
阅读更多...
使用git的小笔记

使用git的小笔记

平时工作中使用git存储项目代码， 常用的命令 拉取仓库代码 git clone http://100.100.100.100:9080/my_test/test.git 拉取到以后， 先切换到自己的分支 git checkout my_name 一顿魔改代码 然后 add 新增的文件或者修改的文件 git add * 然后提交 并写…
阅读更多...
【go从入门到精通】什么是go？为什么要选择go？

【go从入门到精通】什么是go？为什么要选择go？

go的出生： go语言（或Golang）是Google开发的开源编程语言，诞生于2006年1月2日下午15点4分5秒，于2009年11月开源，2012年发布go稳定版。Go语言在多核并发上拥有原生的设计优势，Go语言从底层原生支持…
阅读更多...
拦截大语言模型API调用 无需深究文档源码

拦截大语言模型API调用 无需深究文档源码

背景众多库致力于通过自动重构或创建提示符来优化大语言模型的输出。这些建库宣称能够使大语言模型的输出更加： 安全(例如：安全护栏) 可预测(例如：智能指导) 结构化(例如：指令生成器) 鲁棒(例如：语言链) … 或者针…
阅读更多...
如何在 Windows 上安装 ONLYOFFICE 文档 8.0

如何在 Windows 上安装 ONLYOFFICE 文档 8.0

使用社区版，您可以在本地服务器上安装 ONLYOFFICE 文档，并将在线编辑器与 ONLYOFFICE 协作平台或其他热门系统集成在一起。 ONLYOFFICE 文档是什么 ONLYOFFICE 文档是一个功能强大的文档编辑器，支持处理文本文档、电子表格、演示文稿、可填写…
阅读更多...
FPGA时序约束与分析--数据到达路径和数据需求路径

FPGA时序约束与分析--数据到达路径和数据需求路径

文章目录 前言一、定义二、时序模型三、公式推导前言 时序约束的定义–设计者根据实际的系统功能，通过时序约束的方式提出时序要求； FPGA 编译工具根据设计者的时序要求，进行布局布线；编译完成后， FPGA 编译工具还需要针对布局布线的结果，套用特定的时序模型（ FPGA 器件…
阅读更多...
Andorid 13 修改默认音量区间、默认音量值

Andorid 13 修改默认音量区间、默认音量值

Andorid 13 默认音量区间是 [0,15] ，默认音量 5。 需求是：音量区间为 [0,100] ，默认音量 30 。 找到对应产品的 device.mk ，添加如下 #default volume PRODUCT_PROPERTY_OVERRIDES \ro.config.media_vol_steps100 \ro.config.…
阅读更多...
无人机遥感在农林信息提取中的实现方法与GIS融合应用

无人机遥感在农林信息提取中的实现方法与GIS融合应用

在新一轮互联网信息技术大发展的现今，无人机、大数据、人工智能、物联网等新兴技术在各行各业都处于大爆发的前夜。为了将人工智能方法引入农业生产领域。首先在种植、养护等生产作业环节，逐步摆脱人力依赖；在施肥灌溉环节构建智慧节能系统&a…
阅读更多...
openlayers 路线规划 高德坐标转wgs84 wgs84转天地图

openlayers 路线规划 高德坐标转wgs84 wgs84转天地图

在https://blog.csdn.net/qq_36287830/article/details/136321365改善而来的 需要进行坐标转换 不转换你画的线和实际数据是无法一一对应的 会出现偏移 关键代码 模拟请求后获取到数据场景 fetch(./a.json).then(async (res) > {//等待数据格式化为Jsonlet json await res.…
阅读更多...
最新文章

Copyright @ 2022~2023