基于RV1126开发板实现自学习图像分类方案

1. 方案简介

       自学习：在识别前对物体图片进行模型学习，训练完成后通过算法分类得出图像的模型ID。

       方案设计逻辑流程图，方案代码分为分为两个业务流程，主体代码负责抓取、合成图像，算法代码负责训练和检测功能。

2. 快速上手

2.1 开发环境准备

       如果您初次阅读此文档，请阅读《入门指南/开发环境准备/Easy-Eai编译环境准备与更新》，并按照其相关的操作，进行编译环境的部署。

       在PC端Ubuntu系统中执行run脚本，进入EASY-EAI编译环境，具体如下所示。

cd ~/develop_environment
./run.sh

2.2 源码下载以及实例编译

       在EASY-EAI编译环境下创建存放源码仓库的管理目录：

cd /opt
mkdir EASY-EAI-Toolkit
cd EASY-EAI-Toolkit

       通过git工具，在管理目录内克隆远程仓库

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

   注：

* 此处可能会因网络原因造成卡顿，请耐心等待。

* 如果实在要在gitHub网页上下载，也要把整个仓库下载下来，不能单独下载本实例对应的目录

       进入到对应的例程目录执行编译操作，具体命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-selfLearning/
./build.sh

  注：

* 由于依赖库部署在板卡上，因此交叉编译过程中必须保持adb连接。

  注：

* 若build.sh脚本不带任何参数，则仅会拷贝solution编译出来的可执行文件。

* 若build.sh脚本带有cpres参数，则会把Release/目录下的所有资源都拷贝到开发板上。

* 若build.sh脚本带有clear参数，则会把build/目录和Release/目录删除。

2.3 模型获取

       【百度网盘】

       链接：百度网盘 请输入提取码

       提取码：0k7j

       本方案用到模型：classify.model

       直接把模型下载到本地Windows主机，复制。再进入PC端Ubuntu创建存放model目录：

cd /opt
mkdir model

       然后把模型从本地Windows主机粘贴到PC端Ubuntu中：

2.4 方案部署

       使用下方命令再次回到开发实例目录

cd /opt/EASY-EAI-Toolkit-C-Solution/solu-selfLearning/

       然后，将EASY-EAI编译环境的编译结果部署到板卡中（有两种方法）。

       方法一：通过执行以下命令手动部署【推荐】

cp Release/solu-* /mnt/userdata/Solu
cp Release/simhei.ttf /mnt/userdata/Solu

       方法二：在编译时加上编译参数自动部署

./build.sh cpres

       最后，将准备好的模型部署到板卡中（注意：模型要放到编译结果的同一目录中），执行命令如下所示。

cp /opt/model/classify.model /mnt/userdata/Solu

2.5 示例方案运行

       通过按键Ctrl+Shift+T创建一个新窗口，执行adb shell命令，进入板卡运行环境。

adb shell

       进入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

       运行例程命令如下所示：

./solu-selfLearning

2.6 运行效果

       运行打印如下：

       用摄像头对准训练物体，双击屏幕进行训练。一个模型训练5张图片，总共训练3个模型：

       训练完成后进入识别模式：

2.7 开机启动

       首先进入板卡环境，执行以下命令，在板卡上创建一个给本例程使用的应用目录：myapp

cd /userdata/apps/
mkdir myapp

       然后回到开发环境中，通过使用“2.4方案部署”类似的操作方法，把本例程所需要的全部文件，包含：编译结果，配置文件，模型等。部署到刚刚新建的myapp目录中。

       最后在板卡上创建一个run.sh脚本来管控用户所有需要的应用即可，《入门指南/应用程序开机自启动》会详细描述run.sh脚本该如何编写。

3. 代码解析

       方案主逻辑代码位于：EASY-EAI-Toolkit-C-Solution/ solu-selfLearning/src/main.cpp。代码实现主要通过调用我司的easyeai-api库快速实现自学习图像分类功能，代码主体分为主线程，算法分析子线程和按键模型训练回调。

3.1 组件库组成

       要实现自学习图像分类功能，需要使用到easyeai-api库的以下组件。

       模组信息如下所示。

组件头文件以及库路径描述
系统操作组件easyeai-api/common_api/system_opt提供线程操作函数
摄像头组件easyeai-api/peripheral_api/camera提供摄像头操作函数
显示屏组件easyeai-api/peripheral_api/display提供显示屏操作函数
自学习组件easyeai-api/algorithm_api/self_learning提供自学习操作函数
中文字库组件easyeai-api/common_api/font_engine提供中文显示操作函数
触摸屏组件easyeai-api/peripheral_api/touchscreen提供触摸屏操作函数

       这些组件通过CMakeLists.txt编译进工程，具体请看后续章节。

3.2 逻辑框图

       项目的整体逻辑框图如下所示。

3.3 主线程

       主线程处理的业务有：

  • 初始化外设；
  • 创建算法分析子线程；
  • 创建触摸屏回调函数
  • 抓图发送给到子线程；
  • 抓图、显示；

       本处附上主要的逻辑功能代码，其他辅助的、校验型的代码先忽略。

       组件初始化操作如下，本处调用RGB摄像头。

// 1.打开摄像头
ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90);
pbuf = NULL;
pbuf = (char *)malloc(IMAGE_SIZE);

       创建线程互斥锁以及线程，如下所示。

// 2.创建识别线程，以及图像互斥锁
pthread_mutex_init(&img_lock, NULL);
CreateNormalThread(detect_thread_entry, &result, &mTid);

       初始化显示屏，如下所示。

// 3.显示初始化
ret = disp_init(SCREEN_WIDTH, SCREEN_HEIGHT);

       抓取图像，调用clone操作。

// 4.(取流 + 显示)循环
pthread_mutex_lock(&img_lock);
ret = rgbcamera_getframe(pbuf);algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);

       调用显示图像，将分析的结果通过result标记出来。

// 写入文字
char label_text[50];
char label_text2[50];
if(1 == train_flag){/*识别模式*/memset(label_text, 0 , sizeof(label_text));memset(label_text2, 0 , sizeof(label_text2));sprintf(label_text, "训练结束，开始识别"); sprintf(label_text2, "模型ID：%d",result); 
}else{/*训练模式*/memset(label_text, 0 , sizeof(label_text));memset(label_text2, 0 , sizeof(label_text2));sprintf(label_text, "模型训练中，双击屏幕开始训练"); sprintf(label_text2, "模型ID：%d ， 训练次数：%d",mode_data , train_data_cnt); 
}
putText(image.data, image.cols, image.rows, label_text, 30, 30, color);
putText(image.data, image.cols, image.rows, label_text2, 30, 1000, color);
IplImage tmp = IplImage(image);
CvArr* arr = (CvArr*)&tmp;
CvRect rect1 = cvRect(20,300,680,680);
drawDashRect(arr,1,2,&rect1,CV_RGB(253,255,85),2);
disp_commit(image.data, IMAGE_SIZE);

3.4  触摸屏回调函数

       触摸屏回调函数，主要完成以下操作：

  • 判断有双击屏幕事件发生；
  • 延时监测是否图像缓冲区是否为空；
  • 不为空时，证明主函数已发送图像数据过来，执行图像获取操作；
  • 双击屏幕时，将主线程图像送入算法接口进行模型训练；

3.5 算法分析子线程

       算法分析子线程，主要完成以下操作：

  • 延时监测是否图像缓冲区是否为空；
  • 不为空时，证明主函数已发送图像数据过来，线程执行图像获取操作；
  • 调用模型分类分析函数；
  • 记录模型ID，用于主线程图像合成操作；

       延时监测是否有图像，操作如下所示。

if(algorithm_image.empty()) {usleep(5);continue;
}

       获取图像操作如下所示。

pthread_mutex_lock(&img_lock);
image = algorithm_image.clone();
pthread_mutex_unlock(&img_lock);

       调用模型分类函数，算法得到的目标结果记录于*share_para内，如下所示。

// 算法分析
*share_para = self_learning_inference(classify_ctx, image, train_data, train_data_count, k_value);

4. 开发指南

4.1 示例文件&目录结构

       Solution git仓库会随着产品迭代更新，不断新增解决方案代码，当前截图只作参考。

4.1.1 Solution git仓库目录介绍。

       Solution工程构成如下所示，由功能组件easyeai-api和各个解决方案构成。

       单个“solu-”开头的目录即为一个解决方案案例，代码内调用“EASY EAI-API”来满足某一实际应用场景的需求。      

       功能组件的描述如下所示，easyeai-api是经过高度封装的易用性组件接口，便于用户直接调用板卡资源。

功能组件目录组件子目录描述
功能组件easyeai-apialgorithm_api算法组件
common_api通用组件
media_api多媒体组件
netProtocol_api网络协议组件
peripheral_api外设硬件组件

4.1.2 解决方案最基本的目录构成。

       每个解决方案就是一个独立的项目，项目内包含部分如下所示，项目使用cmake构建自动编译部署。

       具体介绍如下所示。

组成部分描述
build.sh编译脚本，用于管理生成可执行文件后的部署准备工作，用户可自定义shell命令
CMakeLists.txt工程管理文件，用于组织整个工程结构，指导cmake生成Makefile
include用于存放第三方应用库、头文件目录等
src用于存放实现本方案需求的源代码
  • 增加已编译的第三方库，在include、libs目录内添加头文件和库文件；
  • 增加用户自定义的功能模块，推荐在src目录内增加；

       具体情况如下所示，第三方模块相关的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定义的功能模块为src/mySrcCode、src/mySrcCode2。

4.2 CMakeLists.txt文件解析

4.2.1 编译环境配置部分：

       第一部分为配置部分，配置部分如下所示。（获取当前方案目录、配置工具链、提取方案名称）：

       配置信息如下所示。

配置项描述
CMake要求版本cmake_minimum_required函数指定，要求的最低版本
CMAKE_SYSTEM_NAMEcmake的系统类型，交叉编译必须
CMAKE_CROSSCOMPILINGcmake是否启动交叉编译
cross.camkecamke_host_system_information获取平台信息，发现不是armv7l就导入当前平台的交叉编译配置。
project项目名由project函数指定

4.2.2 easyeai-api配置部分

       第二部分是引入我司的功能组件库（针对当前方案进行：配置EASY EAI API头文件目录、库文件目录以及配置库链接参数）：

       配置信息如下所示。

配置项描述
api_inc最终通过target_include_directories函数指定目标包含的头文件路径
link_directories由link_directories函数指定easyeai-api库所在路径
LINK_LIBRARIES由LINK_LIBRARIES函数指定easyeai-api库文件

4.2.3 第三方库配置部分

       第三部分配置第三方的库（针对当前方案进行：配置第三方头文件目录、库文件目录、配置第三方库链接参数以及配置源码目录）：

       配置信息如下所示。

配置项描述
custom_inc自定义变量custom_inc，最终通过target_include_directories函数指定目标包含的头文件路径，在源码include目录下
link_directories由link_directories函数指定第三方库所在路径
custom_libs自定义变量custom_libs，最终通过target_link_libraries函数指定目标引用的库链接参数
aux_source_directory自定义变量dir_srcs，用于添加工程代码以及自定义的个人代码

       例如添加个人库的目录组成方式如下所示。

        aux_source_directory的修改方式为：

aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

       或

aux_source_directory(./src dir_srcs)
aux_source_directory(./src/mySrcCode dir_srcs)
aux_source_directory(./src/mySrcCode2 dir_srcs)

4.2.4 本方案配置部分

       第四部分配置项目的编译信息，内容如下所示：

       配置项如下所示。

配置项描述
add_executable编译结果为${CURRENT_FOLDER}指定，即方案目录名；
编译的源文件为${dir_srcs}指定；
target_include_directories指定头文件的名字，由${api_inc}与${custom_inc}指定；
target_link_libraries指定额外的库，例如opencv的库等

4.3 build.sh编译脚本：

4.3.1 路径定位部分

       第一部分用于提取目录用于编译操作，内容如下所示：（进入build.sh脚本所在目录，并且提取当前目录绝对路径，提取当前目录名称）

4.3.2 清除编译部分

       第二部分清除操作，清除目录为build、Release，内容如下所示：（执行build.sh脚本时，带入了参数“clear”，则清空编译输出）

4.3.3 编译操作

       第三部分，编译直接调用cmake，内容如下所示：（重新编译，成部署目录，并把资源自动部署进板卡）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/76319.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

cat命令查看文件行数

cat命令查看文件行数

在Linux和Unix-like操作系统中，cat命令主要用于查看文件内容，而不是直接用来查看文件行数。如果你想要查看一个文件的行数，可以使用以下几种方法： 方法1：使用wc命令 wc（word count）命令可以用…
阅读更多...
git清理已经删除的远程分支

git清理已经删除的远程分支

目录 命令作用 使用场景 示例流程 注意事项 常见问题 git remote update origin --prune git remote update origin --prune 是一个 Git 命令，用于 更新本地远程跟踪分支 并 清理（删除）本地已失效的远程分支引用。以下是详细分解&#…
阅读更多...
NLP高频面试题（四十）——什么是 BitFit？

NLP高频面试题（四十）——什么是 BitFit？

BitFit（Bias-term Fine-tuning）是一种参数高效的微调方法，专注于在预训练模型中仅调整偏置项（bias term），而将其他参数保持不变。这种方法在自然语言处理领域，尤其是在中小规模数据集上，展现出了与全量微调相媲美的性能，同时显著减少了计算资源的消耗。 什么是 BitFi…
阅读更多...
Java-servlet（完结篇）过滤器乱码解决与监听器

Java-servlet（完结篇）过滤器乱码解决与监听器

Java-servlet（完结篇）过滤器乱码解决与监听器 前言一、过滤器乱码解决二、监听器1. HttpSessionListener2. ServletContextListener3. ServletRequestListener 三、监听器的使用场景Java-servlet 结语 前言 在之前的 Java Servlet 学习中，我…
阅读更多...
为了避免unboundLocalError和为什么X的值一直不变呢？

为了避免unboundLocalError和为什么X的值一直不变呢？

## 1.为了避免unboundLocalError 发生unboundLocalError！ def generate_integer(level):if level 1:X randint(1,9)return X这里出错的原因在于，一旦if 后面的条件没有成立，然后X根本没出生，然后你去使用它，这是有…
阅读更多...
opencv-python基础

opencv-python基础

一.opencv-python简述 其使用Numpy，所有OpenCV数组结构都转换为Numpy数组，是一个高度优化的数据库操作库。 二.环境安装 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python 三.基本概念 - 像素是图像的基本单元，每个…
阅读更多...
ReentrantLock 实现公平锁和非公平锁的原理！

ReentrantLock 实现公平锁和非公平锁的原理！

🌟我的其他文章也讲解的比较有趣😁，如果喜欢博主的讲解方式，可以多多支持一下，感谢🤗！ 🌟了解 ThreadLocal请看： ThreadLocal有趣讲解，小白也能听懂&#xff…
阅读更多...
NLP高频面试题（四十一）——什么是 IA3 微调？

NLP高频面试题（四十一）——什么是 IA3 微调？

随着大型语言模型的广泛应用，如何高效地将这些模型适配到特定任务中，成为了研究和工程实践中的重要课题。IA3（Infused Adapter by Adding and Adjusting）微调技术，作为参数高效微调的一种新颖方法，提供了在保持模型性能的同时，显著减少可训练参数数量的解决方案。 IA3 …
阅读更多...
swift菜鸟教程14（闭包)

swift菜鸟教程14（闭包)

一个朴实无华的目录 今日学习内容：1.Swift 闭包1.1闭包定义1.2闭包实例1.3闭包表达式1.3.1sorted 方法：据您提供的用于排序的闭包函数将已知类型数组中的值进行排序。1.3.2参数名称缩写：直接通过$0,$1,$2来顺序调用闭包的参数。1.3.3运算符函…
阅读更多...
蓝桥杯-蓝桥幼儿园(Java-并查集)

蓝桥杯-蓝桥幼儿园(Java-并查集)

并查集的核心思想 并查集主要由两个操作构成： Find：查找某个元素所在集合的根节点。并查集的特点是，每个元素都指向它自己的父节点，根节点的父节点指向它自己。查找过程中可以通过路径压缩来加速后续的查找操作，即将路…
阅读更多...
ruby内置全局变量

ruby内置全局变量

以下是 Ruby 中常见的 内置全局变量 及其用途的详细说明。这些变量以 $ 开头，由 Ruby 解释器自动管理，用于访问系统状态、异常、输入输出等核心信息。 一、异常处理相关 全局变量说明示例$!当前作用域最后抛出的异常对象（等同于 rescue >…
阅读更多...
tcp转串口

tcp转串口

windows 在 Windows 系统上，可以使用以下成熟的串口转 TCP 工具： HW VSP3 (HW Virtual Serial Port) 提供串口到 TCP/IP 的映射功能。支持虚拟串口和网络通信。下载地址：HW Group com0com com2tcp 开源工具，支持虚拟串口和 TCP…
阅读更多...
HTML视频和音频

HTML视频和音频

<video>元素 <video>元素用于在HTML文档中嵌入视频内容。 <video controls><source src"movie.mp4" type"video/mp4"><source src"movie.ogg" type"video/ogg">您的浏览器不支持 HTML5 video 标签。 …
阅读更多...
DeepSeek：重构办公效率的AI新范式

DeepSeek：重构办公效率的AI新范式

目录 一、效率跃迁的三重引擎 二、效率提升的量级突破 三、智能办公的范式转移 四、未来办公的效率奇点 当企业主面对堆积如山的文件审批、跨时区协作的沟通损耗、重复机械的数据整理时&#xff0c;是否想过这些场景正在吞噬团队的生产力&#xff1f;据麦肯锡研究显示&…
阅读更多...
redis 延迟双删

redis 延迟双删

Redis延迟双删是一种用于解决缓存与数据库数据一致性问题的策略&#xff0c;通常在高并发场景下使用。以下是其核心内容&#xff1a; 1. 问题背景 当更新数据库时&#xff0c;如果未及时删除或更新缓存&#xff0c;可能导致后续读请求仍从缓存中读取旧数据&#xff0c;造成数…
阅读更多...
Python设计模式：策略模式

Python设计模式：策略模式

1. 什么是策略模式 策略模式&#xff08;Strategy Pattern&#xff09;是一种行为型设计模式&#xff0c;它定义了一系列算法&#xff0c;将每个算法封装起来&#xff0c;并使它们可以互换。策略模式使得算法的变化独立于使用算法的客户。换句话说&#xff0c;策略模式允许在运…
阅读更多...
SpringBoot集成Ollama本地模型

SpringBoot集成Ollama本地模型

SpringBoot集成Ollama本地模型 目录 项目准备创建Ollama服务客户端创建控制器配置应用属性创建前端界面添加静态资源支持完整项目结构启动应用高级功能扩展部署注意事项性能优化 1. 项目准备 创建一个SpringBoot项目&#xff0c;可以使用Spring Initializr或IDE创建添加必要…
阅读更多...
ResNet改进(19)：基于PyTorch的ResNet改进方案详解：Mish激活+SPP模块+MixUp数据增强

ResNet改进(19)：基于PyTorch的ResNet改进方案详解：Mish激活+SPP模块+MixUp数据增强

1. 前言 ResNet作为深度学习领域里程碑式的网络架构，在图像分类等计算机视觉任务中表现出色。然而，随着研究的深入和技术的发展，原始的ResNet架构仍有改进空间。本文将详细介绍一种基于PyTorch的ResNet改进方案，该方案融合了Mish激活函数、SPP模块和MixUp数据增强等先进技…
阅读更多...
leetcode68.左右文本对齐

leetcode68.左右文本对齐

思路源自 leetcode-字符串篇 68题 文本左右对齐 难度高的模拟类型题目&#xff0c;关键点在于事先知道有多少单词要放在本行并且还要知道本行是不是最后一行&#xff08;最后一行需要全部单空格右对齐&#xff0c;不是最后一行就空格均摊&#xff09;&#xff0c;非最后一行的空…
阅读更多...
深入理解 Spring 的 MethodParameter 类

深入理解 Spring 的 MethodParameter 类

MethodParameter 是 Spring 框架中一个非常重要的类&#xff0c;它封装了方法参数&#xff08;或返回类型&#xff09;的元数据信息。这个类在 Spring MVC、AOP、数据绑定等多个模块中都有广泛应用。 核心功能 MethodParameter 主要提供以下功能&#xff1a; 获取参数类型信息…
阅读更多...
最新文章

Copyright @ 2022~2023