加盟企业网站建设目的,wordpress小工具音乐,WordPress dos漏洞,关键词查询工具1. 前言 上篇文章#xff0c;我们已经将人像分割的ncnn-android-yolov8-seg项目运行起来了#xff0c;后续文章我们会抽取出Demo中的核心代码#xff0c;在自己的项目中#xff0c;来接入人体识别和人像分割功能。 先来看下效果#xff0c;整个图像的是相机的原图#…1. 前言 上篇文章我们已经将人像分割的ncnn-android-yolov8-seg项目运行起来了后续文章我们会抽取出Demo中的核心代码在自己的项目中来接入人体识别和人像分割功能。 先来看下效果整个图像的是相机的原图左上角部分是我们进行人像识别、人像分割后处理得到的图像 (未做镜像处理所以暂时和原图左右是相反的) 那我们要怎么在自己的项目中实现人像分割功能呢 ? 我们看ncnn-android-yolov8-seg的源码可以发现 这个项目里的相机也是用c/c但是在我们项目中使用的Java层的Camera API来实现的。要想在自己项目里集成ncnn那就需要把ncnn-android-yolov8-seg里的核心代码给抽离然后对接到Java的Camera API中。 那需要怎么做呢 ? 接下来我们先来看一下它的源码 2. 源码分析 首先我们来分析一下 Digital2Slave/ncnn-android-yolov8-seg Demo 中的源码 2.1 加载模型 加载模型是在Java_com_tencent_yolov8ncnn_Yolov8Ncnn_loadModel方法中这里附上源码 JNIEXPORT jboolean JNICALL Java_com_tencent_yolov8ncnn_Yolov8Ncnn_loadModel(JNIEnv* env, jobject thiz, jobject assetManager, jint modelid, jint cpugpu) {if (modelid 0 || modelid 6 || cpugpu 0 || cpugpu 1){return JNI_FALSE;}AAssetManager* mgr AAssetManager_fromJava(env, assetManager);__android_log_print(ANDROID_LOG_DEBUG, ncnn, loadModel %p, mgr);const char* modeltypes[] {n,s,};const int target_sizes[] {320,320,};const float mean_vals[][3] {{103.53f, 116.28f, 123.675f},{103.53f, 116.28f, 123.675f},};const float norm_vals[][3] {{ 1 / 255.f, 1 / 255.f, 1 / 255.f },{ 1 / 255.f, 1 / 255.f, 1 / 255.f },};const char* modeltype modeltypes[(int)modelid];int target_size target_sizes[(int)modelid];bool use_gpu (int)cpugpu 1;// reload{ncnn::MutexLockGuard g(lock);if (use_gpu ncnn::get_gpu_count() 0){// no gpudelete g_yolo;g_yolo 0;}else{if (!g_yolo)g_yolo new Yolo;g_yolo-load(mgr, modeltype, target_size, mean_vals[(int)modelid], norm_vals[(int)modelid], use_gpu);}}return JNI_TRUE; }2.1.1 modelid : 选择某个模型 根据modelid来选择modeltypes中具体的某个模型。 const char* modeltypes[] {n,s, }; const char* modeltype modeltypes[(int)modelid];这里的模型类别是和项目中asserts文件夹下的模型对应的yolov8是个模型簇从小到大包括yolov8n、yolov8s、yolov8m、yolov8l、yolov8x等。 通常yolov8n速度最快具体见下表 2.1.2 cpugpu : 使用CPU或GPU 接着来看Java_com_tencent_yolov8ncnn_Yolov8Ncnn_loadModel方法 还有一个参数cpugpu是用来决定使用CPU还是GPU0为CPU1为GPU。 bool use_gpu (int)cpugpu 1;2.1.3 初始化模型 最后调用g_yolo-load()来初始化模型 g_yolo-load(mgr, modeltype, target_size, mean_vals[(int)modelid], norm_vals[(int)modelid], use_gpu);2.2 操作相机 ncnn-android-yolov8-seg Demo中的相机操作都是通过NDK的Camera API来完成的 static MyNdkCamera* g_camera 0;JNIEXPORT jint JNI_OnLoad(JavaVM* vm, void* reserved) {__android_log_print(ANDROID_LOG_DEBUG, ncnn, JNI_OnLoad);g_camera new MyNdkCamera;return JNI_VERSION_1_4; }2.2.1 打开相机 打开相机就是调用g_camera-open() JNIEXPORT jboolean JNICALL Java_com_tencent_yolov8ncnn_Yolov8Ncnn_openCamera(JNIEnv* env, jobject thiz, jint facing) {if (facing 0 || facing 1)return JNI_FALSE;__android_log_print(ANDROID_LOG_DEBUG, ncnn, openCamera %d, facing);g_camera-open((int)facing);return JNI_TRUE; }2.2.2 关闭相机 关闭相机是调用g_camera-close() JNIEXPORT jboolean JNICALL Java_com_tencent_yolov8ncnn_Yolov8Ncnn_closeCamera(JNIEnv* env, jobject thiz) {__android_log_print(ANDROID_LOG_DEBUG, ncnn, closeCamera);g_camera-close();return JNI_TRUE; }2.3 人体检测 人体检测是和NDK的Camera相关联的在相机回调的on_image_render方法中完成了人体检测 2.3.1 on_image_render : 进行人体检测 来看一下on_image_render的源码主要是通过g_yolo-detect()进行人体检测g_yolo-draw()标注人体位置用框框出来。 void MyNdkCamera::on_image_render(cv::Mat rgb) const {// nanodet{ncnn::MutexLockGuard g(lock);//cv::resize()if (g_yolo){__android_log_print(ANDROID_LOG_DEBUG, myncnn, g_yolo:true);auto start std::chrono::high_resolution_clock::now();std::vectorObject objects;g_yolo-detect(rgb, objects); //人体检测start std::chrono::high_resolution_clock::now();g_yolo-draw(rgb, objects); //标注人体位置用框框出来}else{__android_log_print(ANDROID_LOG_DEBUG, myncnn, g_yolo:false);draw_unsupported(rgb);}}draw_fps(rgb); //绘制当前多少帧率 }2.3.2 on_image_render 什么时候被调用 ? 那么on_image_render方法是什么时候被调用的呢 ? 来看ndkcamera.cpp中的on_image方法 可以看到这里会对NV21图像做裁剪和旋转操作再转成RGB格式然后才传递给on_image_render()方法处理 // crop and rotate nv21 cv::Mat nv21_croprotated(roi_h roi_h / 2, roi_w, CV_8UC1); {const unsigned char* srcY nv21 nv21_roi_y * nv21_width nv21_roi_x;unsigned char* dstY nv21_croprotated.data;ncnn::kanna_rotate_c1(srcY, nv21_roi_w, nv21_roi_h, nv21_width, dstY, roi_w, roi_h, roi_w, rotate_type);const unsigned char* srcUV nv21 nv21_width * nv21_height nv21_roi_y * nv21_width / 2 nv21_roi_x;unsigned char* dstUV nv21_croprotated.data roi_w * roi_h;ncnn::kanna_rotate_c2(srcUV, nv21_roi_w / 2, nv21_roi_h / 2, nv21_width, dstUV, roi_w / 2, roi_h / 2, roi_w, rotate_type); }// nv21_croprotated to rgb cv::Mat rgb(roi_h, roi_w, CV_8UC3); ncnn::yuv420sp2rgb(nv21_croprotated.data, roi_w, roi_h, rgb.data);on_image_render(rgb);2.3.3 人体检测的流程 也就是说从相机中得到的NV21数据会先进行旋转然后转成RGB格式再交由g_yolo-detect()进行人体检测通过g_yolo-draw()来标注人体位置。 到这里我们核心源码就分析的差不多了那我们怎么将该功能集成到自己的项目中呢 ? 我们在下一篇文章中来实现下 : Android 在自己的项目接入OpenCVYOLOv8NCNN实现人像分割-CSDN博客。 3. Android 人像识别 系列文章 OpenCV相关 Visual Studio 2022 cmake配置opencv开发环境_opencv visualstudio配置_氦客的博客-CSDN博客在Visual Studio上使用OpenCV实现人脸识别_氦客的博客-CSDN博客Android Studio 接入OpenCV并实现灰度图效果_氦客的博客-CSDN博客Android 使用OpenCV实现实时人脸识别并绘制到SurfaceView上_氦客的博客-CSDN博客 NCNNYOLO8相关 Android 导入ncnn-android-yolov8-seg : 实现人体识别和人像分割-CSDN博客Android ncnn-android-yolov8-seg源码解析 : 实现人像分割-CSDN博客Android 在自己的项目接入OpenCVYOLOv8NCNN实现人像分割-CSDN博客