什么是 电鱼智能 RK3576？

电鱼智能 RK3576是一款专为 AIoT 设计的中高端 SoC。它不仅拥有 4核 A72 + 4核 A53 的 CPU 和6TOPS NPU，更重要的是它集成了强大的RGA (Raster Graphic Acceleration)硬件和VPU。这些专有硬件单元共享同一块物理内存，为实现“零拷贝”提供了物理基础。

为什么要用异构架构优化 ROS2？ (瓶颈分析)

1. CPU 的“不可承受之重”

在传统 ROS2 流程中：Camera节点 (CPU拷贝)->DDS传输 (序列化)->AI节点 (反序列化)->预处理 (CPU Resize)->NPU 推理。

• 痛点：一张 1080P RGB 图片约 6MB。以 30FPS 计算，每秒数据吞吐量巨大。CPU 忙于搬运数据，导致 NPU 有劲使不出，系统帧率低。

2. 异构计算的解决方案

• 各司其职：CPU 负责逻辑控制（轻量）；NPU 负责 AI 推理（繁重）；RGA 负责图像缩放/格式转换（繁重）。

• 数据直通：利用 RK3576 的DRM/DMA-BUF机制，让 Camera 采集的数据直接存入物理连续内存，RGA 和 NPU 直接通过物理地址访问该内存，全程无 CPU 内存拷贝。

系统架构与数据流优化 (Optimization Architecture)

我们构建一条基于Shared Memory Transport的异构流水线：

1. 采集层 (Camera Node)：

   • 分配 DMA-BUF 内存（物理连续）。

   • 通过v4l2直接将图像数据 DMA 到该内存块。

   • 发布 ROS2 消息时，仅传递内存句柄（File Descriptor / Pointer），而非像素数据。

2. 预处理层 (RGA Hardware)：

   • RGA 直接读取 DMA-BUF，执行 Resize（如 1080P -> 640x640）和格式转换（NV12 -> RGB）。

   • 结果存入另一块 NPU 专用的 DMA-BUF。

3. 推理层 (NPU Node)：

   • 调用rknn_inputs_set的零拷贝接口，直接绑定预处理后的内存句柄。

   • NPU 执行推理，CPU 仅需读取极小的结果张量（如坐标框）。

关键技术实现 (Implementation)

1. ROS2 进程内通信 (Intra-process Communication)

首先，确保在同一个进程内运行 Camera 和 AI 节点（使用 Component 机制），并开启 ROS2 的零拷贝功能：

C++

// 在节点初始化时启用进程内通信 rclcpp::NodeOptions options; options.use_intra_process_comms(true); auto node = std::make_shared<MyNode>("npu_node", options);

2. NPU 零拷贝推理接口 (C++ / RKNN API)

这是 RK3576 优化的核心。不要使用普通的memcpy填充 NPU 输入，而是使用DMA 内存映射。

C++

// 逻辑示例：RK3576 NPU 零拷贝推理 #include "rknn_api.h" #include <sys/mman.h> // 假设 input_data_ptr 是通过 ROS2 借用消息机制获取的 DMA 内存指针 void inference_with_zero_copy(rknn_context ctx, void* input_dma_buf, int size) { // 1. 创建 NPU 内存对象 (基于物理地址或 DMA fd) rknn_tensor_mem* mem = rknn_create_mem(ctx, size); // 2. 将 ROS2 传递过来的数据句柄关联到 NPU 内存 // 注意：这里实际操作通常涉及 DRM 驱动分配的 fd mem->virt_addr = input_dma_buf; // rknn_import_mem(ctx, mem, ...); // 实际 API 需参考 Rockchip 文档 // 3. 设置输入 (Zero-Copy) // 告诉 NPU：数据已经在内存里了，不要再 malloc 和 memcpy 了！ rknn_input inputs[1]; inputs[0].index = 0; inputs[0].type = RKNN_TENSOR_UINT8; inputs[0].size = size; inputs[0].fmt = RKNN_TENSOR_NHWC; inputs[0].buf = mem->virt_addr; // 指向共享内存 rknn_inputs_set(ctx, 1, inputs); // 4. 执行推理 rknn_run(ctx, NULL); // ... 后处理 ... }

3. 利用 RGA 替代 OpenCV

OpenCV 的resize是 CPU 杀手。在 RK3576 上，必须用 RGA：

C++

// 逻辑示例：RGA 硬件加速预处理 #include "im2d.h" #include "rga.h" void hardware_preprocess(int src_fd, int dst_fd, int src_w, int src_h, int dst_w, int dst_h) { rga_buffer_t src = wrapbuffer_fd(src_fd, src_w, src_h, RK_FORMAT_YCbCr_420_SP); rga_buffer_t dst = wrapbuffer_fd(dst_fd, dst_w, dst_h, RK_FORMAT_RGB_888); // 硬件执行缩放与色彩转换，CPU 占用率几乎为 0 imresize(src, dst); }

性能表现 (优化对比)

常见问题 (FAQ)

1. 零拷贝只能在 C++ 中实现吗？Python 可以吗？

答：C++ 效果最佳。Python 的 ROS2 (rclpy) 虽然也在优化，但由于 Python 本身的内存管理机制（GIL、对象封装），很难实现纯粹的 DMA 级零拷贝。建议在感知和推理等高吞吐节点使用 C++。

2. 只有同一进程内才能零拷贝吗？

答：是的，这是 ROS2 intra-process 的机制。如果跨进程（Inter-process），虽然可以使用 Shared Memory（如 Iceoryx），但对于 NPU 物理地址的映射会变得极其复杂。因此，电鱼智能建议将 Camera 驱动节点和 NPU 推理节点编写为 ROS2 Components，加载到同一个 Container 进程中运行。

3. RGA 对图像格式有限制吗？

答：RGA 支持大多数常用格式（NV12, YUYV, RGB888 等），但要求内存地址对齐（通常是 16 字节或 64 字节对齐）。使用电鱼智能 SDK 提供的 librga 库分配内存会自动处理对齐问题。