MindSpore开发之路：MindSpore Lite实战：在端侧部署AI应用

1. 前言

在上一篇文章中，我们成功地将一个PyTorch模型转换为了MindSpore Lite专用的.ms格式。现在，我们终于来到了最激动人心的环节——将这个模型部署到真实的移动设备上，赋予App以AI的能力。

本文将以Android平台为例，通过一个图像分类的Demo，手把手带你走完端侧推理的“最后一公里”。我们将详细讲解如何在Android项目中集成MindSpore Lite、加载模型、处理数据、执行推理并最终展示结果。虽然我们不会涉及完整的App UI构建，但会提供核心的、可直接复用的Java/Kotlin代码逻辑。

2. 端侧推理的通用流程

无论是在Android还是iOS上，使用MindSpore Lite进行推理都遵循一个标准流程：

集成SDK：将MindSpore Lite的推理库（AAR for Android, Framework for iOS）集成到你的移动应用项目中。
加载模型：从App的资源或文件系统中读取.ms模型文件，构建一个Model实例。
准备输入：获取模型的输入Tensor信息（如数据类型、形状），并将你的原始输入数据（如Bitmap图片）预处理成符合模型要求的Tensor格式。
执行推理：调用model.predict()方法，传入预处理好的输入Tensor。
获取输出：从模型中获取输出Tensor。
后处理与展示：对输出Tensor进行解析（如执行Softmax、查找最大值索引），并将结果（如分类标签和置信度）显示在UI上。

3. Android实战：手写数字识别App核心逻辑

让我们以之前训练和转换的LeNet手写数字识别模型（lenet.ms）为例，看看如何在Android App中实现它。

3.1. 步骤一：集成MindSpore Lite AAR

首先，你需要从MindSpore官网下载适用于Android的MindSpore Lite发布包。解压后，你会找到一个名为mindspore-lite-*.aar的文件。

在Android Studio中，将这个.aar文件放入你的App模块的libs目录下。然后，在build.gradle文件中添加对它的依赖：

// app/build.gradle dependencies { // ... 其他依赖 implementation files('libs/mindspore-lite-2.2.11.aar') // 替换为你的AAR文件名 }

同时，将你的.ms模型文件（例如lenet.ms）放入app/src/main/assets目录下，这样App在运行时就可以访问它了。

3.2. 步骤二：封装一个推理帮助类

为了代码的整洁和复用，我们通常会创建一个帮助类（Helper Class）来封装所有与MindSpore Lite推理相关的操作。下面是一个使用Java编写的MindSporeDigitRecognition类的骨架。

import android.content.Context; import android.graphics.Bitmap; import com.mindspore.lite.Model; import com.mindspore.lite.MSTensor; import com.mindspore.lite.LiteSession; import com.mindspore.lite.config.MSConfig; import java.nio.ByteBuffer; import java.nio.ByteOrder; import java.util.ArrayList; import java.util.List; public class MindSporeDigitRecognition { private LiteSession session; private final int inputWidth = 32; private final int inputHeight = 32; // 构造函数：加载模型 public MindSporeDigitRecognition(Context context, String modelName) { // 1. 创建和配置 LiteSession MSConfig config = new MSConfig(); config.setDeviceType(DeviceType.DT_CPU); // 使用CPU推理 config.setThreadNum(2); // 使用2个线程 // 2. 从assets加载模型文件并构建Session session = LiteSession.createSession(modelName, context, config); if (session == null) { throw new IllegalStateException("Failed to create MindSpore Lite session."); } } // 预处理：将Bitmap转换为ByteBuffer private ByteBuffer preprocess(Bitmap bitmap) { // ... 实现见下文 } // 推理方法 public float[] predict(Bitmap bitmap) { // ... 实现见下文 } // 释放资源 public void release() { if (session != null) { session.release(); } } }

3.3. 步骤三：实现数据预处理

我们的LeNet模型需要一个[1, 1, 32, 32]尺寸、经过归一化的float32输入。因此，我们需要将用户提供的手写数字图片（Bitmap）进行相应的转换。

// 在 MindSporeDigitRecognition 类中 private ByteBuffer preprocess(Bitmap bitmap) { // 1. 将Bitmap缩放到32x32 Bitmap resizedBitmap = Bitmap.createScaledBitmap(bitmap, inputWidth, inputHeight, true); // 2. 分配一个ByteBuffer来存放模型输入数据 // 1 * 32 * 32 * 1 * 4 bytes (Batch, Height, Width, Channels, Float32) ByteBuffer inputBuffer = ByteBuffer.allocateDirect(1 * inputWidth * inputHeight * 1 * 4); inputBuffer.order(ByteOrder.nativeOrder()); inputBuffer.rewind(); int[] pixels = new int[inputWidth * inputHeight]; resizedBitmap.getPixels(pixels, 0, inputWidth, 0, 0, inputWidth, inputHeight); // 3. 遍历像素，进行灰度化和归一化 for (int pixelValue : pixels) { // 从ARGB中提取灰度值 (R, G, B分量是相同的) int gray = (pixelValue >> 16) & 0xFF; // 归一化到[0, 1]范围 float normalizedGray = gray / 255.0f; inputBuffer.putFloat(normalizedGray); } return inputBuffer; }

这段代码完成了缩放、灰度化和归一化三个关键步骤，并将最终的浮点数据写入了ByteBuffer，这正是MindSpore Lite可以直接使用的数据格式。

3.4. 步骤四：实现推理和后处理

这是最核心的部分。我们调用predict方法，然后解析其输出。

// 在 MindSporeDigitRecognition 类中 public float[] predict(Bitmap bitmap) { // 1. 预处理图片 ByteBuffer inputBuffer = preprocess(bitmap); // 2. 获取输入Tensor并填充数据 // 假设模型只有一个输入 MSTensor inputTensor = session.getInputs().get(0); inputTensor.setData(inputBuffer); // 3. 执行推理 if (!session.runGraph()) { System.err.println("MindSpore Lite runGraph failed."); return null; } // 4. 获取输出Tensor // 假设模型只有一个输出 MSTensor outputTensor = session.getOutputs().get(0); // 5. 获取输出数据并返回 // LeNet的输出是一个包含10个float值的数组，代表每个数字的logit return outputTensor.getFloatData(); }

在你的Activity或ViewModel中，你可以这样使用它：

// 在你的Activity中 private MindSporeDigitRecognition recognizer; // onCreate时初始化 recognizer = new MindSporeDigitRecognition(this, "lenet.ms"); // 当获取到用户绘制的Bitmap时 Bitmap userBitmap = getUserDrawingBitmap(); float[] logits = recognizer.predict(userBitmap); // 对logits进行后处理，找到最大值的索引 if (logits != null) { int maxIndex = -1; float maxProb = -Float.MAX_VALUE; for (int i = 0; i < logits.length; i++) { if (logits[i] > maxProb) { maxProb = logits[i]; maxIndex = i; } } // maxIndex 就是识别出的数字 (0-9) // 你可以在这里更新UI，显示结果 textViewResult.setText("识别结果: " + maxIndex); } // onDestroy时释放资源 @Override protected void onDestroy() { super.onDestroy(); if (recognizer != null) { recognizer.release(); } }

至此，一个完整的手写数字识别功能的核心逻辑就完成了！