零售商品识别实战：用阿里开源模型搭建自动分类系统

在智能零售、无人货架、自动结算等场景中，快速准确地识别商品类别是实现自动化运营的核心能力。传统方案依赖人工标注或规则匹配，效率低、扩展性差。随着深度学习技术的发展，尤其是预训练视觉模型的成熟，我们可以通过端到端的图像识别方式，实现对上千种零售商品的高效分类。

本文将基于阿里巴巴开源的“万物识别-中文-通用领域”模型，手把手带你搭建一个可落地的零售商品自动分类系统。我们将从环境配置、模型调用到实际推理全流程实践，并提供完整可运行代码，帮助你在本地或云端快速部署该能力。

什么是“万物识别-中文-通用领域”？

“万物识别-中文-通用领域”是阿里巴巴达摩院推出的一款面向中文场景的通用图像识别模型，属于其“通义”系列视觉大模型的一部分。该模型具备以下核心特点：

支持中文标签输出：直接返回中文类目名称（如“矿泉水”、“薯片”、“洗发水”），无需额外翻译
覆盖广泛品类：涵盖日常消费品、食品饮料、日用品、家电等多个零售相关领域
高精度轻量化设计：在保持较高识别准确率的同时，适配边缘设备和服务器部署
开放可用：通过阿里云ModelScope平台开源，支持离线部署与本地推理

技术定位：该模型并非专为零售定制，但因其对常见商品具有良好的泛化能力，非常适合用于非标品初筛、货架盘点、智能推荐辅助等轻量级应用场景。

环境准备与依赖管理

本项目基于 PyTorch 框架构建，使用 Python 作为主要开发语言。根据提供的信息，系统已预装所需依赖包列表（位于/root/requirements.txt或类似路径）。以下是完整的环境初始化流程。

✅ 基础环境说明

| 组件 | 版本 | |------|-------| | Python | 3.11 | | PyTorch | 2.5 | | CUDA | 可选（若使用GPU） | | ModelScope | 最新版本 |

提示：ModelScope 是阿里推出的模型开放平台，提供了大量预训练模型的加载接口，本项目依赖此库加载“万物识别”模型。

🔧 环境激活与依赖安装

# 1. 激活指定conda环境 conda activate py311wwts # 2. 安装必要的Python依赖（假设requirements.txt存在） pip install -r /root/requirements.txt # 推荐包含的关键包： # modelscope # torch # torchvision # pillow # numpy

确保安装完成后能正常导入from modelscope.pipelines import pipeline，否则可能需要手动升级：

pip install --upgrade modelscope

实现步骤详解：从零跑通一次商品识别

接下来进入核心实践环节。我们将分步完成以下任务：

复制示例文件至工作区
编写并修改推理脚本
上传测试图片
执行推理并分析结果

步骤一：复制文件到工作区便于编辑

默认脚本推理.py和测试图bailing.png存放于/root目录下。建议将其复制到更易操作的工作目录（如/root/workspace），方便后续调试。

cp /root/推理.py /root/workspace/ cp /root/bailing.png /root/workspace/

复制后，请务必修改脚本中的图片路径指向新位置。

步骤二：编写推理脚本`推理.py`

下面是一个完整可运行的商品识别推理脚本，适用于“万物识别-中文-通用领域”模型。

# -*- coding: utf-8 -*- """ 推理.py - 使用阿里开源模型进行零售商品图像分类 """ from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks from modelscope.outputs import OutputKeys import cv2 import os # 设置路径（请根据实际情况修改） IMAGE_PATH = "/root/workspace/bailing.png" # 修改为你上传的图片路径 MODEL_NAME = 'damo/cv_resnet50_image-classification_1000' def load_and_infer(): """ 加载模型并执行图像分类推理 """ if not os.path.exists(IMAGE_PATH): print(f"❌ 图片未找到：{IMAGE_PATH}") return # 构建图像分类pipeline infer_pipeline = pipeline( task=Tasks.image_classification, model=MODEL_NAME ) # 读取图像 image = cv2.imread(IMAGE_PATH) if image is None: print("❌ 图像读取失败，请检查格式是否支持") return print(f"✅ 正在识别图片：{os.path.basename(IMAGE_PATH)}") # 执行推理 result = infer_pipeline(image) # 输出结果 scores = result[OutputKeys.SCORES] labels = result[OutputKeys.LABELS] print("\n🔍 识别结果 top-5：") for i, (label, score) in enumerate(zip(labels, scores)): print(f"{i+1}. {label} (置信度: {score:.3f})") if __name__ == "__main__": load_and_infer()

📌 脚本关键点解析

| 代码段 | 功能说明 | |--------|----------| |Tasks.image_classification| 指定任务类型为图像分类 | |damo/cv_resnet50_image-classification_1000| 阿里官方发布的通用图像分类模型ID | |cv2.imread()| 使用 OpenCV 读取图像，兼容性优于 PIL | |result[OutputKeys.LABELS]| 获取中文标签列表（模型自动返回） | |result[OutputKeys.SCORES]| 获取对应类别的置信度分数 |

⚠️ 注意事项： - 若使用其他模型（如更大规模的 ResNet101 或 Vision Transformer），需替换MODEL_NAME- 图像尺寸应符合模型输入要求（通常为 224x224） - 支持 JPG/PNG/BMP 等常见格式

步骤三：上传自定义测试图片

你可以通过 JupyterLab、VS Code Server 或命令行工具上传自己的商品图片（如milk.jpg,chips.png等）到/root/workspace/。

上传后，记得更新脚本中的IMAGE_PATH变量：

IMAGE_PATH = "/root/workspace/milk.jpg"

步骤四：运行推理脚本

切换到工作目录并执行：

cd /root/workspace python 推理.py

示例输出（以瓶装水为例）

✅ 正在识别图片：bailing.png 🔍 识别结果 top-5： 1. 矿泉水 (置信度: 0.987) 2. 饮用水 (置信度: 0.892) 3. 塑料瓶 (置信度: 0.761) 4. 饮料 (置信度: 0.634) 5. 包装水 (置信度: 0.512)

可以看到，模型不仅正确识别出“矿泉水”，还给出了多个语义相近的候选标签，体现了其良好的上下文理解能力。

实际应用中的优化策略

虽然开箱即用的效果已经不错，但在真实零售场景中仍需进一步优化以提升鲁棒性和实用性。

🛠️ 1. 添加图像预处理增强识别稳定性

商品拍摄角度、光照条件、遮挡等因素会影响识别效果。可通过简单预处理提升表现：

import cv2 def preprocess_image(image_path): image = cv2.imread(image_path) if image is None: return None # 调整大小至模型输入标准 image = cv2.resize(image, (224, 224)) # 白平衡校正（改善偏色） image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) return image

然后传入infer_pipeline(preprocess_image(IMAGE_PATH))

🧩 2. 构建商品白名单过滤机制

由于模型输出的是通用类别，可能存在歧义（如“饮料” vs “碳酸饮料”）。可在后端添加映射表进行归一化：

CATEGORY_MAPPING = { "矿泉水": "water", "饮用水": "water", "可乐": "cola", "雪碧": "sprite", "薯片": "chips", "饼干": "biscuit" } def map_to_internal_category(label): for keyword, internal in CATEGORY_MAPPING.items(): if keyword in label: return internal return "other" # 默认未知类别

这样可以将原始中文标签转化为系统内部统一编码，便于后续业务逻辑处理。

📊 3. 批量推理与性能监控

对于多图批量处理，建议采用批处理模式提高吞吐量：

results = infer_pipeline([img1, img2, img3]) # 批量输入 for idx, res in enumerate(results): print(f"图片 {idx+1}: {res[OutputKeys.LABELS][0]}")

同时记录平均响应时间、Top-1 准确率等指标，用于持续评估模型在线服务质量。

常见问题与解决方案（FAQ）

| 问题现象 | 原因分析 | 解决方法 | |--------|---------|---------| | 报错ModuleNotFoundError: No module named 'modelscope'| 未安装 ModelScope 库 | 运行pip install modelscope| | 图像读取失败 | 路径错误或格式不支持 | 检查路径是否存在，使用.jpg/.png格式 | | 返回英文标签 | 使用了非中文版模型 | 确认模型 ID 是否为中文通用模型 | | 识别结果不准 | 商品不在训练集中或拍摄质量差 | 尝试补光、正视拍摄、增加样本微调 | | GPU 显存不足 | 模型较大或批次过多 | 设置device='cpu'或减小 batch size |

💡 提示：可通过设置环境变量强制使用 CPU：
python import os os.environ['CUDA_VISIBLE_DEVICES'] = '' # 不使用GPU

如何扩展为完整商品识别服务？

当前实现为单机脚本模式，若要投入生产环境，建议做如下升级：

🏗️ 1. 封装为 REST API 服务

使用 Flask/FastAPI 暴露 HTTP 接口：

from flask import Flask, request, jsonify app = Flask(__name__) infer_pipeline = pipeline(task=Tasks.image_classification, model=MODEL_NAME) @app.route('/classify', methods=['POST']) def classify(): file = request.files['image'] image = cv2.imdecode(np.frombuffer(file.read(), np.uint8), cv2.IMREAD_COLOR) result = infer_pipeline(image) return jsonify({ 'labels': result[OutputKeys.LABELS][:3], 'scores': result[OutputKeys.SCORES][:3] })

启动后即可通过 POST 请求调用识别服务。