多模态识别技术革新物品追踪流程

多模态识别技术：告别条形码的物流革新

条形码已使用近50年，虽然普及且可靠，但对某研究中心而言仍不够完善。在物流中心，员工需多次扫描物品条形码进行验证，这个过程需要人工拿起物品、定位条形码并扫描。有时条形码会损坏甚至缺失。

这种流程在数百万种不同形状尺寸的物品中重复进行，且难以自动化。目前尚无能够灵活处理仓库中任意物品并进行扫描的机器人。

解决方案是增强甚至取消条形码，或者更好的是完全摆脱低效的人工物品识别方式。某研究中心正在研究多模态识别技术，该技术利用多种信息模态（例如从物品图像中提取外观和尺寸特征）来实现自动识别。

技术实现原理

该项目已在汉堡和巴塞罗那的物流中心证明其价值，用于在传送带上标记虚拟物理不匹配的托盘（即托盘内物品与库存系统记录不符的情况）。虽然此类不匹配很少发生，但在大规模运营中会累积成显著问题。

"我们的终极愿景是将此技术应用于机器人操作，"某研究中心计算机视觉团队的应用科学经理表示，"解决这个问题，让机器人能够拾取和处理物品而无需寻找扫描条形码，是基础性的突破。这将帮助我们更快速准确地将包裹送达客户手中。多模态识别是实现这一目标的关键。"

技术开发历程

团队首先教授算法将物品与其照片匹配。但由于缺乏物流中心物品图像数据，第一步是在物流中心传送带上拍摄产品图像，建立图像库。

每张图像被转换为描述性数字列表（向量），物品尺寸也转化为向量。研究人员开发了机器学习算法来提取这些向量，并将其与候选物品的对应向量匹配。利用深度学习能力，团队在初始实验中惊喜地看到了75%到80%的匹配率。

"这对我们是一个重大飞跃，"该经理表示，"我们意识到这值得投入。"经过大量科学投入，多模态识别目前实现了接近99%的匹配率。

系统优势

高匹配率部分归功于库存系统能准确追踪每个物品在履行过程中的位置。算法无需将物品与数亿产品的整个目录匹配——这目前是不可能的任务。每个物品来自特定的料箱，每个料箱包含几十个产品，因此算法只需将物品与单个料箱内容匹配。

多模态识别技术首先在波兰什切青的物流中心试点，摄像头安装在单个传送线上方，拍摄"单一化"托盘（仅包含一个物品的托盘）的图像。单一化托盘更理想，因为识别单个物品比区分多个物品并尝试识别每个要容易得多。

未来展望

同时，摄像头持续为经过的每个物品添加到图像库中。"这些是我们后期改进系统所用的所有数据，"该项目的资深应用科学家表示，"我们免费获得数据，且不中断任何流程。"

这种学习过程至关重要。例如，多模态识别的初始启动遇到了意外挑战，部分原因是某促销活动。每小时有数百个智能音箱离开物流中心，它们有两种颜色：灰色和蓝色。算法无法区分它们。

"除了我们看不到的条形码外，包装几乎完全相同，"参与该项目的机器人AI应用科学家表示，"只有蓝色或灰色圆点的微小图像，我们的系统感到困惑。"

这导致了一个新的重要功能：每次识别都附带置信度评分。高分数表示潜在不匹配，相当于"不要让托盘通过"，而低分数等同于"我不确定这个，不要采取任何行动"。

未来，多模态识别可能集成到履行过程的其他组件中，尽管这样做存在障碍。在传送带上，照明和物品速度相对受控且恒定。如果人员拿起物品，手中识别涉及更多变量。员工的手可能使物品检测更具挑战性，取决于握持方式。此外，如果物品从左手传递到右手，必须更快识别。机器人研究人员正在努力解决这些挑战。

"在整个履行过程中使用多模态识别以加速和实现机器人自动化的愿景将会实现，"该经理表示，"当实现时，这将是我们更快速准确将包裹送达客户旅程中的又一步前进。"
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码