厨房油烟机联动控制：识别烹饪动作自动开关

厨房油烟机联动控制：基于视觉识别的烹饪动作自动开关系统

引言：从智能厨房到自动化控制的演进

随着智能家居生态的不断成熟，用户对厨房场景的智能化体验提出了更高要求。传统油烟机依赖手动操作或简单的声控、感应开关，存在响应滞后、误触发率高、无法区分真实烹饪行为等问题。如何让设备“理解”用户是否正在炒菜、煎炸或仅是开火预热？这正是计算机视觉技术可以发挥核心价值的场景。

阿里云近期开源的「万物识别-中文-通用领域」模型为这一问题提供了高效解决方案。该模型基于大规模中文标注数据训练，在通用物体与行为识别任务中表现出色，尤其擅长识别厨房常见器具（如锅、铲、油瓶）及典型动作（如翻炒、倒油）。本文将围绕该模型构建一套完整的厨房油烟机联动控制系统——通过摄像头实时捕捉厨房画面，自动判断是否进入“有效烹饪”状态，并据此控制油烟机启停。

本方案属于典型的实践应用类技术落地项目，涵盖环境配置、模型调用、逻辑判断与硬件联动等完整链路，具备高度可复现性与工程参考价值。

技术选型与系统架构设计

为什么选择“万物识别-中文-通用领域”模型？

在实现自动控制前，我们首先需要一个能准确理解厨房场景的“眼睛”。当前主流图像识别方案包括：

| 方案 | 优势 | 劣势 | 是否适合本场景 | |------|------|------|----------------| | 自建CNN分类器 | 可定制化强 | 需大量标注数据，泛化能力弱 | ❌ | | YOLO系列目标检测 | 实时性好，定位精准 | 中文语义支持弱，需额外后处理 | ⭕ | | CLIP多模态模型 | 跨模态理解能力强 | 推理资源消耗大，延迟高 | ⭕ | |万物识别-中文-通用领域| 中文标签友好、轻量级、开箱即用 | 依赖官方API或本地部署包 | ✅ |

该模型由阿里团队针对中文使用习惯优化，输出结果直接返回如“正在翻炒”、“锅具已放置”、“高温油炸”等语义清晰的中文标签，极大降低了后续逻辑判断的复杂度。

系统整体架构

[摄像头采集] ↓ [图像帧输入] → [万物识别模型推理] → [行为语义解析] ↓ [控制决策引擎] ↓ [MQTT/继电器 → 油烟机]

前端感知层：普通1080P摄像头，每3秒抓取一帧（避免频繁请求）
AI推理层：本地运行PyTorch模型，保障隐私与低延迟
控制逻辑层：基于识别结果组合判断是否开启油烟机
执行层：通过GPIO或Wi-Fi模块发送开关指令

环境准备与依赖配置

根据项目需求，我们需要在指定环境中正确加载模型和依赖库。

# 1. 激活conda环境（假设已预装） conda activate py311wwts # 2. 查看依赖列表（位于/root目录） cat /root/requirements.txt

预期输出包含以下关键依赖：

torch==2.5.0 torchvision==0.16.0 opencv-python==4.9.0 numpy==1.26.0 Pillow==10.0.0

若缺少依赖，请手动安装：

pip install -r /root/requirements.txt

注意：由于模型为阿里开源但未发布至PyPI，需确认/root下已包含模型权重文件（如wwts_model.pth）及推理脚本推理.py。

核心代码实现：从图像输入到行为识别

我们将分步解析推理.py的核心逻辑，并提供完整可运行代码。

步骤1：图像读取与预处理

import cv2 import torch from PIL import Image import numpy as np def load_image(image_path): """加载并预处理图像""" img = cv2.imread(image_path) if img is None: raise FileNotFoundError(f"无法读取图像: {image_path}") # BGR to RGB rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) pil_img = Image.fromarray(rgb_img) return pil_img

步骤2：加载预训练模型

假设模型结构定义如下（实际应以官方文档为准）：

from torchvision import models class WWTSClassifier(torch.nn.Module): def __init__(self, num_classes=1000): super().__init__() self.backbone = models.resnet50(weights=None) self.backbone.fc = torch.nn.Linear(2048, num_classes) def forward(self, x): return self.backbone(x) # 加载权重 model = WWTSClassifier(num_classes=128) # 假设输出128维特征 state_dict = torch.load('/root/wwts_model.pth', map_location='cpu') model.load_state_dict(state_dict) model.eval()

步骤3：定义标签映射表（中文语义）

# 示例标签映射（需根据实际模型输出调整） LABEL_MAP = { 0: "空灶台", 1: "已放锅具", 2: "正在翻炒", 3: "正在倒油", 4: "高温油炸", 5: "煮汤中", 6: "蒸制食物", 7: "关闭火源" }

步骤4：推理函数封装

from torchvision import transforms transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) def predict(image_path, model, label_map): image = load_image(image_path) input_tensor = transform(image).unsqueeze(0) # 添加batch维度 with torch.no_grad(): output = model(input_tensor) pred_idx = output.argmax(dim=1).item() confidence = torch.softmax(output, dim=1)[0][pred_idx].item() label = label_map.get(pred_idx, "未知") return label, confidence

完整推理脚本`推理.py`

import torch import cv2 from PIL import Image import numpy as np from torchvision import transforms, models import argparse # --- 模型定义 --- class WWTSClassifier(torch.nn.Module): def __init__(self, num_classes=128): super().__init__() self.backbone = models.resnet50(weights=None) self.backbone.fc = torch.nn.Linear(2048, num_classes) def forward(self, x): return self.backbone(x) # --- 标签映射 --- LABEL_MAP = { 0: "空灶台", 1: "已放锅具", 2: "正在翻炒", 3: "正在倒油", 4: "高温油炸", 5: "煮汤中", 6: "蒸制食物", 7: "关闭火源" } # --- 图像加载 --- def load_image(image_path): img = cv2.imread(image_path) if img is None: raise FileNotFoundError(f"无法读取图像: {image_path}") rgb_img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) return Image.fromarray(rgb_img) # --- 预处理与推理 --- transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) def predict(image_path, model): image = load_image(image_path) input_tensor = transform(image).unsqueeze(0) with torch.no_grad(): output = model(input_tensor) pred_idx = output.argmax(dim=1).item() confidence = torch.softmax(output, dim=1)[0][pred_idx].item() label = LABEL_MAP.get(pred_idx, "未知") return label, confidence # --- 主函数 --- if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--image", type=str, required=True, help="输入图像路径") args = parser.parse_args() # 加载模型 model = WWTSClassifier(num_classes=128) model.load_state_dict(torch.load("/root/wwts_model.pth", map_location="cpu")) model.eval() # 执行推理 try: label, conf = predict(args.image, model) print(f"识别结果: {label} (置信度: {conf:.3f})") # 判断是否需要开启油烟机 cooking_actions = ["正在翻炒", "正在倒油", "高温油炸"] if label in cooking_actions and conf > 0.7: print("✅ 触发条件满足，发送开机信号") # 此处可接入MQTT或GPIO控制 else: print("❌ 无需开启油烟机") except Exception as e: print(f"推理失败: {str(e)}")

实践中的关键问题与优化策略

问题1：模型路径与工作区切换

原始脚本默认读取根目录图片，建议复制到工作区便于调试：

cp /root/推理.py /root/workspace/ cp /root/bailing.png /root/workspace/

修改后的调用方式：

cd /root/workspace python 推理.py --image bailing.png

问题2：动态阈值控制防误判

单纯依赖单次识别易受噪声干扰，引入滑动窗口机制：

def should_turn_on_oil_hood(history_labels, threshold=2): """连续N次检测到烹饪动作才触发""" cooking_count = sum(1 for lbl in history_labels if lbl in ["正在翻炒", "高温油炸"]) return cooking_count >= threshold

问题3：降低CPU占用率

每秒频繁推理会造成资源浪费，建议设置采样间隔：

import time while True: label, conf = predict(current_frame_path, model) process_control_signal(label, conf) time.sleep(3) # 每3秒检测一次

问题4：边缘设备部署优化

对于嵌入式设备（如树莓派），可进行以下优化： - 使用torch.jit.script导出为TorchScript - 量化模型：torch.quantization.quantize_dynamic- 更换主干网络为MobileNetV3

控制逻辑设计：从识别到执行

真正的智能不仅在于“看得懂”，更在于“做得对”。

决策规则表

| 识别标签 | 置信度≥0.7 | 是否启动油烟机 | 备注 | |--------|------------|----------------|------| | 正在翻炒 | 是 | ✅ | 高优先级 | | 高温油炸 | 是 | ✅ | 易产生油烟 | | 正在倒油 | 是 | ⚠️ | 结合温度传感器判断 | | 已放锅具 | 是 | ❌ | 未开始加热 | | 空灶台 | 是 | ❌ | 关闭设备 |

联动控制接口示例（MQTT）

import paho.mqtt.client as mqtt def send_control_command(device_id, action): client = mqtt.Client() client.connect("broker.hivemq.com", 1883, 60) payload = {"device": device_id, "action": action} client.publish("kitchen/fan/control", str(payload)) client.disconnect()

当识别到“正在翻炒”时调用：