单目测距MiDaS教程：从图片到深度图全流程

1. 引言：AI 单目深度估计 - MiDaS

在计算机视觉领域，三维空间感知一直是实现智能交互、机器人导航、AR/VR等应用的核心能力。传统方法依赖双目摄像头或多传感器融合（如LiDAR），但成本高、部署复杂。近年来，随着深度学习的发展，单目深度估计技术逐渐成熟，仅凭一张2D图像即可推断出场景的深度结构。

Intel 实验室提出的MiDaS (Monocular Depth Estimation)模型正是这一领域的代表性成果。它通过大规模混合数据集训练，能够在无需立体匹配或额外硬件的前提下，精准预测图像中每个像素的相对距离。本教程将带你深入理解 MiDaS 的工作原理，并手把手实现一个高稳定性、纯CPU运行、集成WebUI的深度图生成系统，无需Token验证，开箱即用。

2. MiDaS 技术原理解析

2.1 什么是单目深度估计？

单目深度估计的目标是从单一视角的RGB图像中恢复出场景的逐像素深度值，即构建一张“深度图”（Depth Map）。这张图中的每个像素值代表该点距离摄像机的远近，数值越大表示越远。

与传统几何方法不同，深度学习模型通过学习大量带有真实深度标签的数据（如Kinect、LiDAR采集），建立起从纹理、遮挡、透视等视觉线索到深度信息的映射关系。

2.2 MiDaS 的核心创新机制

MiDaS 由 Intel ISL（Intel Intelligent Systems Lab）开发，其关键突破在于引入了多数据集混合训练策略和尺度不变性损失函数。

多数据集归一化训练

不同数据集的深度单位不一致（毫米、米、归一化值），直接混合训练会导致冲突。MiDaS 提出一种自适应尺度对齐机制，在训练时动态调整各数据集输出的尺度，使模型能泛化到任意未知场景。

尺度不变性损失（Scale-Invariant Loss）

该损失函数关注的是局部结构的一致性而非绝对深度值，公式如下：

$$ \mathcal{L} = \frac{1}{n}\sum d_i^2 - \frac{1}{2n^2}(\sum d_i)^2, \quad d_i = \log y_i - \log \hat{y}_i $$

其中 $y_i$ 是真实深度，$\hat{y}_i$ 是预测深度。这种设计使得模型即使无法得知“实际距离多少米”，也能准确判断“哪个物体更近”。

2.3 模型架构简析

MiDaS v2.1 采用迁移学习+轻量解码器的设计思路：

主干网络（Backbone）：使用预训练的高效CNN（如ResNet、EfficientNet）提取多尺度特征。
侧向连接（Lateral Connections）：融合不同层级的特征图，增强细节表达。
轻量解码器（Lightweight Decoder）：将高层语义信息逐步上采样为密集深度图。

特别地，MiDaS_small版本专为边缘设备优化，在保持90%以上精度的同时，参数量减少60%，非常适合CPU推理。

3. 实践应用：基于MiDaS的深度图生成系统

3.1 系统功能与优势

本项目基于官方 PyTorch Hub 发布的 MiDaS 模型，封装成一个免鉴权、高稳定、支持Web交互的CPU友好型服务，具备以下特性：

特性	说明
✅ 无需Token	直接调用`torch.hub.load`加载官方权重，避开 ModelScope 鉴权流程
✅ WebUI集成	内置Gradio界面，上传图片即可实时查看结果
✅ CPU优化	使用`MiDaS_small`模型，适配低资源环境
✅ 可视化增强	OpenCV后处理生成 Inferno 热力图，直观展示远近关系

💡适用场景：智能家居避障、照片景深模拟、艺术创作辅助、教学演示等。

3.2 完整代码实现

以下是该项目的核心实现代码，包含模型加载、图像预处理、推理与热力图生成全过程。

import torch import cv2 import numpy as np from PIL import Image import gradio as gr # 加载 MiDaS_small 模型 print("Loading MiDaS model...") model_type = "MiDaS_small" midas = torch.hub.load("intel-isl/MiDaS", model_type) device = torch.device("cpu") # 支持GPU可改为 "cuda" midas.to(device) midas.eval() # 构建 transforms（根据模型要求自动匹配） transform = torch.hub.load("intel-isl/MiDaS", "transforms").small_transform def predict_depth(input_image): """ 输入PIL图像，返回原始深度图与热力图 """ img = input_image.convert("RGB") # 预处理 input_batch = transform(img).to(device) # 推理 with torch.no_grad(): prediction = midas(input_batch) prediction = torch.nn.functional.interpolate( prediction.unsqueeze(1), size=img.size[::-1], mode="bicubic", align_corners=False, ).squeeze().cpu().numpy() # 归一化深度为0-255用于可视化 depth_min = prediction.min() depth_max = prediction.max() if depth_max - depth_min != 0: depth_normalized = (255 * (prediction - depth_min) / (depth_max - depth_min)).astype(np.uint8) else: depth_normalized = np.zeros_like(prediction, dtype=np.uint8) # 生成Inferno热力图 depth_colormap = cv2.applyColorMap(depth_normalized, cv2.COLORMAP_INFERNO) depth_colormap = cv2.cvtColor(depth_colormap, cv2.COLOR_BGR2RGB) return depth_normalized, depth_colormap # Gradio 界面搭建 with gr.Blocks(title="MiDaS 单目深度估计") as demo: gr.Markdown("# 🌊 MiDaS 单目深度估计 - 3D感知版") gr.Markdown("上传一张照片，AI将自动生成深度热力图（近处暖色，远处冷色）") with gr.Row(): input_img = gr.Image(type="pil", label="输入图像") output_depth = gr.Image(type="numpy", label="深度热力图") btn = gr.Button("📂 上传照片测距") btn.click(fn=predict_depth, inputs=input_img, outputs=[gr.Image(label="灰度深度图"), output_depth]) # 启动服务 if __name__ == "__main__": demo.launch(server_name="0.0.0.0", server_port=7860)

3.3 关键步骤解析

模型加载：python midas = torch.hub.load("intel-isl/MiDaS", model_type)直接从 GitHub 仓库拉取官方模型，避免第三方平台依赖。
图像变换：使用transforms.small_transform自动完成归一化、Resize等操作，适配MiDaS_small输入要求（256x256）。
推理加速技巧：
设置eval()模式关闭Dropout/BatchNorm更新
使用torch.no_grad()禁用梯度计算
输出插值回原图尺寸以保留细节
热力图生成：利用 OpenCV 的applyColorMap函数将灰度深度图转为彩色，选用COLORMAP_INFERNO色系（红→黄→黑），符合人类直觉认知。

3.4 常见问题与优化建议

问题	解决方案
推理速度慢	使用`MiDaS_small`替代 large 模型；降低输入分辨率
边缘模糊	后处理加入 bilateralFilter 或 guided filter 进行深度图平滑
远景过暗	对数空间归一化：`log(1 + depth)`提升远处细节可见性
WebUI无法访问	检查`server_name="0.0.0.0"`和防火墙设置