从理论到实践：MiDaS单目深度估计完整教程

1. 引言：AI 单目深度估计的现实意义

在计算机视觉领域，深度估计是实现三维空间感知的关键技术之一。传统方法依赖双目立体视觉或多传感器融合（如激光雷达），但这些方案成本高、部署复杂。近年来，随着深度学习的发展，单目深度估计（Monocular Depth Estimation）成为研究热点——仅凭一张2D图像即可推断出场景中各物体的相对距离。

Intel 实验室提出的MiDaS（Mixed Depth Scaling）模型正是这一方向的代表性成果。它通过大规模多数据集混合训练，实现了跨场景、跨域的鲁棒性深度预测能力。本文将带你从理论出发，深入理解 MiDaS 的核心机制，并手把手搭建一个基于MiDaS_small的 CPU 可用、集成 WebUI 的高稳定性深度估计系统。

2. MiDaS 技术原理解析

2.1 核心思想：统一尺度下的跨数据集学习

传统的单目深度估计模型通常在一个特定数据集上训练，导致在其他场景下泛化能力差。MiDaS 的创新在于引入了一种尺度对齐策略，使得来自不同数据集（如 NYU Depth、KITTI、Make3D 等）的深度标签可以在统一尺度下进行联合训练。

其核心公式为： $$ \hat{d}_i = \frac{1}{\alpha} (d_i - \beta) $$ 其中 $d_i$ 是原始深度值，$\alpha$ 和 $\beta$ 是缩放和平移参数，用于将各异构数据集归一化到同一分布空间。

这种设计让 MiDaS 能够“学会”什么是“近”与“远”，而不关心具体单位（米 or 像素），极大提升了模型的通用性。

2.2 模型架构：EfficientNet + Relu + 多尺度特征融合

MiDaS v2.1 采用轻量级主干网络（如 EfficientNet-B5 或 ResNet-50）提取多尺度特征图，随后通过一个称为Dense Prediction Transformer (DPT)的结构进行上采样和深度回归。

关键组件包括：

Patch Embedding 层：将输入图像划分为固定大小的 patch，映射为向量序列。
Transformer 编码器：捕捉长距离上下文依赖关系。
多层级解码器：逐步恢复空间分辨率，输出高精度深度图。

而我们使用的MiDaS_small版本则进一步简化了结构，使用 MobileNet 风格的卷积块，在保持较高精度的同时显著降低计算开销，非常适合 CPU 推理。

2.3 输出形式：相对深度热力图

MiDaS 并不输出绝对物理距离（如 5 米），而是生成相对深度图（Relative Depth Map）。每个像素值表示该点相对于相机的距离程度，数值越大越近，越小越远。

最终通过 OpenCV 映射为Inferno 色彩空间的热力图，实现直观可视化： - 🔥 红/黄区域：前景物体（靠近镜头） - ❄️ 紫/黑区域：背景或远处景物

这一定性分析方式广泛应用于 AR/VR、机器人导航、图像编辑等场景。

3. 实践部署：构建本地化 WebUI 深度估计服务

3.1 环境准备与依赖安装

本项目基于 PyTorch Hub 直接加载官方预训练权重，无需 ModelScope 登录或 Token 验证，完全离线可用。

# 创建虚拟环境 python -m venv midas-env source midas-env/bin/activate # Linux/Mac # 或 midas-env\Scripts\activate # Windows # 安装核心依赖 pip install torch torchvision opencv-python flask pillow numpy

⚠️ 注意：若使用 CPU 推理，请确保安装的是 CPU 版本的 PyTorch：
bash pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu

3.2 加载 MiDaS 模型并推理

以下代码展示如何从 PyTorch Hub 加载MiDaS_small模型并执行一次前向推理：

import torch import cv2 import numpy as np from PIL import Image # 加载 MiDaS_small 模型 model = torch.hub.load("intel-isl/MiDaS", "MiDaS_small") model.eval() # 图像预处理转换 transform = torch.hub.load("intel-isl/MiDaS", "transforms").small_transform # 读取输入图像 img = Image.open("input.jpg").convert("RGB") img_tensor = transform(img).unsqueeze(0) # 添加 batch 维度 # 推理 with torch.no_grad(): prediction = model(img_tensor) # 后处理：调整尺寸、归一化 depth_map = prediction[0].cpu().numpy() depth_map = cv2.resize(depth_map, (img.width, img.height)) # 归一化为 0-255 便于显示 depth_map = (depth_map - depth_map.min()) / (depth_map.max() - depth_map.min()) depth_map = (depth_map * 255).astype(np.uint8) # 应用 Inferno 色彩映射 colored_depth = cv2.applyColorMap(depth_map, cv2.COLORMAP_INFERNO) # 保存结果 cv2.imwrite("output_depth.png", colored_depth)

📌代码解析： -torch.hub.load自动下载 Intel 官方发布的权重文件，避免第三方平台依赖。 -small_transform提供标准化的预处理流程（Resize → Normalize）。 - 使用cv2.applyColorMap快速生成科技感十足的热力图。

3.3 构建简易 WebUI 服务

为了提升交互体验，我们使用 Flask 搭建一个简单的网页上传接口。

目录结构

midas-web/ ├── app.py ├── templates/ │ └── index.html ├── static/ │ └── uploads/ └── models/ └── (缓存模型)

`templates/index.html`

<!DOCTYPE html> <html> <head><title>MiDaS 深度估计</title></head> <body style="text-align:center; font-family:Arial;"> <h1>🌊 MiDaS 单目深度估计 WebUI</h1> <p>上传一张图片，AI 将自动生成深度热力图</p> <form method="post" enctype="multipart/form-data"> <input type="file" name="image" accept="image/*" required /> <button type="submit">📂 上传照片测距</button> </form> {% if result %} <h3>✅ 深度热力图</h3> <p><strong>红色/黄色</strong>：近处物体 | <strong>紫色/黑色</strong>：远处背景</p> <img src="{{ result }}" width="400" /> {% endif %} </body> </html>

`app.py`主服务逻辑

from flask import Flask, request, render_template, url_for from werkzeug.utils import secure_filename import os import torch import cv2 import numpy as np from PIL import Image app = Flask(__name__) UPLOAD_FOLDER = 'static/uploads' ALLOWED_EXTENSIONS = {'png', 'jpg', 'jpeg'} app.config['UPLOAD_FOLDER'] = UPLOAD_FOLDER # 确保上传目录存在 os.makedirs(UPLOAD_FOLDER, exist_ok=True) # 加载模型（全局只加载一次） model = torch.hub.load("intel-isl/MiDaS", "MiDaS_small") model.eval() transform = torch.hub.load("intel-isl/MiDaS", "transforms").small_transform def allowed_file(filename): return '.' in filename and filename.rsplit('.', 1)[1].lower() in ALLOWED_EXTENSIONS def predict_depth(image_path): img = Image.open(image_path).convert("RGB") img_tensor = transform(img).unsqueeze(0) with torch.no_grad(): pred = model(img_tensor)[0].cpu().numpy() depth = cv2.resize(pred, (img.width, img.height)) depth = (depth - depth.min()) / (depth.max() - depth.min()) depth = (depth * 255).astype(np.uint8) colored = cv2.applyColorMap(depth, cv2.COLORMAP_INFERNO) output_path = image_path.replace('.jpg', '_depth.png').replace('.jpeg', '_depth.png').replace('.png', '_depth.png') cv2.imwrite(output_path, colored) return output_path @app.route("/", methods=["GET", "POST"]) def index(): result = None if request.method == "POST": if 'image' not in request.files: return "❌ 未选择文件" file = request.files["image"] if file.filename == "": return "❌ 文件名为空" if file and allowed_file(file.filename): filename = secure_filename(file.filename) filepath = os.path.join(app.config['UPLOAD_FOLDER'], filename) file.save(filepath) output_img = predict_depth(filepath) result = url_for('static', filename='uploads/' + os.path.basename(output_img)) return render_template("index.html", result=result) if __name__ == "__main__": app.run(host="0.0.0.0", port=5000, debug=False)

启动服务后访问http://localhost:5000即可使用图形界面上传图片并查看结果。

4. 性能优化与常见问题解决

4.1 CPU 推理加速技巧

尽管MiDaS_small已经很轻量，但在 CPU 上仍可能耗时较长（约 2~5 秒）。以下是几种优化建议：

优化手段	效果说明
使用`torch.jit.script`编译模型	减少解释开销，提速 15%-30%
降低输入图像分辨率（≤512px）	显著减少计算量，适合实时场景
开启`num_threads`控制线程数	避免多线程竞争，提升稳定性和响应速度

示例：

torch.set_num_threads(4) # 根据 CPU 核心数设置 scripted_model = torch.jit.script(model) # 模型脚本化

4.2 常见问题与解决方案

问题现象	可能原因	解决方案
模型加载失败	网络不通或 Hub 缓存异常	手动下载权重至`~/.cache/torch/hub/intel-isl_MiDaS_master`
输出全黑/全白	输入未归一化或设备不匹配	确保使用官方 transform，且模型在 CPU 上运行
内存溢出	图像过大或批处理	限制最大尺寸，禁用批处理
颜色反转（近处冷色）	彩色映射方向错误	检查是否误用了`COLORMAP_JET`或未正确归一化