MediaPipe Pose实战：医疗康复动作检测系统搭建教程

1. 引言

1.1 AI 人体骨骼关键点检测的临床价值

在现代医疗康复领域，精准的动作评估是制定个性化治疗方案的核心依据。传统依赖人工观察或昂贵传感器设备的方式存在主观性强、成本高、难以量化等问题。随着AI视觉技术的发展，基于摄像头的人体姿态估计正成为一种低成本、高效率、可远程部署的解决方案。

特别是在中风后肢体功能恢复、脊柱侧弯矫正训练、术后步态分析等场景中，医生需要对患者的关节角度、身体对称性、动作轨迹进行持续监测。而这些需求恰好与AI骨骼关键点检测的能力高度契合——通过识别33个关键关节点的空间坐标，即可自动计算出肩角、膝角、躯干倾斜度等关键指标。

1.2 为何选择MediaPipe Pose？

Google推出的MediaPipe Pose模型凭借其轻量级设计和高精度表现，在边缘设备上实现了实时姿态估计的突破。相比YOLO-Pose、OpenPose等方案，它具有以下显著优势：

• 专为移动端和CPU优化：无需GPU即可流畅运行
• 内置3D关键点输出：提供Z轴深度信息（相对深度），增强空间感知能力
• 低延迟、高帧率：适合连续视频流处理
• 开源且免授权：适用于医疗产品集成

本教程将带你从零构建一个本地化运行的医疗康复动作检测系统，支持图像上传、骨骼可视化、关键点数据导出，完全避免网络依赖和隐私泄露风险。

2. 系统架构与核心组件

2.1 整体架构设计

该系统采用前后端分离的轻量级架构，所有计算均在本地完成：

[用户浏览器] ↓ (HTTP请求) [Flask Web服务] ←→ [MediaPipe Pose模型] ↓ [结果渲染 + 数据保存]

• 前端：HTML5 + JavaScript 实现图片上传与结果展示
• 后端：Python Flask 框架处理图像推理逻辑
• 核心引擎：MediaPipe Pose Lite/Full 版本（根据性能需求切换）
• 输出形式：带骨架叠加的图像 + JSON格式的关键点坐标

2.2 MediaPipe Pose技术原理简析

MediaPipe Pose使用单阶段检测器+回归网络的组合策略：

1. BlazePose Detector：先定位人体区域（bounding box）
2. Pose Landmark Model：在裁剪区域内精确定位33个3D关键点

这33个关键点覆盖了： - 面部：鼻尖、左/右眼耳 - 上肢：肩、肘、腕、手部关键点 - 躯干：脊柱、骨盆中心 - 下肢：髋、膝、踝、脚尖

每个关键点包含(x, y, z, visibility)四维数据： -x, y：归一化图像坐标（0~1） -z：相对于髋部的深度偏移（非真实距离） -visibility：置信度分数（0~1）

💡医学应用提示：虽然z轴不是真实深度，但在固定摄像头位置下可用于判断肢体前后移动趋势，辅助动作一致性分析。

3. 实战部署：从环境配置到WebUI搭建

3.1 环境准备

确保已安装以下依赖（推荐使用虚拟环境）：

python -m venv mediapipe-env source mediapipe-env/bin/activate # Linux/Mac # 或 mediapipe-env\Scripts\activate # Windows pip install mediapipe flask numpy opencv-python pillow

✅版本建议：mediapipe >= 0.10.0，兼容Python 3.7~3.11

3.2 核心代码实现

3.2.1 初始化MediaPipe Pose模块

import cv2 import mediapipe as mp import numpy as np from dataclasses import dataclass @dataclass class PoseResult: image: np.ndarray landmarks: list connections: list class MediapipePoseDetector: def __init__(self, model_complexity=1, min_detection_confidence=0.5): self.mp_drawing = mp.solutions.drawing_utils self.mp_pose = mp.solutions.pose self.pose = self.mp_pose.Pose( static_image_mode=True, model_complexity=model_complexity, # 0: Lite, 1: Full, 2: Heavy enable_segmentation=False, min_detection_confidence=min_detection_confidence ) def detect(self, image_path: str) -> PoseResult: image = cv2.imread(image_path) rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = self.pose.process(rgb_image) if not results.pose_landmarks: raise ValueError("未检测到人体") # 绘制骨架连接线 annotated_image = image.copy() self.mp_drawing.draw_landmarks( annotated_image, results.pose_landmarks, self.mp_pose.POSE_CONNECTIONS, landmark_drawing_spec=self.mp_drawing.DrawingSpec(color=(255, 0, 0), thickness=2, circle_radius=2), connection_drawing_spec=self.mp_drawing.DrawingSpec(color=(255, 255, 255), thickness=2) ) # 提取关键点坐标（x, y, z, visibility） landmarks = [] for lm in results.pose_landmarks.landmark: landmarks.append({ 'name': self.mp_pose.PoseLandmark(lm).name, 'x': lm.x, 'y': lm.y, 'z': lm.z, 'visibility': lm.visibility }) return PoseResult( image=cv2.cvtColor(annotated_image, cv2.COLOR_BGR2RGB), landmarks=landmarks, connections=self.mp_pose.POSE_CONNECTIONS ) def close(self): self.pose.close()

📌代码解析： - 使用static_image_mode=True提升单图检测精度 -model_complexity可调节模型大小，默认1（Full）平衡速度与精度 - 输出包含原始图像、33个关键点字典列表、标准连接关系

3.3 Web服务接口开发

创建app.py文件，实现Flask服务：

from flask import Flask, request, jsonify, send_from_directory, render_template import os from PIL import Image import json app = Flask(__name__) detector = MediapipePoseDetector() UPLOAD_FOLDER = 'uploads' RESULT_FOLDER = 'results' os.makedirs(UPLOAD_FOLDER, exist_ok=True) os.makedirs(RESULT_FOLDER, exist_ok=True) @app.route('/') def index(): return render_template('index.html') @app.route('/upload', methods=['POST']) def upload_image(): if 'file' not in request.files: return jsonify({'error': '无文件上传'}), 400 file = request.files['file'] if file.filename == '': return jsonify({'error': '未选择文件'}), 400 # 保存上传文件 filepath = os.path.join(UPLOAD_FOLDER, file.filename) file.save(filepath) try: # 执行姿态检测 result = detector.detect(filepath) # 保存结果图像 result_img = Image.fromarray(result.image) result_img_path = os.path.join(RESULT_FOLDER, f"result_{file.filename}") result_img.save(result_img_path) # 保存关键点数据 keypoints_path = os.path.join(RESULT_FOLDER, f"keypoints_{os.path.splitext(file.filename)[0]}.json") with open(keypoints_path, 'w') as f: json.dump(result.landmarks, f, indent=2, ensure_ascii=False) return jsonify({ 'result_image_url': f'/results/result_{file.filename}', 'keypoints_url': f'/results/keypoints_{os.path.splitext(file.filename)[0]}.json', 'landmark_count': len(result.landmarks) }) except Exception as e: return jsonify({'error': str(e)}), 500 @app.route('/results/<filename>') def serve_result(filename): return send_from_directory(RESULT_FOLDER, filename) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080, debug=False)

3.4 前端页面设计（HTML + JS）

创建templates/index.html：

<!DOCTYPE html> <html lang="zh"> <head> <meta charset="UTF-8"> <title>医疗康复动作检测系统</title> <style> body { font-family: Arial, sans-serif; margin: 40px; } .container { max-width: 900px; margin: 0 auto; } h1 { color: #2c3e50; } .upload-box { border: 2px dashed #3498db; padding: 30px; text-align: center; border-radius: 10px; margin: 20px 0; } .result-img { max-width: 100%; margin-top: 20px; border: 1px solid #eee; } .btn { background: #3498db; color: white; padding: 10px 20px; border: none; cursor: pointer; font-size: 16px; } .loading { display: none; color: #e74c3c; } </style> </head> <body> <div class="container"> <h1>🤸‍♂️ 医疗康复动作检测系统</h1> <p>上传患者动作照片，AI自动识别33个骨骼关键点并生成可视化报告。</p> <div class="upload-box"> <input type="file" id="imageInput" accept="image/*" /> <br><br> <button class="btn" onclick="upload()">开始分析</button> <p class="loading" id="loading">正在处理...</p> </div> <div id="resultSection" style="display:none;"> <h3>✅ 分析结果</h3> <img id="resultImage" class="result-img" /> <p><a id="jsonLink" href="#" target="_blank">下载关键点数据(JSON)</a></p> </div> </div> <script> function upload() { const input = document.getElementById('imageInput'); const file = input.files[0]; if (!file) { alert('请先选择一张图片'); return; } const formData = new FormData(); formData.append('file', file); document.getElementById('loading').style.display = 'block'; fetch('/upload', { method: 'POST', body: formData }) .then(res => res.json()) .then(data => { if (data.error) throw new Error(data.error); document.getElementById('resultImage').src = data.result_image_url; document.getElementById('jsonLink').href = data.keypoints_url; document.getElementById('resultSection').style.display = 'block'; document.getElementById('loading').style.display = 'none'; }) .catch(err => { alert('分析失败: ' + err.message); document.getElementById('loading').style.display = 'none'; }); } </script> </body> </html>

4. 系统测试与医疗场景适配

4.1 测试流程验证

1. 启动服务：bash python app.py
2. 浏览器访问http://localhost:8080
3. 上传测试图像（建议全身正视/侧视图）
4. 查看火柴人骨架绘制效果
5. 下载JSON文件用于后续分析

4.2 医疗级优化建议

4.3 实际案例：膝关节屈伸角度监测

假设需评估患者坐姿下的膝关节活动度（ROM）：

import math def calculate_angle(a, b, c): """计算三点形成的角度（单位：度）""" ba = np.array([a['x'] - b['x'], a['y'] - b['y']]) bc = np.array([c['x'] - b['x'], c['y'] - b['y']]) cosine_angle = np.dot(ba, bc) / (np.linalg.norm(ba) * np.linalg.norm(bc)) angle = np.arccos(cosine_angle) return np.degrees(angle) # 示例：提取左腿关键点 left_hip = next(lm for lm in result.landmarks if lm['name'] == 'LEFT_HIP') left_knee = next(lm for lm in result.landmarks if lm['name'] == 'LEFT_KNEE') left_ankle = next(lm for lm in result.landmarks if lm['name'] == 'LEFT_ANKLE') knee_angle = calculate_angle(left_hip, left_knee, left_ankle) print(f"左膝关节角度: {knee_angle:.1f}°")

此方法可替代传统量角器测量，实现无接触、可重复、数字化记录。

5. 总结

5.1 项目核心价值回顾

本文完整实现了基于MediaPipe Pose的本地化医疗康复动作检测系统，具备以下核心优势：

1. 零依赖部署：不依赖云服务或外部API，保障患者数据隐私安全
2. 毫秒级响应：CPU环境下仍可实现快速推理，适合临床即时反馈
3. 结构化输出：同时提供可视化图像与结构化关键点数据，便于二次分析
4. 可扩展性强：支持接入电子病历系统、生成康复进度报告

5.2 最佳实践建议

• 📌统一采集规范：制定标准化拍照流程（背景、服装、角度）
• 📌结合专业判断：AI结果作为辅助参考，最终诊断由医生确认
• 📌定期模型验证：使用真实病例验证系统准确性，持续优化阈值参数
• 📌拓展多视角融合：未来可增加双摄像头实现三维姿态重建

该系统不仅适用于医院康复科，也可部署于社区诊所、养老机构甚至家庭环境，推动智能康复普惠化发展。

💡获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。