AI骨骼检测异常动作识别：跌倒检测算法集成部署实战

1. 引言：AI在行为识别中的关键角色

随着人工智能技术的不断演进，基于视觉的行为理解正逐步从实验室走向实际应用。在智慧养老、安防监控、运动康复等场景中，对人类异常动作（如跌倒、抽搐、长时间静止）的自动识别已成为刚需。传统方法依赖加速度传感器或红外设备，存在佩戴不便、覆盖范围有限等问题。

而AI骨骼关键点检测技术的成熟，为非接触式行为分析提供了全新路径。通过摄像头采集视频流，结合深度学习模型提取人体33个关节点坐标，再辅以姿态角计算与动作时序建模，即可实现高精度的异常动作判断。其中，跌倒检测作为最典型的应用之一，因其突发性强、危害大，成为智能看护系统的核心功能。

本文将围绕Google MediaPipe Pose 模型构建一套完整的“骨骼检测 + 跌倒识别”系统，重点讲解如何在本地环境中快速部署高精度姿态估计服务，并在此基础上集成自定义的跌倒检测逻辑，最终形成可落地的Web可视化解决方案。

2. 核心技术解析：MediaPipe Pose 的工作原理

2.1 什么是人体骨骼关键点检测？

人体骨骼关键点检测（Human Pose Estimation）是指从二维图像中定位出人体主要关节的空间位置，通常以 (x, y, c) 或 (x, y, z, c) 形式表示，其中 x、y 是像素坐标，z 可选为深度信息，c 表示置信度。这些关键点构成“骨架图”，是后续动作分析的基础。

与目标检测不同，姿态估计不仅关注“有没有人”，更关注“人的姿势是什么样”。它属于细粒度视觉理解任务，广泛应用于动作识别、人机交互、虚拟试衣等领域。

2.2 MediaPipe Pose 模型架构设计

Google 开源的MediaPipe是一个跨平台的机器学习框架，专为移动和边缘设备优化。其Pose 模块采用两阶段检测策略，在精度与速度之间实现了极佳平衡：

BlazePose Detector（人体检测器）
使用轻量级 CNN 网络先定位图像中的人体区域（bounding box），避免对整图进行密集推理，显著提升效率。
Pose Landmark Model（关键点回归器）
将裁剪后的人体区域输入到更高分辨率的网络中，输出 33 个标准化的 3D 关键点坐标（含深度相对值）。该模型基于 HRNet 改进，具备强大的形变鲁棒性。

✅支持的关键点包括：鼻尖、双眼、双耳、肩、肘、腕、髋、膝、踝、脚尖等，覆盖头面部、上肢、躯干和下肢。

2.3 推理流程与性能优势

import cv2 import mediapipe as mp mp_pose = mp.solutions.pose pose = mp_pose.Pose( static_image_mode=False, model_complexity=1, # 轻量模式，适合CPU enable_segmentation=False, min_detection_confidence=0.5 ) image = cv2.imread("person.jpg") rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = pose.process(rgb_image) if results.pose_landmarks: mp.solutions.drawing_utils.draw_landmarks( image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS )

上述代码展示了核心调用逻辑。MediaPipe 内部已完成模型封装，开发者无需关心底层TensorFlow Lite加载细节。其主要优势体现在：

毫秒级响应：在普通CPU上可达 20–30 FPS，满足实时性需求。
低资源消耗：模型体积小（<10MB），内存占用低，适合嵌入式部署。
强泛化能力：对光照变化、遮挡、多角度拍摄均有良好表现。

3. 实战部署：构建本地化WebUI服务

3.1 部署环境准备

本项目基于 Python + Flask + OpenCV 技术栈，完全本地运行，无需联网请求外部API。推荐使用以下环境配置：

# 创建虚拟环境 python -m venv pose_env source pose_env/bin/activate # Linux/Mac # pose_env\Scripts\activate # Windows # 安装依赖 pip install mediapipe opencv-python flask numpy pillow

⚠️ 注意：MediaPipe 目前不支持 ARM 架构下的 pip 直接安装（如树莓派需预编译包），但主流x86_64平台均兼容。

3.2 Web服务端开发

我们使用 Flask 搭建简易 Web 服务器，支持图片上传与结果展示。

后端处理逻辑（app.py）

from flask import Flask, request, render_template, send_from_directory import cv2 import numpy as np import os from PIL import Image import mediapipe as mp app = Flask(__name__) UPLOAD_FOLDER = 'uploads' RESULT_FOLDER = 'results' os.makedirs(UPLOAD_FOLDER, exist_ok=True) os.makedirs(RESULT_FOLDER, exist_ok=True) mp_pose = mp.solutions.pose pose = mp_pose.Pose(static_image_mode=True, model_complexity=1, min_detection_confidence=0.5) mp_drawing = mp.solutions.drawing_utils @app.route('/') def index(): return render_template('index.html') @app.route('/upload', methods=['POST']) def upload_file(): file = request.files['file'] if not file: return 'No file uploaded', 400 img = Image.open(file.stream) img_cv = np.array(img) img_cv = cv2.cvtColor(img_cv, cv2.COLOR_RGB2BGR) results = pose.process(img_cv) if results.pose_landmarks: mp_drawing.draw_landmarks( img_cv, results.pose_landmarks, mp_pose.POSE_CONNECTIONS, landmark_drawing_spec=mp_drawing.DrawingSpec(color=(255, 0, 0), thickness=2, circle_radius=2), connection_drawing_spec=mp_drawing.DrawingSpec(color=(255, 255, 255), thickness=2) ) output_path = os.path.join(RESULT_FOLDER, 'output.jpg') cv2.imwrite(output_path, img_cv) return send_from_directory(RESULT_FOLDER, 'output.jpg', mimetype='image/jpeg') if __name__ == '__main__': app.run(host='0.0.0.0', port=5000)

前端页面（templates/index.html）

<!DOCTYPE html> <html> <head><title>Pose Detection</title></head> <body> <h2>上传人物照片进行骨骼检测</h2> <form method="post" action="/upload" enctype="multipart/form-data"> <input type="file" name="file" accept="image/*" required> <button type="submit">分析</button> </form> <br> <div id="result"></div> <script> document.querySelector('form').onsubmit = async (e) => { e.preventDefault(); const formData = new FormData(e.target); const res = await fetch('/upload', { method: 'POST', body: formData }); if (res.ok) { document.getElementById('result').innerHTML = `<img src="/results/output.jpg?t=${Date.now()}" style="max-width:800px;">`; } else { alert("处理失败"); } }; </script> </body> </html>

3.3 运行与验证

启动服务：

python app.py

访问http://localhost:5000，上传一张包含人物的照片，系统将在几秒内返回带有红点（关节点）和白线（骨骼连接）的标注图像。

🔍可视化说明： -红色圆点：33个关键点，如手腕、膝盖、肩膀等； -白色连线：按照人体结构连接相邻关节点，形成“火柴人”骨架图。

4. 功能扩展：集成跌倒检测算法

仅有人体姿态检测还不够，真正的价值在于行为理解。下面我们基于骨骼数据实现一个简单的跌倒检测逻辑。

4.1 跌倒的典型特征分析

根据医学研究和实际案例，跌倒通常表现为以下几种姿态特征：

特征	描述
身体倾斜角过大	躯干与地面夹角 < 30°
头部高度骤降	头部Y坐标短时间内大幅下降
四肢失衡	手臂未及时支撑，双腿交叉或弯曲异常
静止时间过长	跌倒后长时间无明显动作

我们选择最稳定的指标——躯干倾角作为主要判断依据。

4.2 关键点选取与角度计算

从 MediaPipe 输出的 33 个点中，选取三个关键点： -LEFT_SHOULDER（索引11） -RIGHT_SHOULDER（索引12） -LEFT_HIP（索引23）

通过肩部中点与髋部连线，估算躯干方向向量，进而求得与垂直方向的夹角。

import math def calculate_fall_angle(landmarks): # 获取关键点坐标 left_shoulder = landmarks[mp_pose.PoseLandmark.LEFT_SHOULDER.value] right_shoulder = landmarks[mp_pose.PoseLandmark.RIGHT_SHOULDER.value] left_hip = landmarks[mp_pose.PoseLandmark.LEFT_HIP.value] # 计算肩部中点 shoulder_mid_x = (left_shoulder.x + right_shoulder.x) / 2 shoulder_mid_y = (left_shoulder.y + right_shoulder.y) / 2 # 构造躯干向量（从中点到髋部） dx = left_hip.x - shoulder_mid_x dy = left_hip.y - shoulder_mid_y # 计算与垂直方向（向下）的夹角 angle_to_vertical = math.degrees(math.atan2(abs(dx), dy)) return angle_to_vertical # 返回角度值

4.3 跌倒判定逻辑整合

在原有 Flask 接口中加入判断逻辑：

# 在 pose.process 成功后添加 angle = calculate_fall_angle(results.pose_landmarks.landmark) is_fall = angle < 30 # 设定阈值为30度 # 在图像上绘制文字提示 text = "FALL DETECTED!" if is_fall else "Normal" color = (0, 0, 255) if is_fall else (0, 255, 0) cv2.putText(img_cv, text, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, color, 2)

当系统检测到倾角小于30°时，会在图像顶部显示红色警告：“FALL DETECTED!”，实现初步的异常动作报警。