Holistic Tracking与Excel联动：动作数据自动统计报表生成

1. 引言

1.1 业务场景描述

在虚拟内容创作、远程教育、体感交互和数字人驱动等应用场景中，对用户动作的精准感知与结构化记录需求日益增长。传统的动作捕捉系统依赖昂贵硬件设备，部署成本高、使用门槛大。随着AI视觉技术的发展，基于单目摄像头的全身全息感知方案成为轻量化落地的新选择。

然而，大多数解决方案仅停留在“可视化展示”阶段，缺乏与后端数据分析系统的有效衔接。如何将捕捉到的关键点数据转化为可分析、可归档、可复用的结构化信息，是当前工程实践中的一大痛点。

本文介绍一种基于MediaPipe Holistic 模型的 AI 全身全息感知系统，并重点实现其与Microsoft Excel的自动化数据对接功能，构建从图像输入 → 动作识别 → 数据提取 → 报表生成的完整闭环流程。

1.2 痛点分析

现有动作感知工具普遍存在以下问题：

• 输出结果仅为图像或视频，无法导出数值型关键点坐标
• 缺乏标准化的数据格式输出机制
• 难以集成至企业级数据管理系统（如ERP、HR培训系统）
• 无法支持批量处理与长期行为趋势分析

这些问题严重限制了技术在教育评估、康复训练、动作规范性检测等领域的深入应用。

1.3 方案预告

本文提出的解决方案具备以下核心能力：

• 基于 MediaPipe Holistic 实现面部、手势、姿态一体化检测
• 提取543个关键点的空间坐标（x, y, z）并结构化存储
• 自动将每帧动作数据写入 Excel 表格，按时间序列组织
• 支持多维度统计指标计算（如关节角度变化、手部轨迹长度）
• 提供一键生成日报/周报级别的自动报表模板

该方案已在某在线健身平台完成原型验证，显著提升了教练端的动作反馈效率。

2. 技术方案选型

2.1 为什么选择 MediaPipe Holistic？

在众多人体感知框架中，Google 开源的MediaPipe Holistic是目前唯一实现三大子模型统一推理管道的技术方案。相比分别调用 FaceMesh、Hands 和 Pose 模型的传统做法，Holistic 架构具有明显优势。

因此，在需要同时获取表情、手势和姿态的场景下，Holistic 是最优解。

2.2 数据输出目标设计

为满足后续分析需求，我们定义如下数据结构：

{ "timestamp": "2024-03-15T10:23:45.123", "frame_id": 123, "pose_landmarks": [(x,y,z), ...], # 33 points "face_landmarks": [(x,y,z), ...], # 468 points "left_hand": [(x,y,z), ...], # 21 points "right_hand": [(x,y,z), ...] # 21 points }

所有坐标均归一化为 [0,1] 区间，便于跨分辨率比较。

3. 实现步骤详解

3.1 环境准备

本项目运行环境如下：

# Python 3.9+ pip install mediapipe opencv-python pandas openpyxl numpy

确保安装的是支持 CPU 加速的 MediaPipe 版本（mediapipe==0.10.0或以上），避免 GPU 依赖带来的部署复杂度。

3.2 核心代码实现

以下是实现 Holistic 跟踪并与 Excel 联动的核心代码模块。

import cv2 import mediapipe as mp import pandas as pd from datetime import datetime import os # 初始化 Holistic 模型 mp_holistic = mp.solutions.holistic mp_drawing = mp.solutions.drawing_utils def extract_landmark_data(results): """提取所有关键点数据""" data = { 'timestamp': datetime.now().isoformat(), 'frame_id': 0 # 可根据实际帧数递增 } # 提取姿态关键点 if results.pose_landmarks: for i, lm in enumerate(results.pose_landmarks.landmark): data[f'pose_x_{i}'] = round(lm.x, 6) data[f'pose_y_{i}'] = round(lm.y, 6) data[f'pose_z_{i}'] = round(lm.z, 6) if lm.z else 0.0 # 提取面部关键点（仅前10个用于示例） if results.face_landmarks: for i in range(10): # 示例：只取前10个点 lm = results.face_landmarks.landmark[i] data[f'face_x_{i}'] = round(lm.x, 6) data[f'face_y_{i}'] = round(lm.y, 6) data[f'face_z_{i}'] = round(lm.z, 6) if lm.z else 0.0 # 提取左右手关键点 for hand_name, landmarks in [('left', results.left_hand_landmarks), ('right', results.right_hand_landmarks)]: if landmarks: for i, lm in enumerate(landmarks.landmark): data[f'{hand_name}_hand_x_{i}'] = round(lm.x, 6) data[f'{hand_name}_hand_y_{i}'] = round(lm.y, 6) data[f'{hand_name}_hand_z_{i}'] = round(lm.z, 6) if lm.z else 0.0 return data def save_to_excel(data_list, output_path="action_report.xlsx"): """将动作数据保存为Excel报表""" df = pd.DataFrame(data_list) # 写入Excel文件 with pd.ExcelWriter(output_path, engine='openpyxl') as writer: df.to_excel(writer, sheet_name='Raw Data', index=False) # 添加统计摘要页 summary = pd.DataFrame({ 'Total Frames': [len(df)], 'Start Time': [df['timestamp'].iloc[0]], 'End Time': [df['timestamp'].iloc[-1]], 'Average Frame Rate': ['~25 FPS (estimated)'], 'Key Points Count': [543] }) summary.to_excel(writer, sheet_name='Summary', index=False) print(f"[INFO] 数据已保存至 {output_path}") # 主程序入口 def main(image_path): holistic = mp_holistic.Holistic( static_image_mode=True, model_complexity=1, enable_segmentation=False, refine_face_landmarks=True ) image = cv2.imread(image_path) if image is None: raise FileNotFoundError("无法加载图像，请检查路径") rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = holistic.process(rgb_image) if not results.pose_landmarks: print("[WARNING] 未检测到人体姿态，跳过数据导出") return # 绘制全息骨骼图 annotated_image = rgb_image.copy() mp_drawing.draw_landmarks( annotated_image, results.pose_landmarks, mp_holistic.POSE_CONNECTIONS) mp_drawing.draw_landmarks( annotated_image, results.left_hand_landmarks, mp_holistic.HAND_CONNECTIONS) mp_drawing.draw_landmarks( annotated_image, results.right_hand_landmarks, mp_holistic.HAND_CONNECTIONS) mp_drawing.draw_landmarks( annotated_image, results.face_landmarks, mp_holistic.FACEMESH_TESSELATION, landmark_drawing_spec=None) # 保存带标注的图像 output_img = cv2.cvtColor(annotated_image, cv2.COLOR_RGB2BGR) cv2.imwrite("holistic_output.jpg", output_img) print("[INFO] 全息骨骼图已保存为 holistic_output.jpg") # 提取并导出数据 data = extract_landmark_data(results) save_to_excel([data]) # 单张图为一个列表项 if __name__ == "__main__": main("test_pose.jpg") # 替换为你的测试图片路径

3.3 代码解析

上述代码分为四个逻辑模块：

1. 模型初始化：启用refine_face_landmarks=True以提升眼球区域精度
2. 关键点提取函数：将嵌套的 LandmarkList 转换为扁平化的字典结构，便于表格化
3. Excel 导出逻辑：使用pandas.ExcelWriter创建多工作表报表
4. 主流程控制：包含图像加载、容错判断、结果绘制与数据持久化

特别地，我们在导出时加入了Summary 工作表，提供元信息汇总，方便非技术人员快速理解数据背景。

3.4 批量处理扩展

若需处理视频或多图序列，只需稍作修改：

# 视频处理伪代码 cap = cv2.VideoCapture("input.mp4") all_data = [] while True: ret, frame = cap.read() if not ret: break results = holistic.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) if results.pose_landmarks: frame_data = extract_landmark_data(results) all_data.append(frame_data) save_to_excel(all_data, "video_action_log.xlsx")

这样即可生成完整的动作时间序列数据库。

4. 实践问题与优化

4.1 常见问题及解决方案

4.2 性能优化建议

1. 缓存机制：对于重复上传的相同图像，可通过哈希值去重，避免重复计算
2. 异步导出：大数据量时采用后台线程执行 Excel 写入，防止阻塞主线程
3. 列裁剪策略：根据业务需求关闭非必要部位（如仅关注手势时禁用 Face Mesh）
4. 压缩存储：对浮点数进行科学计数法截断（保留6位小数足够）

5. 应用案例：健身动作合规性检测

我们将该系统应用于某线上瑜伽教学平台，实现学员动作自动评分。

具体流程如下：

1. 学员上传练习照片
2. 系统提取关键关节点坐标（肩、肘、膝等）
3. 计算实际夹角 vs 标准模板夹角偏差
4. 自动生成评分报告（Excel 中新增“Angle Analysis”页）

import math def calculate_angle(a, b, c): """计算三点形成的夹角（单位：度）""" ba = np.array([a.x - b.x, a.y - b.y]) bc = np.array([c.x - b.x, c.y - b.y]) cosine_angle = np.dot(ba, bc) / (np.linalg.norm(ba) * np.linalg.norm(bc)) angle = np.arccos(cosine_angle) return np.degrees(angle) # 示例：计算左臂弯曲角度 left_shoulder = results.pose_landmarks.landmark[mp_holistic.PoseLandmark.LEFT_SHOULDER] left_elbow = results.pose_landmarks.landmark[mp_holistic.PoseLandmark.LEFT_ELBOW] left_wrist = results.pose_landmarks.landmark[mp_holistic.PoseLandmark.LEFT_WRIST] angle = calculate_angle(left_shoulder, left_elbow, left_wrist)

最终在 Excel 报告中添加如下字段：

实现了从“感知”到“评价”的跃迁。

6. 总结

6.1 实践经验总结

通过本次实践，我们验证了Holistic Tracking + Excel 联动模式的可行性与实用性：

• 工程价值：打通了 AI 感知层与办公自动化系统的最后一公里
• 可复制性强：适用于任何需要结构化记录人体动作的行业
• 零成本集成：无需额外购买 BI 工具，Excel 即可完成初级数据分析

6.2 最佳实践建议

1. 优先使用 CPU 推理版本：MediaPipe 的 CPU 优化极为出色，适合边缘设备部署
2. 建立标准命名规范：统一关键点字段前缀（如pose_,face_），便于后期清洗
3. 定期备份原始数据：建议同时保留图像文件与 Excel 日志，形成完整证据链

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。