手术机器人的“眼睛”与“记忆”：动作捕捉赋能高精度骨科植入新范式

手术机器人的“眼睛”与“记忆”：动作捕捉赋能高精度骨科植入新范式 | 山东大学双模式机器人研究案例

news/2026/1/23 18:07:18/文章来源:https://www.cnblogs.com/motion-capture/p/19523328

引言：机器人辅助手术为何需要动作捕捉？

股骨干骨折是一种常见的高能损伤类型，微创内固定是当前首选治疗方案。然而，在钢板植入过程中仍面临不可见、不准确和不稳定等关键挑战。为解决这些问题，山东大学研究团队提出了一种双模式机器人辅助钢板植入方法，并通过实验验证其可行性。

在该研究中，NOKOV度量动作捕捉系统被用于采集钢板植入过程中的位姿与轨迹数据，为神经网络模型提供高精度训练样本，成为实现精准机器人辅助手术的重要基础。该方法可行性高，有望解决微创内固定手术中难以实现高精度钢板植入的问题。

一、研究背景：机器人如何实现精准股骨钢板植入？

传统微创钢板内固定依赖医生经验，植入路径不可见，难以保证一致性和精度。研究团队引入机器人系统与人工智能方法，通过：

神经网络规划钢板植入轨迹
机械臂执行高稳定性、高精度植入操作
NOKOV度量动作捕捉实现手术动作数字化

从而构建了一套可重复、可验证的机器人辅助手术流程。

二、研究方法概述：基于动作捕捉的钢板植入规划

1、双模式钢板植入起点确定方法（Method）

（1）基于算法的自动模式

在 CT 重建软件中确定钢板植入终点后，沿垂直于钢板平面并通过钢板中心线的平面解剖股骨三维模型。在剖面内选择股骨髁上的点 A、点 B，并在患肢软组织表面选择点 C。算法根据这三个点的坐标自动确定钢板植入起点和终点。

术前规划流程

（2）基于医生判断的手动模式

对于复杂临床情况，医生可通过机械臂控制系统手动选择钢板植入起点，实现人机协同规划。

2、基于 NOKOV 度量动作捕捉的轨迹获取实验

在轨迹获取实验中，研究人员使用 NOKOV度量动作捕捉系统采集钢板植入全过程轨迹数据，作为神经网络模型的训练数据库。

每个动作捕捉镜头获取标记点的二维位置信息
通过数据融合与运动学分析，获得目标的位置、姿态、速度和加速度
实验在骨科医生指导下完成，确保轨迹符合真实临床操作

NOKOV度量动作捕捉在该实验中承担了高精度位姿获取与轨迹数字化的关键角色。

轨迹采集装置

3、神经网络模型构建：从动作捕捉到轨迹预测

（1）数据处理方法

研究团队对 NOKOV度量动作捕捉采集的轨迹数据进行预处理：

以起点坐标为参考
每条轨迹划分为前后两部分，共 10 个姿态点
所有姿态点转换为相对起点的相对姿态

该处理方式有效降低了模型训练难度，并提升模型在不同环境下的适应性。

（2）模型与超参数选择

两种神经网络模型（M 与 A）分别通过正交试验和 AutoKeras 自动机器学习框架确定超参数。

三、实验验证：机器人钢板植入系统的实际表现

研究人员开发了一套完整的手术机器人系统，包含三个机械臂，分别完成：

断骨截除
钢板植入
螺钉植入固定

手术机器人系统示意图

在实验中，通过 C 臂扫描、CT 三维重建和坐标系统一，实现钢板虚拟规划与机械臂精准执行。实验结果表明：

神经网络预测的钢板植入轨迹与临床实践一致
机械臂能够准确到达钢板植入终点
植入过程中钢板未与股骨模型发生碰撞

在整个实验验证过程中，NOKOV度量动作捕捉系统持续提供高精度轨迹数据支持。

机械臂根据钢板的姿势完成螺钉植入

四、应用场景：NOKOV度量动作捕捉在医疗机器中的应用前瞻

应用环节	NOKOV度量动作捕捉作用
轨迹采集	高精度位姿与运动数据获取
AI 训练	构建真实临床操作数据库
手术验证	对比预测轨迹与实际执行
系统扩展	为其他机器人辅助手术提供参考

五、结论：动作捕捉推动机器人辅助手术自动化

本研究通过实验验证了双模式机器人辅助钢板植入方法的可行性。NOKOV度量动作捕捉系统通过对钢板植入轨迹的精准采集，将手术操作过程数字化，为神经网络学习和机器人自动执行提供了关键数据基础。

该研究不仅为股骨钢板植入提供了新思路，也为未来更多机器人辅助手术系统的开发与验证提供了可复用的方法框架。

六、关于双模式医疗辅助机器人研究的FQA

Q1：传统股骨钢板植入手术的难点是什么？
A1：主要存在三大难题：视野受限导致“不可见”、依赖经验导致“不准确”、手动操作导致“不稳定”。机器人辅助手术旨在解决这些问题。

Q2：什么是“双模式”机器人辅助系统？
A：指两种轨迹规划模式：一是自动模式，由算法基于CT图像自动计算植入路径；二是手动模式，允许医生在复杂情况下手动干预，兼顾智能与临床灵活性。

Q3：NOKOV动作捕捉在研究中起什么作用？
A：NOKOV度量动作捕捉系统是核心数据采集工具，它将医生的手术操作数字化，高精度记录钢板植入的位姿与运动轨迹，为训练神经网络提供真实的轨迹规划数据库。

Q4：如何验证该方法的有效性？
A：通过集成多机械臂的手术系统进行实物实验。结果证实：神经网络规划的轨迹符合临床实践，机械臂能精准抵达终点，且植入过程无碰撞，验证了该机器人辅助方案的可行性。

Q5：这项研究的更广泛意义是什么？
A：它提供了一套“动作捕捉采集—数据驱动建模—机器人执行”的方法论，可扩展至其他需高精度操作的机器人辅助手术领域，为手术自动化提供了可复用的技术路径。

七、论文信息

论文已发表在The International Journal of Medical Robotics and Computer Assisted Surgery期刊，已被SCI和EI收录。

引用格式

Guo, Yanchao et al. “A Dual-Mode Robot-Assisted Plate Implantation Method for Femoral Shaft Fracture.” The international journal of medical robotics + computer assisted surgery : MRCAS 20 6 (2024): e70008 .