导语
西安建筑科技大学信息与控制工程学院雷小康老师团队联合西北工业大学航海学院彭星光老师团队，基于虚拟现实（VR）和眼动追踪技术实现了人-集群机器人高效、灵活的交互控制。相关研究论文“基于虚拟现实和眼动的人-集群机器人交互方法” 发表于信息与控制科学领域期刊《信息与控制》。
NOKOV度量动作捕捉系统建立了真实机器人运动状态与其数字孪生主体之间的状态互联，在VR场景中实时更新机器人运动状态，提高操作员的沉浸感和机器人集群态势的感知效率。
一、研究背景
集群机器人具有高鲁棒性、可扩展性及并行协同作业等优点，在大范围多目标任务的执行中具有独特优势，这种优势结合人类的决策智慧后，能够有效提高集群机器人系统的可靠性、适应性及智能化水平。然而，依靠手势、语音等媒介的传统人-集群机器人交互（HSI）方式在面对被控对象众多、群体态势感知困难等挑战时，存在效率低下、灵活性不足等问题。为解决这些问题，实现高效、便捷、沉浸感强的HSI方法，研究团队基于VR和眼动追踪技术展开相关研究。
二、研究贡献
1. 提出一种融合VR和眼动追踪的人-集群机器人交互方法，该方法具有沉浸感强、灵活、便捷的特点。
2. 基于VR的交互方法可克服机器人超视距及环境状况不佳的影响，同时返回机器人群体态势，实现集群机器人数字孪生。
三、研究方法概述：VR + 眼动追踪 + 动作捕捉
本研究提出的 基于 VR 和眼动追踪的人-集群机器人交互方法，整体流程包括三个关键环节：
1. 虚拟现实场景构建与位姿同步
研究团队构建了集群机器人及其环境的 VR 场景，并通过 VR 眼镜呈现给操作员。
在该环节中，NOKOV度量动作捕捉系统用于采集真实机器人在物理空间中的运动轨迹与位姿信息，实现真实机器人运动状态与其数字孪生主体之间的状态互联，并在 VR 场景中实时更新。
2. 眼动数据采集与处理
VR 眼镜中集成的眼动传感器实时捕捉操作员的眼动数据，并传输至处理计算机。
经预处理和解析后，生成对应的运动控制指令，为集群机器人交互提供输入。
3. 指令发送与执行
眼动控制指令被发送至集群机器人系统，机器人接收指令后完成相应动作，实现人-集群机器人之间的实时交互。
人-集群机器人交互系统整体方案
4. 控制规则
- 集群漫游交互规则：将眼球的上下左右运动直接映射为机器人的运动方向。
- 集群目标追踪交互规则：通过眼动射线锁定目标，驱动机器人朝向目标运动。
- 集群轨迹跟踪交互规则：利用眼动轨迹引导机器人集群沿预设轨迹运动。
四、实验验证：基于 NOKOV度量动作捕捉的人-集群机器人实验
1. 实验平台与环境
研究团队采用 SwarmBang 机器人 构建小规模机器人集群，开展真实环境下的人-集群机器人交互实验，以验证基于VR和眼动的HSI方法的可行性和有效性。
实验过程中，NOKOV度量动作捕捉系统持续提供机器人在真实环境中的实时轨迹数据，用于支撑数字孪生和实验评估。
真实实验环境与 VR 交互场景
2. 集群漫游实验
操作员通过眼球的上下左右运动，控制机器人向不同方向移动。
实验结果显示，机器人响应迅速，运动轨迹与眼动指令高度一致，验证了基于 VR、眼动追踪与 NOKOV度量动作捕捉 的集群漫游交互可行性。
3. 集群目标追踪实验
通过眼动射线锁定不同目标，机器人能够快速切换目标并稳定朝向目标移动。
实验中目标激活顺序清晰，轨迹明确，表明系统在目标识别与追踪方面具备良好性能。
4. 集群轨迹跟踪实验
操作员通过眼动预设运动轨迹，引导机器人集群沿指定路径运动。
实验结果显示，机器人运动平顺，能够成功避开障碍物，轨迹跟踪精准。
NOKOV度量动作捕捉系统为轨迹精度评估提供了可靠的真实运动数据支持。
点击观看实验视频：
https://www.nokov.com/support/case_studies_detail/Human-Swarm-Robots-Interaction-Approach-Based-Virtual-Reality-Eye-Tracking.html
五、应用场景与扩展价值
基于 VR、眼动追踪与 NOKOV度量动作捕捉 的人-集群机器人交互方法，可应用于：
- 无人集群系统的人机协同控制
- 复杂环境下的集群机器人任务规划
- 群体智能与集群机器人教学、仿真与验证
- 面向数字孪生的机器人系统测试平台
六、结论：动作捕捉推动人-集群机器人交互升级
实验结果表明，基于 VR 与眼动追踪的人-集群机器人交互方法，实现了高效、灵活、强沉浸感的人机协同控制。
其中，NOKOV度量动作捕捉系统在真实机器人运动感知、数字孪生构建以及实验验证中发挥了关键支撑作用，为人-集群机器人交互研究提供了可靠的数据基础与技术路径。
七、关于基于眼动追踪的人-集群机器人交互实验研究的FQA
Q1：这篇论文主要研究的对象是什么？
A1：论文研究的核心对象是人-集群机器人交互系统。研究聚焦于在集群机器人数量多、态势复杂的情况下，如何通过更加高效、灵活的人机交互方式，实现对机器人集群的控制与引导。研究对象包括真实机器人集群及其在虚拟现实（VR）环境中的数字孪生主体，并借助 NOKOV度量动作捕捉 实现真实与虚拟状态的同步。
Q2：论文提出了什么新的交互方法？
A2：论文提出了一种融合虚拟现实（VR）和眼动追踪技术的人-集群机器人交互方法。该方法通过 VR 场景为操作员提供沉浸式集群态势感知，并利用眼动追踪获取操作员的注视方向和眼动轨迹，将其解析为集群机器人的运动控制指令。在实验中，结合 NOKOV度量动作捕捉系统，实现了机器人真实运动状态与虚拟交互场景之间的实时互联。
Q3：为什么需要引入动作捕捉系统？
A3：在人-集群机器人交互研究中，准确获取机器人在真实环境中的位姿与运动轨迹是验证交互方法有效性的关键。
本研究中引入 NOKOV度量动作捕捉系统，用于实时采集集群机器人在物理空间中的运动数据，并将这些数据同步到 VR 场景中的数字孪生模型，从而确保虚拟环境与真实机器人状态一致，为眼动控制指令的执行与评估提供可靠数据基础。
Q4：研究中，集群机器人的“数字孪生”是如何实现的？
A4：论文中的数字孪生是通过将真实集群机器人的运动状态实时映射到 VR 场景中实现的。
NOKOV度量动作捕捉系统负责采集机器人在真实环境中的位置与姿态信息，并将这些数据同步更新至虚拟场景中的机器人模型，使操作员在 VR 中看到的集群状态与真实机器人保持一致，从而提升沉浸感与态势感知效率。
Q5：该研究对人-集群机器人领域有什么意义？
A5：该研究为人-集群机器人交互提供了一种高沉浸感、低负担、高效率的新思路。
通过引入 VR、眼动追踪与 NOKOV度量动作捕捉，研究不仅提升了交互体验，也为集群机器人在复杂环境、超视距任务和数字孪生验证中的应用提供了可行技术路径，对群体智能与无人集群系统研究具有重要参考价值。
八、论文信息
引用格式
XU Mingyu, LEI Xiaokang, DUAN Zhongxing, XIANG Yalun, DUAN Mengyuan, ZHENG Zhicheng, PENG Xingguang. Human-Swarm Robots Interaction Approach Based on Virtual Reality and Eye Tracking[J]. INFORMATION AND CONTROL, 2024, 53(2): 199-210. DOI: 10.13976/j.cnki.xk.2023.2548
通讯作者
雷小康（通讯作者），西安建筑科技大学信息与控制工程学院副教授、研究生导师。主要研究方向：集群机器人及群体智能等
