随着科技的不断进步，人机接口在机械臂等辅助设备中的应用不仅为上肢运动障碍人群带来了显著的生活质量提升，同时也揭示出传统人机接口系统存在的一系列问题。这些问题包括指令较少、操作困难等方面，限制了机械臂等辅助设备在运动控制方面的多维拓展。
在这一背景下，为了突破传统束缚，华南理工大学李远清教授团队提出了一种创新的机械臂运动控制方法，采用基于可穿戴式多模态人机接口的设计。这一方法的目标在于开发更加贴近产业化需求的控制设备，以实现更为灵活、智能的运动控制。通过引入可穿戴式多模态技术，该系统不仅能够提供更丰富的指令选择，还能够简化操作流程，从而提高用户的控制体验，为未来的运动障碍辅助技术发展开辟了新的可能性。
图1 系统设备图
该方法的创新之处在于其使用团队自主研发的可穿戴式智能头环，采集用户的眼电、头部姿态和语音等多模态信号，并将它们进行综合应用。通过信号处理与转换，能够将多模态信号准确转化为控制指令，从而赋予机械臂更为灵活的运动能力。系统不再受限于单一指令，用户只需进行简单的操作动作，即可实现对机械臂在任意角度下的2维和3维连续运动的精准控制。
图2 系统框架图
为验证这一控制方法的可行性和性能表现，进行了广泛的实验。通过10名受试者完成了指令输出、2维目标跟踪、字母书写和3维物体抓取等测试。
表1 系统评估的性能指标
指令输出：
实验结果表明，系统眨眼生成指令的平均准确率96.67%，平均响应时间1.51s，平均信息传输率142.53 bit/min，平均误报率0.05次/分钟。
2维目标跟踪：
受试者被要求通过改变自己的头部姿态控制机械臂的运动方向，使机械臂的末端尽可能地跟踪目标运动，当目标运动到终点时，受试者立即通过语音控制机械臂停止运动。由于手动控制方式仍然广泛应用于辅助康复领域，因此作为对照，要求每名受试者还需要用操纵杆控制机械臂完成相同的实验任务。
图3 机械臂跟踪2维平面目标实验场景示意图
图4 目标运动轨迹示意图
分别绘制出2种控制方式下机械臂沿不同路线跟踪目标的轨迹和对应的平均偏差。具体来说，对于轨迹1，多模态控制下系统跟踪结果的平均均方根偏差为0.12，操纵杆控制下系统跟踪结果的平均均方根偏差为0.10；对于轨迹2，多模态控制下系统跟踪结果的均方根偏差为0.14，操纵杆控制下系统跟踪结果的均方根偏差为0.13。
图5 目标轨迹1（左图）和目标轨迹2（右图）对应的机械臂跟踪轨迹与均方根偏差
图6 受试者S10分别沿轨迹1（左图）和轨迹2（右图）控制机械臂时的跟踪轨迹
字母书写：
受试者使用本文的人机接口控制机械臂在写字板上写出“BCI”三个字母。测试人员会协助受试者预先把机械臂调整到方便书写的位置，每当受试者写完一个字母后，测试人员帮助受试者把机械臂调整到下一个书写位置。结果表明，此系统有望帮助上肢运动障碍患者完成书写，如果能准确控制机械臂起笔和落笔时笔与写字板之间的距离，进一步提高机械臂的运动灵活度，则可使用户在无人帮助的情况下完全自主地完成书写。
图7 控制机械臂写字实验场景图
图8 部分受试者的书写结果展示
3维物体抓取：
在桌面上随机摆放一个直径4cm、固定在高30cm支架上的小球（机械臂可达范围内），受试者需要控制机械臂从规定的起始位置开始向小球位置连续运动，当机械臂末端触碰到球后立即通过语音命令停止机械臂运动，然后抓取小球。在机械臂运动过程中，受试者根据机械臂的运动情况实时调整头部姿态，尽可能使机械臂的末端以最短距离触碰到目标。定义机械臂运动的轨迹效率，该效率通过计算机械臂从起始位置到小球位置的直线最短距离与机械臂末端实际运动轨迹长度之比得出。同样，作为与多模态人机接口控制方式的对照，每名受试者还需要使用操纵杆手动控制机械臂完成相同的实验任务，计算手动控制模式下机械臂运动的轨迹效率。
多模态控制下机械臂的平均轨迹效率为92.65%，操纵杆控制下机械臂的平均轨迹效率为93.39%。
图9 3维空间内机械臂抓取实验示意图
＋ 总结与展望
本文详细介绍了一种可穿戴的多模态人机接口，旨在实现对机械臂系统的高精度连续运动控制。该研究对于养老助残领域具有重要的理论和实际意义。该多模态人机接口利用可穿戴技术，将感知、识别和控制集成在一个装置中，使用户能够以更自然、直观的方式与机械臂系统进行交互。通过整合眼电、头部姿态、语音等多种信号模态，用户能够更轻松、准确地控制机械臂的运动。这一创新有望改善养老助残设备的性能，促进更广泛的社会参与，并提高残障和老年人士的生活质量。未来应进一步探索这一领域，以确保这一技术的广泛应用和不断改进，更好地满足养老助残的需求。
