基于虚拟现实技术的多功能肌电假肢控制系统开发平台
来源:第三维度
作者:余龙 张志勇 陶丹丹 陈亮 邹国栋 李光林
摘 要 通过虚拟现实假肢控制系统,研究肌电解码控制的多功能假肢的实时操控性能,便于以后对影响多功能肌电假肢临床控制性能的动态因素及如何提高和改善多功能肌电假肢控制性能进行详细的研究。另外,肌电假肢的使用存在训练过程漫长、动作笨拙、使用者精神负担大等问题,利用虚拟手代替真实肌电手进行训练,可以营造一种轻松训练环境。本系统利用SolidWorks绘制三维手臂,再用虚拟现实三维建模方法和建模语言(VRML)节点语法编辑出完整的虚拟手臂场景,利用MATLAB的simulink搭建虚拟手控制平台,实现虚拟世界和外界的交互。该系统可以通过从残疾人残余肌肉采集的肌电信号进行解码、时域特征提取、动作类型识别等操作,最终实现用肌电信号控制虚拟手臂。
1 引言
肌电假肢使用的训练过程漫长、动作笨拙,通常患者学习去使用假肢的开始阶段非常的痛苦,而且不断反复,容易出错,甚至可能使病人丧失对假肢的信心,所以,通过开发虚拟仿真环境,可以营造一种轻松训练环境,减轻病人在初始阶段的痛苦。
目前大多数的研究工作主要针对假肢控制算法的可行性、性能及相关问题进行理论上的探讨和分析,还无法对多功能假肢的实时操控性能进行研究和评价,从而阻碍了多功能假肢系统研究及实用化的进程。将虚拟现实技术引入到肌电假肢控制的设计开发进程中,在没有多功能物理假肢系统的情况下,实现多功能假肢控制系统的研究、开发及实时性能评价,将大大加快多功能肌电假肢的实用化进程[1]。
本文先用SolidWorks画了了一个三维的机械手臂,然后用vrml语言编辑成虚拟手场景,然后利用工具箱导入到MATLAB的simulink中,利用MATLAB建立训练和实时控制系统。通过简单的训练,得到手部的六个基本动作的LDA分类器,然后通过分类器实时的判断残疾人所要做的动作。
2 系统实现
该系统的实现主要有两部分,第一部分是LDA分类器的训练,第二部分是虚拟手的实时控制。整个系统流程如下图1所示。
图1 系统流程图
其中训练过程包括手臂基本动作的肌电信号采集、肌电信号放大及预处理、肌电信号的解码和特征提取、分类器的系数运算、分类器的测试和精度分析。虚拟手的实时控制主要肌电信号的采集与处理、特征提取、动作分类判断等过程。
2.1 分类器训练
分类器是本系统算法的核心,分类器的好坏直接影响的手部动作的判断,从而影响到虚拟手的实时控制。
一般手部的基本动作包括6个动作:手张开、握拳、腕内旋、腕外旋、腕内收、腕外展。一般手部动作都是其中的一种或者两种的组合,所以本系统主要对这六个动作进行训练,如下图2所示:
图2 分类器训练的六个动作
目前,用于表面肌电信号的模式分类方法很多,但总体上可归为两大类:基于统计的分类器、模糊分类器、模式聚类分类器和神经网络分器。但是之前的研究工作(Hargrove等人2007年)表明,LDA分类器的准确率也不输于这些复杂的方法,同其他分类方法相比,LDA分类器具有实现更容易和训练更迅速等优点[2]。所以本系统采用LDA分类器,LDA分类器生成要经过信号的采集与预处理、特征提取、对样本的统计计算出分类器的线性判断式,如下图3所示。
图3 分类器的形成过程
表面肌电信号的时域特征与频域特征或时—频域特征相比,具有计算量简单、获取迅速等优点,可以获得相对较好的分类特性。跟据 Hudgins等人的研究成果,仅需提取平均绝对值、过零率、波长和符号改变斜率4 个时域特征,就可以获得较好的分类结果。因此本系统即采用时域的这四个参数作为提取的时域特征对象[3]。
LDA判别思想是:对于每一种运动类型的EMG数据,分别求出该类型所包含的每段数据对应于所有运动类型的后验概率比较所有运动类型后验概率的值,值最大的运动类型作为该段数据的归属运动类型。后验概率是特征向量f所决定的运动类型Cg的概率,可表示为:
其中,P(Cg)是先验概率,表示似然概率P(f)表示特征向量f的概率
得到分类器函数以后,系统会自动进行测试并导入到实时系统中。
2.2 虚拟手臂场景编辑
虚拟现实系统通过使用各种先进的硬件技术及软件工具,设计出合理的硬件、软件及交互手段,使参与者能交互式地观察和操纵系统生成的虚拟世界。将虚拟现实技术应用于多自由度假肢的控制首先要做的是虚拟手模型的建立[3]。
本系统建立虚拟手场景经过以下几步:测量中国上海科生生产的实体假手;根据测量数据在SolidWorks中画出三维的手臂,再把这个三维手臂导入到VrmlPad软件中,用VRML语言进行编辑与描述[4],过程如下图4所示。
a) 实体手 b)三维机械手 c) 虚拟手
图4 虚拟手制作过程
再将形成的虚拟手场景导入到simulink中,在simulink中搭好EMG信号实时采集和处理的其他程序,并把分类器函数导入。这样就大检查完整的虚拟现实实时控制系统[6]。
3 系统的实验及分析
由于肌电信号非常微弱,采集环境比较复杂,在传递过程中很容易受外电场和电路噪音的影响。
所以每次做实验前都要检测一下信号质量和稳定性,然后打开系统,进入训练界面对手部基本动作训练,如下图5所示。
图5 实时控制系统训练界面
当训练完之后,系统会自动的对所得的分类器进行测试,并把分类器函数传入到实时控制系统中,下图6是其中一个被试者所得的分类器精度。
图6 分类器精度测试结果
其横坐标表示对于的动作类型,其中1-6表示手部的6个基本动作,7表示静止,纵坐标表示分类器判断是该动作的比例,上图中可知分类器的分类精度还是比较高的,只是把第二类动作的10%左右的点判断成第三类动作,其他的都基本判断对了。
当训练好了之后,点击开始实时控制就可以进入实时控制系统界面,如下图7所示。
图7 实时控制界面
这时就可以通过外界人的表面肌电信号自由的控制里面的虚拟手臂,达到人机交互的效果,下图9是一个被试者通过表面肌电信号控制虚拟手的效果图。
图8 虚拟手控制效果图
上图中被试者手臂贴的就是采集肌电信号的电极,信号经电极采集,经放大器放大,预处理和特征提取,然后用提取的特征向量带入分类器函数,实时的判断出当前所做动作。不过一点比较重要,就是当训练完成以后,贴在肌肉表皮的电极不能随意的移动,否则分类器的精度就会下降。
4 结论
本文为了解决残疾人用实体肌电手锻炼困难的问题,开发了一套简单实用的虚拟手臂锻炼系统,这套系统不但使残疾人能轻松愉快的进行锻炼,而且有利于研究肌电解码控制的多功能假肢的实时操控性能。
参考文献
[1] Sally Adee.The Revolution Will Be Prosthetized. IEEESPECTRUM.2009:45~48.
[2] Yonghong Huang, Kevin B. Englehart, Bernard Hudgins, etal. A Gaussian Mixture Model Based Classification Schemefor Myoelectric Control of Powered Upper Limb Prostheses.IEEE Transaction on Biomedical Engineering, 2005, 52(11):1801~1811.
[3] Dario Farina, Roberto Merletti, and Roger M. Enoka, “Theextraction of neural strategies from the Surface EMG,” J ApplPhysiol, vol.96, pp.1486-1495, 2004.
[4] M Cavazza,R Earnshaw,N M Thalmann,D Thalmann.Motion Control of Virtual Humans.IEEE Computer Graphics andApplications,1998,18(5):24一3.
[5] 段新昱.虚拟现实基础与 VRML 编程.高等教育出版社.2004: 40~87.
[6] 贾秋林、袁冬莉等.MATLAB7.x/simulink/ stateflow 系统仿真、分析与设计.2006.
作者简介
余 龙 客座硕士研究生,研究方向:多功能肌电假肢控制技术。
张志勇 曾是中国科学院深圳先进技术研究院神经工程中心客座学生,硕士,哈尔滨工业大学深圳研究生院,研究方向:织物电极与虚拟现实的肌电假肢控制。
陶丹丹 客座硕士研究生,研究方向:织物电极与肌电假肢的实时控制。
陈 亮 客座硕士研究生,研究方向:基于EMG与MMG的多功能假肢控制系统。
邹国栋 客座硕士研究生,研究方向:基于语音与EMG的假肢控制方法。
李光林 作者简介见本期封2页。