一种基于EMG的交互方法与流程

本发明虚拟现实领域，具体涉及一种基于emg的交互方法。

背景技术：

虚拟现实(简称vr)，又称灵境技术，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。他综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到真实世界中无法亲身经历的体验。

ar又叫增强现实(augmentedreality，简称ar)。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。简单的来说vr是全虚拟世界，ar是半真实半虚拟的世界。

mr又叫混合现实(mixreality，简称mr)，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。

全息投影技术也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。全息投影技术不仅可以产生立体的空中幻像，还可以使幻像与表演者产生互动，一起完成表演，产生令人震撼的演出效果。关于全息投影最形象的理解就是《钢铁侠》中的“贾维斯”。

裸眼3d最简单的理解就是裸眼看3d电影达到的效果就如同我们现在使用3d眼镜看3d电影产生的效果。

沉浸式的体验使得现有的计算机交互工具如键盘、鼠标、触控板等很难使用在其中，如何开发更适合vr的交互方式成为行业热点，仍处于探索和研究阶段。目前主流的交互方式主要有以下几种：

感觉式沉浸

感觉式沉浸，主要靠采集肢体动作来进行交互。其缺点是设备笨重(通常使用多摄像头技术完成肢体动作采集)，结构复杂，且需要记忆较多的手势命令，使用场景极其受限。

交互式沉浸

主要靠动作跟踪和按键控制完成交互。一般性产品有手柄、摇杆、体感枪、方向盘等。手柄等设施虽然可实现高效的控制，但其存在按键较少，功能单一等问题，尤其要手持，影响沉浸感，需要选择更合适的解决方案。

肌电(electromyogram，emg)，是由肌肉在静止、收缩、兴奋等动作产生的生物电信号。

申请号为201610973410.3的中国发明专利申请，于2016年11月7日申请了一种“虚拟现实交互方法及装置”，该方案通过眼睛、眼球、视线状态等追踪技术，获取vr用户的主动眼睛动作，执行相应的功能。该专利对主动眨眼的操作要求比较复杂，并且全程眨眼操作，并不能完成复杂的输入(如50按键的字符输入等)，有一定的局限性。

因此，提供一种根据emg信号准确输入字符的方法及装置具有重要的意义。

技术实现要素：

本发明针对现有技术的不足，提出一种基于emg的交互方法，具体技术方案如下：

一种基于emg的交互方法，其特征在于：

采用以下步骤，

步骤1：使用者将n个手指分别与emg采集装置的n个信号采集端相连，打开虚拟系统，进入脑机交互界面；

步骤2：在脑机交互界面生成有m行n列选择键，每个选择键分别设置有唯一的数字标记，所述n列选择键分别与n个信号采集端一一对应；

步骤3：m行选择键，行与行之间轮流闪烁，每次闪烁为整行选择键同时闪烁；

步骤4：判断在该整行选择键闪烁时，是否有emg信号产生，若否，则回到步骤3进行下一行的整行选择键闪烁；若是，则设该行为工作行，进入步骤5；

步骤5：在工作行中的n列选择键按照顺序进行闪烁，每个选择键闪烁时，打标系统发送对应与该选择键对应的数字标记插入到emg采集装置的采样时间轴上；

步骤6：使用者在需要选择的选择键闪烁时，与该选择键对应的手指做出相应的动作；

步骤7：emg采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征向量，n个按键均闪烁完成后，生成有n个特征向量，该n个特征向量形成一组特征向量集di；

步骤8：将特征向量集di中的特征向量通过预处理后，将特征向量通过分类器进行判断；

步骤9：判断特征向量集di中是否存在目标特征向量，如果存在目标特征向量，则进入下一步骤，否则进入步骤12；

步骤10：按照步骤5和步骤9循环至少一轮，得到特征向量集di+1，判断特征向量集di和特征向量集di+1中的特征向量是否相同，如果均相同，按照特征向量集di和特征向量集di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤5；

步骤11：判断该选择键是否为结束输出，如果是，则进入步骤15，否则，进入下一步骤；

步骤12：判断输入是否完成，如果输入完成，进入步骤14，否则，进入到下一步骤；

步骤13：进入到下一个工作行，按照步骤4至步骤12处理；

步骤14：则按照输入的选择项执行；

步骤15：结束选择。

进一步地：所述步骤8包括以下步骤：

步骤81：对该组特征向量集di内的特征向量数据依次进行包括去除基线漂移、去除50hz工频干扰以及带通滤波在内的预处理；

步骤82：对预处理后特征向量集di内的每个特征向量数据求一阶差分，具体方法为：

di＝xi+1-xi其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；

步骤83：特征向量集di＝[d1,d2,...,dn]，该特征向量集di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集di进行分类得到n个分类结果s＝[s1,s2,...，si,...,sn]，其中对分类结果s只保留其最大的前q个分值并将其余置零；

步骤84：将特征向量集di内的特征向量进行波形检测，得到n个波形检测结果wi＝[w1,w2,...,wi,...,wn]；

步骤85：将分类结果s和波形检测结果w相乘，得到ri＝[r1,r2,...，ri,...,rn]；

步骤9具体为：遍历ri，若不存在ri>0，则判断特征向量集di中不存在目标特征向量，进入步骤12，若存在ri>0，则判断特征向量集di中存在目标特征向量，进入下一步骤。

进一步地：所述步骤9包括以下步骤：

步骤101：按照步骤5至步骤9循环至少一轮，得到特征向量集di+1和对应的ri+1；

步骤102：比较ri和ri+1中对应位置的元素是否相同，如果相同，则判断特征向量集di和特征向量集di+1具有相同特征向量，按照特征向量集di和特征向量集di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤5。

进一步地：所述步骤84，包括以下步骤：

步骤841：将特征向量集di内的特征向量依次进行波形检测；

步骤842：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤846；

步骤843：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤846；

步骤844：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值p，如果是，则进入下一步骤，否则，进入步骤846；

步骤845：特征向量的波形检查通过，对应的wi＝1；

步骤846：特征向量的波形检查没通过，对应的wi＝0；

步骤847：得到wi＝[w1,w2,...,wi,...,wn]。

发明的有益效果为：第一，本发明识别方法这一块采用波形匹配和分类器两种方法结合使用，在保证emg信号被正常检测的同时，排除了系统对输入信号的误判，提高了检测率，识别度。第二，本发明将选择键分为多行选闪烁，通过操作行内虚拟键判断手指egm信号，来确定目标选择键，与现行pc机的键盘输入方式吻合，可大大提高功能键的选择效率。

附图说明

图1为本发明的流程图；

图2为虚拟键盘的结构图；

图3为其中一个标记数字后的检测波形图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明具体实施例如图1至图3所示，以一种虚拟键盘操作为例，

一种基于emg的交互方法，其特征在于：

采用以下步骤，

步骤1：使用者将10个手指分别与emg采集装置的10个信号采集端相连，打开虚拟系统，进入脑机交互界面；

步骤2：在脑机交互界面生成有4行选择键和2行按钮，其中2行按钮分别为退出行按钮和确定行按钮，其它4行选择键中的每行分别设置有10个选择键，每个选择键分别设置有唯一的数字标记，4行选择键中的10列选择键分别与10个信号采集端一一对应；

自左至右的十列按键分别由左手尾指emg、左手无名指emg、左手中指emg、左手食指emg、左手拇指emg、右手拇指emg、右手食指emg、右手中指emg、右手无名指emg、右手尾指emg进行操控；

当选择4行选择键中的其中一行，然后从中选择其中一列选择键，可以确定唯一的数字标记。退出行按钮和确定行按钮也设置有唯一标记，该退出按钮,可由10个信号采集端任何一个进行emg信号输入，这里采用左手食指emg进行信号输入，该确定行按钮也可由10个信号采集端的任何一个进行emg信号输入，这里采用右手食指emg进行信号输入；

步骤3：4行选择键和2行按钮，行与行之间轮流闪烁，4行选择键闪烁时，每次闪烁为整行选择键同时闪烁；

步骤4：判断在该整行闪烁时，是否有emg信号产生，若否，则回到步骤3进行下一行的整行闪烁；若是，则设该行为工作行，进入步骤5；

步骤5：若该工作行为4行选择键之一，则在工作行中的10列选择键按照顺序进行闪烁，每个选择键闪烁时，打标系统发送对应与该选择键对应的数字标记插入到emg采集装置的采样时间轴上；

步骤6：使用者在需要选择的选择键闪烁时，与该选择键对应的手指做出相应的动作；

步骤7：emg采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征向量，10个按键均闪烁完成后，生成有10个特征向量，该10个特征向量形成一组特征向量集di；

步骤8：对该组特征向量集di内的特征向量数据依次进行包括去除基线漂移、去除50hz工频干扰以及带通滤波在内的预处理；

步骤9：对预处理后特征向量集di内的每个特征向量数据求一阶差分，具体方法为：

di＝xi+1-xi其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；

步骤10：差分之后的特征向量集为di＝[d1,d2,...,d10]，该特征向量集di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集di进行分类得到n个分类结果s＝[s1,s2,...，si,...,s10]，其中对分类结果s只保留其最大的前3个分值并将其余置零；

步骤11：将特征向量集di内的特征向量依次进行波形检测；

步骤12：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤16；

步骤13：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤16；

步骤14：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值p，如果是，则进入下一步骤，否则，进入步骤16；

步骤15：特征向量的波形检查通过，对应的wi＝1；

步骤16：特征向量的波形检查没通过，对应的wi＝0。

步骤17：通过步骤15和步骤16得到波形检测结果w＝[w1+w2+wi……+w10]，将分类结果s和波形检测结果w相乘，得到ri＝[r1,r2,...，ri,...,r10]；

步骤18：遍历ri，若不存在ri＞0，则判断特征向量集di中不存在目标特征向量，进入步骤22，若存在ri＞0，则判断特征向量集di中存在目标特征向量，进入下一步骤；

步骤19：按照步骤5和步骤17循环至少一轮，得到特征向量集di+1和对应的ri+1；

步骤20：比较ri和ri+1中对应位置的元素是否相同，如果相同，则判断特征向量集di和特征向量集di+1具有相同特征向量，按照特征向量集di和特征向量集di+1的所述目标特征向量确定选择键后，退出到整行选择中，进入下一步骤，否则，回到步骤5。

步骤21：在退出行按钮处于闪烁状态时，判断退出行按钮是否被按下，如果是，则进入步骤25，否则，进入下一步骤；

步骤22：在确定行按钮处于闪烁状态时，判断确定行按钮是否被按下，若有，

则进入步骤24，否则，进入到下一步骤；

步骤23：进入到下一个工作行，按照步骤4至步骤22重复；

步骤24：则按照输入的选择项执行；

步骤25：结束选择。