一种基于EOG和EMG的交互方法与流程

本发明虚拟现实领域，具体涉及一种基于eog和emg的交互方法。

背景技术：

虚拟现实(简称vr)，又称灵境技术，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。他综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到真实世界中无法亲身经历的体验。

ar又叫增强现实(augmentedreality，简称ar)。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。简单的来说vr是全虚拟世界，ar是半真实半虚拟的世界。

mr又叫混合现实(mixreality，简称mr)，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。

全息投影技术也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。全息投影技术不仅可以产生立体的空中幻像，还可以使幻像与表演者产生互动，一起完成表演，产生令人震撼的演出效果。关于全息投影最形象的理解就是《钢铁侠》中的“贾维斯”。

裸眼3d最简单的理解就是裸眼看3d电影达到的效果就如同我们现在使用3d眼镜看3d电影产生的效果。

沉浸式的体验使得现有的计算机交互工具如键盘、鼠标、触控板等很难使用在其中，如何开发更适合vr的交互方式成为行业热点，仍处于探索和研究阶段。目前主流的交互方式主要有以下几种：

感觉式沉浸

感觉式沉浸，主要靠采集肢体动作来进行交互。其缺点是设备笨重(通常使用多摄像头技术完成肢体动作采集)，结构复杂，且需要记忆较多的手势命令，使用场景极其受限。

交互式沉浸

主要靠动作跟踪和按键控制完成交互。一般性产品有手柄、摇杆、体感枪、方向盘等。手柄等设施虽然可实现高效的控制，但其存在按键较少，功能单一等问题，尤其要手持，影响沉浸感，需要选择更合适的解决方案。

眼电(eog，electrooculogram)，是由眼球水平运动、垂直运动、转动或眨眼等动作产生的生物电信号。

肌电(electromyogram，emg)，是由肌肉在静止、收缩、兴奋等动作产生的生物电信号。

申请号为201610973410.3的中国发明专利申请，于2016年11月7日申请了一种“虚拟现实交互方法及装置”，该方案通过眼睛、眼球、视线状态等追踪技术，获取vr用户的主动眼睛动作，执行相应的功能。该专利对主动眨眼的操作要求比较复杂，并且全程眨眼操作，并不能完成复杂的输入(如50按键的字符输入等)，有一定的局限性。

因此，提供一种根据眼电信号准确输入字符的方法及装置具有重要的意义。

技术实现要素：

本发明针对现有技术的不足，提出一种基于eog和emg的交互方法，具体技术方案如下：

一种基于eog和emg的交互方法，其特征在于：

采用以下步骤，

步骤1：使用者佩戴eog采集装置，在至少n个手指上对应设置有手指emg采集装置，打开虚拟系统，进入脑机交互界面；

步骤2：在脑机交互界面生成有m个选择键，每个选择键对应有一排虚拟键，该一排虚拟键由n个虚拟键组成，总共形成有m行n列个虚拟键，n列虚拟键分别与n个手指emg采集装置对应，该m个选择键的选择由eog信号进行控制，每排的n个虚拟键由对应的手指emg信号进行控制；

步骤3：m个选择键轮流闪烁，每次只闪烁其中一个选择键；

步骤4：在需要选中的选择键闪烁时，使用者进行相应的眼部动作，产生eog信号；

步骤5：计算机判断是否有选择键被选中，如果有，进入到与被选中的选择键对应的一排虚拟键，进入下一步骤，否则，回到步骤4；

步骤6：该排虚拟键的n个虚拟键依次闪烁一次；

步骤7：在需要选择的虚拟键闪烁时，使用者与该虚拟键对应的手指做出相应动作，产生手指emg信号，每个虚拟键闪烁时，计算机从对应的手指eog采集装置中采取一段信号作为特征向量，该n个特征向量形成一组特征向量集di；

步骤8：将特征向量集di中的特征向量通过预处理后，将特征向量通过分类器进行判断；

步骤9：按照步骤4和步骤8循环至少一轮，得到特征向量集di+1；

步骤10：判断特征向量集di和特征向量集di+1中的特征向量是否相同，如果均相同，按照特征向量集di和特征向量集di+1的所述目标特征向量确定虚拟键，进入下一步骤，否则，回到步骤6；

步骤11：判断退出按钮是否被按下，如果是，则进入步骤15，否则，进入下一步骤；

步骤12：判断输入是否完成，如果输入完成，进入步骤14，否则，进入到下一步骤；

步骤13：按照步骤4至步骤12重复；

步骤14：则按照输入的虚拟键执行；

步骤15：结束选择。

进一步地：所述步骤8包括以下步骤：

步骤81：对该组特征向量集di内的特征向量数据依次进行包括去除基线漂移、去除50hz工频干扰以及带通滤波在内的预处理；

步骤82：对预处理后特征向量集di内的每个特征向量数据求一阶差分，具体方法为：di＝xi+1-xi

其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；

步骤83：特征向量集di＝[d1,d2,...,dn]，该特征向量集di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集di进行分类得到n个分类结果s＝[s1,s2,...，si,...,sn]，其中对分类结果s只保留其最大的前q个分值并将其余置零；

步骤84：将特征向量集di内的特征向量进行波形检测，得到n个波形检测结果wi＝[w1,w2,...,wi,...,wn]；

步骤85：将分类结果s和波形检测结果w相乘，得到ri＝[r1,r2,...，ri,...,rn]。

进一步地：所述步骤5包括以下步骤：

步骤91：按照步骤4和步骤7循环至少一轮，得到特征向量集di+1和对应的ri+1；

步骤92：比较ri和ri+1中对应位置的元素是否相同，如果相同，则判断特征向量集di和特征向量集di+1具有相同特征向量，按照特征向量集di和特征向量集di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤4。

进一步地：所述步骤84包括如下步骤：

步骤841：将特征向量集di内的特征向量依次进行波形检测；

步骤842：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤846；

步骤843：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤846；

步骤844：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值p，如果是，则进入下一步骤，否则，进入步骤846；

步骤845：特征向量的波形检查通过，对应的wi＝1；

步骤846：特征向量的波形检查没通过，对应的wi＝0；

步骤847：得到wi＝[w1,w2,...,wi,...,wn]。

进一步地：所述步骤10包括如下步骤：

步骤101：判断ri和ri+1中的元素是否均大于零，如果是，则进入下一步骤，否则，回到步骤6；

步骤102：判断ri和ri+1中元素的位置、顺序和大小是否相同，若都相同，进入下一步骤，否则，回到步骤6；

步骤103：则特征向量集di和特征向量集di+1中的特征向量均相同，按照特征向量集di和特征向量集di+1中的目标特征向量确定虚拟键。

本发明的有益效果为：第一，本发明识别方法这一块采用波形匹配和分类器两种方法结合使用，在保证eog和emg信号被正常检测的同时，排除了系统对输入信号的误判，提高了检测率，识别度。

第二，本发明将按键分为行选择键和行内虚拟键两大模块，通过eog信号完成行选择，需要较多操作的行内虚拟键选择交个手指egm信号，与现行pc机的键盘输入方式吻合，可大大提高功能键的选择效率。

附图说明

图1为本发明的流程图；

图2为虚拟键盘的结构图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本发明具体实施例如图1和图2所示，以一种虚拟键盘输入系统为例，

一种基于eog和emg的交互方法，

采用以下步骤，

步骤1：使用者佩戴eog采集装置，在10个手指上分别对应设置有手指emg采集装置，打开虚拟系统，进入脑机交互界面；

步骤2：在脑机交互界面生成有4个选择键，为虚拟键盘上的数字1,2,3,4表示，每个选择键对应有一排虚拟键，该一排虚拟键由10个虚拟键组成，总共形成有4行10列个虚拟键，10列虚拟键分别与10个手指emg采集装置对应，该4个选择键的选择由eog信号进行控制，每排的10个虚拟键由对应的手指emg信号进行控制，每行自左至右的十个按键分别由左手尾指emg、左手无名指emg、左手中指emg、左手食指emg、左手拇指emg、右手拇指emg、右手食指emg、右手中指emg、右手无名指emg、右手尾指emg进行操控；

步骤3：4个选择键轮流闪烁，每次只闪烁其中一个选择键；

步骤4：在需要选中的选择键闪烁时，使用者进行相应的眼部动作，产生eog信号；

步骤5：计算机判断是否有选择键被选中，如果有，进入到与被选中的选择键对应的一排虚拟键，进入下一步骤，否则，回到步骤4；

步骤6：该排虚拟键的10个虚拟键依次闪烁一次；

步骤7：在需要选择的虚拟键闪烁时，使用者与该虚拟键对应的手指做出相应动作，产生手指emg信号，每个虚拟键闪烁时，计算机从对应的手指eog采集装置中采取一段信号作为特征向量，该10个特征向量形成一组特征向量集di；

步骤8：对该组特征向量集di内的特征向量数据依次进行包括去除基线漂移、去除50hz工频干扰以及带通滤波在内的预处理；

步骤9：对预处理后特征向量集di内的每个特征向量数据求一阶差分，具体方法为：di＝xi+1-xi

其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；

步骤10：特征向量集di＝[d1,d2,...,dn]，该特征向量集di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集di进行分类得到n个分类结果s＝[s1,s2,...，si,...,sn]，其中对分类结果s只保留其最大的前5个分值并将其余置零；

步骤11：将特征向量集di内的特征向量依次进行波形检测；

步骤12：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤16；

步骤13：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤16；

步骤14：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值p，如果是，则进入下一步骤，否则，进入步骤16；

步骤15：特征向量的波形检查通过，对应的wi＝1；

步骤16：特征向量的波形检查没通过，对应的wi＝0；

步骤17：得到wi＝[w1,w2,...,wi,...,wn]。

步骤18：将分类结果s和波形检测结果w相乘，得到ri＝[r1,r2,...，ri,...,rn]；

步骤19：按照步骤6和步骤18循环至少一轮，得到特征向量集di+1和对应的ri+1；

步骤21：判断ri和ri+1中的元素是否均大于零，如果是，则进入下一步骤，否则，回到步骤6；

步骤22：判断ri和ri+1中元素的位置、顺序和大小是否相同，若都相同，进入下一步骤，否则，回到步骤6。

步骤23：则特征向量集di和特征向量集di+1中的特征向量均相同，按照特征向量集di和特征向量集di+1中的目标特征向量确定虚拟键；

步骤24：判断退出按钮是否被按下，如果是，则进入步骤28，否则，进入下一步骤，该判断方式具体为，在脑机交互界面上设置有退出按钮，该退出按钮和虚拟键盘上的数字1,2,3,4一样一直保持循环闪烁状态，通过检测该退出按钮闪烁时，是否产生对应的eog信号，判断该退出按钮是否被按下；

步骤25：判断输入是否完成，如果输入完成，进入步骤27，否则，进入到下一步骤，具体为，在脑机交互界面上设置有确定按钮，该确定按钮和虚拟键盘上的数字1,2,3,4、退出按钮一样一直保持循环闪烁状态，通过检测该确定按钮闪烁时，是否产生对应的eog信号，判断该退出按钮是否被按下；

步骤26：按照步骤4至步骤22重复；

步骤27：则按照输入的虚拟键执行；

步骤28：结束选择。

上述步骤3至步骤5的眼电eog信号检测具体流程包括，

步骤1：m个选择键轮流闪烁，每次只闪烁其中一个选择键；

步骤2：在需要选中的选择键闪烁时，使用者进行相应的眼部动作，产生eog信号，每次选择键闪烁时，eog采集装置采取一段信号作为特征向量，m个特征向量组成一组特征向量集mi；

步骤3：对该组特征向量集mi内的特征向量数据依次进行包括去除基线漂移、去除50hz工频干扰以及带通滤波在内的预处理；

步骤4：对预处理后特征向量集mi内的每个特征向量数据求一阶差分，具体方法为：di＝xi+1-xi

其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；

步骤5：特征向量集mi＝[m1,m2,...,mm]，该特征向量集mi内的特征向量分别对应工作行中的m个选择键的闪烁，将特征向量集mi进行分类得到m个分类结果s＝[s1,s2,...，si,...,sm]，其中对分类结果s只保留其最大的前q个分值并将其余置零；

步骤6：将特征向量集mi内的特征向量依次进行波形检测；

步骤7：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤16；

步骤8：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤16；

步骤9：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值p，如果是，则进入下一步骤，否则，进入步骤16；

步骤10：特征向量的波形检查通过，对应的wi＝1；

步骤11：特征向量的波形检查没通过，对应的wi＝0；

步骤12：得到wi＝[w1,w2,...,wi,...,wm]。

步骤13：将分类结果s和波形检测结果w相乘，得到ri＝[r1,r2,...，ri,...,rn]；

步骤14：判断ri中的元素是否均大于零，如果是，则进入下一步骤，否则，回到步骤2；

步骤15：按照步骤6和步骤18循环至少一轮，得到特征向量集mi+1和对应的ri+1；

步骤16：判断ri和ri+1中元素的位置、顺序和大小是否相同，若都相同，进入下一步骤，否则，回到步骤2。

步骤17：进入到与被选中的选择键对应的一排虚拟键，手指emg装置分别与该排的n个虚拟键对应。