一种基于虚拟键盘的文字输入方法及装置与流程

本发明涉及人机交互技术领域，具体涉及一种基于虚拟键盘的文字输入方法及装置。

背景技术：

人机交互发展共有三个阶段，分别为命令行界面交互阶段、图形用户界面交互阶段和自然和谐的人机交互阶段。命令行界面交互阶段中，计算机的使用者被看做操作员，计算机对输入信息一般制作出被动的反应，操作员主要通过键盘输入数据和命令信息，显然，这种人机界面交互方式缺乏自然性。图形用户界面交互阶段，依赖菜单选择和交互构件，但重复性的菜单选择会给用户造成不方便。自然和谐的人机交互阶段是基于语言、手写体、姿势、视线、表情等输入手段的多通道交互，目的是使人能以声音、动作、表情等自然方式进行交互操作。

近年来随着脑科学、计算机科学、信号处理技术的飞速发展，通过脑机接口(braincomputerinterface，bci)的技术可实现人类利用脑电信号同计算机或其它装置进行通讯，有助于自然和谐的人机交互技术发展。在人机交互技术中，需要点击硬件键盘或者虚拟键盘完成文字的输入，但这种操作方式缺乏自然性，特别是手部残障人士难以依赖这种交互方式实现文字输入。

技术实现要素：

本发明实施例提供一种基于虚拟键盘的文字输入方法及装置，用于解决现有的文字输入方法操作不方便的问题。

本发明实施例提供了一种基于虚拟键盘的文字输入方法，包括：

s1：针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；

s2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；

s3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；

s4：重复步骤s1-s3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；

s5：获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；

s6：执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。

可选地，当所述第一子区域对应的虚拟按键的数量大于1时，所述方法还包括：

控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；

接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；

对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。

可选地，在执行点击所述目标虚拟按键的指令之前，所述方法还包括：

获取所述目标虚拟按键对应的字符的数量；

当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；

当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。

可选地，对脑电信号的处理分析采用脑电信号分析工具openvibe。

可选地，所述预设数量为4。

本发明实施例提供了一种基于虚拟键盘的文字输入装置，包括：

虚拟键盘识别单元，用于针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位；

子区域划分单元，用于自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；

第一脑电信号接收单元，用于接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；

第一子区域确定单元，用于对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；

触发按键位置确定单元，用于重复步骤s1-s3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；

所述步骤s1-s3包括：

s1：针对虚拟键盘应用程序，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；

s2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；

s3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；

目标虚拟按键确定单元，用于获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；

文字输入单元，用于执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。

可选地，所述目标虚拟按键确定单元还用于：

当所述第一子区域对应的虚拟按键的数量大于1时，控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；

接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；

对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。

可选地，所述文字输入单元进一步用于：

获取所述目标虚拟按键对应的字符的数量；

当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；

当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。

可选地，对脑电信号的处理分析采用脑电信号分析工具openvibe。

可选地，所述预设数量为4。

本发明实施例提供的基于虚拟键盘的文字输入方法及装置，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的基于虚拟键盘的文字输入方法的流程示意图；

图2是本发明一个实施例的基于虚拟键盘的文字输入方法的原理图；

图3是本发明一个实施例的基于虚拟键盘的文字输入装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的基于虚拟键盘的文字输入方法的流程示意图。如图1所示，该实施例的方法包括：

s1：针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为预设数量的子区域，各个子区域以不同的频率进行闪烁；

需要说明的是，虚拟键盘是一个模拟实际键盘功能，界面和硬件键盘相近的应用程序。

本发明实施例可对显示器显示的虚拟键盘区域进行自动识别，获取各个虚拟按键所在的位置。

本发明实施例可基于稳态视觉诱发电位ssvep原理采集用户的脑电信号，进而实现文字输入。

稳态视觉诱发电位ssvep是当视觉神经受到一个固定频率的视觉刺激时，人的大脑视觉皮层会产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。当显示器显示的虚拟键盘区域的各个子区域以不同的频率进行闪烁时，根据采集的用户注视虚拟键盘区域时的脑电信号可确定用户的注视区。

s2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；

需要说明的是，脑电信号极其微弱，容易受到周围电磁波干扰，所以需要采用精密的脑电信号采集处理设备采集到精确的脑电信号。用户将脑电采集处理设备(例如emotivepoc、emotivepoc+、emotivinsight等)戴在头上，用户注视虚拟键盘区域，脑电采集处理设备采集用户的脑电信号。

s3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；

在实际应用中，本发明实施例利用directx或opengl在显示器界面上绘制以指定频率闪烁的区域，根据ssvep原理，对用户注视闪烁区域而产生的相应脑电信号进行分类(计算机学习并记录用户对于特定闪烁频率的脑电信号)，采用脑电信号分析工具openvibe对所述脑电信号进行处理，确定用户的注视区。

openvibe是实时脑电信号分析工具，最显著的特点是高模块化，由c++编写完成，可以轻松地集成和高效地设计脑机接口应用程序。

s4：重复步骤s1-s3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；

需要说明的是，本发明实施例的触发按键指的是虚拟键盘应用程序运行时，跟随用户的选择进行移动的按键。在虚拟键盘应用程序的界面中，可以用代表触发按键。

s5：获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；

需要说明的是，当通过对第一子区域的不断分割细化，使得第一子区域仅包含一个虚拟按键时，将该虚拟按键确定为用户的目标虚拟按键。

s6：执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；

需要说明的是，本发明实施例在根据脑电信号确定用户的目标虚拟按键后，将触发按键移动至目标虚拟按键所在的位置，调用系统api执行点击所述目标虚拟按键的指令，输入与目标虚拟按键对应的字符。

本发明实施例提供的基于虚拟键盘的文字输入方法，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。

在本发明实施例的一种可选的实施方式中，当所述第一子区域对应的虚拟按键的数量大于1时，所述方法还包括：

控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；

接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；

对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。

可理解的是，当第一子区域对应的虚拟按键的数量大于1时，通过控制第一子区域对应的各个虚拟按键以不同的频率进行闪烁，分析用户此时的脑电信号，从多个虚拟按键中确定用户的虚拟按键。

进一步地，在执行点击所述目标虚拟按键的指令之前，所述方法还包括：

获取所述目标虚拟按键对应的字符的数量；

当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；

当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。

需要说明的是，本发明实施例中虚拟键盘中目标虚拟按键对应的字符的数量可能不是唯一的。如图2所示，将虚拟键盘区域划分为a、b、c、d四个子区域，用户希望输入字符“q”，四个子区域以不同的频率闪烁，分析用户的脑电信号，将子区域a确定为第一子区域；根据上述的方法对第一子区域再进一步划分为a1、a2、a3和a4，确定a3中的q为用户的目标虚拟按键。该目标虚拟按键中包括“q”和“q”，此时需要对目标虚拟按键进一步分割，以此确定用户注视的字符。

本发明通过多次试验对比，邀请志愿者参与测试，确定最科学有效的分割方式，保证基于虚拟键盘的文字输入方法的合理性及高效性，从人机交互的角度上提升用户体验。本发明实施例将虚拟键盘区域划分为4个子区域时文字输入的准确性及效率较高。

本发明实施例的文字输入方法，使得人机交互更加自然，不需要发出声音或者作出动作，可帮助特殊人群完成人机交互。普通用户也可应用本发明实施例提供的文字输入方法更方便地完成人机交互。

图3是本发明一个实施例的基于虚拟键盘的文字输入装置的结构示意图。如图3所示，该发明实施例的装置包括虚拟键盘识别单元31、子区域划分单元32、第一脑电信号接收单元33、第一子区域确定单元34、触发按键位置确定单元35、目标虚拟按键确定单元36和文字输入单元37，具体地：

虚拟键盘识别单元31，用于针对虚拟键盘应用程序，自动识别显示器显示的虚拟键盘区域和键位；

子区域划分单元32，用于自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为为预设数量的子区域，各个子区域以不同的频率进行闪烁；

第一脑电信号接收单元33，用于接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；

第一子区域确定单元34，用于对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；

触发按键位置确定单元35，用于重复步骤s1-s3，将所述第一子区域进行分割，直到所述第一子区域对应的虚拟按键数量小于预设阈值时，将所述第一子区域确定为触发按键位置；

所述步骤s1-s3包括：

s1：针对虚拟键盘应用程序，自动根据虚拟键盘区域和键位情况将所述虚拟键盘区域划分为为预设数量的子区域，各个子区域以不同的频率进行闪烁；

s2：接收脑电采集处理设备发送的第一脑电信号，所述第一脑电信号为所述脑电采集处理设备对用户注视所述虚拟键盘区域的脑电信号进行采集后获得的；

s3：对所述第一脑电信号进行处理分析，根据处理分析结果从所述各个子区域中确定第一子区域为所述用户的注视区；

目标虚拟按键确定单元36，用于获取所述第一子区域对应的虚拟按键的数量，当所述第一子区域对应的虚拟按键的数量为1时，则将该虚拟按键确定为用户的目标虚拟按键；

文字输入单元37，用于执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符。

本发明实施例提供的基于虚拟键盘的文字输入装置，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。

在本发明实施例的一个可选的实施方式中，目标虚拟按键确定单元36还用于：

当所述第一子区域对应的虚拟按键的数量大于1时，控制所述第一区域对应的各个虚拟按键以不同的频率进行闪烁；

接收所述脑电采集处理设备发送的第二脑电信号，所述第二脑电信号为所述脑电采集处理设备对用户注视所述第一子区域的脑电信号进行采集后获得的；

对所述第二脑电信号进行处理分析，根据处理分析结果从所述第一区域对应的各个虚拟按键中确定用户的目标虚拟按键。

文字输入单元37进一步用于：

获取所述目标虚拟按键对应的字符的数量；

当所述目标虚拟按键对应的字符的数量为1时，执行点击所述目标虚拟按键的指令，输入与所述目标虚拟按键对应的字符；

当所述目标虚拟按键对应的字符的数量大于1时，控制所述目标虚拟按键对应的各个字符以不同的频率进行闪烁；接收所述脑电采集处理设备发送的第三脑电信号，所述第三脑电信号为所述脑电采集处理设备对用户注视所述目标虚拟按键的脑电信号进行采集后获得的；对所述第三脑电信号进行处理分析，根据处理分析结果从所述目标虚拟按键中确定用户注视的字符，输入所述用户注视的字符。

可选地，对脑电信号的处理分析采用脑电信号分析工具openvibe。

可选地，所述预设数量为4。

本发明实施例的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

本发明实施例提供的基于虚拟键盘的文字输入方法及装置，通过虚拟键盘的各个子区域以不同的频率闪烁，用户注视各个子区域产生脑电信号，不断分割细化闪烁区域，最终确定触发按键位置，只需要用户目光聚焦即可选择目标虚拟按键。利用脑电信号进行文字的输入，与传统的硬件键盘或虚拟键盘输入相比，操作方便，解放了用户的双手。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。