一种基于眨眼信号模式检测实现的人机交互系统与方法
【技术领域】
[0001]本发明属于脑机接口(BCI,Brain Computer Interface)的应用领域,特别是涉及一种基于眨眼信号模式检测实现的人机交互系统与方法。
【背景技术】
[0002]目前在社会上存在着很多由于各种原因导致的暂时性和永久性全身瘫痪的病人，这些病人的大脑意识清醒，可以看清眼前的事物，可以听懂周围人的讲话，但其四肢和躯干都无法自主运动，且无法像正常人一样发音讲话，他们的生活通常也无法自理，需要家人给予非常多的照料。
[0003]这些全身瘫痪的病人另一大问题是无法有效地与家人沟通，其家人通常只能通过感觉或猜测来判断病人的意图和想法，以给予相应的照顾。病人本身虽然头脑清晰，可以听懂家人的语言表达，但由于其无法正常发音或使用手势，其真实的意图往往无法有效表达，这为其与家人的沟通带来了十分严重的障碍。这一问题长期影响病人及其家属的日常生活和情感沟通。
[0004]当前虽然有一些技术手段来帮助这些病人与外界进行沟通，例如:英国著名物理学家和宇宙学家斯蒂芬?威廉?霍金(Stephen William Hawking)因患有肌肉萎缩性侧索硬化症，全身瘫痪，不能发音，英特尔等公司专门为其制造了一套语音合成系统，以通过摄像头拍摄其眼睛的运动模式来控制文字输入和语音合成，这为其提供了与外界沟通的能力。但是这样一套系统是定制化生产的，其成本高、不成熟、不能产品化，难以具备量产能力，因此很难为大多数全身瘫痪的患者提供类似帮助，而当前正流行的基于脑电信号意念控制的人机交互方式，还远未走出实验室阶段，更难以商业化推广应用。
[0005]目前实现类似人机交互功能的技术主要有两类:
一类是通过摄像头，拍摄使用者眼部的图像，并分析其眼部运行的模式，以控制人机交互相关功能；这种方式一方面受使用者具体客观情况不同的限制，例如:是否配戴眼镜以及戴镜的形状、度数等都会影响相关人机交互系统的佩戴和使用效果，另一方面还会受使用者眼睛尺寸、眼部动作大小等因素的影响，通常需要一对一定制才能满足使用者的需求，因此这类系统难以统一化量产，不利于推广。
[0006]另一类是通过脑电信号采集分析，利用使用者的主动意念来控制人机交互相关功能。这种方式由于需要对使用者进行意念控制训练，或者需要在使用者体内植入电极，其易用性和安全性目前均未走出实验室阶段，因此更难以商业化推广。
【发明内容】
[0007]本发明为解决公知技术中存在的问题而提供一种低成本、设备成熟度高、容易产品化，具备可量产能力，受使用者客观条件因素影响小，且易于掌握和使用的基于眨眼信号模式检测实现的人机交互系统，以为广大全身瘫痪不能有效与外界沟通的病人提供一种有效的与外界沟通的方式。
[0008]本发明为解决公知技术中存在的问题还提供一种应用上述系统基于眨眼信号模式检测实现人机交互的方法。本发明所提供的基于眨眼信号模式检测实现的人机交互系统，即是用于实现该方法的系统。
[0009]本发明为解决公知技术中存在的问题所采用的基于眨眼信号模式检测实现人机交互系统的技术方案是:它包括有脑电信号传感器和计算机，另外还包括蓝牙通信模块或无线射频通信模块，脑电信号传感器通过蓝牙通信模块或无线射频通信模块与计算机相连接。
[0010]所述的脑电信号传感器包括至少一个感应电极，且该感应电极应佩戴在使用者的头部前额区域，同时该传感器还应包括蓝牙通信模块或无线射频通信模块，并包含用于(I)测量使用者头部前额区域的脑电信号(2)将测量的脑电信号通过蓝牙通信模块或无线射频通信模块传输给计算机的软件。
[0011]所述的计算机应至少包含并连接(I) 一台显示器(2)蓝牙通信模块或无线射频通信模块。
[0012]所述的计算机还应包含用于(I)连接脑电信号传感器(2 )采集、分析和处理脑电信号传感器测量的脑电信号(3)利用脑电信号分析识别使用者是否出现眨眼信号(4)利用脑电信号分析识别使用者眨眼信号的强度(5)分析识别使用者眨眼信号的模式(6)基于眨眼信号模式检测提供人机交互功能(7)显示鼠标指针的软件；
所述的人机交互功能可以包括:(I)基于眨眼信号模式检测提供鼠标指针移动控制、点击控制和滚轮控制功能(2)基于眨眼信号模式检测提供菜单项的选择控制和确认控制功能(3)基于眨眼信号模式检测提供拼音输入法输入汉字功能(4)基于眨眼信号模式检测提供标准语音合成和个性化语音合成的文字语音朗读功能(5)基于眨眼信号模式检测提供控制应用程序打开、关闭的功能等；
所述的连接脑电信号传感器和采集、分析、处理脑电信号的功能，可以是由脑电传感器的设备驱动程序直接提供的，也可以是由应用程序自行连接COM端口采集并自行分析处理的；所述的利用脑电信号分析识别使用者是否出现眨眼信号和分析识别使用者眨眼信号强度的功能，可以是由脑电传感器设备驱动程序直接提供的，也可以是由应用程序自行分析脑电信号数据所获得的；
所述的用于显示鼠标指针的软件，目前通用的操作系统通常默认是自动支持的，对于一些非通用的操作系统或单片机或简易计算机来说，该功能可能需要由应用软件自行实现。但在一些特殊情况下，如果使用者有特殊要求，例如异形指针等，则该功能需要由应用软件自行实现。
[0013]所述的人机交互系统通过测量和采集使用者的脑电信号，对使用者脑电信号进行分析，从中分析提取出使用者的眨眼信号和眨眼强度测量值，并对使用者眨眼信号的模式进行分析识别，通过预设的眨眼信号模式定义，操控软件系统的功能，实现人机交互的目的。
[0014]本发明基于眨眼信号模式检测实现的人机交互系统的技术方案还可以采用如下技术措施:
所述的计算机可以使用运行通用操作系统的计算机；
所述的计算机可以使用能够完成前述软件功能的单片机；所述的计算机可以使用能够完成前述软件功能并运行专用操作系统的计算机；所述的计算机可以使用能够完成前述软件功能的简易计算机。
[0015]本发明为解决公知技术中存在的问题所采用的基于眨眼信号模式检测实现人机交互的方法包括以下步骤:
(1)采集使用者的脑电信号，从中分析提取出使用者的眨眼信号和眨眼信号强度的测量值；
(2)从检测到的眨眼信号中，使用“有效眨眼信号的判定方法”，分析提取出有效眨眼信号；
(3)从检测到的有效眨眼信号中，分析提取出有效眨眼信号模式；
(4)利用分析提取出的有效眨眼信号模式，使用“预定义的交互方法”，实现人机交互功能。
[0016]本发明为解决公知技术中存在的问题所采用的检测使用者主动意识的眨眼信号和使用者非主动意识的眨眼信号的方法是:主动意识眨眼信号和非主动意识眨眼信号通过判定阀值k来确定:
所述的判定阀值k，应使用在系统所能测量到的使用者眨眼信号的强度的最大取值范围中，k是介于最强烈眨眼信号强度所对应的测量数值与最不强烈眨眼信号强度所对应的测量数值之间的数值；
所述的主动意识的眨眼信号，应使用当系统检测出使用者的眨眼信号时，眨眼信号强度测量值介于k和用于表达最强烈眨眼信号强度的测量数值之间时，则将该信号视为主动意识的眨眼信号；
所述的非主动意识的眨眼信号，应使用当系统检测出使用者的眨眼信号时，眨眼信号强度测量值介于k和用于表达最不强烈眨眼信号强度的测量数值之间时，则将该信号视为非主动意识的眨眼信号；
例如:某种脑电信号传感器驱动程序所提供的眨眼信号强度的取值范围为I至200之间的整数，其中I表示眨眼强度最强的眨眼信号，200表示眨眼强度最弱的眨眼信号，则若设k=100，则当k介于I与100之间时，视为主动意识的眨眼信号，当k介于100与200之间时，视为非主动意识的眨眼信号，k在实际使用中可根据使用者的具体情况在取值范围内灵活设置。
[0017]所述的“有效眨眼信号的判定方法”通过以下步骤来实现:
(O设定满足上述条件的判定阀值k ;
(2)提取使用者的眨眼信号强度测量值，当该测量值介于k和用于表达最强烈眨眼信号强度的测量数值之间时，则将该眨眼信号判定为主动意识的眨眼信号；
(3)将判定为主动意识的眨眼信号设为有效眨眼信号。
[0018]本发明为解决公知技术中存在的问题所采用的有效眨眼信号模式，应至少包括下列眨眼信号模式中的一种:单次眨眼信号模式、双次眨眼信号模式、三次眨眼信号模式、四次眨眼信号模式和五次眨眼信号模式；
所述的单次眨眼信号模式，其检测要点是:系统检测到在t时刻使用者眨眼I次，其中t同时满足以下条件:(l)0〈t，(2)在集合{[t-Dt)，(t+Dt]}定义的时间段内，系统检测到使用者眨眼O次，其中0〈Dt ( 1500毫秒；所述的双次眨眼信号模式，其检测要点是:系统检测到在t1、t2时刻使用者分别眨眼I次，其中Vt2同时满足以下条件=(I)CKt^t2, (2Η24 ( Dt，(3)在集合{[trDt, ti)，(t1； t2)，(t2，t2+Dt]}定义的的时间段内系统检测到使用者眨眼0次，其中0〈Dt彡1500毫秒；<