一种基于瞳孔识别定位的头戴式眼睛操控系统的制作方法
【专利摘要】本发明公开了一种基于瞳孔识别定位的头戴式眼睛操控系统，该系统是专门为眼睛健全的运动障碍残疾人发明的一个控制系统。包括如下步骤：1）计算机首先输出一个用户界面，包括文字显示框和简易键盘，投影到头戴式显示器上，残疾人观察到显示屏中键盘上的不同按键，眼球的中心位置就会发生变化。2）摄像头将捕捉到眼球图像，通过USB接口或者蓝牙接口，将图像信息传送到PC机中，利用获取到的眼球图像。3）采用图像预处理和瞳孔定位算法，根据前期校正过程中所建立的用户眼睛特征与设备显示屏所呈现内容之间的关系，利用眼球映射模型来计算视线的方向，判断出用户所看的键盘上的按键。4）输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。本发明不受外界光源影响，可以快速、准确地跟踪眼球的运动，并实时、准确地显示用户视线选择的按键信息。
【专利说明】一种基于瞳孔识别定位的头戴式眼睛操控系统
【技术领域】
[0001 ] 专门为眼睛健全的运动障碍残疾人发明的一个控制系统。利用瞳孔定位算法或者叫视线追踪算法)和头戴式眼睛操控装置，用户能够通过眼球动作来进行电脑的操作，实现人机互动。
【背景技术】
[0002]目前，国际社会公认的全球残疾人比例大约是全球总人口的10%。而就中国国家统计局于2006进行的第二次中国残疾人抽样调查结果显示，全国各类残疾人的总数达到8296万人，以当时的中国人口总数计算，中国残疾人占全国总人口的比例为6.34%。其中，肢体残疾2412万人，占各类残疾人总数的29.07%，是人数最高的残疾类型。
[0003]眼睛控制系统可以应用于许多领域，例如当前科技发展的主流领域——人机交互。人机交互的未来研究方向是多通道的人机交互，如同语音、自然语言和手势输入等，视线交互(也就是视线控制)也存在着非精确性，和其他的交互手段集合在一起，它可以提供隐性的约束信息和控制条件，从而消除在单一通道输入带来的可能的错误，提高精度，实现全方面的人机交互。通过与其它通道相结合，眼睛操控技术在人机交互领域有着广阔的应用前景。使用眼睛控制系统，可以实现计算机、机器人、虚拟人和汽车等的智能化，让它们可以理解人的意图，了解人的状态，自动地对人做出反应。
[0004]眼睛控制系统是专门为眼睛健全的运动障碍患者研发的一个控制系统。利用瞳孔定位算法(或者叫视线追踪算法)和头戴式眼睛操控装置，用户能够通过眼球动作来控制电脑。对于帮助高位截瘫、肌肉萎缩、中风、肢体损伤等残疾人使用电脑有十分重要的意义。
[0005]近代视线追踪技术的迅猛发展大概是从20世纪60年代开始。一直以来，美国和日本在这方面的研究都远远处在世界领先水平，而且已经将视线追踪技术广泛推向实用化和商业化。1988年末，美国弗吉尼亚大学推出的商用Erica系统是一种基于图象处理方法和红外电视的应用系统。它有非常高的处理速度，很强的实用性，用于帮助只能控制眼睛肌肉的重度残废人进行控制、通信、娱乐等，因此深受广大残疾人的欢迎。
[0006]2010年11月11日Tobii TX 300眼动仪以300 Hz频率收集注视数据，并允许较大的头动范围。该系统专为有更高采样频率要求的研究如眼球运动而设计，如扫视、校正扫视、凝视、瞳孔大小变化和眨眼。
[0007]当今所有先进的战斗机和攻击机都把头盔式瞄准具和显示器作为其武器系统的一部分。目前欧洲、以色列、俄罗斯和美国Kopin，瑞典Saab公司已经相继研制头盔式瞄准具和显示器，其中有的已经投入作战使用。
[0008]2012年4月，Google发布了号称Project Glass的智能眼镜,尽管只发布了一个演示视频，但据猜测应该采用了视网膜投影显示器和视线追踪技术显示图像和进行控制。这一些控制系统价格都较昂贵，实现困难、精度不高。
[0009]国内学者采用常规的Hough算法，不能准确瞳孔识别定位。同时，没有使用校正模块，导致精度不高。本专利采用改进的Hough算法和校正功能，提高精度、实现容易。
【发明内容】
[0010]本发明的要解决的技术问题是为眼睛健全的运动障碍患者研发的一个控制系统。利用瞳孔定位算法(或者叫视线追踪算法)和头戴式眼睛操控装置，用户能够通过眼球动作来控制电脑。
[0011]为解决上述技术问题本发明的一种基于瞳孔识别定位的头戴式眼睛操控系统，包括PC机，与PC机相连接的摄像头，头戴式显示器，其特征在于包括如下步聚:
1)利用PC机输出一个用户界面，所述的用户界面包括文字显示框和简易键盘，所述的用户界面投影到头戴式显示器上；眼睛观察显示屏中显示的键盘上的不同按键，眼球的中心位置会相应地发生变化；
2)摄像头将捕捉到眼球的中心位置变化的图像，通过USB接口或者蓝牙接口，将图像信息传送到PC机中；
3)PC机对传送过来的图像信息分别通过预处理模块、改进型hough算法处理模块、光斑检测算法处理模块、眨眼检测处理模块、坐标转换及校正算法处理模块进行处理并计算出视线的方向，确定眼睛所观察的显示屏上所显示的键盘上的按键；
4)PC机输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。
[0012]作为对本技术方案的进一步改进，改进型hough算法处理模块的处理过程中，将系统进行过处理的图像信息实现瞳孔粗定位、图像截取、图像滤波、常规hough算法、改进型hough算法的整合。
[0013]作为对本技术方案的进一步改进，预处理模块处理过程中，对数据进行预处理，主要包括视频读取、彩色图像转化为灰度图像、灰度图像进行二值化。
[0014]首先，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。其次，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像(转换为黑白图像)作为对本技术方案的进一步改进，光斑检测算法处理模块，系统采用的是OpenCV函数库中所提供的基于最小二乘法的椭圆拟合函数，处理过程包括:
1)读取改进型hough算法中截取的瞳孔区域图像并采用极高的阈值对图像进行二值化处理；
2)利用OpenCV函数库中所提供的轮廓检测函数，获取普尔钦斑边缘点的集合；
3)利用该集合进行椭圆拟合，得到普尔钦斑的中心坐标。
[0015]作为对本技术方案的进一步改进，所述的椭圆拟合算法包括以下步骤:
1)在普尔钦斑边缘点中随机选取6个；
2)利用最小二乘法计算椭圆参数；
3)遍历所有边缘点，求取各个点到已得到的椭圆之间的距离，如果小于某阈值，则称该边缘点为匹配点，记录该边缘点的编号；
4)遍历完所有点之后，求取对于该拟合椭圆的匹配点的总个数；
5)比较匹配点总个数与匹配点最大值；
6)重复以上过程，获得最优椭圆参数，就可得到普尔钦斑的中心坐标。
[0016]作为对本技术方案的进一步改进，眨眼检测处理模块中要设置两个标志(一个是判断瞳孔位置标志，另外一个普尔钦斑标志)，眨眼检测算法待两个标志都从消失状态恢复到存在状态时，才判定为眨眼，并启动相应功能。
[0017]眨眼是眼部运动可被利用的重要行为之一，合理利用眨眼，可以弥补眼球移动功能性的不足。在实时检测过程中，改进型hough算法或光斑识别算法难免会因干扰而将瞳孔或光斑误判断为消失，所以要设置两个标志。此外，为避免由于眨眼过程中闭眼时间过长而产生多次眨眼判断的问题，眨眼检测算法待两个标志都从消失状态恢复到存在状态时，才判定为眨眼，并启动相应功能。
[0018]作为对本技术方案的进一步改进，坐标转换及校正算法处理模块的坐标转换包括以下两个过程:
1)从截取出的瞳孔图像中产生的瞳孔中心坐标和光斑中心坐标转换到原眼部图像坐标的过程；
2)从眼部图像坐标转换到键盘光标坐标的过程。
[0019]作为对本技术方案的进一步改进，坐标转换及校正算法处理模块的校正算法处理包括以下步骤:
O开启校正功能后，简易键盘界面会变成一个校正界面；
2)然后依次在界面中产生五个点，分别是正中间、右上角、左上角、左下角、右下角；
3)当产生一个点时，对该点眨一下眼启动该点的校正程序，同时开始计时，一定时间后结束计时，该点消失并产生下一个校正点等待眨眼；
4)在该校正点的校正时间内记录一系列视线向量，取这一系列视线向量的平均值作为该校正点的修正向量；
5 )正中间校正点产生的修正向量用于对所有视线方向参数进行修正；利用右上角校正点和左上角校正点的修正向量在纵向Y轴方向的平均值即可计算出眼部图像坐标转换到键盘图像坐标时光标向上运动的放大倍数；类比得到向左、向下和向右运动的放大倍数。
[0020]作为对本技术方案的进一步改进，简易键盘采用15键键盘实现完整的数字输入功能。
[0021]本发明的系统方案:计算机首先输出一个用户界面(包括文字显示框和简易键盘)投影到头戴式显示器上，残疾人观察到显示屏中键盘上的不同按键，眼球的中心位置就会发生变化，此时，摄像头将捕捉到眼球图像，通过USB接口或者蓝牙接口，将图像信息传送到PC机中，利用获取到的眼球图像，采用图像预处理和瞳孔定位算法，再根据前期校正过程中所建立的用户眼睛特征与设备显示屏所呈现内容之间的关系，利用眼球映射模型来计算视线的方向，判断出用户所看的键盘上的按键，最后输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。
【专利附图】
【附图说明】
[0022]图1是基于瞳孔识别定位的头戴式眼睛操控硬件系统框图。
[0023]图2是基于瞳孔识别定位的头戴式眼睛操控软件系统框图。
[0024]图3是基于瞳孔识别定位的头戴式眼睛操控技术硬件系统组成示意图。
[0025]图4是基于瞳孔识别定位的头戴式眼睛操控软件流程图。
[0026]图5是基于瞳孔识别定位的头戴式眼睛操控软件界面图。【具体实施方式】
[0027]实施例:
本发明的系统功能说明图如图1所示，本发明的基于瞳孔识别定位的头戴式眼睛操控系统，包括如下步聚:
1)计算机首先输出一个用户界面(包括文字显示框和简易键盘)投影到头戴式显示器上，残疾人观察到显示屏中键盘上的不同按键，眼球的中心位置就会发生变化；
2)摄像头将捕捉到眼球图像，通过USB接口或者蓝牙接口，将图像信息传送到PC机中，利用获取到的眼球图像；
3)采用图像预处理和瞳孔定位算法，根据前期校正过程中所建立的用户眼睛特征与设备显示屏所呈现内容之间的关系，利用眼球映射模型来
计算视线的方向，判断出用户所看的键盘上的按键；
4)输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。
[0028]本发明可根据上述提供的系统功能说明图与系统功能流程图，本发明主要由硬件系统与软件系统两个部分组成:
1.硬件系统
头戴式的实现难度相对较低，精度可达0.1度角，可搭配头戴式显示器，在一些特殊的应用如增强现实\虚拟现实中有很大作用。采用头戴式方案。本发明硬件系统，头戴式显示器(HMD)以VGA接口连接电脑，传输实时影像，让人得以观察电脑上的信息。摄像头以USB接口连接电脑，传输视线信息，通过图像识别得出瞳孔中心和光斑中心，从而得出人的注视点。形成一个完整的信息环，实现信息的双向传输，如图3所示。
[0029]微距红外摄像头子系统，具有手动调焦镜头，使用红外敏感的CMOS传感器，自动弱光增强功能，带USB接口，视频分辨率640*480，以红外LED提供照明，如图3所示。
[0030]2.软件系统
本发明可根据上述提供的系统功能可开发出基于OpenCV与VC++的眼睛控制系统应用软件。
[0031]该应用软件按模块化的方法编写程序。主要划分为预处理算法、改进型hough算法、光斑识别算法、眨眼检测算法和坐标转换及校正算法五个模块。其中改进型hough算法是本程序的核心模块也是实现视线追踪的关键部份。软件实现的流程图如图4所示。
[0032]预处理模块
对数据进行预处理，主要包括视频读取、彩色图像转化为灰度图像、灰度图像进行二值化。首先，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。其次，要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像。
[0033]( 2 )改进型hough算法处理模块
在该模块中，系统将从HMD中读取的相应的图像经过预处理，然后系统实现瞳孔粗定位、图像截取、图像滤波、常规hough算法、改进型hough算法的整合。
[0034](3)光斑检测算法
系统采用的是OpenCV函数库中所提供的基于最小二乘法的椭圆拟合函数。首先，读取改进型hough算法中截取的瞳孔区域图像并采用极高的阈值对图像进行二值化处理。接着，利用OpenCV函数库中所提供的轮廓检测函数，获取普尔钦斑边缘点的集合。然后，利用该集合进行椭圆拟合，得到普尔钦斑的中心坐标。
[0035]椭圆拟合算法的原理如下:在所有边缘点中随机选取6个；利用最小二乘法计算椭圆参数；遍历所有边缘点，求取各个点到已得到的椭圆之间的距离，如果小于某阈值，则称该边缘点为匹配点，记录该边缘点的编号，遍历完所有点之后，求取对于该拟合椭圆的匹配点的总个数；比较匹配点总个数与匹配点最大值；重复以上过程，获得最优椭圆参数，就可得到普尔钦斑的中心坐标。
[0036](4)眨眼检测模块
眨眼是眼部运动可被利用的重要行为之一，合理利用眨眼，可以弥补眼球移动功能性的不足。在实时检测过程中，改进型hough算法或光斑识别算法难免会因干扰而将瞳孔或光斑误判断为消失，所以要设置两个标志。此外，为避免由于眨眼过程中闭眼时间过长而产生多次眨眼判断的问题，眨眼检测算法待两个标志都从消失状态恢复到存在状态时，才判定为眨眼，并启动相应功能。
[0037](5)坐标转换及校正算法
坐标转换包括两个主要过程:一、从截取出的瞳孔图像中产生的瞳孔中心坐标和光斑中心坐标转换到原眼部图像坐标的过程；二、从眼部图像坐标转换到键盘光标坐标的过程。
[0038]由于用户每次使用本系统时，摄像头捕捉到的眼睛图像在画面中的位置都不同，所以为了让本系统有更好的适应性和通用性，就需要一个校正功能。
[0039]开启校正功能后，会在原键盘界面会变成一个校正界面。然后依次在界面中产生五个点，分别是正中间、右上角、左上角、左下角、右下角。当产生一个点时，眨一下眼启动该点的校正程序，同时开始计时，一定时间后结束计时，该点消失并产生下一个校正点等待眨眼。在该校正点的校正时间内记录一系列视线向量，取这一系列视线向量的平均值作为该校正点的修正向量。正中间校正点产生的修正向量用于对所有视线方向参数进行修正；利用右上角校正点和左上角校正点的修正向量在Y轴方向(纵向)的平均值即可计算出眼部图像坐标转换到键盘图像坐标时光标向上运动的放大倍数；类比得到向左、向下和向右运动的放大倍数。
[0040]本发明运用眼睛控制文字输出的形式设计，硬件采用单一红外光源和单摄像头的头戴式眼睛控制装置，主程序基于Microsoft Visual C++ 6.0软件和OpenCV，采用以改进型Hough算法和瞳孔角膜反射方法为核心的瞳孔定位算法，用户界面包含一个文字显示框和一个简易键盘。
[0041]各模块整合及调试
基于瞳孔识别定位的头戴式眼睛操控系统应用软件的构建是以需求分析为依据，根据实际生产应用要求，综合考虑系统可用性、准确性、实时性和系统界面、功能扩充与操作维护等方面的性能进行构建。系统的物理配置:其中界面程序采用美国Microsoft公司的Visual C++ 6.0集成开发环境进行开发；核心程序采用美国的Microsoft公司的VisualC++ 6.0与OpenCV 1.0软件进行实验运行。
[0042]通过摄像机拍摄眼球的图片识别出瞳孔的位置，进而利用瞳孔所注视的方向来进行发送控制命令等。在此通过一个模拟键盘来实现该功能，主程序界面如下图所示，用户界面分为四个部分，左上为程序控制区，上中为字符显示区，右上为眼睛图片显示区，下为键盘区，如图5所示。
[0043]主程序的基本流程是:在一个定时器的消息响应函数中，定时读取摄像机所拍摄的眼睛图像，通过图像处理求出瞳孔的坐标，然后将瞳孔坐标值转化为键盘区的光标坐标值(转换方法见图像处理部分)，通过绿色光标在键盘区的位置来确定眼睛目前注视的是哪一个按键(用绿色细边框矩形表示眼睛注视此按键)。当注视时间长度达到一定值时(程序中可调整，一般为f 3秒)表示按下此键，该按键用蓝色粗边框矩形表示被按下，与此同时在字符显示区显示被按下的键所代表的字符或执行相应的功能。
[0044]测试结果显示，测试者每组的输入速度，在每秒10个数字到每秒15个数字之间，平均输入速度为每秒12个数字(四舍五入)。每组的正确输入率都在80%以上，平均正确输入率为87%。主要的错误集中在键盘边缘处的按键。而键盘中央按键“6”的正确率为90%。另外，输入速度受系统运行速度和摄像头帧率影响。
【权利要求】
1.一种基于瞳孔识别定位的头戴式眼睛操控系统，包括PC机，与PC机相连接的摄像头，头戴式显示器，其特征在于包括如下步聚: 1)利用PC机输出一个用户界面，所述的用户界面包括文字显示框和简易键盘，所述的用户界面投影到头戴式显示器上；眼睛观察显示屏中显示的键盘上的不同按键，眼球的中心位置会相应地发生变化； 2)摄像头将捕捉到眼球的中心位置变化的图像，通过USB接口或者蓝牙接口，将图像信息传送到PC机中； 3)PC机对传送过来的图像信息分别通过预处理模块、改进型hough算法处理模块、光斑检测算法处理模块、眨眼检测处理模块、坐标转换及校正算法处理模块进行处理并计算出视线的方向，确定眼睛所观察的显示屏上所显示的键盘上的按键； 4)PC机输出键盘按键所对应的信息到文字显示框或改变键盘界面状态； 5)接入红外发光二极管作一个红外光源，该光源会在眼球角膜外表面上形成反射点，称为普尔钦斑。
2.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:改进型hough算法处理模块的处理过程中，将系统进行过处理的图像信息实现如下步骤: 1)对经过预处理的图像进行粗定位，获得瞳孔粗定位中心； 2)使用较高的阈值对瞳孔区域图像进行二值化处理； 3)OpenCV函数库中所提供的Hough变换圆形检测函数对瞳孔二值化图像进行常规的Hough变换，得到一个圆心,在此称此圆心为Hough圆心； 4)分析粗定位中心和Hough圆心的距离，当两者距离小于某个阈值时，将粗定位中心作为瞳孔定位的最终中心； 5)当两者距离大于某个阈值时，取两者坐标的中点，将此中点作为瞳孔定位的最终中心。
3.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:预处理模块处理过程中，对数据进行预处理，主要包括视频读取、彩色图像转化为灰度图像、灰度图像进行二值化。
4.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:光斑检测算法处理模块，系统采用的是OpenCV函数库中所提供的基于最小二乘法的椭圆拟合函数，处理过程包括: 1)读取改进型hough算法中截取的瞳孔区域图像并采用极高的阈值对图像进行二值化处理； 2)利用OpenCV函数库中所提供的轮廓检测函数，获取普尔钦斑边缘点的集合； 3)利用该集合进行椭圆拟合，得到普尔钦斑的中心坐标。
5.根据权利要求4所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:所述的椭圆拟合算法包括以下步骤: 1)在普尔钦斑边缘点中随机选取6个； 2)利用最小二乘法计算椭圆参数； 3)遍历所有边缘点，求取各个点到已得到的椭圆之间的距离，如果小于某阈值，则称该边缘点为匹配点，记录该边缘点的编号； 4)遍历完所有点之后，求取对于该拟合椭圆的匹配点的总个数； 5)比较匹配点总个数与匹配点最大值； 6)重复以上过程，获得最优椭圆参数，就可得到普尔钦斑的中心坐标。
6.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:所述的眨眼检测处理模块中要设置两个标志，一个是判断瞳孔位置标志，另外一个普尔钦斑标志，眨眼检测算法待两个标志都从消失状态恢复到存在状态时，才判定为眨眼，并启动相应功能。
7.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:坐标转换及校正算法处理模块的坐标转换包括以下两个过程: 1)从截取出的瞳孔图像中产生的瞳孔中心坐标和光斑中心坐标转换到原眼部图像坐标的过程； 2)从眼部图像坐标转换到键盘光标坐标的过程。
8.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:坐标转换及校正算法处理模块的校正算法处理包括以下步骤: O开启校正功能后，简易键盘界面会变成一个校正界面； 2)然后依次在界面中产生五个点，分别是正中间、右上角、左上角、左下角、右下角； 3)当产生一个点时，对该点眨一下眼启动该点的校正程序，同时开始计时，一定时间后结束计时，该点消失并产生下一个校正点等待眨眼； 4)在该校正点的校正时间内记录一系列视线向量，取这一系列视线向量的平均值作为该校正点的修正向量； 5 )正中间校正点产生的修正向量用于对所有视线方向参数进行修正；利用右上角校正点和左上角校正点的修正向量在纵向Y轴方向的平均值即可计算出眼部图像坐标转换到键盘图像坐标时光标向上运动的放大倍数；类比得到向左、向下和向右运动的放大倍数。
9.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控系统，其特征在于:简易键盘采用15键键盘实现完整的数字输入功能。
【文档编号】G06K9/00GK103838378SQ201410097054
【公开日】2014年6月4日 申请日期:2014年3月13日 优先权日:2014年3月13日
【发明者】熊建斌, 何俊, 孙国玺, 邵龙秋, 崔得龙, 张翼成, 梁琼, 朱兴统 申请人:广东石油化工学院