专利名称：一种实现眼部操作的方法及系统的制作方法
技术领域：
本发明涉及人机交互技术领域，特别是涉及ー种实现眼部操作的方法及系统。
背景技术：
随着计算机技术和人机交互技术的迅猛发展，新的人机交互装置和交互方法逐渐成为人机交互领域的ー个研究热点，而传统的计算机输入设备如键盘、鼠标等ー个共同的特点是需要人们用手来操作，然而对于部分用户(如肢体活动不便的残疾人)来说，这将使得他们利用传统的人机交互设备在自然性、友好性等方面都存在着一定的局限性，因此研究符合适用于不同对象的人机交互设备成为当前人机交互技术发展的趋势。视觉系统在人类的感觉系统中发挥着重要的作用，通过研究发现，人们对外界信息的感知大部分是从视觉获取的，如果利用人们的视觉系统开发人机交互系统，那将是非常有效和自然的。基于视线跟踪技术的人机交互方式具有直接、友好和简洁的特点。基于视线跟踪技术的人机交互技术主要是根据人们的眼动原理获取用户感兴趣的区域，开发相关的交互系统实现对计算机或者外围设备的控制。目前的视线跟踪技术为接触式检测。接触式检测需要用户佩戴专门的头盔用以检测眼动信息，如果长时间佩戴这种头盔，这将给用户带来极大的困扰，并且接触式设备价格昂贵。
发明内容
为解决上述技术问题，本发明实施例提供一种实现眼部操作的方法及系统，以不再佩戴头盔的前提下实现眼部操作，技术方案如下一种实现眼部操作的方法，包括确定用户虹膜中心所在的第一位置及用户眼角点的第二位置；根据所述第一位置及所述第二位置计算得到用户虹膜中心与所述用户眼角点的距离，所述距离为第一距离；根据预先设置的所述距离与操作指令的对应关系，执行与所述第一距离相对应的第一操作指令。优选的，所述确定用户虹膜中心所在的第一位置及用户眼角点的第二位置的步骤，包括采集人体图像；识别所述人体图像中的人脸图像；识别所述人脸图像中的眼部图像；根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置。优选的，所述识别所述人体图像中的人脸图像的步骤，包括在HQ色度空间下，根据人脸肤色的I通道分量分布区间，识别所述人体图像中的 人体肤色图像，所述人体肤色图像使用长方形进行框选，所述人体肤色图像包括人脸图像和颈部图像；所述长方形位于上方的短边保持固定，缩短所述长方形，使其变为正方形，识别所述正方形内的图像为人脸图像。优选的，所述识别所述人体图像中的人脸图像的步骤，包括在YUV色度空间下，根据人脸肤色的色调分布的相位角Θ的分布范围，识别所述人体图像中的人体肤色图像，所述人体肤色图像使用长方形进行框选，所述人体肤色图像包括人脸图像和颈部图像； 所述长方形位于上方的短边保持固定，缩短所述长方形，使其变为正方形，识别所述正方形内的图像为人脸图像。优选的，所述识别所述人脸图像中的眼部图像的步骤，包括将所述正方形所框选的人脸图像划分为均等的上半部和下半部；将所述上半部划分为均等的左半部和右半部，其中，所述左半部中的图像中携帯有人眼右眼区域图像，所述右半部中的图像中携帯有人眼左眼区域图像；使用遗传算法从所述左半部的图像中定位人眼右眼区域图像，使用遗传算法从所述右半部的图像中定位人眼左眼区域图像。优选的，所述根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置的步骤中，确定所述第一位置的方法，包括根据眼球中虹膜与巩膜在ニ值图像中的色差确定虹膜边缘的至少三个点；根据所述虹膜边缘的至少三个点确定所述虹膜中心所在的第一位置。优选的，所述根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置的步骤中，确定所述第二位置的方法，包括利用所述虹膜中心所在的第一位置对所述第二位置进行预估，生成预估位置；使用改进的Harris角点检测算法中的角点响应度函数，结合方差投影函数对所预估位置进行修正，确定所述第二位置。优选的，所述的根据所述第一位置及所述第二位置计算得到用户虹膜中心与所述用户眼角点的距离，所述距离为第一距离的步骤，包括根据所述第一位置及所述第二位置，计算得到预设时间段内的用户虹膜中心与所述用户眼角点的多个距离；获得所述多个距离的平均值，所述平均值为第一距离。本发明还提供了一种实现眼部操作的系统，包括位置确定模块、距离确定模块和指令执行模块，所述位置确定模块，用于确定用户虹膜中心所在的第一位置及用户眼角点的第二位置；所述距离确定模块，用于根据所述第一位置及所述第二位置计算得到用户虹膜中心与所述用户眼角点的距离，所述距离为第一距离；所述指令执行模块，用于根据预先设置的所述距离与操作指令的对应关系，执行与所述第一距离相对应的第一操作指令。优选的，所述位置确定模块，包括图像采集装置、人脸识别模块、人眼识别模块、虹膜中心识别模块和眼角点识别模块，
所述图像采集装置，用于采集人体图像；所述人脸识别模块，用于识别所述人体图像中的人脸图像；所述人眼识别模块，用于识别所述人脸图像中的眼部图像；所述虹膜中心识别模块，用于根据所述眼部图像确定用户虹膜中心所在的第一位置；所述眼角点识别模块，用于根据所述眼部图像确定用户眼角点的第二位置。通过应用以上技术方案，本发明提供的一种实现眼部操作的方法及系统，可以确定用户虹膜中心与用户眼角点之间的距离，井根据预先设置的距离与操作指令的对应关系，执行与距离相对应的操作指令。由于本发明不用用户佩戴头盔等设备就可以实现眼部操作，因此用户感受良好，且成本较低。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I为本发明实施例提供的一种实现眼部操作方法的流程示意图；图2为本发明实施例提供的另ー种实现眼部操作方法的流程示意图；图3为本发明实施例提供的一种实现眼部操作方法对图像进行划分的示意图；图4为本发明实施例提供的另ー种实现眼部操作方法的流程示意图；图5为本发明实施例提供的另ー种实现眼部操作方法的流程示意图；图6为本发明实施例提供的另ー种实现眼部操作方法的流程示意图；图7为本发明实施例提供的另ー种实现眼部操作方法的流程示意图；图8为本发明实施例提供的另ー种实现眼部操作方法的流程示意图；图9为本发明实施例提供的一种实现眼部操作系统的结构示意图；图10为本发明实施例提供的另ー种实现眼部操作系统的结构示意图；图11为本发明实施例提供的另ー种实现眼部操作系统的结构示意图；图12为本发明实施例提供的另ー种实现眼部操作系统的结构示意图；图13为本发明实施例提供的另ー种实现眼部操作系统的结构示意图；图14为本发明实施例提供的另ー种实现眼部操作系统的结构示意图；图15为本发明实施例提供的另ー种实现眼部操作系统的结构示意图；图16为本发明实施例提供的另ー种实现眼部操作系统的结构示意图。
具体实施例方式为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护 的范围。
如图I所示，本发明实施例提供的一种实现眼部操作的方法，可以包括步骤SI、步骤S2和步骤S3，SI、确定用户虹膜中心所在的第一位置及用户眼角点的第二位置；可以理解的是，虹膜属于眼球中层，位于血管膜的最前部，颜色较深，不同人的虹膜的顔色不尽相同，如欧美等国家可以有蓝色、褐色，中国等亚洲国家为黑色、灰色等。虹膜在睫状体前方，有自动调节瞳孔的大小，调节进入眼内光线多少的作用。位于血管膜的最前部，虹膜中央有瞳孔。。巩膜即为眼球外侧的白色部分，即眼白。其中，步骤SI可以包括步骤Sll和步骤S12，SI I、采集人体图像；
具体的，可以使用摄像头等设备采集人体图像，优选的，该摄像头为单目摄像头，该摄像头的位置和拍摄角度可以进行调节，以更利于采集人体图像。S12、识别所述人体图像中的人脸图像；具体的，步骤S12可以包括步骤S121和步骤S122，S121、在YIQ色度空间下，根据人脸肤色的I通道分量分布区间，识别所述人体图像中的人体肤色图像，所述人体肤色图像使用长方形进行框选，所述人体肤色图像包括人脸图像和颈部图像；可以理解的是，人体颈部的肤色和人脸的肤色极为相近，而颈部下方一般为衣服，与肤色的顔色差距较大。使用长方形进行框选可以很好的将人脸图像和颈部图像框选住。本领域技术人员可以理解的是，YIQ色度空间通常被北美的电视系统所采用，属于NT SC (National Television Standards Committee)系统。这里 Y 不是指黄色，而是指颜色的明视度(Luminance),即亮度(Brightness)。其实Y就是图像的灰度值(Gray value),而I和Q则是指色调(Chrominance)，即描述图像色彩及饱和度的属性。在YIQ系统中，Y分量代表图像的亮度信息，I、Q两个分量则携带顔色信息，I分量代表从橙色到青色的顔色变化，而Q分量则代表从紫色到黄緑色的颜色变化。在YIQ色彩空间中，人脸的肤色在色度I通道分量上表现出较好的聚集紧凑性，在YIQ顔色空间中，对包含人脸肤色像素点的图像的I通道分量的数据分析统计可得，肤色信息主要分布在40到100之间。由于人的嘴唇的颜色特征也很突出，因此在本发明的优选实施例中，还可以进ー步使用嘴唇颜色特征确定人体肤色图像。其中，嘴唇的色度在YIQ色度空间下分布在一定的范围之内，对只包含嘴唇部位的图像样本的唇色像素点的各通道分量的数据进行分析和统计发现，各通道分量的最佳分割阈值分别是Y e [90,210], I e [20,80], Q e [10，28]，以YIQ色度空间中的肤色的I通道分量和唇色信息的各通道分量的分布范围作为脸部区域分割算法的ー个判据。当然，步骤S121也可以为在YUV色度空间下，根据人脸肤色的色调分布的相位角Θ的分布范围，识别所述人体图像中的人体肤色图像，所述人体肤色图像使用长方形进行框选，所述人体肤色图像包括人脸图像和颈部图像；本领域技术人员可以理解的是，YUV是被欧洲电视系统所采用的一种颜色编码方法(属于PAL)，是PAL和SECAM模拟彩色电视制式采用的顔色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。在YUV色度空间下亮度信号⑴和色度信号(U、V)是相互独立的，饱和度由模值Ch决定，色调由其相位角Θ表示，人脸肤色的色调分布的相位角Θ分布在110到155之间。在YUV色度空间下，唇色色调分布的相位角Θ在80到100之间，以YUV色度空间中的肤色和唇色的相位角Θ的分布范围作为脸部区域分割算法的另外ー个判据，结合HQ色调空间中的脸部区域分割阈值用于人脸检测。根据上述的阈值范围进行肤色分割，再利用形态学的开运算和闭运算处理除去图像中孤立的小块，最后利用区域增长的方法进行人脸区域矫正，用长方形框标记人脸区域。、
S122、所述长方形位于上方的短边保持固定，缩短所述长方形，使其变为正方形，识别所述正方形内的图像为人脸图像。可以理解的是，肤色分割之后的标记的长方形框的最下边部位的肤色区域通常情况下含有人体的脖子，而长方形框最上边部分则为人脸部区域的上边缘，因此保持长方形框最上边缘部位长方形框位置不变，缩小长方形框下边缘位置，其宽度不变，高度缩放至与宽度相等。S13、识别所述人脸图像中的眼部图像；其中，所述步骤S13可以包括S131、将所述正方形所框选的人脸图像划分为均等的上半部和下半部；可以理解的是，人眼区域包含在人脸区域的上半部分区域中，因此，将上述的长方形框首先从中间部分划分为上半部分区域和下半部分区域，其中上半部分和下半部分长方形框的长度和宽度相等。S132、将所述上半部划分为均等的左半部和右半部，其中，所述左半部中的图像中携帯有人眼右眼区域图像，所述右半部中的图像中携帯有人眼左眼区域图像；由于人眼存在于上半部分区域中，因此在上半部分区域从中间部分划分为左半部分区域和右半部分区域，其中左半部分区域和右半部分区域的长度和宽度相等，人眼的左眼的特征信息出现在右半部分区域中。S133、使用遗传算法从所述左半部的图像中定位人眼右眼区域图像，使用遗传算法从所述右半部的图像中定位人眼左眼区域图像。利用遗传算法在右半部分区域中求解最优解的思想定位人眼左眼区域，用同样的方法定位人眼右眼区域。S14、根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置。其中，步骤S14中确定第一位置的方法可以包括S141、根据眼球中虹膜与巩膜在ニ值图像中的色差确定虹膜边缘的至少三个点；S142、根据所述虹膜边缘的至少三个点确定所述虹膜中心所在的第一位置。其中，人的虹膜的形状可以近似的表示为圆，利用的圆的几何性质可得，当知道圆周上的三个点时，就可以确定圆的圆心。
其中，步骤S14中确定第二位置的方法可以包括S143、利用所述虹膜中心所在的第一位置对所述第二位置进行预估，生成预估位置；S144、使用改进的Harris角点检测算法中的角点响应度函数，结合方差投影函数对所预估位置进行修正，确定所述第二位置。具体的，步骤S144的实施过程可以包括步骤S144a、步骤S144b、步骤S144c、步骤S144d和步骤S144e。S144a、将利用遗传算法捜索的人眼区域的彩色图像利用彩色图像与灰度图像的转换公式首先将其转换为灰度图像，然后对这ー小区域内的局部图像依次进行如下所述的处理定位眼角点坐标；S144b、对人眼区域灰度图像中的每ー个点分别计算其在水平方向和垂直方向上的ー阶导数，同时对水平方向和垂直方向上的求导之后的图像做乘法运算，如式(4.8)所示
权利要求
1.一种实现眼部操作的方法，其特征在于，包括 确定用户虹膜中心所在的第一位置及用户眼角点的第二位置； 根据所述第一位置及所述第二位置计算得到用户虹膜中心与所述用户眼角点的距离，所述距离为第一距离； 根据预先设置的所述距离与操作指令的对应关系，执行与所述第一距离相对应的第一操作指令。
2.根据权利要求I所述的方法，其特征在于，所述确定用户虹膜中心所在的第一位置及用户眼角点的第二位置的步骤，包括 采集人体图像； 识别所述人体图像中的人脸图像； 识别所述人脸图像中的眼部图像； 根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置。
3.根据权利要求2所述的方法，其特征在于，所述识别所述人体图像中的人脸图像的步骤，包括 在YIQ色度空间下，根据人脸肤色的I通道分量分布区间，识别所述人体图像中的人体肤色图像，所述人体肤色图像使用长方形进行框选，所述人体肤色图像包括人脸图像和颈部图像； 所述长方形位于上方的短边保持固定，缩短所述长方形，使其变为正方形，识别所述正方形内的图像为人脸图像。
4.根据权利要求2所述的方法，其特征在于，所述识别所述人体图像中的人脸图像的步骤，包括 在YUV色度空间下，根据人脸肤色的色调分布的相位角Θ的分布范围，识别所述人体图像中的人体肤色图像，所述人体肤色图像使用长方形进行框选，所述人体肤色图像包括人脸图像和颈部图像； 所述长方形位于上方的短边保持固定，缩短所述长方形，使其变为正方形，识别所述正方形内的图像为人脸图像。
5.根据权利要求3或4所述的方法，其特征在于，所述识别所述人脸图像中的眼部图像的步骤，包括 将所述正方形所框选的人脸图像划分为均等的上半部和下半部； 将所述上半部划分为均等的左半部和右半部，其中，所述左半部中的图像中携帯有人眼右眼区域图像，所述右半部中的图像中携帯有人眼左眼区域图像； 使用遗传算法从所述左半部的图像中定位人眼右眼区域图像，使用遗传算法从所述右半部的图像中定位人眼左眼区域图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置的步骤中，确定所述第一位置的方法，包括 根据眼球中虹膜与巩膜在ニ值图像中的色差确定虹膜边缘的至少三个点； 根据所述虹膜边缘的至少三个点确定所述虹膜中心所在的第一位置。
7.根据权利要求5所述的方法，其特征在于，所述根据所述眼部图像确定用户虹膜中心所在的第一位置及用户眼角点的第二位置的步骤中，确定所述第二位置的方法，包括利用所述虹膜中心所在的第一位置对所述第二位置进行预估，生成预估位置； 使用改进的Harris角点检测算法中的角点响应度函数，结合方差投影函数对所预估位置进行修正，确定所述第二位置。
8.根据权利要求I所述的方法，其特征在于，所述的根据所述第一位置及所述第二位置计算得到用户虹膜中心与所述用户眼角点的距离，所述距离为第一距离的步骤，包括 根据所述第一位置及所述第二位置，计算得到预设时间段内的用户虹膜中心与所述用户眼角点的多个距离； 获得所述多个距离的平均值，所述平均值为第一距离。
9.一种实现眼部操作的系统，其特征在于，包括位置确定模块、距离确定模块和指令执行模块， 所述位置确定模块，用于确定用户虹膜中心所在的第一位置及用户眼角点的第二位置； 所述距离确定模块，用于根据所述第一位置及所述第二位置计算得到用户虹膜中心与所述用户眼角点的距离，所述距离为第一距离； 所述指令执行模块，用于根据预先设置的所述距离与操作指令的对应关系，执行与所述第一距离相对应的第一操作指令。
10.根据权利要求9所述的系统，其特征在干，所述位置确定模块，包括图像采集装置、人脸识别模块、人眼识别模块、虹膜中心识别模块和眼角点识别模块， 所述图像采集装置，用于采集人体图像； 所述人脸识别模块，用于识别所述人体图像中的人脸图像； 所述人眼识别模块，用于识别所述人脸图像中的眼部图像； 所述虹膜中心识别模块，用于根据所述眼部图像确定用户虹膜中心所在的第一位置； 所述眼角点识别模块，用于根据所述眼部图像确定用户眼角点的第二位置。
全文摘要
本发明公开了一种实现眼部操作的方法及系统，可以确定用户虹膜中心与用户眼角点之间的距离，并根据预先设置的距离与操作指令的对应关系，执行与距离相对应的操作指令。由于本发明不用用户佩戴头盔等设备就可以实现眼部操作，因此用户感受良好，且成本较低。
文档编号G06F3/01GK102662470SQ20121009779
公开日2012年9月12日 申请日期2012年4月1日 优先权日2012年4月1日
发明者张帆, 王君慧, 董秀成, 郝明刚 申请人:西华大学