专利名称：基于近红外反射点特性的视线跟踪预处理方法
技术领域：
本发明属视频、多媒体信号处理技术领域，涉及一种基于近红外反射点特性的视线跟踪预处理方法，具体涉及一种应用于视线跟踪系统的基于近红外反射特性的预处理方法。
背景技术：
随着信息科学技术的飞速发展，以及高科技产品应用的普及，视线跟踪系统作为一种智能的人机交互系统，在虚拟现实、发展心理学、医学诊断，商业广告测评等领域的应用也日益广泛，同时，视线跟踪系统对于重度瘫痪但视觉良好的病人来说也是一个很好的辅助设备，他们可以通过眼球的运动来表达自己的意愿与需求，并控制相应的系统来满足自己的需求。视线跟踪系统一般可分为人眼定位、瞳孔区域提取、反射点提取、瞳孔中心定位、 注视点估计以及校正六个部分，其中人眼定位是实现跟踪系统的首要步骤，也是其关键环节之一，定位结果将直接影响系统的实用性及其精度。目前虽有些算法可以实现准确的人眼定位，但其算法复杂度高或是对硬件设备有很高的要求。并且，由于眼镜、配饰等物体的反光性，更是对人眼的定位造成了不利的影响，进而影响视线跟踪系统的实用性及精度。因此，如何消除眼镜、配饰等的影响，找到一种较好的人眼定位方法对视线跟踪系统进行预处理，来提高系统的适应性及精度具有重要的应用价值。
发明内容
本发明所要解决的技术问题在于提供一种基于近红外反射点特性的视线跟踪预处理方法，已解决现有的人眼定位由于受眼镜、配饰等反光效应的影响而导致精度低适应性差的问题。本发明方法可以在戴眼镜、戴首饰的情况下，使系统能够正常工作，并保证其实时性及精度。由于视线跟踪的系统中采集到的眼动视频是一种在近红外光源照射下采集的特殊视频，因此，本发明根据图像中人脸区域的灰度差和反射点的结构来消除眼镜、配饰等的影响，进而通过角膜上特殊的反射点来定位人眼。本发明所提供的一种基于近红外反射点特性的视线跟踪预处理方法，具体包括以下步骤(1)提取人脸区域，即通过水平和竖直积分投影从用灰度摄像机采集的图像中提取出人脸区域，以消除背景对人眼提取的影响。(2)提取人脸区域中的反射点，即通过设定阈值，将人脸图像进行二值化，得到人脸图像中所有的灰度值大于该阈值的反射点，并通过一个面积阈值，先去除面积较大的反射点。(3)提取人脸中的黑色连通域，并根据面积大小、距离关系、人脸结构特性确定出大致的瞳孔区域。
(4)步骤⑵中得到的反射点和步骤(3)中所得到的瞳孔区域的交集就是角膜上的反射点，根据角膜上反射点的坐标确定出眼睛区域。先对采集到的视频中的第一幅图像根据上述(1) (2) (3) (4)四个的步骤进行人眼定位，其后一幅图像的人眼定位可以在该提取出的人眼区域上进行跟踪处理，直至某幅图片由于闭眼等情况不能成功地进行人眼定位时则进行初始化，重新根据(1) (2) (3) (4)的步骤来处理下一幅图片。在所述步骤(1)中，为增强图像对比度，先根据整幅图像中像素的灰度值对图像进行二值化处理，然后再通过在水平和竖直方向上进行灰度积分投影来确定人脸区域，并且，在确定人脸区域水平和竖直边界时，均根据相应方向上的灰度积分投影来划定人脸区域。所述步骤O)的具体实现包括以下步骤a、计算步骤(1)中提取出的人脸区域的每个像素的像素值，根据灰度值对人脸区域进行二值化处理，得到人脸区域中带有噪点的反射点。b、对于步骤a中得到的反射点，根据反射点的大小，去除由于眼镜片及配饰等外在附加物所反射造成的面积较大的反射点，保留面积较小的反射点。步骤(3)的具体实现包括以下步骤a、对人脸区域做二值化处理，得到人脸中具有较低灰度值的黑色连通域，即由瞳孔、眼镜框、头发、鼻孔所形成的区域。b、根据距离、位置结构关系，对所得到的黑色连通域进行选取，得到大致的瞳孔区域。其中，所述步骤b实现的具体步骤如下(i)将所得到的黑色连通域根据面积筛选，可以去除部分由于眼镜框造成的面积较大的黑色连通区域；(ii)根据瞳孔在人脸区域中的位置，将距离人脸左边界或右边界较近的黑色连通域去除；(iii)根据鼻孔区域始终距离人脸图像下边界最近的特性，去除鼻孔区域对应的黑色连通域；(iv)根据瞳孔和鼻孔的位置关系，选定瞳孔区域对应的黑色连通域。与现有技术相比，本发明方法能在戴眼镜和佩戴饰物的情况下，实现精确地人眼定位，并保证视线跟踪系统具有较好的实时性及较高的精度。
图1为视线跟踪系统框图。图2为系统硬件图。图3为人脸区域提取，其中a为灰度摄像机采集的原始图像，图b为灰度值大于阈值的像素的灰度值置为1时的图像，图c为经过二值化以及水平与竖直积分得到的人脸区域。图4为反射点区域提取。图5为黑色连通域提取。图6为瞳孔和鼻孔关系图。
图7为人眼定位。图8为人眼定位仿真结果。图9为图片注视仿真图。图10为本发明方法的流程框图。
具体实施例方式下面结合附图和具体实施例对本发明的技术方案进一步详细阐述，但下述实施例并不限制本发明的保护范围。实施例1一、硬件系统装置本发明的硬件系统装置包括一台2. 60GHz奔腾双核的个人计算机，2G内存，计算机下方安装一台分辨率为100万像素的灰度摄像机。在显示器的四角分别装有IW的LED 红外光源。测试者坐在距屏幕正前方60cm为中心的位置，头部可以在摄像机的有效拍摄范围50cm X 40cm X 30cm (宽X长X深度)内移动，且在水平面顺时针或逆时针旋转30度都不会对系统造成影响。图1为视线跟踪系统框图，图2为系统硬件装置图。实施例2下面以某戴眼镜视频的第一幅图像为例对本发明的基于近红外反射点特性的视线跟踪预处理方法的实现做详细介绍，图10为本发明预处理方法的流程框图，按所示流程，包含如下具体步骤1、提取人脸区域图3为人脸区域提取方法图，其中，图(a)灰度摄像机采集的原始图像，经过二值化以及水平与竖直积分得到了人脸区域，如图(c)所示。(1)计算原始图像中每个像素的灰度值，找到图像中最大的灰度值，记为pixel_ max，并以0. 3*pixel_max作为阈值，将原始图像二值化，将灰度值大于该阈值的像素的灰度值置为1。得到如图3(b)所示结果。(2)将二值化的图像进行垂直方向上的灰度积分投影，得到该方向上灰度积分投影的最大值，记为fl_maX，并以0. 3*fl_max作为阈值，将灰度积分投影大于该阈值的区域作为垂直方向上的人脸区域，从而确定出人脸区域的左右边界^llin，x_。(3)将二值化的图像进行水平方向上的灰度积分投影，得到该方向上灰度积分投影的最大值，记为gl_max，并以0. 3*gl_max作为阈值，将灰度积分投影大于该阈值的区域作为水平方向上的人脸区域，从而确定出人脸区域的上下边界ymin，ymax。2、提取反射点区域根据在人脸区域中，反射点区域与其他区域相比具有较高灰度值的特性，先用设定的阈值将人脸区域二值化得到反射点区域如图4所示，再根据面积阈值去除一些非角膜上的反射点区域，具体方法如下(1)计算提取出的人脸区域中的每个像素的像素值，计算得到其最大的灰度值，记为piX_f_maX，取piX_f_maX-5作为阈值，对人脸区域进行二值化处理，将灰度值大于该阈值的像素的灰度值置为1 (黑色)，这样就得到了人脸区域中所有亮度超过阈值的反射点， 如图4所示。
(2)从图4可以看到，提取出的反射点区域分为四种类型，其中第I类反射点是镜片的反射、第II类反射点是镜框的反射、第III类反射点是皮肤的反射、第IV类反射点是角膜上的反射点。类型I、II的面积远大第III、IV类型的反射点区域的面积。由于人眼角膜上的反射点面积较小，不会超过5个像素，所以我们可以通过设定阈值，将面积超过20个像素的反射点去除。从而去除了第I、II类型的反射点而不对用于人眼定位的角膜上的反射点造成影响。3、提取黑色连通区域根据人脸区域中，瞳孔具有较低灰度值的特性，首先通过阈值，将人脸图像进行二值化处理，得到头发、眼镜框、鼻孔、瞳孔等黑色连通区域，然后我们可以根据面积、人脸结构特性等，找到大致的瞳孔区域，图5显示出了该过程的大致流程。(1)假设图4中的反射点区域经过面积过滤，还剩余L个反射点，且每一个反射点的平均坐标为(Xi，yi)，i = 1，2，…L ；首先我们可以分别计算出原始图中坐标为(xi;y-5), (xi Yi+5), (Xi-5, Yi), (Xi+5，Yi)的像素的灰度值，并求出其平均值GVi, i = 1,2,…L;从这L个均值中选出最小的四个(如果L < = 4则选取所有计算出的均值直接求平均)，取这四个值的平均值GVnrean作为阈值对原始人脸图像进行二值化，将灰度值小于该阈值的像素的灰度值置为1(黑色)，则可以得到人脸区域中的黑色连通域，如图5 H…示。(2)我们可以看到这些连通区域也可分为四类，在这我们分别记为Bftanre, Bnostril, Bhair和Bpupil，分别表示由具有较低灰度值的眼镜框、鼻孔、头发和瞳孔形成的黑色连通域。 针对面积大小，我们去除面积大于5000像素或小于300像素的黑色连通域，这些都是面积远大于或远小于瞳孔区域的区域，得到如图5(c)所示区域。(3)根据人眼在人脸中的分布特性，瞳孔区域不可能紧靠近人脸的左右边界。所以，我们可以将几何中心距左边界或右边界小于5个像素的黑色连通区域去除。得到如图 5(d)所示区域。(4)假设经过上述步骤⑶后，还剩余J个黑色连通域，我们可以计算出他们的中心坐标分别是(cx i，Cy i), i = 1,2,…J，则它们到人脸区域下边界的垂直距离分别是Dy i =|(；」1_|，1 = 1，2丨。根据人脸结构，只要人脸在水平面上顺时针或逆时针旋转不超过30度，在经过上述步骤C后的二值化图像中，由鼻孔所导致的黑色连通域始终是其几何中心坐标距离人脸区域下边缘最近的两个区域。所以，如果有Dy」彡Dy 2彡Dy 3彡…Dy j，则中心坐标为(Cx」，Cy l)和(Cx2，Cy2)的区域即为鼻孔区域。我们亦可将其去除，得到如图 5(e)所示区域。(5)根据瞳孔和鼻孔的位置关系，我们可以找到瞳孔区域。无论人脸在平面上怎样旋转，两瞳孔到两鼻孔中心坐标的中心的距离基本相等。如图6所示，图中以人脸在平面顺时针和逆时针旋转15度为例，若左右瞳孔区域的中心坐标点分别为A、B，而两鼻孔中心坐标连线的中点为C，则AC和BC的距离差一般不大于10个像素。根据上述步骤(4)，我们可以得到鼻孔区域中心坐标的中点(Cx。mtCT，Cy。mtCT)，则如果两个区域的中心坐标(Cx」，Cy i) 和(CX J, Cy j)，其中i乒j且i，j = 3，4…J，满足公式
权利要求
1.一种基于近红外反射点特性的视线跟踪预处理方法，其特征在于，包括以下步骤(1)提取人脸区域即通过水平和竖直积分投影从用灰度摄像机采集的图像中提取出人脸区域；(2)提取人脸区域中的反射点即通过设定阈值，将人脸图像进行二值化，得到人脸图像中所有的灰度值大于该阈值的反射点，并通过一个面积阈值，先去除面积较大的反射占.(3)提取人脸中的黑色连通域，并根据面积大小、距离关系、人脸结构特性确定出大致的瞳孔区域；(4)将步骤O)中得到的反射点和步骤(3)中所得到的瞳孔区域的交集定义为角膜上的反射点，根据角膜上反射点的坐标确定出眼睛区域。
2.根据权利要求1所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于，先对采集到的视频中的第一幅图像根据步骤⑴⑵⑶⑷的顺序进行人眼定位，其后一幅图像的人眼定位则在该提取出的人眼区域上进行跟踪处理，直至某幅图片由于闭眼等情况不能成功地进行人眼定位时则进行初始化，重新根据步骤(1) (2) (3) (4)的顺序处理下一幅图片。
3.根据权利要求1或2所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于，在所述步骤(1)中，先根据整幅图像中像素的灰度值对图像进行二值化处理，然后再通过在水平和竖直方向上进行灰度积分投影来确定人脸区域，并且，在确定人脸区域水平和竖直边界时，均根据相应方向上的灰度积分投影来划定人脸区域。
4.根据权利要求1或2所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于，所述步骤O)的具体实现包括以下步骤a、计算步骤(1)中提取出的人脸区域的每个像素的像素值，根据灰度值对人脸区域进行二值化处理，得到人脸区域中带有噪点的反射点；b、对于上述步骤a中得到的反射点，根据反射点的大小，去除由于眼镜片及配饰等外在附加物所反射造成的面积较大的反射点，保留面积较小的反射点。
5.根据权利要求1或2所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于所述步骤(3)的具体实现包括以下步骤a、对人脸区域做二值化处理，得到人脸中具有较低灰度值的黑色连通域，即由瞳孔、目艮镜框、头发、鼻孔所形成的区域；b、根据距离、位置结构关系，对所得到的黑色连通域进行选取，得到大致的瞳孔区域。
6.根据权利要求5所述的基于近红外反射点特性的视线跟踪预处理方法，其特征在于所述步骤b实现的具体步骤如下(i)将所得到的黑色连通域根据面积进行筛选，去除部分由于眼镜框造成的面积较大的黑色连通区域；( )根据瞳孔在人脸区域中的位置，将距离人脸左边界或右边界较近的黑色连通域去除；(iii)根据鼻孔区域始终距离人脸图像下边界最近的特性，去除鼻孔区域对应的黑色连通域；(iv)根据瞳孔和鼻孔的位置关系，选定瞳孔区域对应的黑色连通域。
全文摘要
本发明涉及一种基于近红外反射点特性的视线跟踪预处理方法，并将其用于视线跟踪系统的人眼定位环节。首先，从采集的原始图像中提取出人脸区域，然后通过二值化从人脸区域中分别得到反射点区域和黑色连通域区域，经过面积过滤，滤除面积较大的反射点区域；通过面积、距离、位置关系滤除干扰黑色连通域，确定出大致的瞳孔区域；最后根据反射点区域与大致瞳孔区域的交集得到角膜上的反射点区域，进而确定出人眼区域。该方法能在戴眼镜和佩戴饰物的情况下，实现精确地人眼定位，并保证视线跟踪系统具有较好的实时性及较高的精度。
文档编号G06K9/36GK102456137SQ201010513239
公开日2012年5月16日 申请日期2010年10月20日 优先权日2010年10月20日
发明者刘琚, 孙建德, 杜煜, 杨彩霞, 王地长生 申请人:上海青研信息技术有限公司