专利名称：基于GaborEye模型的人眼定位方法
技术领域：
本发明涉及模式识别与人工智能技术，特别是一种自动定位人脸图像中人眼中心位置的方法。
定位眼睛等面部关键特征点的方法主要包括模板匹配、灰度积分投影法、Snake方法、可变形模板方法、Hough变换、弹性图匹配、区域增长搜索方法、主动形状模型(Active Shape Models，简写为ASMs)和主动外观模型(Active Appearance Models，AAMs)等。其中，灰度积分投影法是最早被提出但也是最常被采用的特征定位方法，利用的是灰度变化的分布特征。可变形模板方法则把眼睛特征定义为有两条抛物线(上下眼睑)和一个圆(虹膜)构成的几何图形，通过优化的方法来调整其参数以达到最佳的匹配，其主要缺点是优化速度较慢，而且固定的几何图形并不能很好的建模实际千差万别的眼睛形状。主动形状模型(ASMs)和主动外观模型(AAMs)是基于形状、面部纹理的统计模型来对人脸图像的结构或者光学属性(如皮肤反射率)进行建模然后进行参数优化的方法。尽管ASMs，AAMs等方法本身具有眼睛定位能力，但如果能够加入其他算法提供的眼睛位置作为初始值并作为一个强约束，还可以大大提高他们对人脸其他关键特征点的搜索效率和定位精度。
尽管已经有一些眼睛定位算法的方法，但多数仍然对光照、姿态、饰物等比较敏感，因此，研究在各种非理想成像条件下都具有鲁棒性能的面部关键特征点定位方法具有重要的现实意义，针对该问题，本发明提出了一种新的眼睛定位方法。
为达到上述目的，本发明的技术解决方案是提供一种基于GaborEye模型的人眼定位方法，其包括以下步骤第一步，通过人脸检测方法采集人脸图像，根据人脸检测模块获取到的人脸图像的大小，采用适当的Gabor核对人脸图像进行卷积，定义这个卷积后的人眼所在区域为GaborEye；第二步，基于GaborEye模型进行眼部区域分割，对分割后的结果进行合理性判定，确定两眼各自所在的区域；第三步，在确定的区域中采用积分投影的方法精确确定人眼的中心位置；第四步，结束，完成对整个人脸图像中人眼的定位，将定位结果输出。
所述的人眼定位方法，其第一步中根据人脸检测模块获取的人脸图像的大小，采用适当的Gabor核进行卷积，是选择合适的Gabor核最有效的体现人眼的局部特征，其步骤如下a、采用水平方向的Gabor核；b、根据人脸图像的高h选择合适的尺度s，其经验公式如下s=[h64]]]>其中s为所需要的Gabor核的尺度参数，h为检测模块给出的人脸区域图像的高度，[.]表示取整操作。
所述的人眼定位方法，其为了保证第一步中所得到的区域GaborEye将原人脸图像中的眼眉区域完全包括在内，采用了形态学上的膨胀处理方法将图像中的GaborEye区域扩大，而得到GaborEye模型。
所述的人眼定位方法，其第二步中，对经过特定Gabor核卷积后的图像GaborEye模型进行人眼区域分割，将有效分开左右眼，并分割出眼睛所在区域，其步骤如下a、基于人眼位于人脸图像上半部分[h/4，2h/3]的区域的前提，对此区域进行垂直方向积分投影；分析积分投影曲线，找到两个最大波峰，并以这两个波峰之间的波谷所对应的X坐标作为左右眼的分界线；b、在左右眼区域选取适当域值对两个区域进行二值化操作，分割出眼睛所在区域，按如下方法选择域值Tl＝a*GLmax，Tr＝a*GRmax，其中GLmax和GRmax是左右眼睛区域中的灰度最大值，其中a为经验权系数，取为0.85。
所述的人眼定位方法，其第二步中，对分割后的结果进行合理性判定判断是否满足人眼分布特征对得到的两个眼睛区域进行判别，利用两区域中心构成的直线的斜率进行判定，斜率位于[-1，1]之间，认为分割结果合理，可进行下一步定位；如果位于此范围之外，则修改先验假设的人眼分布区域，返回第二步初始，重新进行分割；如果Tl或者Tr小于15，则认为此区域不存在眼睛，检测结果有误，则返回第一步重新检测。
所述的人眼定位方法，其第三步中，精确定位眼睛中心的方法，其步骤如下a、在经过分割后得到的矩形区域中进行垂直方向边缘提取，然后进行水平方向积分投影，以积分投影曲线中的最大值点对应的坐标作为眼睛的Y纵坐标；b、根据获得的纵坐标，确定两眼区域中心的距离为d，取0.3d为眼睛的高度，以获得的纵坐标为中心，上下各取0.15d，在缩小的空间中对原图像作垂直方向的积分投影，取投影曲线的最小点对应的横坐标作为眼睛中心的X横坐标。
所述的人眼定位方法，其所述修改分割区域，是对分割错误的结果进行修正，缩小人眼位于人脸图像中的区域分布，其策略如下假设人眼位于人脸图像上半部分[h/4，2h/3～h/10]的区域中，然后进行分割。
从基于GaborEye模型的人眼定位流程来看，此方法充分运用了人眼的水平方向上的频率分布特性，经过选择适当的Gabor核对人脸图像卷积之后，人眼区域得到凸现，从而可以有效地将人眼区域分割出来，本发明的人眼定位方法具有良好的定位性能，对于光照、姿态和眼镜等饰物的变化都有较强的适应性，可以满足多数人脸识别系统的需要，从而提高整个系统的识别性能。本发明方法的一般思想可以扩展到人脸的其他特征点定位，例如鼻尖，嘴角。通过本发明方法定位特征点后，可以获取高可信度的归一化图像，提高识别算法的性能，从而可以使人脸识别实际应用能力得到提高。
图7求取眼睛中心纵坐标，(a)Sobel算子，(b)眼眉区域垂直方向边缘提取，(c)水平方向积分投影曲线；
图8求取眼睛中心横坐标，(a)积分区域的选择，(b)平滑后的积分投影曲线。
这里给出一个人脸图像进行Gabor变换后的示例，如图2，以供参考。本发明将人脸图像中眼眉区域经过上述Gabor核卷积的幅值图像定义为GaborEye模型。图3给出了不同姿态下，采用相应方向的Gabor核进行变换后的效果，说明GaborEye模型的普遍意义。GaborEye的计算如前所述，计算GaborEye存在一个Gabor核函数的方向和尺度选择的问题。在人脸检测模块，一般都会给出关于检测到的人脸的有关属性信息，比如人脸大小、偏转角度等等。这些信息可以被利用来指导Gabor核函数的方向和尺度选择。在实际系统中，为了提高系统效率，本发明首先把检测到的人脸旋转到水平方向来，这样就避免了选择核函数方向的问题。对于尺度选择，主要与人脸大小有关，经过实验，本发明总结出一个经验公式选择合适的尺度来计算GaborEyes=[h64]]]>其中s为所需要的Gabor核的尺度参数，h为检测模块给出的人脸区域图像的高度，[.]表示取整操作。之所以不采用人脸宽度是因为眼睛区域的栏栅特性主要是由竖直方向形成的，水平方向较小。另外，由于尺度只能够选择整数，因此采用了四舍五入取整的策略，让s取整数。需要注意的是对于不同的人脸检测方法，该公式需要进行调整。图4给出了一个经过尺度选择后对图像进行Gabor变换的结果。图4(a)人脸图像大小为184×224，根据公式所选择的结果，Gabor核函数的尺度为4。图4(b)是经过水平方向、尺度为4的核函数变换后的幅值部分可视化结果，图4(c)是将b叠加在a上的结果。不难看出变换后图像中眼眉区域形成了“凸显”的高亮区域，这就是本发明定义的GaborEye。基于GaborEye的眼眉区域分割基于GaborEye在人脸上的“凸显”特性，本发明采用下述过程分割眼眉区域1、形态学膨胀预处理。为了保证GaborEye将原人脸图像中的眼眉区域完全包括在内，采用了形态学上的膨胀处理方法将图像中的GaborEye区域扩大。
2、对膨胀后GaborEye进行区域积分投影。首先，根据人脸结构先验知识及其对人脸检测算法的结果分析，本发明认为眼睛一般位于距分割出的人脸图像上半部分[H/4，2H/3]的区域内(H为检测到的人脸区域高度)。在这个根据先验知识获得的区域中，对GaborEye图像进行垂直方向的灰度积分投影，可以得到一条投影曲线，典型的情况如图5所示。
3、分析上述积分投影曲线，分割左右眼睛区域。方法为计算该曲线的极值点求得两个极大值位置以及位于二者之间的极小值位置Gmin。根据Gmin可以将左右眼睛分开，分别标记为区域El，ET。
4、分别搜索GaborEye的E1和Er区域内的最大响应幅值，记为GLmax和GRmax，分别取 T1＝a*GLmax和Tr＝a*GRmax作为E1和Er区域二值化的阈值对它们进行二值化，其中a为经验权系数，本发明的系统中取为0.85。典型的二值化结果如图6(a)所示。
5、分割眼眉区域。对上述二值化的E1和Er区域分别求取其最大连通区，分别计算它们的重心C1和Cr，及其外界矩形R1和Rr，示例见图6(b)，并设这两个矩形的高度分别为H1和Hr。如前所述，这两个连通域的重心位置未必是眼睛中心，一般位于眉毛和上眼睑之间。同样，本发明的实验也表明R1和Rr并不能完全包括眼睛区域，尤其是在眉毛比较浓重时。为了确保分割出的眼眉区域包含眼睛，本发明进一步采用了如下的策略扩展眼眉区域，将R1和Rr分别向下扩展H1和Hr大小，示例结果如图6(c)所示。本发明的实验表明，这样可以确保眼睛被分割出来。需要注意的是，考虑到实际眼睛中心与GaborEye的重心在水平方向基本没有偏移，所以，矩形的宽度不需要进行扩展。眼眉区域中精确定位眼睛中心位置。
在用上述方法分割出眼眉区域的基础上，采用传统的积分投影方法来精确定位眼睛的位置。该过程描述如下1、分析眼眉区域垂直方向Sobel边缘积分投影曲线(沿水平方向积分)求取眼睛中心纵坐标。
如前所述，分割出的眼眉区域包括了眼睛，但同时可能包括了眉毛。因此，必须首先在垂直方向上区分眼睛和可能存在的眉毛。很显然，由于瞳孔、眼白、眼睑甚至睫毛的影响，眼睛区域是一个各种方向边缘非常丰富的区域。而眉毛则基本是水平边缘，因此本发明选择在垂直方向上计算边缘。本发明采用了垂直Sobel算子，模板如图7(a)所示。对提取的垂直边缘图像进行水平方向积分投影，得到积分投影曲线并进行适当平滑，计算该曲线的极大值位置，即可以得到两只眼睛中心的的纵坐标y1和yr，以确定两眼区域中心的距离为d，如图7(b)和(c)所示。
2、分析眼睛区域垂直方向灰度积分投影曲线，求取眼睛中心横坐标。
确定了眼睛中心的纵坐标后，可以进一步采用对眼睛区域进行垂直方向灰度积分投影的方法求取眼睛中心的横坐标。这其中有两个关键问题需要注意(1)积分区域选择。本发明的策略是根据计算得到的眼睛纵坐标位置，根据统计的先验知识，以及前面求取的双眼之间的距离d，来决定投影区域。每个眼睛区域的宽度仍然采用眼眉分割结果区域的宽度，而高度则取为双眼距离的0.3倍(y1和yr上下各取0.15d)。
(2)积分曲线平滑。由于瞳孔的镜面反射以及眼影等原因，积分投影曲线可能出现小的锯齿状波动，为了通过微分计算极值点，需要对其进行平滑。本发明采用高斯滤波来完成该功能。其中，高斯滤波的方差经验性的取为双眼距离的0.1倍。
图8给出该过程的一个实例，其中(a)为投影区域的选择，(b)为经高斯平滑后的积分投影曲线。通过这样的策略，可以获得眼睛中心的横坐标x1和xr。
权利要求
1.一种基于GaborEye模型的人眼定位方法，其特征在于，包括以下步骤第一步，通过人脸检测方法采集人脸图像，根据人脸检测模块获取到的人脸图像的大小，采用适当的Gabor核对人脸图像进行卷积，定义这个卷积后的人眼所在区域为GaborEye；第二步，基于GaborEye模型进行眼部区域分割，对分割后的结果进行合理性判定，确定两眼各自所在的区域；第三步，在确定的区域中采用积分投影的方法精确确定人眼的中心位置；第四步，结束，完成对整个人脸图像中人眼的定位，将定位结果输出。
2.如权力要求1所述的人眼定位方法，其特征在于，第一步中根据人脸检测模块获取的人脸图像的大小，采用适当的Gabor核进行卷积，是选择合适的Gabor核最有效的体现人眼的局部特征，其步骤如下a、采用水平方向的Gabor核；b、根据人脸图像的高h选择合适的尺度s，其经验公式如下s=[h64]]]>其中s为所需要的Gabor核的尺度参数，h为检测模块给出的人脸区域图像的高度，[.]表示取整操作。
3.如权力要求1所述的人眼定位方法，其特征在于，为了保证第一步中所得到的区域GaborEye将原人脸图像中的眼眉区域完全包括在内，采用了形态学上的膨胀处理方法将图像中的GaborEye区域扩大，而得到GaborEye模型。
4.如权力要求1所述的人眼定位方法，其特征在于，第二步中，对经过特定Gabor核卷积后的图像GaborEye模型进行人眼区域分割，将有效分开左右眼，并分割出眼睛所在区域，其步骤如下a、基于人眼位于人脸图像上半部分[h/4，2h/3]的区域的前提，对此区域进行垂直方向积分投影；分析积分投影曲线，找到两个最大波峰，并以这两个波峰之间的波谷所对应的X坐标作为左右眼的分界线；b、在左右眼区域选取适当域值对两个区域进行二值化操作，分割出眼睛所在区域，按如下方法选择域值Tl＝a*GLmax，Tr＝a*GRmax，其中GLmax和GRmax是左右眼睛区域中的灰度最大值，其中a为经验权系数，取为0.85。
5.如权力要求1所述的人眼定位方法，其特征在于，第二步中，对分割后的结果进行合理性判定判断是否满足人眼分布特征对得到的两个眼睛区域进行判别，利用两区域中心构成的直线的斜率进行判定，斜率位于[-1，1]之间，认为分割结果合理，可进行下一步定位；如果位于此范围之外，则修改先验假设的人眼分布区域，返回第二步初始，重新进行分割；如果Tl或者Tr小于15，则认为此区域不存在眼睛，检测结果有误，则返回第一步重新检测。
6.如权力要求1所述的人眼定位方法，其特征在于，第三步中，精确定位眼睛中心的方法，其步骤如下a、在经过分割后得到的矩形区域中进行垂直方向边缘提取，然后进行水平方向积分投影，以积分投影曲线中的最大值点对应的坐标作为眼睛的Y纵坐标；b、根据获得的纵坐标，确定两眼区域中心的距离为d，取0.3d为眼睛的高度，以获得的纵坐标为中心，上下各取0.15d，在缩小的空间中对原图像作垂直方向的积分投影，取投影曲线的最小点对应的横坐标作为眼睛中心的X横坐标。
7.如权力要求5所述的人眼定位方法，其特征在于，所述修改分割区域，是对分割错误的结果进行修正，缩小人眼位于人脸图像中的区域分布，其策略如下假设人眼位于人脸图像上半部分[h/4，2h/3～h/10]的区域中，然后进行分割。
全文摘要
本发明涉及模式识别与人工智能技术，特别是一种自动定位人脸图像中人眼中心位置的方法。本发明方法采用人脸检测算法通过摄像头采集人脸图像，对获取的初始人脸图像，根据人脸图像的大小，选择合适Gabor核函数对人脸图像进行卷积，再进行形态学上的膨胀处理，得到本发明提出的GaborEye模型；基于GaborEye模型，分割出人脸图像中两眼所在的区域；针对分割出来的结果进行合理性分析，如果不符合，重新进行分割；如果分割合理，则利用积分投影的方法精确定位人眼中心的准确位置。本发明方法可以满足多数人脸识别系统的需要，定位特征点后，可获取高可信度的归一化图像，提高识别算法的性能，使人脸识别实际应用能力得到提高。
文档编号G06T7/60GK1475961SQ0314747
公开日2004年2月18日 申请日期2003年7月14日 优先权日2003年7月14日
发明者杨澎, 山世光, 高文, 杨 澎 申请人:中国科学院计算技术研究所