人眼定位方法和装置制造方法
【专利摘要】本发明公开了一种人眼定位方法和装置，其中，人眼定位方法包括：接收人脸图像；定位人脸图像中的鼻子位置和眼睛位置；根据鼻子位置确定人脸对称轴；以及利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。通过本发明，解决了现有技术中人眼定位准确性较差的问题，进而达到了提高了眼睛定位准确性的效果。
【专利说明】人眼定位方法和装置
【技术领域】
[0001]本发明涉及图像处理领域，具体而言，涉及一种人眼定位方法和装置。
【背景技术】
[0002]一般情况下，一个完整的人脸识别系统是由人脸检测、眼睛定位、特征提取和人脸识别四部分组成。在识别过程中，不管是利用人脸的全局特征还是局部特征，采用图像的几何特征还是代数特征，人脸方位的变化对识别的结果都有显著的影响，所以在进行识别之前需要先对图像进行归一化处理。而图像归一化的条件则是双眼的位置，具体原因如下:
[0003]I)两眼中心距离受光照和表情变化影响最小，双眼中心连线的方向随人脸的偏转而偏转，可以作为图像旋转的依据；
[0004]2)以两眼之间的距离对提取的各个特征值进行归一化，则这些特征值具有平移、旋转和尺度上的不变性。
[0005]在人脸位置已经检测的前提下，眼睛定位的准确与否直接影响特征提取的效果，进而影响人脸识别的准确率，所以当前学者将眼睛的准确定位为人脸识别走向实用化的关键和瓶颈所在。
[0006]早期的人脸识别算法都是在假定眼睛坐标精确定位的前提下进行的。在过去的几十年，人眼定位方法的研究取得了较大进展，国内外的研究人员提出了一些关于人眼定位方法，大致可以分为以下五类:
[0007]( I)基于先验规则的方法:
[0008]基于先验规则的方法也称为基于知识的方法，主要是将人脸的特征总结成一些简单的规则，这些规则反映了人脸特有的属性和人脸各个面部特征之间的关系，例如人脸是关于中心对称的。可以根据这些关系大致确定眼睛的候选点或者区域，然后进行相应的处理。
[0009]基于先验规则的方法简单、快速，但是，仅仅对于背景较为简单、脸部特征规整的人脸图像有效。要准确定位眼睛位置，还要用其它的方法来去除干扰，如眉毛、眼镜、眉毛
坐寸ο
[0010](2)基于几何信息的方法:
[0011]由于人脸上的各个器官的位置以及距离是相对固定的，则可以根据人脸上的器官的分布规律建立面部的几何模型，然后在人脸图像中匹配各个面部特征点的位置。
[0012]基于几何信息的方法对模板的选择、模型的构建有较高的要求，而且利用了人脸大量的几何位置信息，这会导致在复杂的条件下定位的效果不好。因而，在现有的人脸识别系统中往往用基于几何信息的方法辅助其他方法实施定位。
[0013](3)基于肤色信息的方法:
[0014]色彩信息已经越来越多被应用于计算机视觉研究领域。肤色是人脸的重要信息，它完全不依赖于面部的细节特征，并且对于旋转、表情、姿态等变化情况都能适用，具有相对的稳定性。肤色和大多数背景物体的颜色具有一定的差异，利用肤色可以减少眼睛搜索的时间，减少复杂背景对眼睛定位的干扰。
[0015]基于肤色信息的方法虽然简单、快速，但是容易受到外界光源、图像采集设备等的影响，会使图像出现人脸反光、图像颜色不正常等现象，导致系统不能够较好的区分出肤色和非肤色像素。并且肤色信息仅仅能够用于彩色图像，灰度图像则不能处理，不具有通用性。
[0016](4)基于统计信息的方法:
[0017]基于统计的方法，一般是通过对大量的目标样本和非目标样本进行训练学习得到一组训练的分类器，然后根据这些分类器来进行目标检测。
[0018]基于统计信息的方法进行眼睛的定位，在准确度上有了很大的提高，但是需要提前制作大量的样本来进行训练，训练过程复杂，并且周期长。
[0019](5)基于关联信息的方法:
[0020]基于关系信息的方法，利用人脸上的其他器官的相对位置数据，不断压缩眼睛候选点的范围，从而实现眼睛的定位。
[0021]基于关联信息的方法利用了人脸的特征点之间的制约关系，随着制约条件的增多，定位的准确率也随之提高，对于复杂的背景、人脸姿态和表情变化等具有很好的适应能力，但是在准确率提高的同时也增加了算法的运算量，定位速度变慢。
[0022]但是，上述相关技术中的人眼定位方法都具有相似的缺陷:1)睁眼睛和闭眼睛的时候，眼睛的状态是不一样的，睁眼睛图像中含有瞳孔，容易定位，而闭眼睛图像中仅仅呈现一条“黑色的线”，两种状态下的图片，眼睛位置具有不同的特征和灰度分布，如果采用相同方法进行定位，比如模板匹配，很难寻找共同的特征，如果都采用相同的方法进行定位，很容易产生误定位的情况。现有的眼睛定位方法很少对眼睛状态进行分类，对于不同的眼睛状态应该采用不同的方法进行定位；2)现有的眼睛定位方法多数只是在人脸上单纯的定位眼睛，实际上有时候眉毛以及眼角等也会对眼睛的定位产生干扰，即使是定位在眉毛上或者眼角上，这种很明显的错误也没有办法对其进行修正。
[0023]针对相关技术中人眼定位准确性较差的问题，目前尚未提出有效的解决方案。
【发明内容】
[0024]本发明的主要目的在于提供一种人眼定位方法和装置，以解决现有技术中人眼定位准确性较差的问题。
[0025]为了实现上述目的，根据本发明的一个方面，提供了一种人眼定位方法，包括:接收人脸图像；定位人脸图像中的鼻子位置和眼睛位置；根据鼻子位置确定人脸对称轴；以及利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。
[0026]进一步地，通过利用预设鼻子模板图像与人脸图像卷积计算，并利用支持向量机进行筛选，定位人脸图像中的鼻子位置。
[0027]进一步地，预设鼻子模板图像包括第一模板图像和第二模板图像，其中，第一模板图像中的鼻孔角度与第二模板图像中的鼻孔角度不同，利用预设鼻子模板图像与人脸图像卷积计算，定位人脸图像中的鼻子位置包括:分别对第一模板图像和第二模板图像与人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像；分别计算第一卷积图像和第二卷积图像的区域极大值；将第一卷积图像上的区域极大值处和第二卷积图像上的区域极大值处均标记为1，并将第一卷积图像上的非区域极大值处和第二卷积图像上的非区域极大值处均标记为O，得到第一卷积图像的二值图像和第二卷积图像的二值图像；合并第一二值图像和第二二值图像，得到第三二值图像，其中，第一二值图像为第一卷积图像的二值图像，第二二值图像为第二卷积图像的二值图像；以及确定第三二值图像的区域极大值处的区域重心为鼻子位置。
[0028]进一步地，通过以下方式确定区域重心:利用预设矩阵对第三二值图像进行膨胀处理，得到多个连通区域；查找多个连通区域中的最大连通区域；以及确定最大连通区域的重心为区域重心。
[0029]进一步地，在合并第一二值图像和第二二值图像，得到第三二值图像之后，并且在确定第三二值图像的区域极大值处的区域重心为鼻子位置之前，利用支持向量机进行筛选包括:利用支持向量机对目标点进行判断，其中，目标点为第三二值图像中为I的点；在利用支持向量机判断出目标点仍为I的情况下，保持目标点在第三二值图像上的标记为I不变；以及在利用支持向量机判断出目标点为O的情况下，在第三二值图像上将目标点重新标记为0，其中，确定重新标记后的第三二值图像的区域极大值处的区域重心为鼻子位置。
[0030]进一步地，定位人脸图像中的眼睛位置包括:利用AdaBoost算法检测人脸图像中眼睛位置所在的第一区域；对第一区域进行径向对称变换确定人眼的睁闭状态；在确定人眼处于睁开状态的情况下，利用Gabor滤波器定位眼睛位置；以及在确定人眼处于闭合状态的情况下，利用K-means聚类算法定位眼睛位置。
[0031]进一步地，Gabor滤波器的极坐标为
【权利要求】
1.一种人眼定位方法，其特征在于，包括: 接收人脸图像； 定位所述人脸图像中的鼻子位置和眼睛位置； 根据所述鼻子位置确定人脸对称轴；以及 利用所述人脸对称轴调整所述眼睛位置，得到人眼的目标定位位置。
2.根据权利要求1所述的人眼定位方法，其特征在于，通过利用预设鼻子模板图像与所述人脸图像卷积计算，并利用支持向量机进行筛选，定位所述人脸图像中的鼻子位置。
3.根据权利要求2所述的人眼定位方法，其特征在于，所述预设鼻子模板图像包括第一模板图像和第二模板图像，其中，所述第一模板图像中的鼻孔角度与所述第二模板图像中的鼻孔角度不同，利用预设鼻子模板图像与所述人脸图像卷积计算，定位所述人脸图像中的鼻子位置包括: 分别对所述第一模板图像和所述第二模板图像与所述人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像； 分别计算所述第一卷积图像和所述第二卷积图像的区域极大值； 将所述第一卷积图像上的区域极大值处和所述第二卷积图像上的区域极大值处均标记为1，并将所述第一卷积图像上的非区域极大值处和所述第二卷积图像上的非区域极大值处均标记为O，得到所述第一卷积图像的二值图像和所述第二卷积图像的二值图像；合并第一二值图像和第二二值图像，得到第三二值图像，其中，所述第一二值图像为所述第一卷积图像的二值图像，所述第二二值图像为所述第二卷积图像的二值图像；以及确定所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
4.根据权利要求3所述的人眼定位方法，其特征在于，通过以下方式确定所述区域重心: 利用预设矩阵对所述第三二值图像进行膨胀处理，得到多个连通区域； 查找多个所述连通区域中的最大连通区域；以及 确定所述最大连通区域的重心为所述区域重心。
5.根据权利要求3所述的人眼定位方法，其特征在于，在合并第一二值图像和第二二值图像，得到第三二值图像之后，并且在确定所述第三二值图像的区域极大值处的区域重心为所述鼻子位置之前，利用支持向量机进行筛选包括: 利用所述支持向量机对目标点进行判断，其中，所述目标点为所述第三二值图像中为I的点； 在利用所述支持向量机判断出所述目标点仍为I的情况下，保持所述目标点在所述第三二值图像上的标记为I不变；以及 在利用所述支持向量机判断出所述目标点为O的情况下，在所述第三二值图像上将所述目标点重新标记为O, 其中，确定重新标记后的所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
6.根据权利要求1至5中任一项所述的人眼定位方法，其特征在于，定位所述人脸图像中的眼睛位置包括: 利用AdaBoost算法检测所述人脸图像中所述眼睛位置所在的第一区域；对所述第一区域进行径向对称变换确定所述人眼的睁闭状态； 在确定所述人眼处于睁开状态的情况下，利用Gabor滤波器定位所述眼睛位置；以及 在确定所述人眼处于闭合状态的情况下，利用K-means聚类算法定位所述眼睛位置。
7.根据权利要求6所述的人眼定位方法，其特征在于，所述Gabor滤波器的极坐标为G(r,Θ) =~#，其中，r。与θ。为确定所述Gabor滤波器中心的参数因子，α与β为所述Gabor滤波器中高斯窗的尺度因子，α和β根据所述人脸图像的大小确定，ω为所述Gabor滤波器的震荡频率。
8.根据权利要求6 所述的人眼定位方法，其特征在于，通过以下方式确定所述K-means聚类算法中的聚类中心: 获取所述第一区域中的人眼灰度值和每个所述人眼灰度值的像素点个数； 按照公式A=BniinUaniilrtIiniilrt+a^n^+..、,.计算灰度值累加值,其中，anin为所述人眼灰度值中的最小灰度值，nmin为所述最小灰度值的像素点个数，amax为所述人眼灰度值中的最大灰度值，nmax为所述最大灰度值的个数，Bniilrtl为比所述最小灰度值大η的灰度值，nmin+n为灰度值a—n的像素点个数，n e [1,2,3,…，254];以及
9.根据权利要求1所述的人眼定位方法，其特征在于，利用所述人脸对称轴调整所述眼睛位置，得到人眼的目标定位位置包括: 以所述眼睛位置中的左眼位置P1、所述眼睛位置中的右眼位置P2和所述鼻子位置P3为顶点建立目标三角形； 按照公式Dy=Ih -Pj ^计算所述目标三角形的边长Dij ； 按照公式々计算所述目标三角形的边长之间的比例ru ；
10.一种人眼定位装置，其特征在于，包括: 接收单元，用于接收人脸图像； 定位单元，用于定位所述人脸图像中的鼻子位置和眼睛位置； 第一确定单元，用于根据所述鼻子位置确定人脸对称轴；以及 调整单元，用于利用所述人脸对称轴调整所述眼睛位置，得到人眼的目标定位位置。
11.根据权利要求10所述的人眼定位装置，其特征在于，所述定位单元通过利用预设鼻子模板图像与所述人脸图像卷积计算，并利用支持向量机进行筛选，定位所述人脸图像中的鼻子位置。
12.根据权利要求11所述的人眼定位装置，其特征在于，所述预设鼻子模板图像包括第一模板图像和第二模板图像，其中，所述第一模板图像中的鼻孔角度与所述第二模板图像中的鼻孔角度不同，所述定位单元包括: 第一计算子单元，用于分别对所述第一模板图像和所述第二模板图像与所述人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像； 第二计算子单元，用 于分别计算所述第一卷积图像和所述第二卷积图像的区域极大值； 第一标记子单元，用于将所述第一卷积图像上的区域极大值处和所述第二卷积图像上的区域极大值处均标记为1，并将所述第一卷积图像上的非区域极大值处和所述第二卷积图像上的非区域极大值处均标记为0，得到所述第一卷积图像的二值图像和所述第二卷积图像的二值图像； 合并子单元，用于合并第一二值图像和第二二值图像，得到第三二值图像，其中，所述第一二值图像为所述第一卷积图像的二值图像，所述第二二值图像为所述第二卷积图像的二值图像；以及 第一确定子单元，用于确定所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
13.根据权利要求12所述的人眼定位装置，其特征在于，所述人眼定位装置还包括: 处理单元，用于利用预设矩阵对所述第三二值图像进行膨胀处理，得到多个连通区域； 查找单元，用于查找多个所述连通区域中的最大连通区域；以及 第二确定单元，用于确定所述最大连通区域的重心为所述区域重心。
14.根据权利要求12所述的人眼定位装置，其特征在于，所述定位单元还包括: 第一判断子单元，用于利用所述支持向量机对目标点进行判断，其中，所述目标点为所述第三二值图像中为I的点； 保持子单元，用于在利用所述支持向量机判断出所述目标点仍为I的情况下，保持所述目标点在所述第三二值图像上的标记为I不变；以及 第二标记子单元，用于在利用所述支持向量机判断出所述目标点为O的情况下，在所述第三二值图像上将所述目标点重新标记为0，其中，所述第一确定子单元用于确定重新标记后的所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
15.根据权利要求10至14中任一项所述的人眼定位装置，其特征在于，所述定位单元还包括: 检测子单元，用于利用AdaBoost算法检测所述人脸图像中所述眼睛位置所在的第一区域； 变换子单元，用于对所述第一区域进行径向对称变换确定所述人眼的睁闭状态； 第一定位子单元，用于在确定所述人眼处于睁开状态的情况下，利用Gabor滤波器定位所述眼睛位置；以及 第二定位子单元，用于在确定所述人眼处于闭合状态的情况下，利用K-means聚类算法定位所述眼睛位置。
16.根据权利要求15所述的人眼定位装置，其特征在于，所述Gabor滤波器的极坐标为G(r,θ) = eie(θ-θo)e-(θ-θo)2/β2其中，r0与θo为确定所述Gabor滤波器中心的参数因子，α与β为所述Gabor滤波器中高斯窗的尺度因子，α和β根据所述人脸图像的大小确定，ω为所述Gabor滤波器的震荡频率。
17.根据权利要求15所述的人眼定位装置，其特征在于，所述人眼定位装置还包括: 获取单元，用于获取所述第一区域中的人眼灰度值和每个所述人眼灰度值的像素点个数； 计算单元,用于按照公式AzaniinUaniilrtUaniil^rw2+*" amaxnmax计算灰度值累加值，其中，afflin为所述人眼灰度值中的最小灰度值，nfflin为所述最小灰度值的像素点个数，afflax为所述人眼灰度值中的最大灰度值，nmax为所述最大灰度值的个数，amin+n为比所述最小灰度值大η的灰度值，nmin+n为灰度值amin+n的像素点个数，n e [1,2,3,…，254];以及
第三确定单元，用于确定分别为了
18.根据权利要求10所述的人眼定位装置，其特征在于，所述调整单元包括: 建立子单元，用于以所述眼睛位置中的左眼位置P1、所述眼睛位置中的右眼位置P2和所述鼻子位置P3S顶点建立目标三角形； 第三计算子单元，用于按照公式dij=pi —Pj 计算所述目标三角形的边长Dij ；
第四计算子单元，用于按照公式
【文档编号】G06K9/62GK103632136SQ201310557045
【公开日】2014年3月12日 申请日期:2013年11月11日 优先权日:2013年11月11日
【发明者】张芹芹, 张祥德, 张要罗, 李倩颖 申请人:北京天诚盛业科技有限公司