专利名称：人眼检测方法和人眼检测设备的制作方法
技术领域：
本发明涉及一种人眼检测方法和人眼检测设备。
背景技术：
随着人脸关键点定位技术的应用需求越来越大，人眼检测技术的重要性也越来越突显。人眼检测技术可以作为图像处理和视频分析领域多种应用项目的基础性工作，比如人脸识别、人脸图像检索以及驾驶员疲劳状态检测等等。常规人眼检测依赖于以下现象，即当用近红外光源照射人脸 时，通常人脸反白光，而人眼处形成黑洞，因此通过比较图像中各处图像块的像素值，就可以判断出人眼的大致区域。例如，专利文件US 20060077558A1提出了一种用来确定瞳孔准确位置的人眼检测设备。该设备包括图像采集单元，用来采集人眼图像；以及瞳孔检测单元，用来确定瞳孔在图像中的位置。该技术的实施依赖于特定的环境，具体是针对在封闭环境中以光源照射人脸的情况下所得的人脸图像进行人眼检测。因此需要额外的硬件装备，严重限制其应用范围。
发明内容
鉴于现有技术中存在的上述问题而做出本发明。根据本发明实施例的一个方面，提出了一种人眼检测方法，包括人脸区域确定步骤，在输入的图像中确定人脸区域；人眼范围确定步骤，在人脸区域中确定人眼范围；以及人眼定位步骤，基于主动形状模型，以人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。根据本发明实施例的另一个方面，提出了一种人眼检测设备，包括人脸区域确定装置，在输入的图像中确定人脸区域；人眼范围确定装置，在人脸区域中确定人眼范围；以及人眼定位装置，基于主动形状模型，以人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。按照本发明的实施例，通过一种包括人眼粗定位模块和人眼精定位模块的混合结构，由粗到细地实现快速准确的人眼定位。通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。
图I示出按照本发明实施例的人眼检测方法的总体流程图。图2示出本发明实施例可以采用的用于检测人脸区域的级联检测器的示意图。图3包括图3A、图3B、图3C，示出了基于图像块灰度和确定人眼范围的方法的示意说明图，图3A示出人脸图像的示例，图3B示出根据人眼和人脸的拓扑关系确定的人眼搜索范围的不意，图3C不出基于图像块灰度和确定人眼范围的不意。图4示出本发明实施例可以采用的用于检测人眼范围的级联检测器的示意图。图5示出实施利用级联检测器确定人眼范围的方法的示意图。图6示出用于检测人眼范围的级联检测器所采用的Haar特征示例，其中，图6A示出线性Haar特征示例，图6B示出边缘Haar特征示例，图6C示出中心环绕Haar特征示例。图7示意性地示出在人脸图像中确定人眼范围的结果示例。图8包括图8A和图SB，示出示意性地示出主动形状模型的实现示例，其中，图8A示意性地示出在人脸图像上所标注的特征点集合的位置，图8B示出其中某个特征点更新时的搜索范围。图9示出按照本发明实施例的人眼检测设备的总体框图。 图10示出按照本发明实施例的人眼检测系统的总体框11包括图IlA和图11B，示意性地对比出在不确定人眼范围的情况下和确定人眼范围的情况下的最终人眼定位精度，图IlA所示为不进行人眼粗定位的情况下的人眼定位结果，图IlB所示为进行人眼粗定位的情况下的人眼定位结果。
具体实施例方式
下面结合附图描述本发明实施例。图I示出按照本发明实施例的人眼检测方法的总体流程图。如图I所示，该人眼检测方法可以包括人脸区域确定步骤S100，在输入的图像中确定人脸区域；人眼范围确定步骤S200，在人脸区域中确定人眼范围；以及人眼定位步骤S300，基于主动形状模型，以所述人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。本发明实施例所处理的图像可以通过各种已知输入技术来输入，诸如从各种存储设备读入、从网络获取、或利用扫描仪扫描得到等等，经过处理所得到的结果可以通过各种已知输出技术来输出，诸如存储到各种存储设备、经由网络输出、或利用打印机打印出等
坐寸o在人脸区域确定步骤S100，可以利用各种已知的人脸检测技术来实现在输入的图像中确定人脸区域。图2示出本发明实施例可以采用的用于检测人脸区域的级联检测器的示意图。例如，利用由图2所示的多层检测单元构成的级联检测器来检测人脸区域，其中I到n各个层次的检测单元构成级联结构，输入的图像从第I层次的检测单元开始，逐步判断是否包含人脸区域，如果在某个层次的检测单元被判断为非，则该图像归于非人脸一类，图像经过所有层次的检测单元都判断为是人脸图像之后，输出人脸区域。从I到n各个层次的检测单元可以利用Adaboost算法进行训练，用于在检测中去除图像中的一部分非人脸区域。该人脸检测器也可由其它类型的检测器构成，如支持向量机检测器(或者称分类器)或者神经网络检测器(或者称分类器)。本领域技术人员可以理解，为了便于此后的人眼检测过程，可以将所获得的人脸区域归一化到同一尺寸，成为统一尺寸的人脸图像，用于此后的处理。在人眼范围确定步骤S200，可以采用多种途径来在人脸图像中初步、粗略地确定人眼的大致范围。例如，作为可以普遍适用的手段，在人眼范围确定步骤S200中，可以按照人眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围，在初步限定的人眼范围中，基于图像块灰度和算法，将灰度和最小的图像块作为人眼范围。图3包括图3A、图3B、图3C，示出了上述基于图像块灰度和确定人眼范围的方法的示意说明图，图3A示出人脸图像的示例，图3B示出根据人眼和人脸的拓扑关系确定的人眼搜索范围的示意，图3C示出基于图像块灰度和确定人眼范围的示意。针对例如图3A所示的人脸图像，首先根据人类通常的人眼与人脸的大致位置关系在人脸图像中划定两个区域Rl和R2，初步限定人眼范围，如图3B所示。然后，在区域Rl和R2中根据人眼区域的通常尺寸划定一滑动局部图像块，在区域Rl和R2中逐步移动该局部图像块，当其中像素的灰度和最小时的局部图像块确定为人眼范围rl和r2，如图3C所
/Jn o此基于图像块灰度和确定人眼范围的方法对于所有情况的人脸区域都适用，并且可以在很短的时间内得到人眼大致位置。
上述基于图像块灰度和确定人眼范围的方法属于利用纹理灰度信息对人眼范围进行粗略定位的方法，然而，本领域技术人员可以理解，可用的方法不局限于灰度信息，还可以采用纹理的梯度信息或者统计分布信息对人眼范围进行大致定位。此方法可以根据人眼在人脸的相对位置，在有限的区域内快速进行人眼大致定位，而且由于比较诸如灰度的纹理特征，因此可以检测到一个区域作为人眼范围。而且，本领域技术人员可以理解，确定人眼范围不限于上述手段，也可以采用下文描述的利用Adaboost人眼检测器的方法。在人眼范围确定步骤S200，除上述方法外，还可以利用由多个层次的检测单元级联而成的级联检测器，通过逐级地利用检测单元在人脸区域内对滑动子窗口进行扫描得到人眼候选范围，将在最后级的检测单元得到的人眼候选范围确定为人眼范围。图4示出本发明实施例可以采用的用于检测人眼范围的级联检测器的示意图。在此采用的图4所示的级联检测器可以类似于在上述人脸区域确定步骤SlOO中采用的如图2所示的级联检测器，当然，检测对象不同，采用的特征也就不同，然而，技术原理和训练方法可以是类似的，可以相互借鉴，在人眼范围确定步骤S200中采用的级联检测器的各级检测单元可以利用正样本和负样本通过Adaboost算法训练得到。图5示出实施利用级联检测器确定人眼范围的方法的示意图。所用的级联检测器例如是Adaboost级联检测器。依据人类的人眼和人脸的拓扑结构知识，人眼位于人脸的上半部，因此，人眼区域扫描时将只在该上半部人脸区域进行多尺度多位置的搜索。图6示出用于检测人眼范围的级联检测器所采用的Haar特征示例，其中，图6A示出线性Haar特征示例，图6B示出边缘Haar特征示例，图6C示出中心环绕Haar特征示例。可以采用的Haar特征不限于图6所示，本领域技术人员可以理解，其它Haar特征模板例如图6所示的模板的各种组合也可以应用于本发明的实施例。Haar特征表示局部纹理的对比信息。除Haar特征之外，可以用于本发明实施例的特征还能够涵盖各种满足实时性要求的局部纹理描述符，诸如原始图像的积分图像、及图像的梯度信息等等。如上所述，图4所示的级联检测器的各级的检测单元例如是利用Adaboost算法训练得到的Adaboost检测单元。如图5所示,Adaboost检测单元在上半部人脸区域内，从较小尺度的矩形框开始，在X轴和y轴分别按照预定步长移动，遍历整个上半部人脸区域，然后放大矩形框尺度，重复上述过程。该检测单元通过在人脸区域内对多尺度多位置的子窗口(矩形框)进行扫描，得到部分人眼候选区域进行后续处理。在每次矩形框处于某个位置时，矩形框范围内的图像框作为图4中待处理的“图像”经历各层次检测单元的检测，Adaboost检测单元利用诸如图6所示的Haar特征，检测矩形框范围内图像框的Haar特征在如何程度上符合所训练的人眼样本的情况，据此来判断其是否能够通过该层次的人眼的检测。每级的Adaboost检测单元可以去除图像中的一部分非人眼区域，因而可以通过所有层次检测单元的图像区域认为是人眼范围。上述利用级联检测器确定人眼范围的方法属于基于分类器对人眼进行定位的方法，本领域技术人员可以理解，在此可用的方法可以不局限于Adaboost分类策略，还可以利用支持向量机或者神经网络等多种分类器手段。基于级联检测器检测人眼范围的方法通常可以在很短的时间内实现人眼范围的确定，但是缺点在于需要复杂的分类器训练过程，而且有时候该检测器可能检测不到人眼区域。
考虑到上述不同方法的特点，还可以将人眼范围确定步骤S200设计如下。如图I所示，先在步骤S220，采用前述的利用级联检测器确定人眼范围的方法，S卩，利用由多个层次的检测单元级联而成的级联检测器，通过逐级地利用检测单元在人脸区域内对滑动子窗口进行扫描得到人眼候选范围，将在最后级的检测单元得到的人眼候选范围确定为人眼范围。然而，如果在步骤S230，发现检测器检测不到人眼区域，不可确定人眼范围，则在步骤S240，作为备选策略，利用前述的基于图像块灰度和确定人眼范围的方法。S卩，如果无法通过所述级联检测器确定人眼范围，则按照人眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围，在初步限定的人眼范围中，基于图像块灰度和算法，将灰度和最小的图像块作为人眼范围。图7示意性地示出在人脸图像中确定人眼范围的结果示例。所示矩形框Ql为利用Adaboost级联检测器检测人眼范围。所示矩形框Q2和Q3为基于图像块灰度和确定人眼范围的方法确定的人眼范围。尽管Adaboost检测器在某些人脸区域检测不到人眼位置，例如未检测出图7所示人脸的右眼，然而图像块灰度和方法可以作为备选手段大致确定人眼范围。不论在人眼范围确定步骤S200通过何种途径获得人眼范围，关于人眼范围的信息可以用来作为此后人眼定位步骤S300中的主动形状模型的初始参数，该主动形状模型最终收敛时的位置可以作为人眼定位的结果输出。图8包括图8A和图8B,示出示意性地示出主动形状模型的实现示例,其中，图8A示意性地示出在人脸图像上所标注的特征点集合的位置，图8B示出其中某个特征点更新时的搜索范围。其中，所述主动形状模型为通过样本训练而得到的人脸的多个特征点的属性的集合，其中所述多个特征点至少包括与人眼相对应的点，所述属性至少包括相应点的位置信息、位置约束条件和纹理信息。首先要利用样本训练得到主动形状模型，表现为人脸上具有代表性的一系列点(称为特征点)的属性集合，图8A中示意性地示出了完成训练之后在人脸上标注的一系列特征点，下面以其中某个Pi点为例进行说明。多个特征点中至少包括与人眼相对应的点，Pi点即是其中之一，每个特征点都具有多个属性。属性可以大体上分为两类，一类是与位置有关的参数，至少包括x(横坐标)，Y(纵坐标)，S (尺度信息)，0 (旋转角度信息)以及b(空间变化信息)，对于所有特征点的位置信息进行归一化处理，图8A中所示的特征点Pi (坐标(Xi，Yi))，可以表示为(Xi，Yi，s，0，bi)，其中s和0特征点集合的参数，各个特征点的s和0相同，其它参数取决于各个特征点而可能不同。另一类属性是特征点周围纹理分布的匹配模板，该匹配模板可采用多种纹理特征获取，如一维的梯度特征或者二维的局部二值模型(Local Binary Pattern,LBP)特征。在训练过程中，还可以由全部特征点的X、Y坐标构成位置向量，对多幅样本图像的位置向量构成的矩阵进行主成分分析，保存最大的若干个(例如m个)特征值\及其对应的特征向量，作为后续拟合时的形状限制条件，即训练所得的一组特征点的位置约束条件。在经过训练得到主动形状模型之后，可以开始对于已经确定人眼范围的待处理图像的拟合过程，利用人眼定位步骤S300进行人眼定位。人眼定位步骤S300可以包括初始位置确定步骤，可以将训练得到的人脸的多个特征点中与人眼相应的特征点匹配至所述人眼范围的中心点，作为与人眼相应的特征点的初始位置，所述多个特征点中的其它特征点以保持所述多个特征点拓扑关系的方式调整位 置；更新步骤，可以根据所述多个特征点的各个特征点的纹理信息，在各个特征点的位置邻域中寻找纹理信息最接近的点，把所述各个特征点的位置更新为该点位置；修正步骤，可以利用所述多个特征点中各个特征点的位置约束条件对该特征点的更新后的位置进行修正；判断步骤，可以根据特征点集合中各个特征点的修正后的位置与更新前的位置的关系判断与人眼相应的特征点的修正后的位置是否是人眼位置。为了进行拟合过程，首先在初始位置确定步骤中确定各个特征点的初始位置，也就是将训练所得的特征点集合在待处理的人脸图像中放置在初始位置，由于已经大致确定出人眼的范围，因此可以以人眼范围中点为特征点中与人眼相对应的特征点的初始位置。由于从确定的人眼范围内开始处理，因此在此后的拟合过程中，可能获得更快的收敛。例如，如果在人眼范围确定步骤S200中确定的人眼范围为矩形，则可以以矩形的对角线交点为与人眼相应的特征点(也称为“人眼特征点”)的初始位置。在待处理图像的人眼范围中点之间的距离与训练所得的人眼特征点之间的距离不一致的情况下，无法吻合，此时可以将两个人眼特征点分别移动相等的距离达到人眼范围中点，并按照各个特征点之间拓扑关系不变、相对位置不变，调整该组特征点的s和0参数，从而调整其它各个特征点的位置。然后，从更新步骤开始，进入拟合的迭代过程。在位置更新时，可以采用特征点周围的二维纹理统计信息，例如采用局部二值模特征作为纹理模板进行匹配，以此在每一步位置更新时找到特征点在当时的最优位置。各个特征点的纹理信息可以为局部二值模板，纹理信息最接近的点为相应特征点邻域内的各点中与该特征点的局部二值模板距离最近的点。纹理特征并不局限于二维纹理统计信息，也可以利用诸如一维的梯度信息或者二维的纹理灰度信息，均可以实现位置更新。在拟合过程中，对于每个特征点，每次在其邻域进行搜索，选出与该特征点纹理模板最为接近的位置作为该特征点的新位置。例如，如图8B所示，对于特征点Pi，在其一定大小的邻域(如图8B中所示矩形窗口)内遍历所有邻域点，计算出每个邻域点的纹理向量(即作为特征点属性的纹理信息所构成的向量)，然后将这些纹理向量与该特征点在训练时得到的纹理向量进行匹配，匹配距离最近的邻域点即为该点的新位置。将特征点集合中所有特征点都进行位置更新后，对该集合的参数进行更新。其中，每个特征点的纹理向量可以利用多种纹理特征，例如一维梯度特征、二维LBP特征、或者二维梯度特征等等。当对集合中所有特征点的位置信息更新完毕后，进入上述修正步骤。可以参照非专利文件 T. F. Cootes, D. Cooper, C. J. Taylor and J. Graham, " ActiveShape Models-Their Training and Application. " Computer Vision and ImageUnderstanding. V01. 61, No. I, Jan. 1995, pp. 38-59.中所记载的手段来进行此修正过程。在修正步骤中，利用每个特征点的位置约束条件对其新位置进行修正。各个特征点的b是体现空间变化信息的一个向量，例如，对于点Pi，当其位置更新后，新位置与原位置的Xi和Yi坐标的变化值AXi和AYi构成一个向量，将该向量投影到该组特征点的前述m个特征向量上，得到m个投影值构成m维的bi向量，由于各个特征向量分别对应于一个特征值，因此bi向量的各个维度分别对应于一个特征值\。此时，判断各维的bi分量是
否超出相应的限制，例如判断是否P㈨|<3#，其中bi(k) Sbi向量的第k维分量，Ak
为与之对应的特征值。如果该bi分量超出相应的限制范围，则将该bi值分量设定为该限制范围的上限值。从而根据修正后的bi向量调整Pi点的AXi和AYi值，在根据调整后的A Xi和A Yi值调整该点的新位置坐标。本领域技术人员可以理解，判断b参数是否超出限制，也可以采用其它标准，例如判断是否< 2或< 4。通过修正过程使得特征点集合可以基本保证原本的
相对空间结构，以免在拟合过程中造成特征点集合的空间形状出现异常，以致产生噪音点。然后，在判断步骤，利用特征点集合的新位置信息与原位置信息来判断与人眼相对应的特征点的位置是否可以认为是人眼位置。具体是，如果新位置信息与原位置信息之间的差异已经小于某预定阈值，则认为拟合已经完成，主动形状模型已经最终收敛于所输入的人脸形状的位置，其中与人眼相对应的特征点的当前位置即认为是人眼位置。即，如果与人眼相应的特征点的修正后的位置和同一次迭代中的更新步骤中所述各个特征点中与人眼相应的特征点的更新前的位置之间的差异小于预定阈值，则与人眼相应的特征点的修正后的位置判断为人眼位置。而在判断步骤中，如果判断与人眼相应的特征点的修正后的位置不是人眼位置，则将所述各个特征点的修正后的位置作为所述各个特征点的位置代入所述更新步骤再次进行处理。在不能认为已经完成拟合的情况下，如果通过对比计算得到的点的新位置信息与上一次迭代时该点的位置信息，能够发现其变化小于另一预定阈值，则表明过程在收敛。在此情况下，能够判断出该主动形状模型会最终收敛于输入人脸形状的位置。采用整个人脸模型可以通过人脸形状约束而增强定位人眼位置的准确性。迭代的拟合过程有如下可能，如果收敛则得到特征点最终位置，此时人眼点的信息即为人眼位置；如果发散(即不收敛)则拟合失败，此时可以以在步骤S200所确定的人眼范围的中点作为人眼位置。也可以设定一个迭代次数阈值，当迭代次数到达该阈值后，迭代结束，输出此时的人眼特征点的位置信息。本发明还可以相应地实施为一种用于实施上述人眼检测方法的人眼检测设备，图9示出按照本发明实施例的人眼检测设备的总体框图。如图9所示，一种人眼检测设备10，包括人脸区域确定装置100，可以执行前述人脸区域确定步骤S100，在输入的图像中确定人脸区域；人眼范围确定装置200，可以执行前述人眼范围确定步骤S200，在所述人脸区域中确定人眼范围；以及人眼定位装置300，可以执行前述人眼定位步骤S300，基于主动形状模型，以所述人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。所述人眼范围确定装置200可以实施为基于图像块灰度和确定人眼范围的装置，执行基于图像块灰度和确定人眼范围的步骤S240，按照人眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围，在初步限定的人眼范围中，基于图像块灰度和算法，将灰度和最小的图像块作为人眼范围。或者，所述人眼范围确定装置20 0可以实施为利用级联检测器确定人眼范围的装置，执行利用级联检测器确定人眼范围的步骤S220，利用由多个层次的检测单元级联而成的级联检测器，通过逐级地利用检测单元在人脸区域内对滑动子窗口进行扫描得到人眼候选范围，将在最后级的检测单元得到的人眼候选范围确定为人眼范围。或者，所述人眼范围确定装置200也可以包括基于图像块灰度和确定人眼范围的装置和利用级联检测器确定人眼范围的装置二者，先由利用级联检测器确定人眼范围的装置执行利用级联检测器确定人眼范围的步骤S220，如果无法通过所述级联检测器确定人眼范围，则由基于图像块灰度和确定人眼范围的装置执行基于图像块灰度和确定人眼范围的步骤S240，按照人眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围，在初步限定的人眼范围中，基于图像块灰度和算法，将灰度和最小的图像块作为人眼范围。其中，所述级联检测器的各级检测单元利用正样本和负样本通过Adaboost算法训练得到。人眼定位装置300所采用的主动形状模型为通过样本训练而得到的人脸的多个特征点的属性的集合，其中所述多个特征点至少包括与人眼相对应的点，所述属性至少包括相应点的位置信息、位置约束条件和纹理信息。人眼定位装置300可以包括初始位置确定装置,可以执行前述初始位置确定步骤，将训练得到的人脸的多个特征点中与人眼相应的特征点匹配至所述人眼范围的中心点，作为与人眼相应的特征点的初始位置，所述多个特征点中的其它特征点以保持所述多个特征点拓扑关系的方式调整位置；更新装置，可以执行前述更新步骤，根据所述多个特征点的各个特征点的纹理信息，在各个特征点的位置邻域中寻找纹理信息最接近的点，把所述各个特征点的位置更新为该点位置；修正装置，可以执行前述修正步骤，利用所述多个特征点中各个特征点的位置约束条件对该特征点的更新后的位置进行修正；判断装置，可以执行前述判断步骤，根据特征点集合中各个特征点的修正后的位置与更新前的位置的关系判断与人眼相应的特征点的修正后的位置是否是人眼位置。其中，各个特征点的所述纹理信息为局部二值模板，纹理信息最接近的点为相应特征点邻域内的各点中与该特征点的局部二值模板距离最近的点。所述判断装置如果判断与人眼相应的特征点的修正后的位置不是人眼位置，则将所述各个特征点的修正后的位置作为所述各个特征点的位置代入所述更新装置再次进行处理。本发明还可以通过一种人眼检测系统来实施。图10是示出按照本发明实施例的人眼检测系统1000的总体框图，如图10所示，人眼检测系统1000可以包括输入设备1100，用于从外部输入将要检测处理的图像，例如可以包括键盘、鼠标器、扫描仪、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的人眼检测方法，或者实施为上述的按照本发明实施例的人眼检测设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1300，用于向外部输出实施上述人眼检测过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述人眼检测处理过程所涉及的图像、所得的结果、命令、中间数据等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。图11包括图IlA和图11B，示意性地对比出在不确定人眼范围(即不进行粗定位)的情况下和确定人眼范围(即进行粗定位)的情况下的最终人眼定位精度，图IlA所示为不进行人眼粗定位的情况下的人眼定位结果，图IlB所示为进行人眼粗定位的情况下的人眼定位结果。通过对比可以看出，如果在通过主动形状模型进行拟合迭代之前，先进行人眼大致位置，即人眼范围的确定，则主动形状模型特征点集合的初始位置会更为准确，得到更为准确的人眼位置信息，图IlB中确定的人眼位置位于瞳孔，而图IlA中的人眼位置相对于瞳孔有一些偏离。此外，先进行人眼大致位置的确定后，利用主动形状模型的拟合过程中的收敛速度也大大加快。
·
按照本发明实施例的人眼检测方法、人眼检测设备、及人眼检测系统采用由粗到精的检测策略，提出了一种混合方案来实现快速准确的人眼定位。该混合方案包括用于大致确定人眼范围的人眼粗定位模块和用于人眼定位的人眼精定位模块。在人眼粗定位模块中，可以采用Adaboost分类器来进行人眼范围的选取。但是，在某些情况下，例如当受光照或眼镜等影响时，Adaboost分类器可能检测不到人眼区域，无法给出人眼范围。如果发生这种情况，可以考虑基于局部图像块灰度累加值(即图像块灰度和)的人眼区域检测算法作为备选算法，由于通常人眼区域比较黑，因此选择灰度累加值比较低的区域来作为人眼范围。然后，在人眼精定位模块中，采用主动形状模型来对人眼进行精准定位。由于在人眼范围确定过程中，即人眼粗定位中，已经确定人眼范围即人眼的粗略位置，以此作为主动形状模型的初始位置进行迭代，可以大大加快算法的收敛速度。从而，本发明的实施例可以在加速人眼定位速度的同时保证人眼定位的精度。在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。例如，可以把计算机程序预先存储到作为记录介质的硬盘或者R0M(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、⑶-ROM(光盘只读存储器)、M0 (磁光)盘、DVD (数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。
权利要求
1.一种人眼检测方法，包括 人脸区域确定步骤，在输入的图像中确定人脸区域； 人眼范围确定步骤，在所述人脸区域中确定人眼范围；以及 人眼定位步骤，基于主动形状模型，以所述人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。
2.按照权利要求I所述的人眼检测方法，其中，在所述人眼范围确定步骤中，按照人眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围，在初步限定的人眼范围中，基于图像块灰度和算法，将灰度和最小的图像块作为人眼范围。
3.按照权利要求I所述的人眼检测方法，其中，在所述人眼范围确定步骤中，利用由多个层次的检测单元级联而成的级联检测器，通过逐级地利用检测单元在人脸区域内对滑动子窗口进行扫描得到人眼候选范围，将在最后级的检测单元得到的人眼候选范围确定为人眼范围。
4.按照权利要求3所述的人眼检测方法，其中，如果无法通过所述级联检测器确定人眼范围，则按照人眼和人脸的拓扑结构信息在人脸区域中初步限定人眼范围，在初步限定的人眼范围中，基于图像块灰度和算法，将灰度和最小的图像块作为人眼范围。
5.按照权利要求3所述的人眼检测方法，其中，所述级联检测器的各级检测单元利用正样本和负样本通过Adaboost算法训练得到。
6.按照权利要求I所述的人眼检测方法，其中，所述主动形状模型为通过样本训练而得到的人脸的多个特征点的属性的集合，其中所述多个特征点至少包括与人眼相对应的点，所述属性至少包括相应点的位置信息、位置约束条件和纹理信息。
7.按照权利要求6所述的人眼检测方法，其中，所述人眼定位步骤包括 初始位置确定步骤，将训练得到的人脸的多个特征点中与人眼相应的特征点匹配至所述人眼范围的中心点，作为与人眼相应的特征点的初始位置，所述多个特征点中的其它特征点以保持所述多个特征点拓扑关系的方式调整位置； 更新步骤，根据所述多个特征点的各个特征点的纹理信息，在各个特征点的位置邻域中寻找纹理信息最接近的点，把所述各个特征点的位置更新为该点位置； 修正步骤，利用所述多个特征点中各个特征点的位置约束条件对该特征点的更新后的位置进行修正； 判断步骤，根据特征点集合中各个特征点的修正后的位置与更新前的位置的关系判断与人眼相应的特征点的修正后的位置是否是人眼位置。
8.按照权利要求7所述的人眼检测方法，其中， 各个特征点的所述纹理信息为局部二值模板，纹理信息最接近的点为相应特征点邻域内的各点中与该特征点的局部二值模板距离最近的点。
9.按照权利要求7所述的人眼检测方法，其中，在所述判断步骤中，如果判断与人眼相应的特征点的修正后的位置不是人眼位置，则将所述各个特征点的修正后的位置作为所述各个特征点的位置代入所述更新步骤再次进行处理。
10.一种人眼检测设备，包括 人脸区域确定装置，在输入的图像中确定人脸区域； 人眼范围确定装置，在所述人脸区域中确定人眼范围；以及人眼定位 装置，基于主动形状模型，以所述人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。
全文摘要
本发明提供一种人眼检测方法，包括人脸区域确定步骤，在输入的图像中确定人脸区域；人眼范围确定步骤，在人脸区域中确定人眼范围；以及人眼定位步骤，基于主动形状模型，以人眼范围确定与人眼相应的特征点的初始位置，通过拟合确定人眼位置。本发明还相应地提供一种人眼检测设备、及一种人眼检测系统。
文档编号G06K9/62GK102799888SQ201110140349
公开日2012年11月28日 申请日期2011年5月27日 优先权日2011年5月27日
发明者钟诚, 刘童, 师忠超, 王刚 申请人:株式会社理光