基于主动光的人眼定位的方法

基于主动光的人眼定位的方法
【专利摘要】基于主动光的人眼定位的方法，视频装置中利用主动光产生装置对人脸主动投射，设有图像摄取装置对亮瞳、暗瞳两场图像进行提取；利用主动光投射引发的亮瞳效应即通过两场图像的差分及图像滤波方法得到人眼定位的候选区域；后续采用人脸、人眼定位方法完成人眼定位。尤其是通过基于知识的、基于特征的、模板匹配的或基于表象的人脸定位的方法定位出人脸区域；根据人脸的几何特征，通过基于知识的、基于特征的、模板匹配的或基于表象的人眼定位的方法定位出人眼区域。
【专利说明】基于主动光的人眼定位的方法
【技术领域】
[0001]本发明涉及人眼定位的方法，尤其是视频装置使用的基于主动光的人眼定位的方法。
【背景技术】
[0002]人眼定位的研究已经有很长的历史，最早的研究工作可以追溯到20世纪40年代，但真正有发展还是在最近20年。人眼定位的输入图像通常有3种情况:正面、侧面、斜面。1997年IBM的工作至今，大多数人眼定位研究工作的对象为正面或接近正面的人眼图像。
[0003]人眼定位是一项有着重要的理论研究价值和应用价值，极具挑战性的课题。人眼定位是指在一幅图像中检查是否含有人眼，如果有，则需要进一步确定人眼的位置及尺度，进而用一个多边形或圆形框标示出人眼的区域。它的潜在应用包括机器人视觉、视线鼠标、疲劳驾驶预警、残疾人自助、人机交互、人工智能等许多方面。
[0004]目前国内外用于人眼定位的方法层出不穷，概括起来大致有四种:基于知识的、基于特征的、模板匹配的或基于表象的人眼定位的方法。
[0005]基于知识的人眼定位方法是将人类有关典型的眼的知识编码成一些规则，利用这些规则进行人眼的定位。这些规则主要包括:轮廓规则，如人眼的轮廓可近似的被看成一个椭圆；器官排布规则，如正面人脸中人眼分布在上半个人脸中；对称性规则，如人的双眼具有对称性；运动规则，如眨眼动作可用于实现人眼与背景的分离。
[0006]基于特征的人眼定位方法是寻找一些关于人眼的不依赖于外在条件的属性或结构特征，并利用这些属性或结构特征进行人眼定位。首先通过大量样本学习的方法去寻找这些属性或结构特征，然后用这些属性或结构特征去定位人眼。
[0007]模板匹配的人眼定位方法是一种经典的模式识别方法，首先预定义或参数化一个标准的人眼模板，然后计算检测图像区域与标准模板的相关度，通过阈值判定是否为人眼。其中，人眼模板可以动态更新。
[0008]基于表象的人眼定位方法一般利用统计分析和机器学习来寻找人眼和非人眼图像的有关特性。学习而来的特性总结成分布模型或者判别函数，再利用这些分布模型或者判别函数来定位人眼。基于表象的人眼定位方法的理论基础是概率论，一般都要用到概率论与数理统计的知识。
[0009]Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。
[0010]现有技术基于主动光的人眼定位。所谓主动光是指由红外或近红外光源发出的投射到被检测目标表面的光束。而在红外光照明下拍摄人的脸部图像时，当满足一定的条件时，人眼的瞳孔在画面中的表现是亮度明显高于瞳孔周围区域的，这种现象称作“亮瞳效应”。利用主动光下的亮瞳效应，通过不同图像之间的差分及图像滤波，可以得到人眼定位的候选区域，从而加速人眼定位的速度。

【发明内容】

[0011]本发明目的是:提出一种基于主动照射式的人眼定位方法。该方法采用主动光照射的方法，通过人脸定位与人眼定位，快速而有效的将人眼区域与图像中的其它区域区分，实现复杂背景下的单个或多个人眼的实时定位。其中，方法中用到的跟踪、模板匹配、相关计算以及滤波等算法有效的保证了人眼定位算法的精确性、稳定性和实时性。
[0012]本发明的技术解决方案如下:基于主动光的人眼定位方法，视频装置中利用主动光产生装置对人脸主动投射，设有图像摄取装置对亮瞳、暗瞳两场图像进行提取；利用主动光投射引发的亮瞳效应即通过两场图像的差分及图像滤波方法得到人眼定位的候选区域；后续采用人脸、人眼定位方法完成人眼定位。
[0013]根据人眼定位的候选区域，通过基于知识的、基于特征的、模板匹配的或基于表象的人脸定位的方法定位出人脸区域；根据人脸的几何特征，通过基于知识的、基于特征的、模板匹配的或基于表象的人眼定位的方法定位出人眼区域。
[0014]优化人眼定位的方法采用跟踪算法对定位出的人脸或人眼位置进行跟踪；或采用模板匹配与计算相关的方法提高人眼定位的性能；或采用滤波方法提高人脸或人眼定位的性能，可以选择上述三类方法中的若干种与基于主动光的人眼定位的基本方法组合使用。
[0015]在人脸定位阶段采用滤波算法提高人脸定位的精确性；在人脸或人眼定位阶段使用跟踪算法以加速后续帧图像人眼定位的速度；在人眼定位阶段使用模板匹配、相关计算的方法提闻人眼定位的精确性和稳定性。
[0016]视频装置用于立体显示装置，可置于立体显示装置的某一位置。
[0017]在图像摄取装置的成像镜头上安装带通滤光片，带通滤光片的中心频率与主动光光源的中心频率相等或相近。
[0018]采用数字图像处理的手段，对图像摄取装置获得的图像进行分析，进一步确定人眼位置，其过程如图1所示，主要包括如下方面:
[0019]人眼候选区域的获取:人眼候选区域由两部分组成，一部分是由上一帧图像中定位到的人眼位置跟踪而来的；另一部分则是对亮瞳、暗瞳两种图像进行差分后使用阈值提取得到的。其中第二部分通常要使用滤波算法滤掉由于边缘或运动等造成的伪候选区域。如图2所不为売瞳和暗瞳两种不同的图像。
[0020]人脸定位:人脸定位的方法有基于知识的、基于特征的、模板匹配的或基于表象的方法。以基于特征的AdaBoost方法为例，训练得到若干性能较好的特征组成级联强分类器。根据人眼候选区域的位置及人脸器官的排布，依次按照不同尺度对可能的人脸区域进行检测，采用阈值比较的方法确定该区域是否为人脸区域。图3所示为AdaBoost算法中可能用到的几类Haar特征。
[0021]人眼定位及优化:人眼定位的方法同样也有基于知识的、基于特征的、模板匹配的或基于表象的方法。以基于表象的支持向量机(SVM)方法为例,首先选取若干类Haar特征作为特征空间，利用格点搜索及、交叉验证加权平衡错误率及支持向量机训练的方法得到支持向量及相应权重系数，从而刻画出分类超平面。然后利用该超平面对待检测的人眼区域进行检测，确定该区域是否是人眼区域。定位出人眼区域后，可以采用模板匹配及帧间相关计算的方法优化人眼区域的位置。常用的相关计算方法举例有最小均方差算法。
[0022]人眼位置跟踪:根据当前帧及前若干帧定位到的人眼位置，采用相关跟踪算法，可以预测得到下一帧中人眼的可能位置。这些位置直接进行人眼检测，不再进行人脸检测，从而为下一帧整个人眼定位过程的进行节省时间。常用的跟踪算法举例有Kalman预测算法、Mean-Shift预测算法。
[0023]本发明的改进是:与现有的人眼定位方法与装置相比，本发明利用主动光照明快速得到人眼候选区域，加快了人眼定位的搜索速度；在对图像进行处理方面，采用了“人脸-人眼”两级定位结构，相对于直接在图像中对人眼进行定位的方法节省了处理时间；在人脸定位阶段采用滤波算法提高了人脸定位的精确性，在人眼定位阶段使用模板匹配、相关计算的方法提高人眼定位的精确性和稳定性；在定位得到人脸区域或人眼区域后通过跟踪算法预测出下一帧图像中可能的人眼区域，从而为后续帧的人眼定位节省了时间；在图像摄取装置的成像镜头上安置了带通滤光片，带通滤光片的中心频率与主动光光源的中心频率相近或相等，从而降低了环境光变化对人眼定位效果的影响。
[0024]本发明的有益效果是:利用主动光照射探测目标，利用主动光下的亮瞳效应描述被探测目标的特征，以最少的数据量描绘了目标的主要特征，在加快了人眼定位速度的同时，还降低了环境光变化对人眼定位效果的影响。在图像处理阶段，采用分级定位、滤波、跟踪、模板匹配结合相关计算优化等多种方法，提高了人眼定位的精确性、稳定性，保证了人眼定位的实时性。
【专利附图】

【附图说明】
[0025]图1是本发明方法的流程图；
[0026]图2是本发明的亮瞳图像和暗瞳图像；
[0027]图3是本发明图像处理中能够使用的几类Haar特征的示例；
[0028]图4是本发明用于立体显示装置的实施例结构示意。
[0029]图5是Kalman —步预测器框图。
【具体实施方式】
[0030]图1主动照射式人眼定位算法流程图如下所示:基于主动光的人眼定位方法，利用主动光产生装置对人脸主动投射，用图像摄取装置对亮瞳、暗瞳两种图像进行提取；通过两场图像的差分以及图像滤波得到人眼定位的候选区域；根据人眼定位的候选区域，通过基于知识的、基于特征的、模板匹配的或基于表象的人脸定位的方法定位出人脸区域；根据人脸的几何特征，通过基于知识的、基于特征的、模板匹配的或基于表象的人眼定位的方法定位出人眼区域；其中，在人脸定位阶段采用滤波算法提高人脸定位的精确性；在人脸或人眼定位阶段使用跟踪算法以加速后续帧图像人眼定位的速度；在人眼定位阶段使用模板匹配、相关计算的方法提高人眼定位的精确性和稳定性。
[0031]本发明的流程中，从摄取或输入图像后进行处理，具体如下述:
[0032]应用于立体显示装置的人眼位置探测与跟踪装置。屏幕的下部采用主动光产生装置，同时采用摄像头作为图像输入装置。人眼到屏幕的距离一般在30厘米到80厘米之间，在观看屏幕时，一般不会低于屏幕的下边沿，不高于上边沿30度张角的范围。
[0033]以17寸的立体显示器为例，各部件之间的相对布置尺寸如图4所示。17寸的液晶板，长338毫米，宽268毫米。加上四周的边框长约420毫米，宽约389毫米。在观看屏幕时，人的眼睛习惯上会位于屏幕的正前方靠上的位置上，虽然会经常上下或左右的移动ABCD之间，但一般不会超过一定的范围，这也就决定了主动光的照射范围，典型的尺寸标注在图上(超过此范围不能体会立体电视的作用也属正常)。
[0034]人脸到屏幕的距离一般在30厘米到80厘米之间，如D点，在观看屏幕时，一般不会低于屏幕的下边沿，不高于上边沿30度张角的范围，如图4所示。
[0035]输入的图像首先将亮瞳图像和暗瞳图像进行差分，差分值比较大的点有可能对应人眼区域。为了避免运动或边缘造成的差分值比较大的情况，需要根据差分值比较大的点的聚集程度和形状进行滤波处理，减少可能人眼区域的数量，从而为后续的人脸人眼定位工作节省处理时间。亮瞳图像和暗瞳图像如图2所示。
[0036]取得人眼候选区域后，可以采用基于知识的、基于特征的、模板匹配的或基于表象的的方法进行人脸检测，以基于特征的AdaBoost算法为例，通过对人脸、非人脸两类样本库进行机器学习，寻找到在正负样本库上区分性能较好的若干Haar特征。设有训练样本集合S = {(x_l, y_ l)，(x_2, y_2)，…，(x_m, y_m)},初始化分配给每个样本权重,接着用弱分类器空间H中所有的弱分类器对样本分类，将分类结果与权重相乘后加和，选出效果最好的弱分类器h_l，按照分类结果改变样本权重，误分类的样本提高权重，接着重复以上步骤，从弱分类器空间中选出预测效果最好的弱分类器h_2，重复N次，就获得了 N个弱分类器。每个弱分类器也会被分配一个权重，分类效果好的弱分类器分配的权重大，分类效果差的弱分类器分配的权重小。最终的强分类器分类的结果就是N个弱分类器按照各自权重投票分类产生的结果。
[0037]根据人眼候选区域的位置及人脸的器官排布，利用得到的强分类器在待检测图像上进行变尺度人脸检测，从而定位出图像中的人脸区域。机器学习中所用到的若干类Haar特征如图3所示。
[0038]定位出人脸区域后，可以采用基于知识的、基于特征的、模板匹配的或基于表象的的方法进行人眼检测，以基于表象的支持向量机(SVM)算法为例，首先通过对人眼、非人眼两类样本库进行机器学习，得出若干类Haar特征组成支持向量机算法的特征空间。选择的目的是从Haar特征空间中选出少量有代表性的特征，从而简化计算。我们利用公式
{?) = \ρ\ (.?)νν; (X)P (.V)VVi (Λ.)?从Haar特征中选取少量有最佳分类性能的特征来构建样
本向量，在上式中，沁(4表示第i个特征在正样本集中取值为X的概率密度，<(.0为对应
的权重，P?和…⑴分别是在负样本集中的表示。F⑴越小，表示第i个特征的区分正负样本的能力越强。
[0039]在通过上述准则得到一系列Haar特征后，我们以这些特征的归一化特征值构成一个向量，并将训练样本投射到该空间中作为SVM的训练空间。并使用LIBSVM库进行训练，该库使用使用较为广泛，故关于具体的训练过程，这里不再展开介绍。[0040]获得人眼区域后，对定位出的人眼区域进行优化，以增强人眼定位的精确性和稳定性。具体方法为:首先存储前几帧的人眼检测图像作为模板，在此帧检测位置周围采用模板匹配的方法，选取匹配度最高的区域作为人眼区域，以此减小待检测窗口尺度变化粒度太大造成的误差，提闻人眼定位的精度。
[0041]为了外界干扰造成的人眼坐标跳变，使用基于人脸位移相关性的滤波方法来改善跳变。在每秒25帧的视频中，帧间的差别很小，即使人脸的姿态和表情发生变化，在l/25s的情况下，相对坐标变化也不会太大。我们获得人脸的位移，与人眼的位移进行比对，如果人眼的位移和人脸的位移差别太大，即认为发生了跳变，进行跳变修正。其中人脸的位移通过基于模板匹配的三步搜索法获得。
[0042]我们通过三步搜索法获得人脸的偏移，模板匹配的精度较低，但是稳定性高，不会产生突变，并且能很好的反映人眼的运动轨迹。在没有人眼跳变的视频帧中，模板匹配获得的轨迹和人眼定位获得的轨迹高度重合。当跳变发生时，二者的运动轨迹变得不吻合，我们可以监测二者的相关度来判断是否发生了跳变。如果跳变发生，则用上一个人眼的检测坐标加上运动估计的偏移量作为检测值。
[0043]定位出人眼区域后，根据当前帧图像的人眼位置及前若干帧图像中的人眼位置，采用跟踪算法对下一帧图像中人眼出现的位置进行预测。以kalman预测跟踪算法为例，预测得到下一帧图像中人眼的可能区域，这些区域不再进行人脸检测，而是直接进行人眼检测，从而加速了下一帧图像的人眼定位过程。 [0044]具体的方法为:选取匀加速移动模型，采集人眼的位置变化序列，针对样本，选择卡尔曼算法方程的适宜的参数。卡尔曼滤波的计算流程如下:
[0045]由以上假定可以得到卡尔曼预测的递推流程:
[0046]L 在 t = k-Ι 时刻，计算对女 I 众—I) = A{k)x{k- \ |/c-l)；
[0047]2.计算预测误差的协方差矩阵/)(/< P -1) = A{k)P{k -11 k-\)A! (k ) + α,；;
[0048]3.计算增?矩阵
【权利要求】
1.基于主动光的人眼定位方法，其特征是视频装置中利用主动光产生装置对人脸主动投射，设有图像摄取装置对亮瞳、暗瞳两场图像进行提取；利用主动光投射引发的亮瞳效应即通过两场图像的差分及图像滤波方法得到人眼定位的候选区域；后续采用人脸、人眼定位方法完成人眼定位。
2.根据权利要求1所述的基于主动光的人眼定位的方法，其特征是根据人眼定位的候选区域，通过基于知识的、基于特征的、模板匹配的或基于表象的人脸定位的方法定位出人脸区域；根据人脸的几何特征，通过基于知识的、基于特征的、模板匹配的或基于表象的人眼定位的方法定位出人眼区域。
3.根据权利要求1或2所述的基于主动光的人眼定位的方法，其特征是优化人眼定位的方法采用跟踪算法对定位出的人脸或人眼位置进行跟踪，或采用模板匹配与计算相关的方法提高人眼定位的性能；或采用滤波方法提高人脸或人眼定位的性能，选择上述三类方法中的若干种与基于主动光的人眼定位的基本方法组合使用。
4.根据权利要求1或2所述的基于主动光的人眼定位的方法，其特征是在人脸定位阶段采用滤波算法提高人脸定位的精确性；在人脸或人眼定位阶段使用跟踪算法以加速后续帧图像人眼定位的速度；在人眼定位阶段使用模板匹配、相关计算的方法提高人眼定位的精确性和稳定性。
5.根据权利要求1所述的基于主动光的人眼定位的方法，其特征是视频装置用于立体显示装置，置于立体显示装置的某一位置。
6.根据权利要求1所述的基于主动光的人眼定位的方法，其特征是在图像摄取装置的成像镜头上安装带通滤光片，带通滤光片的中心频率与主动光光源的中心频率相等或相近。
7.根据权利要求1所述的基于主动光的人眼定位的方法，其特征是采用数字图像处理的手段，对图像摄取装置获得的图像进行分析，进一步确定人眼位置，步骤为: 1)人眼候选区域的获取:人眼候选区域由两部分组成，一部分是由上一帧图像中定位到的人眼位置跟踪而来的；第二部分则是对亮瞳、暗瞳两种图像进行差分后使用阈值提取得到的；其中第二部分使用滤波算法滤掉由于边缘或运动等造成的伪候选区域； 2)人脸定位及滤波:人脸定位的方法基于特征的AdaBoost方法，训练得到若干特征组成级联强分类器；根据人眼候选区域的位置及人脸器官的排布，依次按照不同尺度对可能的人脸区域进行检测，采用阈值比较的方法确定该区域是否为人脸区域；定位出人脸区域后，采用Kalman滤波算法优化人脸区域的位置； 3)人眼定位及优化:人眼定位的方法基于表象的支持向量机(SVM)方法，首先选取若干类Haar特征作为特征空间，利用格点搜索及交叉验证加权平衡错误率及支持向量机训练的方法得到支持向量及相应权重系数，从而刻画出分类超平面；然后利用该超平面对待检测的人眼区域进行检测，确定该区域是否是人眼区域；定位出人眼区域后，采用模板匹配及帧间相关计算的方法优化人眼区域的位置；常用的相关计算方法为最小均方差算法； 4)人眼位置跟踪:根据当前帧及前若干帧定位到的人眼位置，采用相关跟踪算法，预测得到下一帧中人眼的可能位置；这些位置直接进行人眼检测，不再进行人脸检测，从而为下一帧整个人眼定位过程的进行节省时间；常用的跟踪算法有Kalman预测算法、Mean-Shift预测算法。
【文档编号】G06K9/00GK104036238SQ201410231543
【公开日】2014年9月10日 申请日期:2014年5月28日 优先权日:2014年5月28日
【发明者】王元庆, 孙文晋, 徐斌 申请人:南京大学