人眼跟踪方法及装置制造方法
【专利摘要】本发明涉及信息【技术领域】，具体而言，涉及人眼跟踪方法及装置。该人眼跟踪方法，包括：根据眼睛在当前帧图像中的位置，利用构造的卡尔曼Kalman滤波器预测下一帧图像中眼睛的位置，得到眼睛位置预测值；当所述下一帧图像成为当前帧图像时，利用所述眼睛位置预测值在该当前帧图像中进行搜索，得到与目标模板亮度分布匹配的潜在目标，其中所述目标模板基于初始模板获取，所述初始模板根据接收的初始帧图像构造；将所述潜在目标作为眼睛的跟踪目标实现眼睛的跟踪。本发明提供的人眼跟踪方法及装置，不易受照明条件的影响，鲁棒性较好，更能满足人眼追踪的实际需求。
【专利说明】人眼跟踪方法及装置
【技术领域】
[0001]本发明涉及信息【技术领域】，具体而言，涉及人眼跟踪方法及装置。
【背景技术】
[0002]人眼跟踪是在视频或图像序列中确定人眼的运动轨迹及大小变化的过程。人眼跟踪是人脸跟踪中的重要一部分，其在图像分析与识别、图像监控与检索等领域具有重大意义，成为大量学者关注的焦点，许多行之有效的算法相继出现。
[0003]例如，采用AdaBoost迭代算法实现人眼追踪，但该算法在屏幕旋转角度大或人脸旋转角度大时无法准确捕捉到人脸，而且利用该算法只能定位人脸无法捕捉到眼睛。现有的其他人眼追踪方法对于光照等比较敏感，鲁棒性比较差，例如在通过亮瞳孔实现眼睛的跟踪算法中，需要稳定红外照明条件才能对眼睛进行追踪。
[0004]由此看出现有的人眼追踪方法容易受照明条件的影响，鲁棒性较差，不满足人眼追踪的实际需求。
【发明内容】
[0005]本发明的目的在于提供人眼跟踪方法及装置，以解决上述的问题。
[0006]在本发明的实施例中提供了人眼跟踪方法，包括:
[0007]根据眼睛在当前帧图像中的位置，利用构造的卡尔曼Kalman滤波器预测下一帧图像中眼睛的位置，得到眼睛位置预测值；
[0008]当所述下一帧图像成为当前帧图像时，利用所述眼睛位置预测值在该当前帧图像中进行搜索，得到与目标模板亮度分布匹配的潜在目标，其中所述目标模板基于初始模板获取，所述初始模板根据接收的初始帧图像构造；
[0009]将所述潜在目标作为眼睛的跟踪目标实现眼睛的跟踪。
[0010]优选地，该方法还包括根据接收的初始帧图像构造眼睛的初始模板，包括:
[0011]在所述初始帧图像中进行人脸检测，获取人脸检测图像；
[0012]对所述人脸检测图像进行灰度处理，得到人脸灰度图；
[0013]对所述人脸灰度图进行垂直灰度投影，得到垂直灰度投影图；
[0014]根据所述垂直灰度投影图中的垂直灰度投影曲线中凸峰的左右边界确定人脸的左右边界；
[0015]根据所述人脸的左右边界对所述垂直灰度投影图进行裁剪，得到新的人脸灰度图；
[0016]对所述新的人脸灰度图进行水平灰度投影，得到水平灰度投影图；
[0017]根据所述水平灰度投影图中的水平灰度投影曲线确定头顶及鼻中部形成的上下边界，根据所述上下边界确定眉眼区域；
[0018]运用索贝尔SOBEL算子求出所述眉眼区域的边界值，并进行边缘分组，定位出眼睛的位置并得到所述初始模板；[0019]其中所述初始模板为预测第二帧图像中眼睛的位置的目标模板。
[0020]优选地，该方法还包括当获取到所述跟踪目标时，利用所述跟踪目标对当前的所述目标模板更新；利用得到的新的目标模板预测下一帧图像中眼睛的位置。
[0021]优选地，该方法还包括构造Kalman滤波器，其中包括:确定接收的图像序列的状态模型及测量模型；所述确定图像序列的状态模型包括:采用算法Xt+1= Θ xt+wt表示所述状态模型；
[0022]其中设定(ct, rt)为t时刻眼睛的质心位置，(ut, vt)为t时刻眼睛在c方向和r方向的速度，则t时刻眼睛的状态向量为xt=(c_t, r_t, u_t, v_t)T,wt为系统噪声；假定眼睛在连续的两帧图像之间的位移趋于零，且为匀速运动，运动时间为At，则状态转移矩阵为
【权利要求】
1.人眼跟踪方法，其特征在于，包括: 根据眼睛在当前帧图像中的位置，利用构造的卡尔曼Kalman滤波器预测下一帧图像中眼睛的位置，得到眼睛位置预测值； 当所述下一帧图像成为当前帧图像时，利用所述眼睛位置预测值在该当前帧图像中进行搜索，得到与目标模板亮度分布匹配的潜在目标，其中所述目标模板基于初始模板获取，所述初始模板根据接收的初始帧图像构造； 将所述潜在目标作为眼睛的跟踪目标实现眼睛的跟踪。
2.根据权利要求1所述的方法，其特征在于，该方法还包括根据接收的初始帧图像构造眼睛的初始模板，包括: 在所述初始帧图像中进行人脸检测，获取人脸检测图像； 对所述人脸检测图像进行灰度处理，得到人脸灰度图；
对所述人脸灰度图进 行垂直灰度投影，得到垂直灰度投影图； 根据所述垂直灰度投影图中的垂直灰度投影曲线中凸峰的左右边界确定人脸的左右边界； 根据所述人脸的左右边界对所述垂直灰度投影图进行裁剪，得到新的人脸灰度图； 对所述新的人脸灰度图进行水平灰度投影，得到水平灰度投影图； 根据所述水平灰度投影图中的水平灰度投影曲线确定头顶及鼻中部形成的上下边界，根据所述上下边界确定眉眼区域； 运用索贝尔SOBEL算子求出所述眉眼区域的边界值，并进行边缘分组，定位出眼睛的位置并得到所述初始模板； 其中所述初始模板为预测第二帧图像中眼睛的位置的目标模板。
3.根据权利要求2所述的方法，其特征在于，该方法还包括当获取到所述跟踪目标时，利用所述跟踪目标对当前的所述目标模板更新； 利用得到的新的目标模板预测下一帧图像中眼睛的位置。
4.根据权利要求2所述的方法，其特征在于，该方法还包括构造Kalman滤波器，其中包括:确定接收的图像序列的状态模型及测量模型； 所述确定图像序列的状态模型包括:采用算法xt+1= Θ xt+wt表示所述状态模型； 其中设定(ct, rt)为t时刻眼睛的质心位置，(ut, vt)为t时刻眼睛在c方向和r方向的速度，则t时刻眼睛的状态向量为xt=(c_t, r_t, u_t, v_t)T, wt为系统噪声；假定眼睛在连续的两帧图像之间的位移趋于零，且为匀速运动，运动时间为At，则状态转移矩阵为
5.根据权利要求3所述的方法，其特征在于，所述利用所述眼睛位置预测值在该当前帧图像中进行搜索，得到与目标模板亮度分布匹配的潜在目标，包括:采用Mean Shift算法，将所述眼睛位置预测值作为所述Mean Shift算法的初始值进行迭代运算； 根据迭代运算的结果在该当前帧图像中搜素出与目标模板亮度相似度最大的潜在目标，其中所述目标模板与所述潜在目标之间的相似程度用巴氏距离Bhattacharyya距离值度量。
6.根据权利要求5所述的方法，其特征在于，采用Bhattacharyya距离值度量所述目标模板与所述潜在目标之间的相似程度，包括: 利用算法
7.根据权利要求5所述的方法，其特征在于，所述在该当前帧图像中搜素出与目标模板亮度相似度最大的潜在目标，包括: 所述Kalman滤波器预测出的所述眼睛位置预测值在当前帧图像中的位置设定为.V0 ； 以.?起始点在所述当前帧图像中进行目标搜索，包括计算当前帧图像中位置为j>u的潜在目标的颜色概率，根据所述颜色概率最小化亮度差距d以及最大化Bhattacharyya距离； 根据亮度差距d最小化以及Bhattacharyya距离最大化的结果得到与所述目标模板亮度相似度最大的潜在目标。
8.根据权利要求7所述的方法，其特征在于，所述根据所述颜色概率最小化亮度差距d以及最大化Bhattacharyya距离，包括: a、根据j\)初始化当前帧图像中潜在目标的位置，并计算所述潜在目标的颜色概率Ptl(Vn)并得到 Bhattacharyya 距离
9.人眼跟踪装置，其特征在于，包括: 预测模块，用于根据眼睛在当前帧图像中的位置，利用构造的Kalman滤波器预测下一帧图像中眼睛的位置，得到眼睛位置预测值； 搜索模块，用于当所述下一帧图像成为当前帧图像时，利用所述眼睛位置预测值在该当前帧图像中进行搜索，得到与目标模板亮度分布匹配的潜在目标，其中所述目标模板基于初始模板获取，所述初始模板根据接收的初始帧图像构造； 跟踪模块，用于将所述潜在目标作为眼睛的跟踪目标实现眼睛的跟踪。
【文档编号】G06K9/00GK103942542SQ201410160852
【公开日】2014年7月23日 申请日期:2014年4月18日 优先权日:2014年4月18日
【发明者】沈威, 张涛, 张春光, 李春, 俞能海, 杨柳 申请人:重庆卓美华视光电有限公司