快速精确的人眼定位方法及基于人眼定位的视线估计方法
【技术领域】
[0001] 本发明涉及机器视觉与图像处理领域，尤其涉及一种快速精确的人眼定位方法及 基于人眼定位的视线估计方法。
【背景技术】
[0002] 人眼定位技术是计算机视觉应用中的一个重要组成部分。随着计算机技术的迅速 发展，人眼定位经常被用于人脸定位、虹膜识别、眼疾病检测、视线跟踪，人机交互及帮助残 障人士的领域。
[0003] 在虹膜识别领域中，定位人眼中心和边界是关键的一步，其直接影响到后续识别 的精确度。目前，这个领域中定位人眼有两个最经典的方法，一个是Daugman提出的基于圆 边界微分积分算子；另一个是Wildes提出的先对图像检测边界，再用Hough圆变换检测。 这两种方法都需要图像具有较高的分辨率，并且定位人眼时间较长。
[0004] 近年来，随着图像采集技术的不断发展，利用单个网络摄像头采集的图像的质量 得到显著提高，因此针对普通摄像头采集的低分辨率人脸图像中的人眼定位获得了人们的 高度关注。Valenti等人提出了一种基于图像等灰度值点梯度投票的眼中心定位方法；Tim 等人提出了一种基于梯度均值的人眼中心定位方法；Markus等人利用改进的随机森林方 法对人眼中心进行定位并取得了较高的精度和速度。然而，上述的这三种方法都只能获取 人眼中心值却不包含半径，同时其中的第三种方法需要大量的人眼图片进行训练。
[0005] 视线估计分为两大类，一类是基于人眼图像外观方法，如Sugano等人利用整个人 眼图像作为输入信号，提取图像中的特征然后用机器学习方法确定视线。然而这种方法对 头部要求比较高，不能适应大幅度的头部运动；另一类是基于人眼模型的方法，利用人眼的 三维模型来确定视线方向，如基于反射光点的PCCR视线估计方法，然而这种方法需要外界 红外光源的协助，也不能很好的克服大范围的头部运动。
[0006] 因此，尽管上述研宄者开展了大量工作，人眼定位与视线估计问题仍然没有得到 很好的解决。主要原因在于人眼眼皮遮挡、光照亮度、闭眼、头部大范围运动等因素。此外， 现有的人眼定位与视线估计方法很少达到实时的效果。因此，本领域的技术人员致力于开 发一种快速精确的人眼定位方法，并据此开发一种基于人眼定位的视线估计方法。
【发明内容】
[0007] 有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种快速精确的 人眼定位方法及基于人眼定位的视线估计方法，构造的两类卷积核中包含了人眼中心和边 界的信息，提高了精度，利用傅立叶变换提高卷积速度从而快速定位人眼以及估计人眼视 线。
[0008] 为实现上述目的，本发明提供了一种人眼定位方法，用于定位人脸图像中的人眼， 其特征在于，包括：
[0009] 步骤一、构造两类卷积核心与K'P其中r是卷积核的半径且rG[rmin,rmax]，rmin 为最小半径，为最大半径；卷积核K^为具有中心权重的卷积核，K' 1?为不具有中心权重 的卷积核；
[0010] 步骤二、在所述人脸图像上截取眼区域图像部分I，将所述卷积核&与K' ^>别 与所述眼区域图像部分I卷积，获得多个卷积后的图像部分仁=KjI和I' ^=K'r*I； 以半径r递增的顺序，将I'除以I获得商矩阵序列Dr=I' 获得所述人眼的中心 (xp,yp)和半径R:
[0011] (xp，yp，R) =argmax(Dr) 〇
[0012] 进一步地，所述步骤一中构造的卷积核K1^为圆形边界的卷积核，所述卷积核中的 圆形边界上的点的像素值相同且和为1，其他像素值为〇 ;所述步骤一中构造的卷积核 与卷积核心不同点在于其卷积核中心处带有权重；
[0013] 进一步地，所述卷积核&的边界包括左右对称的左边界和右边界，所述左边界和 所述右边界皆分布在±36°的范围内。
[0014] 进一步地，所述步骤二中截取的眼区域图像部分I为正方形，所述正方形的边长 为所述人脸图像的宽度的0. 22倍。
[0015] 进一步地，所述眼区域图像部分为对应左眼的左眼区域图像部分或对应右眼的右 眼区域图像部分；以所述人脸图像的左上角的顶点的位置为（〇,〇)，所述左眼区域图像部 分的左上角的顶点的位置为（〇.58?，0.281〇，所述右眼区域图像部分的左上角的顶点的位 置为（0. 2w，0. 28h)，所述w为所述人脸图像的宽度，所述h为所述人脸图像的高度。
[0016] 进一步地，所述最大半径rmax和最小半径rmin分别为对0. 2w和0.Iw取整后的值， 所述取整为向下取整。
[0017] 进一步地，所述步骤一中构造的所述卷积核心与K'J勺个数皆为0.Iw取整后的 值，所述取整为向下取整。
[0018] 进一步地，所述步骤二中对于所述眼区域图像部分中的每一个像素点获得的所述 商的个数为〇.Iw-I取整后的值，所述取整为向下取整。
[0019] 进一步地，本发明还提供了一种基于人眼定位的视线估计方法，包括前面任何一 个权利要求所述的人眼定位方法，用于估计所述人脸图像中的视线方向，其特征在于，还包 括
[0020] 步骤三、基于人脸特征训练，通过监督下降的方法定位所述人脸图像上的特征点， 所述特征点位于眼睛、眉毛、鼻子和嘴的轮廓上；
[0021] 步骤四、根据所述特征点，利用POSIT算法来确定所述人脸图像中头部朝向的三 个角度，所述三个角度为所述头部的左右朝向角度、上下朝向角度及旋转角度；
[0022] 步骤五、将所述人眼依次取为左眼和右眼，计算所述人眼的视线方向，包括
[0023] 根据所述人眼的中心与所述人眼的两个眼角的中心的偏移比例来确定所述人眼 的视线相对于所述头部朝向的偏移角度，所述偏移角度包括视线的左右偏移角度和视线的 上下偏移角度，其中
【主权项】
1. 一种人眼定位方法，用于定位人脸图像中的人眼，其特征在于，包括： 步骤一、构造两类卷积核心与K' P其中r是卷积核的半径且r e [rmin, rmax]，rmin为最 小半径，rmax为最大半径；卷积核Kr为具有中心权重的卷积核，K' 不具有中心权重的卷 积核； 步骤二、在所述人脸图像上截取眼区域图像部分I，将所述卷积核&与分别与所述 眼区域图像部分I卷积，获得多个卷积后的图像部分仁=KjI和I/ =K/ *1;以半径r 递增的顺序，将I' ^除以I 得商矩阵序列Dr= I' 获得所述人眼的中心（Xp，yp) 和半径 R : (xp, yp, R) = argmax (Dr) 〇
2. 如权利要求1所述的人眼定位方法，其中所述步骤一中构造的卷积核L为圆形边界 的卷积核，所述卷积核中的圆形边界上的点的像素值相同且和为1，其他像素值为〇 ;所述 步骤一中构造的卷积核K' 1?与卷积核K 1?不同点在于其卷积核中心处带有权重。
3. 如权利要求2所述的人眼定位方法，其中所述卷积核L的边界包括左右对称的左边 界和右边界，所述左边界和所述右边界皆分布在±36°的范围内。
4. 如权利要3所述的人眼定位方法，其中所述步骤二中截取的眼区域图像部分I为正 方形，所述正方形的边长为所述人脸图像的宽度的〇. 22倍。
5. 如权利要求4所述的人眼定位方法，其中所述眼区域图像部分为对应左眼的左眼 区域图像部分或对应右眼的右眼区域图像部分；以所述人脸图像的左上角的顶点的位置为 (〇,〇)，所述左眼区域图像部分的左上角的顶点的位置为（0.58w，0.28h)，所述右眼区域图 像部分的左上角的顶点的位置为（0. 2w，0. 28h)，所述w为所述人脸图像的宽度，所述h为所 述人脸图像的高度。
6. 如权利要求5所述的人眼定位方法，其中所述最大半径r max和最小半径r min分别为 对0.2w和0.1 w取整后的值，所述取整为向下取整。
7. 如权利要求6所述的人眼定位方法，其中所述步骤一中构造的所述卷积核Kr与Γ ^ 的个数皆为0.1 w取整后的值，所述取整为向下取整。
8. 如权利要求7所述的人眼定位方法，其中所述步骤二中对于所述眼区域图像部分中 的每一个像素点获得的所述商的个数为〇. Iw-I取整后的值，所述取整为向下取整。
9. 一种基于人眼定位的视线估计方法，包括前面任何一个权利要求所述的人眼定位方 法，用于估计所述人脸图像中的视线方向，其特征在于，还包括 步骤三、基于人脸特征训练，通过监督下降的方法定位所述人脸图像上的特征点，所述 特征点位于眼睛、眉毛、鼻子和嘴的轮廓上； 步骤四、根据所述特征点，利用POSIT算法来确定所述人脸图像中头部朝向的三个角 度，所述三个角度为所述头部的左右朝向角度、上下朝向角度及旋转角度； 步骤五、将所述人眼依次取为左眼和右眼，计算所述人眼的视线方向，包括 根据所述人眼的中心与所述人眼的两个眼角的中心的偏移比例来确定所述人眼的视 线相对于所述头部朝向的偏移角度，所述偏移角度包括视线的左右偏移角度和视线的上下 偏移角度，其中 所述视线的左右偏移角度为：
其中（by。）表 示所述人眼的两个眼角的中心，（xp，yp)表示所述人眼的中心，α为所述两个眼角的连线的 方向向量u与所述两个眼角的中心（χ。^。）和所述人眼的中心（xp，yp)的连线的夹角，L为 所述两个眼角之间的距离，γ为调整参数， 所述视线的上下偏移角度为：
其中β为与 所述两个眼角的连线垂直的方向向量V与所述两个眼角的中心（Xc;，y。）和所述人眼中心 (xp，yp)的连线的夹角，H为所述人眼睁开的大小，ε为调整参数， 步骤六、计算所述人眼的视线方向，所述视线方向包括视线的左右朝向角度、视线的上 下朝向角度和视线的旋转角度，所述视线左右朝向角度为所述左眼和所述右眼的所述视线 的左右偏移角度的均值加上所述头部的左右朝向角度，所述视线的上下朝向角度为所述左 眼和所述右眼的所述视线的上下偏移角度的均值加上所述头部的上下朝向角度，所述视线 的旋转角度为所述头部的旋转角度。
10.如权利要求9所述的基于人眼定位的视线估计方法，其中所述γ = 1. 5，ε = 1. 2。
【专利摘要】本发明公开了一种人眼定位方法，包括构造两类卷积核，每类分别包含不同的半径的卷积核；在人脸图像上截取眼区域图像部分，将两类不同半径的卷积核分别与眼区域图像卷积获取卷积后的图像，将两类卷积后的图像相除获取卷积商矩阵。通过计算商矩阵最大值处对应的位置及卷积核的半径来获得人眼的中心和半径。本发明还公开了一种基于人眼定位的视线估计方法，通过对人脸图像计算人脸特征点和头部朝向，并结合人眼中心坐标、眼角坐标以及头部朝向最终确定视线方向。本发明利用傅立叶变换来计算卷积，考虑了眼睛中心处的灰度值，减少了眉毛、眼皮、眼镜以及光照对定位的干扰，能够快速、准确的定位出人眼的中心及半径以及估计人眼的视线方向。
【IPC分类】G06K9-00, G06K9-62
【公开号】CN104766059
【申请号】CN201510152613
【发明人】刘洪海, 蔡海滨, 张剑华, 陈胜勇, 朱向阳
【申请人】上海交通大学
【公开日】2015年7月8日
【申请日】2015年4月1日