一种人眼视线估计的方法与装置制造方法
【专利摘要】本发明实施例提供了一种人眼视线估计的方法与装置，能够简化标定过程，提升人眼视线估计装置的精度。该方法包括：获取用户的当前图像；根据用户的当前图像，获取当前图像中眼睛的关键点在当前图像中的坐标；根据眼睛的关键点在当前图像中的坐标和预存储的用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；将具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，获取用户视点属于每个训练视点的视线估计统计模型的概率；根据用户视点属于每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取用户视点的坐标。本发明适用于计算机视觉领域。
【专利说明】一种人眼视线估计的方法与装置
【技术领域】
[0001]本发明涉及计算机视觉领域，尤其涉及一种人眼视线估计的方法与装置。
【背景技术】
[0002]视线估计为人机交互技术的重要分支，主要研究人眼的视线方向或具体的注视点，以实现对其它功能系统的控制。其研究成果在市场分析、残疾人辅助、军备开发、无人驾驶、航空航天等领域有着广泛的应用前景。
[0003]传统人眼视线估计的方法主要有两类:
[0004]第一种是基于外观的方法，该方法先定位出眼睛区域，直接建立眼睛图像与屏幕中视点坐标的映射关系。但是该方法需要大量的训练数据，最少的标定点个数仍为9个，标定过程较为复杂；而且该方法对头部运动适应性较差，导致视线估计系统的精度较差。
[0005]第二种是基于特征的视线估计方法，该方法需要提取眼睛的局部特征，如瞳孔中心、虹膜轮廓、眼角点、亮斑(glint，也叫角膜反射点，是光源在眼睛角膜上的反射点)。该方法主要包括:基于三维模型的方法与基于差值的方法。
[0006]其中，基于三维模型的方法根据眼睛的三维几何模型，通过眼睛局部特征的三维位置直接计算视线的三维方向，该方法可以实现单点标定，也可以解决部分对头部运动适应性较差的问题，但必须使用多个相机或多个光源，需要进行系统标定，标定过程更加复杂。
[0007]基于差值的方法中，PCCR(Pupil Centre Cornea Reflection,瞳孔中心角膜反射)视线估计方法是最常用的基于差值的视线估计技术。该方法首先通过多点(通常为9个)的标定过程，建立瞳孔中心指向亮斑中心的向量与屏幕中视点的映射关系，然后通过映射函数完成视线估计。其中，最为常见的映射函数是二次多项式。该方法在头部固定的情况下取得了很好的性能，但是随着头部的运动其性能迅速下降，并且该方法仍需要9个点进行标定，也存在标定复杂的问题。虽然目前出现了通过将头部与相机的距离加入到映射函数，建立新的映射函数的技术解决了部分对头部运动适应性较差的问题，但标定点增加到27个，标定过程更加复杂。
【发明内容】
[0008]本发明的实施例提供一种人眼视线估计的方法与装置，能够简化标定过程，提升人眼视线估计装置的精度。
[0009]为达到上述目的，本发明的实施例采用如下技术方案:
[0010]第一方面，提供了一种人眼视线估计的方法，该方法包括:
[0011]获取用户的当前图像；
[0012]根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；
[0013]根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；
[0014]将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；
[0015]根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。
[0016]第二方面，提供了一种人眼视线估计的装置，包括:
[0017]当前图像获取单元，用于获取用户的当前图像；
[0018]眼睛关键点坐标获取单元，用于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；
[0019]用户不变性视线特征获取单元，用于根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；
[0020]概率计算单元，用于将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；
[0021]用户视点坐标获取单元，用于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。
[0022]本发明实施例提供了一种人眼视线估计的方法与装置，该方法包括:获取用户的当前图像；根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；根据所述眼睛的关键点坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。
[0023]该方法仅需单点标定，即可完成人眼视线估计的过程，简化了标定的过程，并且能够对头部运动适应性较好，提升了视线估计装置的精度。
【专利附图】
【附图说明】
[0024]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本发明实施例提供的一种人眼视线估计的方法；
[0026]图2为本发明实施例提供的另一种人眼视线估计的方法；
[0027]图3为本发明实施例提供的一种人眼视线估计的装置；
[0028]图4为本发明实施例提供的另一种人眼视线估计的装置；
[0029]图5为本发明实施例提供的又一种人眼视线估计的装置；
[0030]图6为本发明实施例提供的又一种人眼视线估计的装置。【具体实施方式】
[0031]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]实施例一、
[0033]本发明实施例提供了一种人眼视线估计的方法，如图1所示，该方法包括:
[0034]101、获取用户的当前图像。
[0035]所述图像可以通过成像设备对用户的眼睛进行摄像，然后将对应图像传输到显示器上获得，也可以通过其它的方式获得，本发明实施例对此不作具体限定。
[0036]102、根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标。
[0037]这里选取眼睛的关键点包括:瞳孔中心、亮斑中心、内、外眼角点、上、下眼睑点。其中，亮斑是红外光源在眼睛角膜上的反射点。
[0038]需要说明的是，在成像设备对用户的眼睛进行摄像，获取用户的当前图像时，如果预计选取的眼睛的关键点中存在亮斑中心，则需要所述成像设备具备对红外光源感光的特性，因为普通光源在眼睛角膜上的反射点效果不好，无法形成亮斑。
[0039]根据所述用户的当前图像，可以确定原点坐标，一般设定为图像的左上角为原点坐标，规定水平向右为X的正方向，竖直向下为Y的正方向，进而获取所述当前图像中眼睛的关键点在所述当前图像中的坐标。
[0040]首先，用基于支持向量机SVM训练的方法在所述当前图像中定位眼睛的位置。
[0041]具体的，所述支持向量机SVM训练的方法是通过外界给定的已标注样本集作为训练集进行训练，从而归纳出模型的方法。这里根据所述当前图像中眼睛的样本作为训练集进行训练，从而确定眼睛模型，得到眼睛在所述当前图像中的粗略位置。
[0042]其次，通过下面的方案分别获取瞳孔中心、亮斑中心、内外眼角点、上下眼睑点在所述当前图像中的坐标。
[0043]方案一:
[0044]这里假定pc表示瞳孔中心，gc表示亮斑中心，lu、Id表示上下眼睑点，c1、Co表示内外眼角点。
[0045]其中，所述瞳孔中心的坐标获取过程具体如下:
[0046]第一，用镜像对称变换算法进行所述瞳孔定位，进而获取第一瞳孔中心。
[0047]需要说明的是，镜像对称变换算法可以精确定位圆形，但是瞳孔是椭圆形状，圆的中心并不能精确的代表瞳孔的中心，因此本次镜像对称变换算法定位出的瞳孔中心是一个粗略位置，为了区别于精确的瞳孔中心的位置，这里将定位后的瞳孔的瞳孔中心用第一瞳孔中心表示。
[0048]第二，从所述第一瞳孔中心所在的点即第一瞳孔中心点向四周发射η条预设角度的射线，并根据所述预设角度的射线的梯度值，获取散射停止条件，其中，所述预设角度的射线不经过所述图像中被眼睑遮挡的瞳孔部分。[0049]具体的，所述预设角度的射线的角度范围如公式⑴所示:
[0050]0° ≤ Θ <60° U 120° ≤ Θ < 360°(I)
[0051]该角度Θ是一个经验值，选择该角度范围，能够使从第一瞳孔中心点向四周发射的射线不经过当前图像中被眼睑遮挡的瞳孔部分。
[0052]散射停止条件如公式(2)所示:
[0053]Gdown < G(x, y) < Gup(2)
[0054]其中G(x,y)表示当前图像中(x，y)点的梯度值，Gup、Gd_分别表示散射射线梯度的阈值上限与阈值下限。
[0055]需要说明的是，所述当前图像中(X，y)点的梯度值指U，y)点像素的灰度值。
[0056]根据所述预设角度的射线的梯度值，获取散射停止条件的过程具体如下:
[0057]统计从所述第一瞳孔中心点向四周发射η条预设角度的射线的梯度最大值分别为MG1, MGfMGiH^MGn, η表不散射射线的个数,记为公式(3)表不如下:
[0058]
【权利要求】
1.一种人眼视线估计的方法，其特征在于，该方法包括: 获取用户的当前图像； 根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标； 根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征； 将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率； 根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。
2.根据权利要求1所述的方法，其特征在于，所述眼睛的关键点具体包括: 瞳孔中心、亮斑中心、内、外眼角点、上、下眼睑点。
3.根据权利要求2所述的方法，其特征在于，所述根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标包括: 用基于支持向量机SVM训练的方法在所述当前图像中定位眼睛的位置； 用镜像对称变换算法进行所述瞳孔定位，进而获取第一瞳孔中心； 从所述第一瞳孔中心所在的点向四周发射η条预设角度的射线，并根据所述预设角度的射线的梯度值，获取散射停止条件，其中，所述预设角度的射线不经过所述当前图像中被眼睑遮挡的瞳孔部分；` 从所述第一瞳孔中心所在的点向四周发射所述预设角度的射线，并根据所述获取的散射停止条件，获取所述瞳孔的边界点； 根据随机抽样一致性RANSAC算法，剔除噪声点获取所述瞳孔中心在所述当前图像中的坐标； 用镜像对称变换算法定位亮斑中心，获取所述亮斑中心在所述当前图像中的坐标； 用基于SVM训练的方法分别获取所述内外眼角点、上下眼睑点在所述当前图像中的坐标。
4.根据权利要求2或3所述的方法，其特征在于， 所述根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征包括: 分别获取第一向量与第二向量在X方向和Y方向的变化量的归一化向量，其中，所述第一向量指在所述当前图像中，瞳孔中心的坐标点指向亮斑中心的坐标点的向量，所述第二向量指预存储的瞳孔中心的坐标点指向亮斑中心的坐标点的向量； 分别获取第三向量与第四向量在X方向和Y方向的变化量的归一化向量，其中，所述第三向量指在所述当前图像中，瞳孔中心的坐标点指向内眼角点的坐标点的向量，所述第四向量指预存储的瞳孔中心的坐标点指向内眼角点的坐标点的向量； 获取上下眼睑点在所述当前图像中纵坐标之差的绝对值相对于所述预存储的上下眼睑点纵坐标之差的绝对值的变化量。
5.根据权利要求4所述的方法，其特征在于，所述根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征还包括:获取当前图像中眼睛的关键点相对于所述当前图像的位置信息，所述获取当前图像中眼睛的关键点相对于所述当前图像的位置信息之后还包括:根据预存储的眼睛的任意两个关键点之间的距离与当前图像中眼睛的所述任意两个关键点之间的距离的比例修正所述当前图像中眼睛的关键点相对于所述当前图像的位置信息，具体包括: 根据所述预存储的眼睛的关键点坐标，获取任意两个关键点之间的第一距离； 根据所述当前图像中眼睛的关键点坐标，获取所述任意两个关键点之间的第二距离；根据所述第一距离与所述第二距离的比例，修正所述当前图像中眼睛的关键点相对于所述当前图像的位置信息； 获取所述修正后的所述当前图像中眼睛的关键点相对于所述当前图像的位置信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述通过线性插值，获取所述用户视点的坐标后，该方法还包括:建立用户视点的视线估计统计模型，计算所述用户视点的视线估计统计模型的更新参数，根据所述更新参数，更新所述用户视点的视线估计统计模型；其中，所述建立用户视点的视线估计统计模型包括: 获取与所述用户视点的坐标最接近的训练视点； 将与所述用户视点的坐标最接近的训练视点的视线估计统计模型确定为所述用户视点的视线估计统计模型； 所述计算所述用户视点的视线估计统计模型的更新参数包括: 将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的所述用户视点的视线估计统计 模型的参数，计算所述用户视点的视线估计统计模型的更新参数。
7.根据权利求6所述的方法，其特征在于，在所述计算所述用户视点的视线估计统计模型的更新参数前，还包括: 判断与所述用户视点最接近的训练视点与所述用户视点之间的距离是否在预设的第一阈值范围内； 若在所述预设的第一阈值范围内，确定更新所述用户视点的视线估计统计模型。
8.—种人眼视线估计的装置，其特征在于，包括: 当前图像获取单元，用于获取用户的当前图像； 眼睛关键点坐标获取单元，用于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标； 用户不变性视线特征获取单元，用于根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征； 概率计算单元，用于将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率； 用户视点坐标获取单元，用于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。
9.根据权利要求8所述的装置，其特征在于，还包括: 统计模型建立单元，用于在所述用户视点坐标获取单元通过线性插值，获取所述用户视点的坐标后，建立所述用户视点的视线估计统计模型； 统计模型更新参数计算单元，用于计算所述用户视点的视线估计统计模型的更新参数； 统计模型更新单元，用于根据所述更新参数，更新所述用户视点的视线估计统计模型； 其中，所述统计模型建立单元建立所述用户视点的视线估计统计模型用于: 获取与所述用户视点的坐标最接近的训练视点； 将与所述用户视点的坐标最接近的训练视点的视线估计统计模型确定为所述用户视点的视线估计统计模型； 所述统计模型更新参数计算单元计算所述用户视点的视线估计统计模型的更新参数用于: 将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的所述用户视点的视线估计统计模型的参数，计算所述用户视点的视线估计统计模型的更新参数。
10.根据权利要求9所述的装置，其特征在于，还包括: 第一阈值判断单元，用于在所述统计模型更新参数计算单元计算所述用户视点的视线估计统计模型的更新参数前，判断与所述用户视点最接近的训练视点与所述用户视点之间的距离是否在预设的第一阈值范围内； 统计模型更新确定单元，用于若在预设的第一阈值范围内，确定更新所述用户视点的视线估计统计模型。`
【文档编号】G06K9/62GK103870796SQ201210540989
【公开日】2014年6月18日 申请日期:2012年12月13日 优先权日:2012年12月13日
【发明者】黄磊, 熊春水 申请人:汉王科技股份有限公司