一种视线估计设备和方法_3

文档序号:9470907阅读:来源:国知局
一维线性插值,获得坐标为(1,4. 5)、(4, 4. 5)、(2. 5, 1)和(2. 5, 8) 的位置处的光流图,即,插值模块312可通过对采集的分别与位置1和2对应的两个眼睛 图像进行一维线性插值来获得坐标为(1,4. 5)的位置处的光流图;通过对采集的分别与位 置1和3对应的两个眼睛图像进行一维线性插值来获得坐标为(2. 5, 1)的位置处的光流 图;通过对采集的分别与位置2和4对应的两个眼睛图像进行一维线性插值来获得坐标为 (2. 5, 8)的位置处的光流图;通过对采集的分别与位置3和4对应的两个眼睛图像进行一 维线性插值来获得坐标为(4, 4. 5)的位置处的光流图。
[0059] 然后,插值模块312可基于通过一维线性插值获得的上述4个光流图以及与位置 1至5分别对应的5个光流图,使用二维线性插值来获得与屏幕上的32个预设标定点位置 相应的光流图。
[0060] 在本发明的上述示例中,由于位置1至4也属于屏幕上的32个标定点位置,因此, 可无需合成与这4个位置对应的光流图(因为已通过光流计算模块311计算出了与这4个 位置对应的光流图),而只需合成屏幕上除这4个位置之外的其他28个标定点位置的光流 图。
[0061] 此外,尽管在上述示例中使用一维线性插值和二维线性插值来获取与屏幕上的32 个预设标定点位置相应的光流图,但本发明不限于此,还可使用本领域已知的各种插值方 法来获取与屏幕上的32个预设标定点位置相应的光流图。
[0062] 此外,在本发明的示例性中,光流计算模块311计算的光流图可包括水平光流图 和垂直光流图。光流计算模块311可通过逐像素地计算采集的一个眼睛图像与基准图像上 的对应像素点位置之间的垂直光流值和水平光流值(或光流矢量的垂直分量和水平分量) 来获取与所述一个眼睛图像对应的垂直光流图和水平光流图。在这种情况下,插值模块212 可分别对光流计算模块311计算的垂直光流图进行垂直方向的线性插值并对光流计算模 块211计算的水平光流图进行水平方向的线性插值,获得与屏幕上的32个标定点位置分别 对应的32个水平光流图(如图4(a)所示)和32个垂直光流图(如图4(b)所示)。
[0063]在获得了与屏幕上的每个标定点位置对应的光流图(包括水平光流图和垂直光 流图)之后,图像合成模块313可使用基准眼睛图像中的像素的颜色值(或灰度值)以及获 取的与每个标定点位置对应的光流图来合成与每个标定点位置对应的合成眼睛图像。具体 地讲,图像合成模块313可根据基准眼睛图像中某点的像素的位置以及该点处的光流(即, 运动方向)得到该点在合成图像中的位置坐标,然后将该点处的像素颜色或灰度值置为基 准图像中的原像素的颜色或灰度值。这样,在以针对位置1采集的眼睛图像作为基准眼睛 图像的情况下,可得到包括32个合成眼睛图像的一组合成眼睛图像。在本发明的上述示例 中,由于位置1至4也属于屏幕上的32个标定点位置,因此,可无需合成与这4个位置对应 的合成眼睛图像,而直接使用针对这4个位置采集的眼睛图像作为与这4个位置对应的合 成眼睛图像,即,在以针对位置1采集的眼睛图像作为基准眼睛图像的情况下,图像合成模 块313可仅针对除上述4个位置以外的28个标定点位置来合成眼睛图像。
[0064]此外,由于在一些位置处可能在基准眼睛图像中找不到对应的像素,因此在这些 位置可能会出现空洞现象。因此,优选地,在本发明的示例性实施例中,所述第一合成图像 产生模块210还可包括修补模块(未示出)来对图像合成模块313合成的眼睛图像中出现 的空洞部分进行填充,例如,所述修补模块可使用空洞部分周围像素的颜色值或灰度值来 对空洞部分的像素进行赋值。
[0065]在本发明的示例性实施例中,由于采集了 5个眼睛图像,因此,第一合成图像产生 模块可分别以这5个眼睛图像作为基准图像,产生5组合成眼睛图像。然后,第二合成图像 产生模块220可使用第一合成图像产生模块210产生的5组合成眼睛图像来合成一组最终 的合成眼睛图像。所述一组最终的合成眼睛图像包括32个最终的合成眼睛图像。因理解, 在本发明的上述示例中,由于位置1至4也属于屏幕上的32个标定点位置,因此可无需合 成与这4个位置对应的最终的合成眼睛图像,而直接使用针对这4个位置采集的眼睛图像 作为与这4个位置对应的最终的合成眼睛图像。
[0066] 在本发明的示例性实施例中,最终合成的一组32个合成眼睛图像可被视线估计 模块120用于估计待测眼睛图像的精确视线位置。
[0067] 以下将参照图5和图6详细描述根据本发明的示例性实施例的视线估计模块120 估计待测眼睛图像的精确视线位置的处理。图5是示出根据本发明的示例性实施例的视线 估计模块120的框图。图6是示出根据本发明的示例性实施例的视线估计的示意图。
[0068] 参照图5,根据本发明的示例性实施例的视线估计模块120包括粗定位模块510和 细定位模块520。
[0069] 所述粗定位模块510可提取待测眼睛图像的表观特征(例如,眼睛图像的颜色、灰 度、梯度、纹理等特征),并基于提取的表观特征使用预设视线估计模型来确定待测眼睛图 像的参考视线位置Xc(如图6 (a)所示)。所述参考视线位置Xc实际是对待测眼睛图像的 视线位置的一个粗略估计。
[0070] 在本发明的示例性实施例中,可使用非线性的SVR模型作为所述预设视线估计模 型来确定待测眼睛图像的参考视线位置Xc。所述SVR模型可如下表示:
[0071]
[0072] 在上述模型中,PM)是给定的核函数(例如,高斯径向基(RBF)函数K(A)= 61口(-六~2/(2*81811^)),8181]^是常数),(〇和13是通过使用多个已知视线位置(即,坐标) 的眼睛图像的表观特征对上述模型进行训练而确定的参数,即,可通过训练数据IXA1,X1)、 (A2jX2),……、%,&)}来训练上述模型从而确定参数《和13的值,其中,A1是用于训练的 第i个眼睛图像的表观特征,X1是用于训练的第i个眼睛图像的已知视线位置(包括水平 方向的坐标和垂直方向的坐标)。在使用训练数据训练上述视线估计模型而获得了参数《 和b的值之后,粗定位模块510可将提取的待测眼睛图像的表观特征Ac带入上述模型从而 获得与待测眼睛图像相应的参考视线位置Xc(包括水平方向的坐标和垂直方向的坐标)。
[0073] 应理解,提取眼睛图像的表观特征的方法以及通过已知视线位置的眼睛图像的表 观特征训练上述视线估计模型的方法对于本领域技术人员而言是已知的,因此为了简明, 在此将不再进行详细描述。
[0074] 在通过粗定位模块510确定了待测眼睛图像的参考视线位置Xc之后,细定位模块 520可获取与以参考视线位置Xc为中心的预定邻近范围内的标定点位置对应的眼睛图像 的集合,并基于所述集合中的眼睛图像的位置的加权线性组合来确定待测眼睛图像的最终 视线位置。
[0075] 具体地讲,如图6(b)所示,以参考视线位置Xc为圆形,Rc为半径来划定以参考视 线位置Xc为中心的预定邻近范围,获得屏幕上的标定点位置之中处于所述范围内的标定 点位置的合成图像的集合C。在图6(b)中有9个标定点位置位于所述范围内,因此集合C中包括9个合成眼睛图像。应理解,除了图6(b)中示出的圆形范围以外,划定的邻近范围 还可以是其他形状的范围并可由用户自行确定。
[0076] 然后,细定位模块520可使用这9个合成眼睛图像的位置的加权线性组合来确定 待测眼睛图像的最终视线位置Xc'(\,y。),如以下的等式(2)中所示:
[0078] 在等式(2)中,X。是待测眼睛图像的最终视线位置Xc'的水平方向坐标,y。是待 测眼睛图像的最终视线位置Xc'的垂直方向坐标,X1是集合C中的第i个合成眼睛图像的 视线位置的水平方向坐标,Y1是集合C中的第i个合成眼睛图像的视线位置的垂直方向坐 标,合成眼睛图像的视线位置是指与该合成眼睛图像相应的标定点位置。n是集合C中的合 成眼睛图像的数量,<和 <分别是针对坐标X1和Y1的加权系数,且需要被求解。
[0079] 在本发明的示例性实施例中,细定位模块520可基于待测眼睛图
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1