眼睛图像处理设备和方法
【技术领域】
[0001] 本申请涉及一种眼睛图像处理设备和方法，更具体地讲，涉及一种通过对齐不同 视线状态下的眼睛图像来分析眼睛运动信息的眼睛图像处理设备和方法。
【背景技术】
[0002] 如何对视线方向变化造成的眼睛运动信息进行描述是视线位置估计系统中的需 要解决的一个重要问题。合理有效地对眼睛运动信息进行分析描述，可W去除眼睛图像中 的无效信息，提高图像对齐W及基于图像信息的视线应用的精度和效率。尽管已经有一些 相关研究工作，但是基于图像信息来利用计算机视觉方法对眼睛视线估计依然面临着许多 难题，最重要的问题就是如何进行眼睛图像对齐和如何对眼睛运动信息进行描述。
[0003] 目前已有的视线估计算法中采用的眼睛对齐算法主要是基于内外眼角点作为基 准的方法，但是送种方法严重依赖于眼角点的提取精度。首先，相比于内眼角点，外眼角点 并不容易精确提取。其次，当眼球和眼皮运动时，眼角的形状会发生剧烈的改变，因此眼角 点的提取需要事先储存大量的样本W满足送种外观形状的变化。
[0004] 此外，目前的视线估计算法中也并没有特定地对眼睛运动信息进行分析和特征提 取。通常采用的方法是直接对眼睛图像进行平均分块，计算每一子块图像的灰度均值或其 他图像特征来对眼睛图像进行描述。然而，该类方法没有将视线水平和垂直运动造成眼睛 图像变化的影响分开，使得图像特征信息变化不能有效地描述送两种运动模式。
【发明内容】
[0005] 根据本发明的一方面，提供了一种眼睛图像处理设备，所述设备包括；提取单元， 用于从拍摄的图像提取不同视线状态下的眼睛图像；基准线确定单元，用于确定眼睛图像 的垂直基准线和水平基准线；对齐单元，用于使用确定的垂直基准线和水平基准线，使不同 视线状态下的眼睛图像在垂直方向和水平方向上对齐。
[0006] 所述基准线确定单元可包括；垂直基准线确定单元，用于对提取单元提取的眼睛 图像的灰度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；水平基 准线确定单元，用于从提取单元提取的眼睛图像确定内眼角点的位置，并将经过内眼角点 的位置的垂线确定为水平基准线。
[0007] 所述垂直基准线确定单元可对提取单元提取的眼睛图像的灰度图像进行水平方 向的投影和垂直方向的投影，对水平方向的投影结果进行归一化，将水平方向的归一化投 影结果作为先验概率对垂直方向的投影结果进行归一化，从所述垂直方向的归一化投影结 果确定垂直基准线。
[0008] 所述水平基准线确定单元可从眼睛图像确定内眼角区域，使用内眼角区域附近的 皮肤像素建立皮肤模型，基于所述皮肤模型将内眼角区域分割为皮肤区域和眼睛区域，并 将眼睛区域中靠近眉必的位置确定为内眼角点的位置。
[0009] 所述眼睛图像处理设备还可包括；响应区域产生单元，用于使用对齐的眼睛图像 产生眼睛的水平运动响应图或眼睛的垂直运动响应图；运动特征分析单元，用于从眼睛的 水平运动响应图或垂直运动响应图提取眼睛的运动特征。
[0010] 所述响应区域产生单元可基于均值差分法或主成分分析法，使用对齐的眼睛图像 产生眼睛的水平运动响应图或垂直运动响应图。
[0011] 根据本发明的另一方面，提供了一种眼睛图像处理方法，所述方法包括：从拍摄的 图像提取不同视线状态下的眼睛图像；确定眼睛图像的垂直基准线和水平基准线；使用确 定的垂直基准线和水平基准线，使不同视线状态下的眼睛图像在垂直方向和水平方向上对 齐。
[0012] 确定眼睛图像的垂直基准线和水平基准线的步骤可包括：对提取的眼睛图像的灰 度图像进行垂直方向的投影，并从垂直方向的投影结果确定垂直基准线；从提取的眼睛图 像确定内眼角点的位置，并将经过内眼角点的位置的垂线确定为水平基准线。
[0013] 确定眼睛图像的垂直基准线的步骤可包括：对提取的眼睛图像的灰度图像进行垂 直方向的投影和水平方向的投影；对水平方向的投影结果进行归一化；将水平方向的归一 化投影结果作为先验概率对垂直方向的投影结果进行归一化；从垂直方向的归一化投影结 果确定垂直基准线。
[0014] 确定眼睛图像的水平基准线的步骤可包括：从眼睛图像确定内眼角区域；使用内 眼角区域附近的皮肤像素建立皮肤模型；基于所述皮肤模型将内眼角区域分割为皮肤区域 和眼睛区域；将眼睛区域靠近眉必的位置确定为内眼角点的位置，并将经过内眼角点的位 置的垂线确定为水平基准线。
[0015] 所述眼睛图像处理方法还可包括；使用对齐的眼睛图像产生眼睛的水平运动响应 图或眼睛的垂直运动响应图；从眼睛的水平运动响应图或垂直运动响应图提取眼睛的运动 特征。
[0016] 可基于均值差分法或主成分分析法，使用对齐的眼睛图像产生眼睛的水平运动响 应图或垂直运动响应图。
[0017] 有益效果
[0018] 通过应用根据本发明的示例性实施例的眼睛图像处理设备和方法，能够更精确地 对齐不同视线状态下的眼睛图像，从而更准确有效地对眼睛运动信息进行分析描述。
【附图说明】
[0019] 通过下面结合附图对本发明的示例性实施例进行的描述，本发明的上述和其他目 的和特点将会变得更加清楚，其中：
[0020] 图1是示出根据本发明的示例性实施例的眼睛图像处理设备的框图；
[0021] 图2是示出根据本发明的示例性实施例的获取不同视线状态下的眼睛图像的示 意性示图；
[0022] 图3是示出根据本发明的示例性实施例的眼睛图像的垂直基准线和水平基准线 的W意图；
[0023] 图4是示出根据本发明的示例性实施例的基准线确定单元的详细配置示图；
[0024] 图5是示出通过根据本发明的示例性实施例的基准线确定单元确定垂直基准线 的W意图；
[00巧]图6是示出通过根据本发明的示例性实施例的基准线确定单元确定水平基准线 的W意图；
[0026] 图7是示出根据本发明的示例性实施例的另一眼睛图像处理设备的框图；
[0027] 图8是不出根据本发明的不例性实施例的水平运动响应图和垂直运动响应图； [002引图9是示出根据本发明的示例性实施例的眼睛图像处理方法的流程图；
[0029] 图10是示出使用根据本发明的眼睛图像处理方法对齐眼睛图像的结果与使用现 有的算法对齐眼睛图像的结果之间的对比。
[0030] 在附图中，相同的附图标号将被理解为是指相同的部件。
【具体实施方式】
[0031] 提供W下参照附图进行的描述W帮助全面理解由权利要求及其等同物限定的本 发明的示例性实施例。所述描述包括各种特定细节W帮助理解，但送些细节被认为仅是示 例性的。因此，本领域的普通技术人员将认识到；在不脱离本发明的范围和精神的情况下， 可对送里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构 造的描述。
[0032] 图1是示出根据本发明的示例性实施例的眼睛图像处理设备100的框图。
[0033] 如图1所示，根据本发明的示例性实施例的眼睛图像处理设备100包括；提取单元 110、基准线确定单元120和对齐单元130。
[0034] 所述提取单元110可从拍摄的图像提取不同视线状态下的眼睛图像。在本发明的 示例性实施例中，所述不同的视线状态可指眼睛注视显示器上的不同位置时的视线状态。 例如，如图2所示，可在显示器上设置4个标定点，当用户将视线依次集中于所述4个标定 点时，用户的视线会由于送4个标定点的位置不同而具有不同的视线状态，因此可通过诸 如相机（例如，设置在显示器上的相机）的图像采集设备拍摄用户分别注视送4个标定点 时的图像，从而可从拍摄的图像获取用户的不同视线状态下的眼睛图像。应理解，标定点的 数量可根据需要来确定而不限于4个。
[0035] 在获取了眼睛图像之后，基准线确定单元120可确定每个眼睛图像的垂直基准线 和水平基准线。图3是示出根据本发明的示例性实施例的眼睛图像的垂直基准线和水平基 准线的示意图。在本发明的示例性实施例中，眼睛图像的垂直基准线可W是如图3中所示 的与眼睛的上眼皮或下眼皮平行相切的直线，眼睛图像的水平基准线可W是如图3中所示 的经过内眼角点所在位置的垂线。
[0036] W下将结合图4至图6详细说明根据本发明的示例性实施例的基准线确定单元 120确定水平基准线和垂直基准线的操作。
[0037] 图4是示出根据本发明的示例性实施例的基准线确定单元120的详细配置示图。 图5是示出通过根据本发明的示例性实施例的基准线确定单元120确定垂直基准线的示意 图。图6是示出通过根据本发明的示例性实施例的基准线确定单元120确定水平基准线的 示意图。
[0038] 如图4中所示，根据本发明的示例性实施例的基准线确定单元120可包括垂直基 准线确定单元210和水平基准线确定单元210。
[0039] 在本发明的实施例中，所述垂直基准线确定单元210可对提取单元110提取的眼 睛图像的灰度图像进行垂直方向的投影和/或水平方向的投影，并可从垂直方向的投影结 果确定垂直基准线。
[0040] 对眼睛图像的灰度图像进行水平方向的投影是指按列方向对眼睛图像的灰度图 像中的每列像素的灰度值进行累加，对眼睛图像的灰度图像进行垂直方向的投影是指按行 方向对眼睛图像的灰度图像中的每行像素的灰度值进行累加。优选地，在本发明的示例性 实施例中，在对眼睛图像的灰度图像进行垂直方向的投影和水平方向的投影之前，可对眼 睛图像的灰度图像进行反色处理（即，