一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法

一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
【专利摘要】本发明提供一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，包括：一种数据驱动的方法，输入人眼图像，与虚拟眼球外观合成数据进行匹配，稳定求解其三维视线方向；2种新颖的眼球外观优化匹配准则，有效降低图像缩放和噪声等不可控因素对结果的影响；在连续拍摄多张人眼图像的情况下，发明一种联合优化方法，进一步提高计算精度。本发明的应用之一是虚拟现实和人机交互，其原理是通过拍摄用户的眼部图像，计算用户视线方向，从而与智能系统界面或虚拟现实对象进行交互。本发明也可广泛用于训练培训、游戏娱乐、视频监控、医疗监护等领域。
【专利说明】
一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
技术领域
[0001] 本发明涉及计算机视觉和图像处理领域，具体地说是一种基于人眼图像中虹膜轮 廓分析匹配的视线方向计算方法。
【背景技术】
[0002] 视线追踪/眼动追踪对于用户行为理解和高效人机交互具有重要意义。人类可感 知信息中超过80 %的部分由人眼接收，而其中超过90 %的部分由视觉系统处理。因此，视线 是反映人与外界交互过程的重要线索。近年来，由于虚拟现实技术和人机交互技术的迅速 发展，视线追踪技术的应用价值逐渐凸显；另一方面，视线方向计算在计算机视觉领域仍然 是一个极富挑战性的问题。目前的解决方法大多基于主动光源和红外摄像，因此需要额外 的硬件，并且对使用环境要求较高。另一类方法不需要假设主动光照，仅用单相机拍摄人眼 图像并进行视线方向计算，但需要提前获取大量的训练样本，用来学习得到回归计算模型。 例如，Baluja和Pomerleau提出的早期的神经网络系统，需要使用数千个训练样本进行训 练。Tan等人提出了基于局部线性插值的方法，将人眼图像与视线坐标进行映射，其系统需 要大约两百个训练样本。
[0003] 为了减少对训练样本量的需求，Williams等人提出了一种能够同时使用标记样本 和无标记样本进行训练的半监督的方法。Lu等人提出了一个基于稀疏最优化的自适应回归 框架，允许使用更少的训练样本进行计算，同时够解决视线计算中的一系列相关问题。 Sugano等人从视频中抽取视觉显著性来自动生成训练样本，并用于系统训练。以上方法的 缺点在于，其均假定头部姿势固定不动，如果要求这些方法用于头部姿势改变的情况，则需 要更多的训练样本来解决头部运动问题。
[0004] 为了彻底避免系统训练，考虑视线方向是由眼球朝向唯一决定的，而眼球朝向能 够从虹膜圆盘朝向或其中心位置计算获得，因此，Yamazoe等人和He yman等人提出了通过计 算虹膜中心和眼球中心间的相对位置实现视线方向计算的方法。他们的方法需要对头部进 行三维建模，并且精确追踪人脸的三维特征点，包括眼角位置和眼球中心位置等。在现实 中，这些特征点往往难以精确提取，甚至是不可见的。Ishikawa等人使用基于主动外观模型 (AAM)的方法跟踪人脸特征点，同样面临上述难题。另一些方法使用椭圆拟合虹膜轮廓，之 后将该椭圆反向投影为三维空间上的圆形。这是因为虹膜轮廓可以被近似为圆形，而其在 二维图像中投影为椭圆，通过分析该椭圆形状能够求解虹膜在三维世界中的朝向。这是常 见的基于虹膜轮廓形状的方法。但是，传统的虹膜轮廓分析方法在实际应用中并不可靠，原 因是虹膜区域在图像中面积小、噪声大，其轮廓难以精确提取，而对其轮廓提取的若干像素 的微小误差即可造成非常大的视线方向计算偏差。因此，很多情况下只能通过拍摄超高分 辨率人眼图像，或者使用可穿戴相机来提高精度，同时也增加了对硬件的要求和对实际应 用场景的限制。在此前提下，本发明提供了一种基于人眼图像中虹膜轮廓分析匹配的视线 方向计算方法，结合虹膜外观的虚拟生成，主要用于解决在拍摄普通分辨率人眼图像的条 件下，传统的虹膜轮廓匹配方法稳定性差，精度低的缺点，进而实现高精度三维视线方向计 算。

【发明内容】

[0005] 根据上述实际需求和技术难题，本发明的目的在于：提出一种三维视线的计算方 法，通过虚拟眼球外观合成，生成不同视线方向下的虚拟眼球外观数据集，通过与人眼图像 匹配，实现对人眼三维视线方向的计算。本方法对系统没有额外需求，仅使用单相机拍摄的 人眼图像作为输入。同时，本方法通过提出两种虹膜轮廓形状分析匹配技术，实现了相比其 它类似方法更好的鲁棒性。
[0006] 本发明技术解决方案:一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，首先，针对人眼图像获取，本发明包含以下流程。使用单相机，拍摄含有用户面部区域的 图像。利用已有人脸分析方法定位左眼或右眼区域。对提取出的人眼图像进行预处理，得到 亮度修正的人眼图像，以及通过边缘检测产生部分虹膜边缘像素。
[0007] 其次，发明了针对不同视线方向下的虚拟眼球外观合成和数据集建立方法。对眼 球建立三维球体模型，并在其上添加虹膜轮廓等重要细节;遍历物理可能的眼球朝向参数， 即绕水平和垂直两轴转动的角度，对于每个眼球朝向，将对应的三维虚拟眼球外观投射到 二维平面(对应眼球正前方向），记录投射后的虹膜形态、眼球中心位置、虹膜中心位置等二 维坐标信息;将所有转角与对应生成的二维坐标信息保存到数据集。
[0008] 进一步，发明了人眼图像和合成得到的虚拟眼球外观匹配的方法，通过最大化匹 配度，选取与人眼图像最一致的虚拟眼球外观，得知对应的眼球朝向和位置。针对眼球外观 匹配，发明了基于圆周对称性度量和虹膜轮廓匹配度度量两种约束的匹配算法。对于前者， 给定任意一组匹配参数(相对平移量和眼球朝向），确定其对应的虚拟眼球虹膜轮廓及虹膜 中心位置的坐标;将这些坐标叠加到人眼图像上，在虹膜轮廓附近区域内，度量人眼图像像 素梯度的变化规律，考察以虹膜椭圆轮廓为参考的二维圆周对称性，并以此作为准则衡量 匹配效果。对于后者，给定任意一组匹配参数(相对平移量和眼球朝向），可以确定其对应的 虚拟眼球虹膜轮廓的坐标;遍历人眼图像中提取的虹膜边缘像素，计算各边缘像素与虚拟 眼球虹膜轮廓的距离；检查这些距离的分布，统计明显与众不同的距离的数量，该数量越 少，虹膜轮廓匹配度度量结果越好。
[0009] 另外，对于连续拍摄的人眼图像，在假设眼球中心位置不变或已对齐的条件下，发 明了一种联合优化方法，能够提高从多张人眼图像中计算视线方向时的准确性。在前述人 眼图像与虚拟眼球外观匹配结果的基础上，对于每一张人眼图像，分别计算得到眼球朝向 和眼球中心位置坐标;对于所有图像的结果，排除其中明显有偏差的眼球中心坐标，利用剩 余坐标，加权计算眼球中心的标准坐标;分别继续进行外观匹配，同时增加一项优化约束， 即匹配后的眼球中心坐标与标准眼球中心坐标尽可能重合。计算结果更新为各张人眼图像 中眼球朝向的最终结果。
[0010] 本发明具体实现步骤如下：
[0011] (1)构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不 同朝向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据 集，以备具体应用时使用；
[0012] (2)应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成 亮度修正并提取图像中的虹膜边缘像素；
[0013] (3)对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼 图像与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结 果确定了与人眼图像最吻合的眼球朝向和位置；
[0014] (4)对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件 下，以步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的 三维视线方向。
[0015] 所述步骤（1)的虚拟眼球外观数据生成方法如下，首先，建立眼球的三维球体模 型，并在其表面添加圆形虹膜轮廓重要元素;遍历不同的物理可能的眼球朝向，即不同的绕 水平和垂直轴转动的角度，对于每个转动角度，将对应的三维虚拟眼球外观投射到二维平 面即对应眼球正前方，记录投射后的虹膜轮廓坐标、眼球中心坐标、虹膜中心坐标二维眼球 外观数据;将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集。
[0016] 所述步骤(3)中的人眼图像与虚拟眼球外观数据匹配优化算法，具体如下:求解的 匹配参数为人眼图像与虚拟眼球外观在二维图像域内的相对平移量，以及虚拟眼球外观对 应的眼球朝向，通过寻找这两个匹配参数的最佳值，最优化人眼图像与虚拟眼球外观的匹 配度，从而实现进行人眼图像与虚拟眼球外观数据匹配。
[0017] 所述匹配度由如下函数度量计算：
[0018] (31)圆周对称性度量：当匹配趋于理想时，人眼图像中处于虚拟眼球虹膜轮廓附 近的像素具有更好的圆周对称性；
[0019] (32)虹膜轮廓匹配度度量：当匹配趋于理想时，计算人眼图像中的虹膜边缘各像 素与虚拟眼球虹膜轮廓的距离，这些距离趋于相同。
[0020] 步骤(31)中进行圆周对称性度量的方法为，对于任意一组匹配参数，可以确定其 对应的虚拟眼球外观虹膜轮廓及虹膜中心位置的坐标;将这些坐标叠加到人眼图像上，以 虹膜轮廓上的各点为基准，沿各点与虚拟眼球外观虹膜中心的连线的正负两个方向，在人 眼图像上进行连续像素值采集，获得一维像素列向量，采集范围与虚拟眼球外观虹膜轮廓 上各点到虚拟眼球外观虹膜中心距离成正比；遍历虚拟眼球外观虹膜轮廓上各点进行采 集，将得到的所有一维列向量组合为二维矩阵;最后，计算该矩阵或其垂直方向的梯度矩阵 的各列数值分布的一致性，一致性可用矩阵核函数、各列相关系数、奇异值集中度进行度 量，一致性越高，圆周对称性越好。
[0021] 步骤(32)中进行虹膜轮廓匹配度度量的方法为，对于任意一组匹配参数，确定该 一组匹配参数对应的虚拟眼球外观虹膜轮廓的坐标;遍历人眼图像中提取的虹膜边缘像 素，计算各边缘像素与虚拟眼球外观虹膜轮廓的距离;检查这些距离的分布，统计明显与众 不同的距离的数量，该数量越少，虹膜轮廓匹配度度量结果越好。
[0022] 所述步骤(4)中联合优化方法，精确同时求解各图像对应的三维视线方向的方法 为，假设各图像拍摄时眼球中心位置不变或已被对齐，进行步骤(3)中人眼图像与虚拟眼球 外观匹配，计算得到每张人眼图像对应的眼球朝向和眼球中心位置坐标;排除其中明显有 偏差的眼球中心坐标，利用剩余坐标，加权计算眼球中心的标准坐标;分别继续进行步骤 (3)的优化，同时增加一项优化约束，即匹配后的眼球中心坐标与标准眼球中心坐标尽可能 重合，计算结果更新为各张人眼图像中眼球朝向即三维视线方向的最终结果。
[0023] 与其它的基于虹膜外观分析的方法相比，本发明有益的特点在于：（1)发明了一种 数据驱动的方法，通过合成虚拟的且物理可能的眼球外观数据，将视线方向求解的难题转 化为真实人眼图像与合成的多朝向虚拟眼球外观的匹配问题，有利于稳定求解；（2)针对虹 膜外观匹配，发明了 2种新颖的优化准则，包括圆周对称性度量准则和虹膜轮廓匹配度度量 准则，这两种准则与传统方法的区别之处在于，在匹配中不要求虹膜轮廓的精确吻合，而是 灵活地衡量了虹膜轮廓在形状上的相似性，从而有效降低图像中缩放和噪声等不可控因素 对结果的影响；（3)在连续拍摄多张人眼图像的情况下，假设眼球中心位置不变或已经对 齐，本发明提出了一种联合优化方法，能够从多张人眼图像中更精确计算其各自的视线方 向。
【附图说明】
[0024] 图1是本发明的虹膜图像与视线方向关系示意图；
[0025] 图2是本发明的虚拟眼球外观生成示意图；
[0026] 图3是本发明的人眼图像与虚拟眼球外观匹配示意图；
[0027] 图4是本发明的基于单张人眼图像的视线方向计算流程图；
[0028] 图5是本发明的基于多张人眼图像的视线方向联合优化流程图。
【具体实施方式】
[0029]下面结合附图对本发明的具体实施作详细说明。
[0030] 参阅图1本发明的虹膜图像与视线方向关系示意图，为了从相机拍摄的人眼图像 中计算三维视线方向，使用一种简单的三维球体模型对眼球进行建模。具体而言，认为眼球 为一个表面带有圆形虹膜区域的标准球体，对于该眼球模型，模型参数仅包含眼球半径和 虹膜直径，因此易于分析计算。在此基础上，视线方向可以近似地用一条以眼球中心为起 点，通过虹膜中心的射线来确定。另一方面，由基本的三维几何规律可知，在该模型下，视线 方向与圆形的虹膜区域的法向量方向是一致的。因此，求解三维视线方向的问题可以转化 为求解虹膜区域的朝向(法向方向）的问题。
[0031] 当利用相机拍摄人眼外观时，原本圆形的虹膜轮廓会由于透视原因，在图像中程 椭圆形。容易证明，当三维眼球转动导致虹膜朝向改变时，虹膜轮廓的椭圆形投影的形状由 虹膜朝向直接确定。例如，当眼球和虹膜正对着拍摄方向的时候，拍摄到的二维虹膜轮廓是 标准圆形；如果眼球转动，虹膜朝向随之旋转，其二维投影后的图像将会沿着转动方向收 缩，体现为沿短轴收缩的椭圆。相应地，通过计算椭圆虹膜轮廓的形状（由长轴和短轴确 定），即能够恢复出虹膜的三维朝向。因此，从人眼图像中求解三维视线方向的问题可最终 转化为对图像中二维虹膜轮廓的分析计算。
[0032] 参阅图2本发明的虚拟眼球外观生成示意图，为了在不进行实际拍摄的前提下，生 成大量的物理可能的虚拟眼球外观数据，提出在三维球体眼球模型的基础上进行计算和绘 制的方法。首先，确定虚拟数据产生的参数化方案。具体而言，以眼球朝向为指标，并将其进 一步分解为眼球绕X轴和Y轴的两种转动方式。记两个方向的旋转角度分别为u和V，则眼球 转动的总角度可以近似为arcsin( (sin2u+sin2vr2)。此处，考虑虚拟眼球外观的生成应保 证其物理可能性，因此，对上述转动加以约束，要求眼球整体转动不得超过45°，即（sin 2u+ sin2vr2〈sin45°。在此基础上，对于u和v，每隔5°采样一次，对每一组u和v，通过上述公式进 行判断，如果整体转动超出45°，则舍弃该组u和v，否则将该组数据加入虚拟眼球合成的参 数集合。
[0033]对于每一组物理可行的眼球旋转角度u和V，进行眼球虚拟外观合成。如前所述，本 方案采用一个标准球体，作为眼球的近似。同时，在球体表面附着一个标准圆形，作为虹膜 轮廓的近似。二者整体组成眼球的三维模型。在具体构建中，眼球和虹膜的直径分别记作D e 和〇:，其取值参照解剖学中的眼球标准参数，分别设为25毫米和12毫米。需要补充的是，不 同人之间存在个体差异，导致DjPDi存在差异性。本发明虽然在此处的虚拟眼球外观模型构 建时采用了固定参数，但后续算法将能够有效处理个体差异。
[0034] 利用该眼球模型，配合前述的虚拟眼球合成的转动参数，可以生成不同视线方向 下的虚拟眼球外观数据。首先，记8=匕办，^]7为描述眼球朝向（即三维视线方向）的单位 三维向量，则对于任意物理可行的u和v，其对应的g的计算方法如下： sin u
[0035] g = sin v
[(1 - sirr u - sin2
[0036] 同时，为了计算该眼球朝向下的虚拟眼球外观，记EUhCXghPjg)表示眼球中 心、虹膜中心和虹膜轮廓上第i个点的三维坐标。则EQhCXghPjg)与g之间的关系可以通 过以下公式计算：
[0039] 其中，
gx、gy、g z分别是前述视线方向g在三个坐 标轴方向上的分量。Y是虹膜轮廓上第i个点相对于虹膜中心的方位角。至此，对于任意物 理可行的u和v，在给定眼球中心三维坐标E(g)的条件下，其对应的眼球朝向g、虹膜中心C (g)和虹膜轮廓{Pi(g)}的三维坐标均已被计算获得。遍历所有的物理可行的眼球旋转角度 u和V，可以计算得到一系列不同眼球朝向下的虚拟眼球外观的三维坐标描述。
[0040] 最后，为了合成二维图像下的虚拟眼球外观，需要将三维坐标转换为图像平面上 的二维像素坐标。利用标准相机成像公式，进行如下计算： 1 0 0 0] p.
[0041] Z \ = K 〇 1 〇 〇 1-0 0 10-1
[0042]其中，大写字母P泛指任意已知的三维坐标，可以是上述E(g)，C(g) JJg)。小写字 母P是其对应的图像上的二维像素坐标。K是相机的内参矩阵，可以通过实验标定，也可以根 据实际情况指定。z是计算过程中产生的一个比例常数。
[0043] 在某些情况下，当相机内参K无法确定，且眼球中心三维坐标也无指定取值时，可 以采取如下近似方法计算合成虚拟眼球外观。首先，设e(g)为0,然后使用一个简单的变换 公式：
[0044] P = s[0 x Q\P
[0045] 这里，s是简单的缩放常数，可以通过粗略估计人眼图像中的虹膜直径并将其除以 Di得到。
[0046]以上实施流程实现了对于任意的物理可能的眼球朝向（视线方向）gn，计算其三维 眼球数据，并合成为二维像素坐标的过程，具体得到了虹膜中心c(gn)、虹膜轮廓点集合{Pl (gn)}的二维图像坐标数据，其中，{Pl(gn)}表示在i遍历其所有取值时对应的 Pl(gn)组成的 集合。将所有的gn与其对应的c(gn)、{ Pl(gn)}进行保存，即得到了不同视线方向下的虚拟眼 球外观合成数据集。
[0047] 参阅图3本发明的人眼图像与虚拟眼球外观匹配示意图，使用前述的不同视线方 向下的虚拟眼球外观合成数据集，与真实拍摄的人眼图像进行眼球外观匹配，实现了眼球 朝向即三维视线方向的查询计算。具体实施方法如下。
[0048] 首先，对于真实拍摄的人眼图像，在进行视线计算之前，需要对其进行预处理。预 处理的目标包括两点：对于不同条件下拍摄的人眼图像进行亮度修正，以及从人眼图像中 获取可信的虹膜轮廓像素。对于亮度修正，首先进行图像亮度直方图调整，以加强较亮区域 (如巩膜)和较暗区域(如虹膜和角膜)之间的对比度，具体通过以下操作完成：
[0051]其中，和I〃k是图像中每个像素点进行直方图调整前后的值，medianO是计算中 值的函数。对于亮度修正之后的图像，进行虹膜轮廓提取，具体为:记录图像中像素亮度变 化幅度，以0.8的倍率作为阈值，选出最暗的区域。选择其中面积最大的区域，用图像膨胀操 作进行加强，得到虹膜区域的大致范围，并记其中心位置为〇。同时，从原图像中计算一个朝 向掩模，计算方法为，对于每一个像素 k，掩模值Mk如下： 1 如果/fc的梯度和〇指向像素 fc的夹角小于_3fl:°
[0052] Mk = { 0 其他
[0053] 分析该掩摸与虹膜区域像素点的关联。观察可知，虹膜轮廓上的像素从较暗的虹 膜区域到亮的巩膜区域的梯度方向应当背离虹膜中心〇。因此，对于虹膜区域内的像素 k来 说，如果k点的掩摸值Mk为1，就表示该点是潜在的虹膜轮廓像素点。此外，将可能的虹膜轮 廓区域约束在以〇为中心，向左右延伸的两个扇形区域之间，以避免上下眼睑边缘的影响。 最后，得到虹膜轮廓候选结果。由于掩模的不完整性，可能导致孤立像素的存在，因此，判断 所有像素的连通性，只保留非孤立像素，从而得到最终的虹膜轮廓像素集合。
[0054] 其次，从虚拟眼球外观数据集中，选取某一眼球朝向gn下的合成外观数据，并与亮 度修正的人眼图像以及虹膜边缘图像进行匹配。匹配使用如下两个准则：
[0055] 1)圆周对称性度量:度量虹膜轮廓区域的人眼图像像素梯度的圆周对称性。计算 方法为，将图像转化为极坐标表示。在极坐标下，横轴代表虹膜上像素点Pi(g n)相对虹膜中 心c(gn)的方位角，纵轴代表虹膜中心C(gn)与虹膜像素点Pl(g n)连线上的欧式坐标。基于 此，利用如下方法采集数据。沿着dgrjljpdgn)的方向，在人眼图像上，跨虹膜轮廓内外采集 一组连续的像素值，采集区间范围与 C(gn^ljPl(gn)的距离成正比。将这些像素值填充到极 坐标内，其横坐标同SpKgn)的方位角，其纵坐标为该组像素从虹膜轮廓内到外排列后的相 对坐标，因此填充结果为纵向的一列。将极坐标下的每一列都填充完毕之后，对其求取纵向 梯度得到极坐标梯度图（虹膜像素梯度矩阵）。观察可知，理想的虹膜边缘匹配结果将保证 梯度矩阵的各列结构相似，即强度较大的值出现在相同的几行。为定量衡量矩阵的各列一 致性，可使用矩阵的秩等指标来计算。作为示例，以下集中度函数也可用来衡量该矩阵列间 的相似度：
[0057] 这里极坐标梯度图（PGM)是一个矩阵，{〇i}是奇异值，其中1 = 1，2,…，U和V是对 PGM矩阵进行奇异值分解后产生的两个矩阵。RS值越大表示匹配越好。
[0058] 2)虹膜轮廓匹配:将人眼图像中提取的虹膜轮廓边缘像素集{qj}与虚拟眼球外观 合成数据中的虹膜轮廓{Pl(gn)}进行直接匹配。由于合成数据的虹膜和实际拍摄的虹膜在 尺寸上可能不同，本发明提出了一种鲁棒的轮廓匹配技术来解决这一问题。具体而言，提出 了以下匹配标准：
[0061] | | | |2代表2-范数计算，A是容忍微小距离误差的一个常数，可设为2个像素。上式 计算了图像中的虹膜轮廓边缘点与虚拟眼球数据中的虹膜轮廓的距离，并统计其中距离值 与众不同的情况的数量。因此，理想的匹配应使所有的距离都相同，即ICF为0,而较差的匹 配无法做到。ICF值越大，匹配效果越差。该匹配准则不要求人眼图像的虹膜边缘像素与合 成数据的虹膜轮廓完全重合，而仅要求各处距离相等(形状相同），解决了二者尺寸不同的 问题。
[0062] 结合圆周对称性度量和虹膜轮廓匹配两种准则，综合的人眼图像与虚拟眼球外观 匹配的匹配度衡量方法为RS-A ? ICF。其中A设为〇.〇1，用来平衡这两项的权重。
[0063] 参阅图4本发明的基于单张人眼图像的视线方向计算流程图，结合前文描述的相 关具体技术，以下介绍基于单张人眼图像的视线方向计算的具体实施过程。
[0064]首先，输入单张人眼图像，并进行图像初始化处理，得到亮度修正的人眼图像，并 从人眼图像中获取可信的虹膜轮廓边缘像素集合。之后，为求解未知视线方向g，规定视线 方向的搜索规则和范围，并逐一遍历这些候选的视线方向。
[0065]假设g有新取值，则设定相对平移向量b = 0。之后，从虚拟眼球外观合成数据集中， 选取与g最接近的视线方向所对应的虹膜外观等数据。计算score = RS_A ? ICF，并以score 取值最大化为标准，用梯度下降法优化更新b，重复这一步骤，直至b取值稳定。最后，选取下 一个g的取值。
[0066] 当g已经完成遍历，没有新的取值，则将整个计算过程中，对应score最大值的眼球 朝向g值和相对平移向量b输出，其中眼球朝向g也即三维视线方向，是最终输出结果。
[0067] 整体而言，该过程求解了以下优化问题：
[0068] {g> b\ = Afg maxge{gn} b {RS(g, b)-A-!CF(g, b)}
[0069] A是一个权重参数，设为0.01，g和b是求解的视线方向和相对平移量。参阅图5本发 明的基于多张人眼图像的视线方向联合优化流程图，在前文描述的基于单张人眼图像的视 线方向计算方法基础上，下面给出使用多张人眼图像进行视线方向联合优化计算的实施方 法。首先，利用同一台相机，在短时间内连续拍摄多张人眼图像。由于用户头部姿态在短时 间内往往较为稳定，因此这些图像能够通过简单的平移旋转准确对齐。接下来，使用前述的 单张图像视线方向计算方法，分别计算每一张图像的视线方向&和眼球中心坐标e m。
[0070]由于在多张人眼图像均已对齐的条件下，眼球旋转并不会改变眼球中心的位置， 因此所有的em都应对应于同一个真实的眼球中心坐标，记为i。假定共有M张人眼图像，可以 直接计算其平均值：
[0072] 进一步，为获得更高的准确度，希望仅使用{&}中比较可信的一个子集。因此，对 {em}中所有数据做聚类，选取最大子集，用来做加权平均，得到I
[0073] 在获取眼球中心坐标色后，对每一张人眼图像，重新进行优化计算，优化方法仍然 为最大化如下函数:s C〇re = RS-A ? ICF含圆周对称性和虹膜轮廓匹配两个优化准则。与之 前方法的区别在于，计算RS和ICF时，原本能够自由取值的眼球中心坐标^被强制固定为e% 在此基础上优化求解，由于固定了眼球中心§，相当于将原本独立的眼球朝向和相对平移向 量两个变量绑定，使得解空间大大缩小；同时利用独立求解时的结果 gm作为初始值，在一定 浮动范围内（如± 15°范围内）进行优化搜索，不需要遍历整个解空间。因此，能够快速获得 最优化的视线方向。整体而言，联合优化过程求解了以下问题：
[0074] = arg max"eUfn} ,句-A 句} s.t.arccosCg .如）< 1S。
[0075] 其中，三维视线方向成n是针对第m张图像的最终输出。
[0076] 总之，本发明新颖的眼球外观优化匹配准则，有效降低图像缩放和噪声等不可控 因素对结果的影响;在连续拍摄多张人眼图像的情况下，发明一种联合优化方法，进一步提 高计算精度。本发明的应用之一是虚拟现实和人机交互，其原理是通过拍摄用户的眼部图 像，计算用户视线方向，从而与智能系统界面或虚拟现实对象进行交互。本发明也可广泛用 于训练培训、游戏娱乐、视频监控、医疗监护等领域。
[0077]以上所述仅为本发明的一个代表性实施例，依据本发明的技术方案所做的任何等 效变换，均应属于本发明的保护范围。
【主权项】
1. 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法，其特征在于包含以下 步骤： (1) 构造球体眼球模型，遍历不同的物理可能的眼球朝向，通过几何计算，生成不同朝 向下的二维虚拟眼球外观，将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集， 以备具体应用时使用； (2) 应用时，首先拍摄用户面部图像，定位左眼或右眼区域，预处理人眼图像，完成亮度 修正并提取图像中的虹膜边缘像素； (3) 对于拍摄并预处理的人眼图像，以及数据集内的虚拟眼球外观数据，通过人眼图像 与虚拟眼球外观数据匹配优化算法，进行人眼图像与虚拟眼球外观数据匹配，匹配结果确 定了与人眼图像最吻合的眼球朝向和位置； (4) 对于连续拍摄的人眼图像，在眼球中心位置不变或人眼图像已被对齐的条件下，以 步骤(3)的眼球外观匹配为基础，进一步进行联合优化，精确同时求解各图像对应的三维视 线方向。2. 根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，其特征在于:步骤（1)的虚拟眼球外观数据生成方法如下，首先，建立眼球的三维球体模 型，并在其表面添加圆形虹膜轮廓重要元素;遍历不同的物理可能的眼球朝向，即不同的绕 水平和垂直轴转动的角度，对于每个转动角度，将对应的三维虚拟眼球外观投射到二维平 面即对应眼球正前方，记录投射后的虹膜轮廓坐标、眼球中心坐标、虹膜中心坐标二维眼球 外观数据;将所有眼球朝向及其对应的虚拟眼球外观数据存储于数据集。3. 根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，其特征在于:所述步骤(3)中的人眼图像与虚拟眼球外观数据匹配优化算法，具体如下： 求解的匹配参数为人眼图像与虚拟眼球外观在二维图像域内的相对平移量，以及虚拟眼球 外观对应的眼球朝向，通过寻找这两个匹配参数的最佳值，最优化人眼图像与虚拟眼球外 观的匹配度，从而实现进行人眼图像与虚拟眼球外观数据匹配。4. 根据权利要求3所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，其特征在于:所述匹配度由如下函数度量计算： (31) 圆周对称性度量：当匹配趋于理想时，人眼图像中处于虚拟眼球虹膜轮廓附近的 像素具有更好的圆周对称性； (32) 虹膜轮廓匹配度度量：当匹配趋于理想时，计算人眼图像中的虹膜边缘各像素与 虚拟眼球虹膜轮廓的距离，这些距离趋于相同。5. 根据权利要求4所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，其特征在于：步骤(31)中进行圆周对称性度量的方法为，对于任意一组匹配参数，可以 确定其对应的虚拟眼球外观虹膜轮廓及虹膜中心位置的坐标;将这些坐标叠加到人眼图像 上，以虹膜轮廓上的各点为基准，沿各点与虚拟眼球外观虹膜中心的连线的正负两个方向， 在人眼图像上进行连续像素值采集，获得一维像素列向量，采集范围与虚拟眼球外观虹膜 轮廓上各点到虚拟眼球外观虹膜中心距离成正比；遍历虚拟眼球外观虹膜轮廓上各点进行 采集，将得到的所有一维列向量组合为二维矩阵;最后，计算该矩阵或其垂直方向的梯度矩 阵的各列数值分布的一致性，一致性可用矩阵核函数、各列相关系数、奇异值集中度进行度 量，一致性越高，圆周对称性越好。6. 根据权利要求4所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，其特征在于：步骤(32)中进行虹膜轮廓匹配度度量的方法为，对于任意一组匹配参数， 确定该一组匹配参数对应的虚拟眼球外观虹膜轮廓的坐标;遍历人眼图像中提取的虹膜边 缘像素，计算各边缘像素与虚拟眼球外观虹膜轮廓的距离;检查这些距离的分布，统计明显 与众不同的距离的数量，该数量越少，虹膜轮廓匹配度度量结果越好。7. 根据权利要求1所述的一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方 法，其特征在于:所述步骤(4)中联合优化方法，精确同时求解各图像对应的三维视线方向 的方法为，假设各图像拍摄时眼球中心位置不变或已被对齐，进行步骤(3)中人眼图像与虚 拟眼球外观匹配，计算得到每张人眼图像对应的眼球朝向和眼球中心位置坐标;排除其中 明显有偏差的眼球中心坐标，利用剩余坐标，加权计算眼球中心的标准坐标;分别继续进行 步骤(3)的优化，同时增加一项优化约束，即匹配后的眼球中心坐标与标准眼球中心坐标尽 可能重合，计算结果更新为各张人眼图像中眼球朝向即三维视线方向的最终结果。
【文档编号】G06T17/00GK105913487SQ201610218355
【公开日】2016年8月31日
【申请日】2016年4月9日
【发明人】陆峰, 陈小武, 赵沁平
【申请人】北京航空航天大学