视线追踪方法和装置、计算机可读存储介质、电子设备与流程

本公开涉及视线跟踪技术领域，尤其是一种视线追踪方法和装置、计算机可读存储介质、电子设备。

背景技术：

计算机技术的发展，科技成果已经融入了人们生活的方方面面，给人们生活带来很多便捷。眼球追踪是估计人眼注视方向或注视点的技术。注视方向指在特定空间坐标系中的人眼的视线方向，通常以三维向量表示。注视点指在特点平面上人眼注视点的位置，通常以二维坐标表示。

技术实现要素：

本公开实施例所要解决的一个技术问题是：提供一种视线追踪方法和装置、计算机可读存储介质、电子设备。

根据本公开的一个方面，提供了一种视线追踪方法，包括：

在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；其中，所述两个成像设备之间间隔预设距离；所述一组光源设置于所述两个成像设备之间；

分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；

基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。

可选地，所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。

可选地，所述人眼特征数据包括：瞳孔中心坐标、光斑中心坐标；

所述基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向，包括：

基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心；

基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心，确定所述目标人脸的人眼光轴向量；

基于所述人眼光轴向量确定所述目标人脸的视线方向。

可选地，所述基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心，包括：

基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述光源在人眼的角膜面的反射点坐标；

基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径；

基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。

可选地，所述基于所述人眼光轴向量确定所述目标人脸的视线方向，包括：

基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向。

可选地，在基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向之前，还包括：

基于已知坐标的校准点确定校准人眼视轴向量；

获取注视所述校准点的人眼的两组校准人眼特征数据；

基于所述两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；

基于所述校准人眼视轴向量和校准人眼光轴向量，确定所述固定偏角。

可选地，所述一组光源包括一个发光器件；

或者，所述一组光源包括多个发光器件，所述多个发光器件之间的距离小于预设值。

可选地，所述分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据，包括：

针对每个人脸成像图像，对所述人脸成像图像执行人眼检测处理，得到人眼区域图像；

对所述人眼区域图像进行特征提取处理，获得所述人眼特征数据。

根据本公开的另一个方面，提供了一种视线追踪装置，包括：相距预设距离设置的两个成像设备、设置于两个成像设备之间的一组光源、控制器和/或处理器；

所述光源，用于发出光线，照射到目标人脸；

所述两个成像设备，用于分别对所述目标人脸进行图像采集，获得两个人脸成像图像；

所述控制器和/或所述处理器，用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。

可选地，所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。

可选地，所述控制器包括图像处理模块和/或视线估计模块；所述处理器包括图像处理模块和/或视线估计模块；

所述图像处理模块，用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；

所述视线估计模块，用于基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。

可选地，所述人眼特征数据包括：瞳孔中心坐标、光斑中心坐标；

所述视线估计模块，包括：

曲率中心确定单元，用于基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述目标人脸的眼球的曲率中心；

光轴确定单元，用于基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心，确定所述目标人脸的人眼光轴向量；

视线方向确定单元，用于基于所述人眼光轴向量确定所述目标人脸的视线方向。

可选地，所述曲率中心确定单元，具体用于基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离，确定所述光源在人眼的角膜面的反射点坐标；基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径；基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。

可选地，所述视线方向确定单元，具体用于基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿，确定所述目标人脸的视线方向。

可选地，所述视线方向确定单元，还用于基于已知坐标的校准点确定校准人眼视轴向量；获取注视所述校准点的人眼的两组校准人眼特征数据；基于所述两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；基于所述校准人眼视轴向量和校准人眼光轴向量，确定所述固定偏角。

可选地，所述一组光源包括一个发光器件；

或者，所述一组光源包括多个发光器件，所述多个发光器件之间的距离小于预设值。

可选地，所述图像处理模块，具体用于针对每个人脸成像图像，对所述人脸成像图像执行人眼检测处理，得到人眼区域图像；对所述人眼区域图像进行特征提取处理，获得所述人眼特征数据。

可选地，所述装置还包括：

光源控制器，用于控制所述光源是否发出光线。

可选地，所述控制器，还用于控制所述两个成像设备的触发、曝光和增益。

根据本公开的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的视线追踪方法。

根据本公开的还一个方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的视线追踪方法。

基于本公开上述实施例提供的一种视线追踪方法和装置、计算机可读存储介质、电子设备，在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。本公开实施例采用两成像设备单光源的配置，实现对人眼的视线方向进行估计，并且布局紧凑，占空间少，计算简易，实现方便，易于推广。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是本公开一示例性实施例提供的视线追踪方法的流程示意图。

图2是本公开图1所示的实施例中步骤106的一个流程示意图。

图3为本公开一个实施例提供的人眼模型结构示意图。

图4是本公开一示例性实施例提供的视线追踪装置的结构示意图。

图5为本公开一个实施例提供的视线追踪装置一个应用示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

现有技术中，实现视线追踪的主流方法是视频法，即用相机获取人眼局部图像，通过分析人眼图像特征估计注视点/注视方向。对于基于视频法的方法，又可以分为外观法和角膜反射法。

基于外观的方法，一般依赖人脸/人眼图像中的外观特征，包括眼睑位置、瞳孔位置、虹膜位置、内/外眼角、人脸朝向等特征估计注视点/注视方向。基于角膜反射的方法，除了依赖外观法的部分图像特征，还依赖光斑/角膜反射点。一般来说，得益于光斑，角膜反射法比外观法有更高的精度，因此几乎所有的成熟商业产品都基于角膜反射法。

为了实现视线追踪，需要给计算机配以眼球追踪设备，通常眼球追踪设备包括相机、光源、控制器。相机用于获取人脸/人眼图像，光源用于场景照明和实现光斑，控制器用于控制设备和计算机之间的通信和部分/全部板载计算。目前主流的眼球追踪设备采用单相机多光源方案，或单相机单光源方案。

在实现本公开的过程中，发明人发现，单相机多光源方案主要存在两个问题。一是整个模组的尺寸大，因为多个光源产生的多个光斑需要有一定的空间区分度，否则多个光斑会因为靠的太近而无法区分。因此，光源之间需要相隔一定的距离。另外，单相机方案如果需要精确估计注视点/注视方向，所依赖的算法需要繁琐的校准。这种系统会要求用户提前注视多个预设的较准点。

对于单相机单光源方案，由于相机光源数量限制，无法实现精确的注视点/注视方向估计。因此只能用于简单的交互场景，比如大致的注视区域判定。

而现有技术中采用的双成像设备双光源方案，针对模组尺寸问题，即光源空间区分度的问题，引入时序控制。通过两个光源不在同一时刻开启，解决了光斑无法区分的问题。但是该方案涉及复杂的成像设备-光源的同步/时序控制。

针对校准复杂问题，由于该方案包含多个成像设备和光源，可以减少“待校准参数”，因此可以简化校准流程。但是这种方案需要将光源和成像设备放置的很近，会导致“亮瞳效应”，即拍出的图像中，瞳孔的亮度高于其他区域。这是因为当光源和成像设备非常靠近时，通过瞳孔的光线会在视网膜上反射，使得瞳孔显得更亮。这种现象的出现条件比较难控制，使得光照控制比较复杂，对使用环境不够鲁棒。

针对时序控制，本公开方案所用的单光源不需要时序控制，所以更稳定。针对亮瞳问题，本公开方案用的光源距离两个成像设备都有一定距离，所以对于复杂光照环境更加鲁棒。

需要说明的是，本公开方案所述“单光源”指一个或一组光源，一组光源可以包含多个发光器件，但是单组光源之内的发光器件空间上足够近，使得最终只形成一个光斑。

图1是本公开一示例性实施例提供的视线追踪方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：

步骤102，在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像。

其中，两个成像设备之间间隔预设距离；一组光源设置于两个成像设备之间。

在本公开的一个实施例中，成像设备可以是相机、摄像头、摄像机等或者其它的包括光心的能够获取人脸成像图像的设备。

可选地，一组光源可以是一个光源或者多个光源，一个光源仅包括一个发光器件，一组光源可以包含多个发光器件，但是一组光源之内的发光器件空间上足够近，使得最终只形成一个光斑。可以设定一个距离，使得一组光源中的发光器件的距离小于这个距离时，最终仅在成像设备上形成一个光斑。

可选地，光源的位置设置在两个成像设备的中点位置，也即两个成像设备连线的中点。或者，需要在近似中点的位置。

通常的获取人脸成像图像的过程，是在光源触发的瞬间，成像设备获取图像，以取得最佳效果。因而，通常需要对光源的触发和成像设备的配合作出协调控制。

步骤104，分别对两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据。

其中，每个人脸成像图像对应一组人眼特征数据。

本实施例中对于人脸成像图像的处理可以利用现有技术中的图像处理技术实现，本实施例不限制获得人眼特征数据的具体技术。

步骤106，基于两组人眼特征数据对目标人脸进行视线估计，确定目标人脸的视线方向。

本公开上述实施例提供的一种视线追踪方法，在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。本公开实施例采用两成像设备单光源的配置，实现基于几何模型结合视差原理估计人眼的视线方向，并且布局紧凑，占空间少，计算简易，实现方便，易于推广。

在一些可选的实施例中，两个成像设备以及光源设置在世界坐标系下的同一平面内。

在本公开的一个实施例中，两个成像设备的位置在世界坐标系下水平设置。两个成像设备之间需要相距一定的预设距离，预设距离可以根据实际的设备情况设定，也可以根据经验设定，并可以调整，例如，预设距离为1厘米以上。

人眼模型的眼球前部是角膜，角膜可以认为近似是圆形曲面，该曲面的曲率中心为c点。眼球的转动中心是d点。

在本公开的一个实施例中，根据人眼结构，cp向量称为光轴，表示视线朝向。所以需要得到cp向量。要得到cp，首先需要确定c点和p点的准确坐标位置。而为了得到c点的准确坐标位置，首先要获取q点的坐标位置。

如图2所示，在上述图1所示实施例的基础上，步骤106可包括如下步骤：

步骤1061，基于两个光斑中心坐标、两个成像设备的光心坐标和两个成像设备的光心到焦平面的距离，确定目标人脸的眼球的曲率中心。

可选地，可参照图3提供的人眼模型示意图对人脸视线方向的确定进行理解，光源l在角膜面的反射点在两个成像设备看来，分别为q1和q2。其中光斑中心坐标在两个成像设备中分别以u1、u2表示，其坐标值可基于上述步骤104处理得到；两个成像设备可以以小孔成像模型表示，其光心坐标分别对应图中o1、o2；确定的成像设备其对应的光心到焦平面的距离f是已知的，根据这些数据信息，经过计算可确定目标人脸的眼球的曲率中心c的坐标。

步骤1062，基于两个瞳孔中心坐标、两个成像设备的光心坐标和目标人脸的眼球的曲率中心，确定目标人脸的人眼光轴向量。

参照图3所示，两个瞳孔中心坐标在两个成像设备中分别以v1、v2表示，其坐标值可基于上述步骤104处理得到；结合上述步骤1061获得的曲率中心c，以及两个成像设备的光心坐标o1、o2，可确定目标人脸的人眼光轴向量cp，其中，p点表示人眼瞳孔中心，由于角膜的折射作用，在两个成像设备看来，瞳孔p的位置在r1、r2，它们在各自像成像图像上的成像点分别为v1、v2。

例如，根据光学原理，c、p、r1、o1、v1共面，c、p、r2、o2、v2共面。这两个面的交线的方向向量即为cp的方向向量cp。已知c、o、v，两个面的法向量可以表示为(v1-o1)×(c-o1)，(v2-o2)×(c-o2)。进而，交线的单位向量可以表示为cp＝[(v1-o1)×(c-o1)]×[(v2-o2)×(c-o2)]。至此，获得了人眼光轴向量。

可选地，人眼的曲率中心c坐标和瞳孔中心p坐标的向量cp，根据如下方式获得：

人眼的曲率中心c、瞳孔中心p分别与瞳孔中心p在人脸成像图像中的位置v1和v2、成像设备的光心o1和o2共面；

两个共面的面相交的法向量为(v1-o1)×(c-o1)，(v2-o2)×(c-o2)；

两个共面的面相交的交线的单位向量为cp＝[(v1-o1)×(c-o1)]×[(v2-o2)×(c-o2)]。

步骤1063，基于人眼光轴向量确定目标人脸的视线方向。

其中，人眼特征数据包括：瞳孔中心坐标、光斑中心坐标，或者人眼特征数据包括：瞳孔中心坐标、瞳孔边缘、光斑中心坐标、眼睑边缘、眼角等。

在一些可选的实施例中，步骤1061包括：

基于两个光斑中心坐标、两个成像设备的光心坐标和两个成像设备的光心到焦平面的距离，确定光源在人眼的角膜面的反射点坐标；

基于光源的坐标和光斑中心坐标确定角膜曲率半径；

基于反射点坐标和角膜曲率半径确定眼球的曲率中心。

本实施例利用两个成像设备作为双目测距的基础，基于两个光斑中心坐标u1、u2，两个成像设备的光心坐标o1、o2，以及成像设备其的光心到焦平面的距离f，经过计算可确定光源在人眼的角膜面的反射点坐标q；例如，基于眼球空间模型确定光源在人眼的角膜面的反射点坐标；其具体计算过程可以包括：

在本实施例中，可认为图3所示的q1和q2近似为同一个点q＝(qx，qy，qz)，根据反射点坐标q分别在两个成像设备中对应的空间坐标可以表示为：u1＝(u1x，u1y，u1z)和u2＝(u2x，u2y，u2z)获取人眼模型中眼球转动中心d的坐标：

d＝u1x-u2x公式(1)；

qz＝f×|o1o2|/d公式(2)；

qx＝u1x×qz/f公式(3)；

qy＝uy×qz/f公式(4)；

其中，o1、o2分别为两个成像设备的光心，|o1o2|表示两个光心之间的距离，f为o1、o2分别到对应成像设备焦平面的距离；基于上述公式(1)-(4)计算可确定反射点坐标q的坐标。

对于c点的坐标，根据光学原理，cq单位向量cq已知，等于oql的角平分线的单位向量。根据已知量|cq|＝r(r为角膜曲率半径)，c的空间位置可以根据以下公式(5)确定：

c＝r×cq+q公式(5)。

可选地，步骤1063可以包括：

基于人眼光轴向量与人眼视轴之间的固定偏角对人眼光轴向量的进行角度补偿，确定目标人脸的视线方向。

在本公开的一个实施例中，注视方向又称视轴，注视方向/视轴不等于光轴。人眼构造决定了眼球的朝向和实际观看方向(视轴)有一个固定偏角，称为kappa角。本实施例可以假设kappa角是个不随个体变化的常量，在此假设下，可以不进行kappa补偿，也无需通过校准过程估算个体kappa角，本实施例方案可以不校准，或较简单地通过很少的点校准，从而更简易实现视线追踪。

本实施例也可通过校准过程确定个体kappa角，进而更精确地估计注视放向。

获得用于校准的固定偏角的过程可以包括：

基于已知坐标的校准点确定校准人眼视轴向量；

获取注视校准点的人眼的两组校准人眼特征数据；

基于两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；

基于校准人眼视轴向量和校准人眼光轴向量，确定固定偏角。

可选地，可以根据如下方式进行校准：让目标人眼注视至少一个较准点g(已知坐标)。由于较准点是预先设定的，空间位置g已知，c点的位置可以通过上述实施例提供的方法获得。此时，视轴可以表示为cg的单位向量cg。光轴cp可以通过上述实施例提供的方法获得。固定偏角kappa可以通过计算cg和cp的夹角求得。例如，通过以下公式(6)计算获得固定偏角：

kappa＝arcsin(cg·cp)。

在一个或多个可选的实施例中，步骤104可以包括：

针对每个人脸成像图像，对人脸成像图像执行人眼检测处理，得到人眼区域图像；

对人眼区域图像进行特征提取处理，获得人眼特征数据。

在本公开的一个实施例中，图像处理主要包括两个过程：人眼检测、特征提取。

人眼检测主要是在成像设备拍到的图像中定位人眼，将人眼局部图像提取出来。也即，对两个成像设备拍摄到的人脸成像图像进行人眼检测，分别获取其中的眼部区域图像。由于人眼通常为两个，所以两个人脸成像图像中需要分别获取两个眼睛的眼部区域图像。

特征提取主要是在人眼局部图像中提取特征。本实施例涉及的特征有：瞳孔中心坐标，瞳孔边缘，光斑中心坐标，眼睑边缘，眼角等。

人眼检测和特征提取是现有技术中比较成熟的技术方案，此处不再赘述，本公开实施例主要包括视线估计步骤。

在本公开的一个实施例中，需要根据人眼特征数据建立人眼模型，结合两个成像设备的具体位置和相对位置，人眼模型的相关参数可以得到确认。人眼特征数据是通过对两个所述人脸成像图像分别进行人眼检测和特征提取，并比较分析两个人脸成像图像的差别，结合两个成像设备的相对位置而确定的。

本公开实施例提供的任一种视线追踪方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种视线追踪方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种视线追踪方法。下文不再赘述。

图4是本公开一示例性实施例提供的视线追踪装置的结构示意图。如图4所示，本实施例装置包括：

相距预设距离设置的两个成像设备41、设置于两个成像设备之间的一组光源42、控制器43和处理器44；

光源42，用于发出光线，照射到目标人脸。

两个成像设备41，用于分别对目标人脸进行图像采集，获得两个人脸成像图像。

控制器43，用于分别对两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据。

其中，每个人脸成像图像对应一组人眼特征数据。

处理器44，用于基于两组人眼特征数据对目标人脸进行视线估计，确定目标人脸的视线方向。

在另一实施例中，视线追踪装置包括相距预设距离设置的两个成像设备41、设置于两个成像设备之间的一组光源42和控制器43，而不包括处理器44，在该实施例中，控制器43，用于分别对两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；基于两组人眼特征数据对目标人脸进行视线估计，确定目标人脸的视线方向。

在又一实施例中，视线追踪装置包括相距预设距离设置的两个成像设备41、设置于两个成像设备之间的一组光源42和处理器44，而不包括控制器43，其中，处理器44可以设置在服务器上，在该实施例中，处理器44，用于分别对两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；基于两组人眼特征数据对目标人脸进行视线估计，确定目标人脸的视线方向。

以上3个实施例为并列的可选方案，均可实现上述实施例提供的视线追踪方法的有益效果。

本公开上述实施例提供的一种视线追踪装置，在一组光源下，分别基于两个成像设备对目标人脸进行图像采集，获得两个人脸成像图像；分别对所述两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个所述人脸成像图像对应一组人眼特征数据；基于所述两组人眼特征数据对所述目标人脸进行视线估计，确定所述目标人脸的视线方向。本公开实施例采用两成像设备单光源的配置，实现基于几何模型结合视差原理估计人眼的视线方向，并且布局紧凑，占空间少，计算简易，实现方便，易于推广。

可选地，两个成像设备以及光源设置在世界坐标系下的同一平面内。

可选地，控制器43包括图像处理模块和/或视线估计模块；处理器44包括图像处理模块和/或视线估计模块；

图像处理模块，用于分别对两个人脸成像图像中每个人脸成像图像进行处理，获得两组人眼特征数据；其中，每个人脸成像图像对应一组人眼特征数据；

视线估计模块，用于基于两组人眼特征数据对目标人脸进行视线估计，确定目标人脸的视线方向。

在本实施例中，当装置仅包括控制器时，控制器包括图像处理模块和视线估计模块；当装置仅包括处理器时，处理器包括图像处理模块和视线估计模块；而当装置同时包括控制器和处理器时，可以是，控制器包括图像处理模块、处理器包括视线估计模块；或者是，控制器包括视线估计模块、处理器包括图像处理模块。

可选地，人眼特征数据包括：瞳孔中心坐标、光斑中心坐标；

视线估计模块，包括：

曲率中心确定单元，用于基于两个光斑中心坐标、两个成像设备的光心坐标和两个成像设备的光心到焦平面的距离，确定目标人脸的眼球的曲率中心；

光轴确定单元，用于基于两个瞳孔中心坐标、两个成像设备的光心坐标和目标人脸的眼球的曲率中心，确定目标人脸的人眼光轴向量；

视线方向确定单元，用于基于人眼光轴向量确定目标人脸的视线方向。

可选地，曲率中心确定单元，具体用于基于两个光斑中心坐标、两个成像设备的光心坐标和两个成像设备的光心到焦平面的距离，确定光源在人眼的角膜面的反射点坐标；基于光源的坐标和光斑中心坐标确定角膜曲率半径；基于反射点坐标和角膜曲率半径确定眼球的曲率中心。

可选地，视线方向确定单元，具体用于基于人眼光轴向量与人眼视轴之间的固定偏角对人眼光轴向量的进行角度补偿，确定目标人脸的视线方向。

可选地，视线方向确定单元，还用于基于已知坐标的校准点确定校准人眼视轴向量；获取注视校准点的人眼的两组校准人眼特征数据；基于两组校准人眼特征数据进行视线估计，获得校准人眼光轴向量；基于校准人眼视轴向量和校准人眼光轴向量，确定固定偏角。

可选地，一组光源包括一个发光器件；或者，一组光源包括多个发光器件，多个发光器件之间的距离小于预设值。

可选地，图像处理模块，具体用于针对每个人脸成像图像，对人脸成像图像执行人眼检测处理，得到人眼区域图像；对人眼区域图像进行特征提取处理，获得人眼特征数据。

在一些可选的实施例中，本实施例提供的装置还包括：

光源控制器，用于控制光源是否发出光线。

可选地，控制器，还用于控制两个成像设备的触发、曝光和增益。

可选地，本实施例提供的视线追踪装置可以参见图5所示，其中示出了视线追踪装置的应用方案之一。其中，两个成像设备水平设置，光源位于两个成像设备正中间。光源和两个成像设备均通过控制器控制操作。这组成了视线追踪设备。视线追踪设备再连接计算机进行后续处理则构成了完整的视线追踪系统。

显示器边缘放置视线追踪设备。视线追踪设备包含两个成像设备、一个/组光源、控制器(可选)。需要说明的，控制器负责成像设备控制，包括触发，曝光，增益等。还负责将数据传给计算机，数据可以是成像设备图像，也可以是由控制器上的图像处理器处理过的图像，也可以是控制器上的图像处理器输出的计算数据。控制器是可选项，在没有控制器的情况下，成像设备可以直接连接计算机，光源可以直接连接电源或光源控制器。

对于器件布局，本实施例需要两成像设备有一定水平间距，光源在水平方向处于成像设备中间位置或大致位于中间位置。

在本公开的一个实施例中，还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例提供的视线追踪方法。

在本公开的一个实施例中，还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一实施例提供的视线追踪方法。

基于本公开上述实施例提供的视线追踪方案，通过获取两个成像设备分别在光源触发时的人脸成像图像；所述两个成像设备水平或垂直方向相距预设间距设置；所述光源设置于所述两个成像设备之间；对两个所述人脸成像图像分别进行人眼检测和特征提取，获取其中人眼特征数据；所述人眼特征数据包括：瞳孔中心坐标、瞳孔边缘、光斑中心坐标、眼睑边缘、眼角；根据所述人眼特征数据进行人眼的视线估计。本公开的方案，采用两成像设备单光源的配置和器件布局，利用视差原理估计角膜曲率中心c点的位置，从而估计人眼光轴方向和朝向，布局紧凑，占空间少，计算简易，实现方便，易于推广。同时，本公开方案可以不校准，或较简单地通过很少的点校准，从而更简易实现视线追踪。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。