眼动追踪方法、装置、电子设备、计算机存储介质及产品与流程

1.本技术涉及图像处理技术领域，具体涉及计算机视觉技术领域，特别涉及智慧医疗技术领域，尤其涉及眼动追踪方法、眼动追踪装置、电子设备、非易失性计算机可读存储介质及计算机程序产品。


背景技术：

2.眼动追踪是用于测量眼睛运行过程的技术，而眼睛运行过程中最值得关注的便是眼睛注视的方向，其受大脑控制并反映大脑的行为活动。因而眼动追踪已成为神经认知科学、精神心理科学、市场营销学、用户研究等多个领域研究视觉行为和人类行为的技术手段。
3.眼动追踪技术经历了几十年的发展，曾出现过机械记录法、眼电记录法和电磁感应法等技术方案，而目前基于摄像技术、红外技术和计算机技术的发展，产生了现有的非侵入、非接触的眼动追踪方法，其中最为主流最为常见的为瞳孔-角膜反射追踪方法。该方法的基本过程是使用一种近红外光源进行发射红外光，近红外光就会在眼睛角膜处产生反射，然后通过摄像机来采集这些带有反射的眼睛的图像。在眼睛移动过程中，瞳孔中心的位置会改变，而角膜反射的绝对位置并不随眼球的转动而变化，因此就可以通过角膜反射的绝对位置相对于瞳孔中心的位置变化，来表示整个眼球的运动过程。
4.所以，现有的瞳孔-角膜反射追踪方法有着便利、高效的特点，也同时需要强烈依赖瞳孔的位置判断来获取眼球的运动过程，因而遇到瞳孔图像不完整（如眯眼、眼镜框遮蔽、睫毛遮蔽、眼部化妆遮蔽等造成瞳孔被部分遮挡的情况）的情况，使得现有方法无法捕捉到瞳孔中心的位置，进而影响到眼动追踪的精度和准确性。


技术实现要素：

5.针对现有技术中瞳孔-角膜反射追踪方法存在的精度低、不准确的技术问题，提供了一种眼动追踪方法、眼动追踪装置、电子设备、非易失性计算机可读存储介质及计算机程序产品。
6.根据第一方面，提供了一种眼动追踪方法，包括：获取目标对象的多帧眼睛图像，其中，所述眼睛图像中包括光反射信息；响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像；确定所述第一目标眼睛图像的瞳孔中心点；根据所述第一目标眼睛图像的光反射信息确定角膜反射点；根据所述瞳孔中心点和所述角膜反射点，确定所述目标对象的眼球运动情况。
7.根据第二方面，提供了一种眼动追踪装置，包括：图像获取单元，用于获取目标对象的多帧眼睛图像，其中，所述眼睛图像中包括光反射信息；
图像补全单元，用于响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像；瞳孔中心确定单元，用于确定所述第一目标眼睛图像的瞳孔中心点；角膜反射点确定单元，用于根据所述第一目标眼睛图像的光反射信息确定角膜反射点；眼动追踪单元，用于根据所述瞳孔中心点和所述角膜反射点，确定所述目标对象的眼球运动情况。
8.根据第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如眼动追踪方法中任一实施例的方法。
9.根据第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如眼动追踪方法中任一实施例的方法。
10.根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如眼动追踪方法中任一实施例的方法。
11.根据本技术的方案，对获取的多帧眼睛图像中的瞳孔区域判断完整度，判断出眼睛图像中的瞳孔区域的完整度低于预设完整度，即表明出现了眯眼、瞳孔被物体（例如，眼镜框、睫毛、眼部化妆物等物体）部分遮挡等情况导致的瞳孔区域不完整的现象，则对眼睛图像中的瞳孔区域进行补全处理，得到瞳孔区域达到预设完整度（即瞳孔区域完整）的第一目标眼睛图像，进而基于第一目标眼睛图像确定瞳孔中心点和角膜反射点，最后，根据瞳孔中心点和角膜反射点，确定目标对象的眼球运动情况，实现眼动追踪。本技术提出了判断瞳孔区域的完整度，并针对完整度低于预设完整度的瞳孔区域进行补全，使得可以基于完整度达到预设完整度的瞳孔区域提取瞳孔中心点，避免由于瞳孔区域不全或不完整的现象丢失大量信息，而导致的无法捕捉到瞳孔中心位置的问题，进而避免无法判定眼动状况的问题，有利于提高基于瞳孔中心的眼动追踪的精度和准确性，从而可以增强基于瞳孔中心的眼动追踪方法的鲁棒性。
附图说明
12.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：图1是本技术一些实施例可以应用于其中的示例性系统架构图；图2是根据本技术的眼动追踪方法的一个实施例的流程图；图3是根据本技术的眼动追踪方法的一个应用场景的示意图；图4是根据本技术的眼动追踪装置的一个实施例的结构示意图；图5是用来实现本技术实施例的眼动追踪方法的电子设备的框图。
具体实施方式
13.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
14.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
15.图1示出了可以应用本技术的眼动追踪方法或眼动追踪装置的实施例的示例性系统架构100。
16.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
17.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
18.这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块（例如用来提供分布式服务的多个软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。
19.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的眼睛图像等数据进行确定眼球运动情况等处理，并将处理结果（例如眼球运动情况）反馈给终端设备。
20.需要说明的是，本技术实施例所提供的眼动追踪处理方法可以由服务器105或者终端设备101、102、103执行，相应地，眼动追踪装置可以设置于服务器105或者终端设备101、102、103中。
21.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
22.继续参考图2，示出了根据本技术的眼动追踪方法的一个实施例的流程200。该眼动追踪方法，包括以下步骤：步骤201，获取目标对象的多帧眼睛图像，其中，所述眼睛图像中包括光反射信息；步骤202，响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像；步骤203，确定所述第一目标眼睛图像的瞳孔中心点；步骤204，根据所述第一目标眼睛图像的光反射信息确定角膜反射点；步骤205，根据所述瞳孔中心点和所述角膜反射点，确定所述目标对象的眼球运动情况。
23.在本实施例中，眼动追踪方法运行于其上的执行主体（例如图1所示的服务器或终端设备）可以判断瞳孔区域的完整度，并针对完整度低于预设完整度（即瞳孔区域补全或不完整）的瞳孔区域进行补全，使得可以基于完整度达到预设完整度的瞳孔区域提取瞳孔中心点，避免由于瞳孔区域不全或不完整的现象丢失大量信息，而导致的无法捕捉到瞳孔中心位置的问题，进而避免无法判定眼动状况的问题，有利于提高基于瞳孔中心的眼动追踪（例如，瞳孔-角膜反射追踪方法）的精度和准确性，从而可以增强基于瞳孔中心的眼动追踪
方法的鲁棒性。
24.在本实施例的一些可选的实现方式中，可以基于补全后的瞳孔区域的瞳孔中心点进行眼动追踪，也可以基于本身完整度达到预设完整度（即瞳孔区域完整）的瞳孔区域和补全后的瞳孔区域的瞳孔中心点进行眼动追踪。
25.在本实施例的一些可选的实现方式中，本技术发明人考虑到，现有的瞳孔-角膜反射追踪方法，是通过角膜反射点和瞳孔的相对位置来判断眼球活动的，而在实际使用场景中，瞳孔被睫毛、眼镜框、眼部化妆物等物体部分遮挡的可能性很大，而尤其基于视觉信息的神经认知科学、精神心理科学、市场营销学、用户研究等研究实验，受试者眯眼的现象常有发生。以上这些情况都会导致瞳孔区域图像的不完整，使得现有瞳孔-角膜反射追踪方法无法捕捉到瞳孔中心的位置，进而影响到眼动追踪的精度和准确性。因此，本技术提出了判断瞳孔区域是否完整、对不完整的瞳孔区域进行补全等步骤，得到上述眼动追踪方法，从而使整个眼动过程都能被稳定、准确地记录到，解决基于瞳孔区域的眼动追踪方法对于眯眼、睫毛等物体部分遮挡瞳孔等情况无能为力的缺陷，以提高基于瞳孔区域的眼动追踪方法的精度和准确性。上述判断瞳孔区域是否完整、对不完整的瞳孔区域进行补全等步骤，可以添加在任意基于瞳孔区域进行的眼动追踪方法上，例如，可以添加在现有的瞳孔-角膜反射追踪方法上。
26.在本实施例的一些可选的实现方式中，上述眼睛图像可以在眼动追踪过程中通过摄像机、相机等图像采集设备实时动态采集得到。采集上述眼睛图像的方法可以采用现有瞳孔-角膜反射追踪方法中获取眼睛图像的方法，例如，将红外光以一定倾斜角度打向目标对象的眼睛，此时瞳孔的反射会出现“暗瞳”现象，产生瞳孔比虹膜暗的效果；再通过摄像机等图像采集设备采集这些带有红外光反射信息的眼睛的图像即可。
27.在本实施例的一些可选的实现方式中，在眼睛图像中提取瞳孔区域和红外光在眼睛角膜的反射点的过程，可以基于灰度进行图像分割来实现。例如，在每一帧眼睛图像中，基于灰度进行图像分割，可以将眼睛图像中灰度值最高（即最亮）的区域确定为红外光在角膜的反射点，提取反射点的位置；可以将眼睛图像中灰度值最低（即最暗）的区域确定为瞳孔区域。
28.在本实施例的一些可选的实现方式中，在每一帧眼睛图像中提取瞳孔区域的过程中，本技术对瞳孔区域的形状、尺寸大小不做具体限定，可以根据具体需求确定，只要各帧眼睛图像中提取的瞳孔区域在形状、尺寸大小上保持一致即可。
29.在本实施例的一些可选的实现方式中，为了实现可以准确、有效地判断出每一帧眼睛图像中瞳孔区域的完整度是否达到预设完整度（即瞳孔区域是否完整），可以通过判断瞳孔区域的形状是否为圆形的方式来实现，例如，若确定出的瞳孔区域的形状为圆形，则判断瞳孔区域的完整度达到预设完整度，即表明未出现瞳孔被部分遮挡的现象，瞳孔区域完整；若确定出瞳孔区域的形状不为圆形，则判断瞳孔区域的完整度低于预设完整度，即表明出现了瞳孔被部分遮挡的现象，瞳孔区域不完整。
30.在本实施例的一些可选的实现方式中，为了实现可以进一步精准地判断出每一帧眼睛图像中瞳孔区域的完整度是否达到预设完整，在本实施例中，还提出了基于圆度来判断瞳孔区域的完整性，例如，确定每一帧所述眼睛图像中瞳孔区域的圆度；
判断瞳孔区域的圆度是否达到预设圆度阈值，若是，则判断瞳孔区域的完整度达到预设完整度，即瞳孔区域完整；若否，即瞳孔区域的圆度低于预设圆度阈值，则判断瞳孔区域的完整度低于预设完整度，即瞳孔区域不完整。
31.在本实施例的一些可选的实现方式中，上述预设圆度阈值的大小可以根据实际情况具体确定，纯圆形的圆度r为1，由于瞳孔区域可以是圆形也可以是其他形状，因此，为了可以兼顾判断的准确性和瞳孔区域形状的多样性，上述预设圆度阈值可以设置为0.8。即将每帧眼睛图像中瞳孔区域的圆度r与0.8比较大小；若r大于等于0.8，则瞳孔区域的完整度达到预设完整度，瞳孔区域为完整的，为瞳孔未被遮挡情况下良好采集的瞳孔图像；若r小于0.8，则瞳孔区域的完整度低于预设完整度，瞳孔区域为不完整的，为瞳孔被部分遮挡情况下采集的不完整或补全的瞳孔图像。
32.在本实施例的一些可选的实现方式中，可以根据瞳孔区域的面积与瞳孔区域的周长的平方之间的比值，确定每一帧眼睛图像中瞳孔区域的圆度。
33.在本实施例的一些可选的实现方式中，具体可以通过以下公式确定每一帧所述眼睛图像中所述瞳孔区域的圆度：其中，r为圆度，s为所述瞳孔区域的面积，c为所述瞳孔区域的周长。
34.在本实施例的一些可选的实现方式中，为了确保补全后的瞳孔区域的准确性、补全过程的可行性，在本实施例中，提出了采用目标对象在同一眼动追踪过程中的，瞳孔区域的完整度达到预设完整度的眼睛图像（即本身完整的瞳孔区域，未缺失或未被遮挡的完整的瞳孔区域）来补全该同一眼动追踪过程中完整度低于预设完整度（即不完整的）的瞳孔区域，例如，在所述多帧眼睛图像中，确定出瞳孔区域的完整度达到所述预设完整度的至少一帧眼睛图像，得到至少一帧第二目标眼睛图像；基于所述至少一帧第二目标眼睛图像对所述眼睛图像中的瞳孔区域进行补全处理，得到所述第一目标眼睛图像。
35.即实现了充分考虑眼动追踪的特点和现有技术，无需在眼动追踪中添加额外流程，也无需建立海量的眼睛图像数据库，而是利用了目标对象在同一眼动追踪过程中正常睁眼状态下的优质、完整的瞳孔区域图像，来补全该同一眼动追踪过程中不完整的瞳孔区域，既保证了方案的便利和可行性，又在根本上使用同一个体的图像进行瞳孔区域的填补，有利于避免个体化差异导致的精度丢失。
36.在本实施例的一些可选的实现方式中，可以基于至少一帧第二目标眼睛图像对所述眼睛图像中的瞳孔区域进行补全处理，得到所述第一目标眼睛图像，以满足捕捉到瞳孔中心位置的需求，来提高基于瞳孔中心的眼动追踪（例如，瞳孔-角膜反射追踪方法）的精度和准确性。此外，为了更进一步提高瞳孔区域补全的精确度，还可以在至少一帧第二目标眼睛图像中筛选出瞳孔区域的完整度达到标准完整度的一帧或多帧第二目标眼睛图像，该标准完整度高于预设完整度，进而基于筛选出的一帧或多帧第二目标眼睛图像对所述眼睛图像中的瞳孔区域进行补全处理，得到所述第一目标眼睛图像。
37.在本实施例的一些可选的实现方式中，为了进一步实现瞳孔区域的精准填补，确
保补全后的瞳孔区域的准确性和精度，在本实施例中，提出了先确定出不完整的瞳孔区域中的待补全区域，进而进行精准补全，例如，确定眼睛图像的灰度值；根据所述灰度值确定所述眼睛图像中瞳孔区域的待补全区域；基于所述至少一帧第二目标眼睛图像对所述待补全区域进行补全处理，得到所述第一目标眼睛图像。
38.具体的，在眼睛图像的不完整的瞳孔区域中，可以将灰度值大于预设灰度值的区域确定为待补全区域。
39.具体的，上述预设灰度值的大小可以根据实际情况具体确定，由于瞳孔区域是眼睛图像中灰度值最低（即最暗）的区域，待补全区域的灰度值应该相对正常瞳孔区域的灰度值更大或更亮，因此，上述预设灰度值的大小可以基于瞳孔区域的灰度值确定，旨在于通过预设灰度值在不完整的瞳孔区域中将灰度值明显或者异常大于眼睛图像中最低灰度值的区域确定为待补全区域。例如，上述预设灰度值可以是比眼睛图像中最低灰度值高出一定数值的灰度值。
40.在本实施例的一些可选的实现方式中，为了进一步确保补全后的瞳孔区域的准确性和精度，在本实施例中，提出了在至少一帧第二目标眼睛图像中，选出与待补全区域最匹配的图像补全待补全区域，例如，确定所述眼睛图像的第一匹配内容，确定所述至少一帧第二目标眼睛图像的第二匹配内容；根据所述眼睛图像的第一匹配内容与所述至少一帧第二目标眼睛图像的第二匹配内容确定匹配误差，将匹配误差最小的第二目标眼睛图像确定为参考图像；根据所述参考图像对所述待补全区域进行补全处理，得到所述第一目标眼睛图像。
41.在本实施例的一些可选的实现方式中，为了进一步确保匹配误差最小的第二目标眼睛图像与待补全区域的高匹配度，在本实施例中，提出了确定匹配内容的方法，例如，在所述眼睛图像中，确定包含所述待补全区域的第一参考区域，将所述第一参考区域中除了所述待补全区域之外的像素点确定为所述眼睛图像的第一匹配内容；在第二目标眼睛图像中，将与所述待补全区域对应的区域确定为目标区域，确定包含所述目标区域的第二参考区域，在所述第二参考区域中将除了所述目标区域之外的像素点确定为所述第二目标眼睛图像的第二匹配内容。
42.具体的，可以将第一匹配内容中的像素点分别与每帧第二目标眼睛图像的第二匹配内容中像素点进行所有特征的匹配，得到多个匹配误差，从而可以在多个匹配误差中确定出匹配误差最小的第二目标眼睛图像，即上述参考图像。
43.例如，经过匹配内容确定参考图像的过程包括以下步骤：1.将待补全区域外的80个像素点的区域作为第一匹配内容，同样将第二目标眼睛图像中目标区域外的80个像素点的区域作为第二匹配内容，将第一匹配内容分别与数据库中每一张瞳孔区域完整采集的第二目标眼睛图像的第二匹配内容进行匹配；2.匹配过程为，通过将数据库中的第二目标眼睛图像的目标区域分别放置在待补全区域上，分别针对每帧第二目标眼睛图像计算第一匹配内容和第二匹配内容的匹配误差；3.使用基于灰度的均方差mse来计算匹配误差，对比这80个像素点的均方根；
4.取mse最小的那一次匹配，作为匹配结果，即取mse最小的那一次匹配对应的第二目标眼睛图像作为参考图像。
44.在本实施例的一些可选的实现方式中，为了确保补全处理后的待补全区域的准确性、真实有效，在本实施例中，采用所述参考图像中的所述目标区域对所述待补全区域进行补全处理，得到所述第一目标眼睛图像。因为确定出的参考图像的目标区域和正常情况（即未缺失或未遮挡的情况）下的待补全区域应该是最相似的，因此，采用参考图像中的目标区域对待补全区域进行补全处理，可以最大程度的确保补全处理后的待补全区域的准确性、真实有效性。
45.在本实施例的一些可选的实现方式中，为了确保对待补全区域的补全效果的准确、精细，在本实施例中，提出了根据所述参考图像对所述待补全区域进行补全处理后，融合所述待补全区域的边界区域，得到所述第一目标眼睛图像。
46.具体的，可以采用泊松融合方法，来融合所述待补全区域的边界，以补全待补全区域。
47.在本实施例的一些可选的实现方式中，为了进一步确保补全处理后的瞳孔区域的完整度，在本实施例中，提出了对待补全区域进行多次补全处理，例如，确定经过补全处理后的所述眼睛图像中的瞳孔区域是否达到所述预设完整度；若否，则再次对所述眼睛图像中的瞳孔区域进行补全处理，直至补全处理后的瞳孔区域的的完整度达到所述预设完整度，得到所述第一目标眼睛图像。
48.例如，针对某个不完整的瞳孔区域，基于补全后的瞳孔区域计算圆度，将圆度与0.8（预设圆度阈值）比较大小，如圆度大于0.8，则表示某个不完整的瞳孔区域已经补全完整，无需再进行补全；如圆度小于0.8，则表示某个不完整的瞳孔区域还未补全完整，仍需继续进行补全，直至圆度大于0.8为止。
49.在本实施例的一些可选的实现方式中，对完整度低于预设完整度的瞳孔区域进行补全的过程，可以在眼动追踪过程中实时、动态的实现，即针对眼动追踪过程当前时刻获取的每帧眼睛图像，若当前帧眼睛图像中的瞳孔区域的完整度低于预设完整度，则可以实时的采用当前时刻之前已经判断出的多帧眼睛图像中完整度达到预设完整度的瞳孔区域来补全当前帧眼睛图像中的瞳孔区域。
50.在本实施例的一些可选的实现方式中，对完整度低于预设完整度的瞳孔区域进行补全的过程，还可以在眼动追踪过程后实现，即针对眼动追踪过程中获取的每帧眼睛图像，若某帧眼睛图像中的瞳孔区域的完整度低于预设完整度，则可以采用整个眼动追踪过程已经判断出的多帧眼睛图像中完整度达到预设完整度的瞳孔区域来补全某帧眼睛图像中的瞳孔区域。
51.在本实施例的一些可选的实现方式中，在判断每一帧眼睛图像中瞳孔区域的完整度是否达到预设完整度后，可以基于瞳孔区域的完整情况对眼睛图像做对应的标记，例如，若某帧眼睛图像中瞳孔区域的完整度达到预设完整度，即为完整的瞳孔区域，则将某帧眼睛图像确定为上述第二目标眼睛图像，可以标记为“正常瞳孔区域”或其他形式的表示瞳孔区域完整的标识（例如，数字、字符等），若某帧眼睛图像中瞳孔区域的完整度低于预设完整度，即为不完整的瞳孔区域，则将某帧眼睛图像标记为“待补全瞳孔区域”或其他形式的表示瞳孔区域不完整的标识（例如，数字、字符等），将标识后的眼睛图像存入图像库中，以便
在补全瞳孔区域的过程中可以直接从图像库中快速、准确的读取多帧瞳孔区域完整的眼睛图像进行匹配的过程，以提高补全瞳孔区域的效率和准确性。
52.在本实施例的一些可选的实现方式中，针对本身完整的瞳孔区域或者补全后完整的瞳孔区域，可以利用圆形质心算法确定瞳孔中心点。
53.在本实施例的一些可选的实现方式中，可以基于多帧第一目标眼睛图像中瞳孔中心点和角膜反射点的相对位置情况，确定目标对象的眼球运动情况，或者，可以基于多帧第一目标眼睛图像和第二目标眼睛图像中瞳孔中心点和角膜反射点的相对位置情况，确定目标对象的眼球运动情况。
54.在本实施例的一些可选的实现方式中，上述眼动追踪方法可以应用在基于视觉信息的神经认知科学、精神心理科学、市场营销学、用户研究、阅读测试下的眼动研究等应用场景，以便为眼动研究提供准确、有效的眼动数据。
55.继续参见图3，图3是根据本实施例的眼动追踪方法的应用场景的一个示意图。在图3的应用场景中，执行主体301获取目标对象的多帧眼睛图像302，其中，所述眼睛图像中包括光反射信息。执行主体301响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像303。执行主体301确定所述第一目标眼睛图像的瞳孔中心点304。执行主体301根据所述第一目标眼睛图像的光反射信息确定角膜反射点305。执行主体301根据所述瞳孔中心点304和所述角膜反射点305，确定所述目标对象的眼球运动情况306。
56.进一步参考图4，作为对上述各图所示方法的实现，本技术提供了一种眼动追踪装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。
57.如图4所示，本实施例的眼动追踪装置400包括：图像获取单元401、图像补全单元402、瞳孔中心确定单元403、角膜反射点确定单元404和眼动追踪单元405。其中，图像获取单元401，被配置成获取目标对象的多帧眼睛图像，其中，所述眼睛图像中包括光反射信息；图像补全单元402，被配置成响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像；瞳孔中心确定单元403，被配置成确定所述第一目标眼睛图像的瞳孔中心点；角膜反射点确定单元404，被配置成根据所述第一目标眼睛图像的光反射信息确定角膜反射点；眼动追踪单元405，被配置成根据所述瞳孔中心点和所述角膜反射点，确定所述目标对象的眼球运动情况。
58.在本实施例中，眼动追踪装置400的图像获取单元401、图像补全单元402、瞳孔中心确定单元403、角膜反射点确定单元404和眼动追踪单元405的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203、步骤204和步骤205的相关说明，在此不再赘述。
59.在本实施例的一些可选的实现方式中，图像补全单元，包括：图像确定子单元，被配置成在所述多帧眼睛图像中，确定出瞳孔区域的完整度达到所述预设完整度的至少一帧眼睛图像，得到至少一帧第二目标眼睛图像；补全子单元，被配置成基于所述至少一帧第二目标眼睛图像对所述眼睛图像中的瞳孔区域进行补全处理，得到所述第一目标眼睛图像。
60.在本实施例的一些可选的实现方式中，补全子单元，被配置成确定所述眼睛图像的灰度值；根据所述灰度值确定所述眼睛图像中瞳孔区域的待补全区域；基于所述至少一帧第二目标眼睛图像对所述待补全区域进行补全处理，得到所述第一目标眼睛图像。
61.在本实施例的一些可选的实现方式中，补全子单元，被配置成确定所述眼睛图像的第一匹配内容，确定所述至少一帧第二目标眼睛图像的第二匹配内容；根据所述眼睛图像的第一匹配内容与所述至少一帧第二目标眼睛图像的第二匹配内容确定匹配误差，将匹配误差最小的第二目标眼睛图像确定为参考图像；根据所述参考图像对所述待补全区域进行补全处理，得到所述第一目标眼睛图像。
62.在本实施例的一些可选的实现方式中，补全子单元，被配置成在所述眼睛图像中，确定包含所述待补全区域的第一参考区域，将所述第一参考区域中除了所述待补全区域之外的像素点确定为所述眼睛图像的第一匹配内容；在第二目标眼睛图像中，将与所述待补全区域对应的区域确定为目标区域，确定包含所述目标区域的第二参考区域，在所述第二参考区域中将除了所述目标区域之外的像素点确定为所述第二目标眼睛图像的第二匹配内容。
63.在本实施例的一些可选的实现方式中，补全子单元，被配置成采用所述参考图像中的所述目标区域对所述待补全区域进行补全处理，得到所述第一目标眼睛图像。
64.在本实施例的一些可选的实现方式中，补全子单元，被配置成确定经过补全处理后的所述眼睛图像中的瞳孔区域的完整度是否达到所述预设完整度；若否，则再次对所述眼睛图像中的瞳孔区域进行补全处理，得到所述第一目标眼睛图像。
65.在本实施例的一些可选的实现方式中，图像补全单元，包括：判断子单元，被配置成确定所述眼睛图像中瞳孔区域的圆度；判断所述瞳孔区域的圆度低于预设圆度阈值，确定所述瞳孔区域的完整度低于所述预设完整度。
66.根据本技术的实施例，本技术还提供了一种电子设备、一种非易失性计算机可读存储介质和计算机程序产品。
67.如图5所示，是根据本技术实施例的眼动追踪方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
68.如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图5中以一个处理器501为例。
69.存储器502即为本技术所提供的非瞬时（非易失性）计算机可读存储介质。其中，存
储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本技术所提供的眼动追踪方法。本技术的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本技术所提供的眼动追踪方法。
70.存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本技术实施例中的眼动追踪方法对应的程序指令/模块（例如，附图4所示的图像获取单元401、图像补全单元402、瞳孔中心确定单元403、角膜反射点确定单元404和眼动追踪单元405）。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的眼动追踪方法。
71.存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据眼动追踪方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至眼动追踪方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
72.眼动追踪方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
73.输入装置503可接收输入的数字或字符信息，以及产生与眼动追踪方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置（例如，led）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（lcd）、发光二极管（led）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
74.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
75.这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（pld）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
76.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
77.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
78.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
79.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
80.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像补全单元、瞳孔中心确定单元、角膜反射点确定单元和眼动追踪单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，眼动追踪单元还可以被描述为“确定眼动情况的单元”。
81.作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取目标对象的多帧眼睛图像，其中，所述眼睛图像中包括光反射信息；响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像；确定所述第一目标眼睛图像的瞳孔中心点；根据所述第一目标眼睛图像的光反射信息确定角膜反射点；根据所述瞳孔中心点和所述角膜反射点，确定所述目标对象的眼球运动情况。
82.作为另一方面，本技术还提供了一种计算机程序产品，该计算机程序产品可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机程序产品承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取目标对象的多帧眼睛图像，其中，所述眼睛图像中包括光反射信息；响应于判断所述眼睛图像中的瞳孔区域的完整度低于预设完整度，对所述眼睛图像中的瞳孔区域进行补全处理，得到第一目标眼睛图像；确定所述第一目标眼睛图像的瞳孔中心点；根据所述第一目标眼睛图像的光反射信息确定角膜反射点；根据所述瞳孔中心点和所述角膜反射点，确定所述目标对象的眼球运动情况。
83.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。