瞳孔检测方法及相关产品与流程

本申请涉及瞳孔检测技术领域，具体涉及一种瞳孔检测方法及相关产品。

背景技术：

随着电子设备(如手机、平板电脑等等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。

电子设备可用于实现瞳孔检测的技术，并将瞳孔检测的技术应用到电子设备的实际交互场景，例如，可通过电子设备进行瞳孔检测，进而实现眼球追踪，确定用户关注电子设备的屏幕上的关注点，从而根据用户关注屏幕的关注点进行下一步的操作。现在的眼球追踪系统通过采集一帧图像来识别瞳孔的位置，但在实际采集眼部图像的过程中，当用户眼皮下垂，或者用户向下看，又或者，用户戴眼镜的情况下，在一些角度采集的眼部图像中会出现瞳孔被遮挡，导致无法识别到瞳孔中心位置，影响眼球追踪系统的效率和准确度。

技术实现要素：

本申请实施例提供了一种瞳孔检测方法及相关产品，能够解决瞳孔被遮挡的问题，提高瞳孔检测的效率和准确度。

第一方面，本申请实施例提供一种瞳孔检测方法，所述方法包括如下步骤：

获取第一眼部图像；

若所述第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，其中，所述被遮挡区域至少包括部分瞳孔区域；

根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像；

基于所述第二眼部图像进行瞳孔检测，得到瞳孔中心位置。

第二方面，本申请实施例提供一种瞳孔检测装置，所述装置包括：

获取单元，用于获取第一眼部图像；

确定单元，用于若所述第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，其中，所述被遮挡区域至少包括部分瞳孔区域；

修复单元，用于根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像；

检测单元，用于基于所述第二眼部图像进行瞳孔检测，得到瞳孔中心位置。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中提供的瞳孔检测方法及相关产品，通过获取第一眼部图像；若第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与第一眼部图像匹配成功的目标人眼图像模板；根据目标人眼图像模板对第一眼部图像进行修复，得到第二眼部图像；基于第二眼部图像进行瞳孔检测，得到瞳孔中心位置，如此，在采集的第一眼部图像中瞳孔有被遮挡的情况下，通过人眼图像模板将被遮挡的第一眼部图像进行修复，从而解决瞳孔被遮挡的问题，提高瞳孔检测的效率和准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的一种电子设备的结构示意图；

图1b是本申请实施例提供的一种眼球追踪场景下电子设备中的运行眼球追踪应用的演示示意图；

图1c是本申请实施例提供的一种瞳孔检测方法的流程示意图；

图1d是本申请实施例提供的一种通过摄像头进行瞳孔检测时进行图像拍摄的场景示意图；

图1e是本申请实施例提供的一种瞳孔区域被全部遮挡的第一眼部图像的演示示意图；

图1f是本申请实施例提供的一种瞳孔区域被部分遮挡的第一眼部图像的演示示意图；

图1g是本申请实施例提供的使用模板瞳孔区域的每一模板像素点替换被遮挡区域中与该模板像素点对应的区域像素点的演示示意图；

图1h是本申请实施例提供的一种根据多个第一模板像素点对多个第一区域像素点进行修复的演示示意图；

图1i是本申请实施例提供的一种根据多个第一模板像素点对多个第一区域像素点进行修复的另一种演示示意图；

图2是是本申请实施例提供的另一种瞳孔检测方法的流程示意图；

图3a是本申请实施例提供的一种眼球追踪场景下确定注视点的流程示意图；

图3b是本申请实施例提供的一种眼球追踪场景下进行瞳孔检测的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种瞳孔检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，ue)，移动台(mobilestation，ms)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1a，图1a是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(voiceoverinternetprotocol,voip)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。

传感器170可以包括红外(ir)摄像头或rgb摄像头，ir摄像头在拍摄时，瞳孔反射红外光，因此ir摄像头在拍摄瞳孔图像会比rgb相机更加准确；rgb摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比ir摄像头要高，通用性比ir摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ito)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(nearfieldcommunication，nfc)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

在眼球追踪场景下，电子设备可以运行眼球追踪应用，请参阅图1b，图1b为本申请实施例提供的一种眼球追踪场景下电子设备中的运行眼球追踪应用的演示示意图，其中，存储和处理电路110中的存储器可存储多个应用程序，例如电子书、浏览器、支付应用、系统应用，存储和处理电路110中的一个或多个微处理器还可用于运行安装的应用程序，以实现各个功能，例如可以实现解锁功能，又例如可以实现用户眼球注视点跟踪的功能，实现注视点跟踪的功能，需要进行眼球追踪。其中，眼球注视点为用户的眼球注视电子设备所在平面的注视点位置，眼球追踪软件开发工具包接口是电子设备为眼球追踪应用提供的软件开发工具包(softwaredevelopmentkit，sdk)接口，负责为眼球追踪应用提供获取注视点以及输入的应用程序接口(applicationprogramminginterface，api)接口，其中，眼球追踪服务负责管理注视点算法、确定注视点后处理、输入处理以及鉴权和参数设置，眼球追踪核心算法可包括标定算法和估计注视点算法，眼球追踪策略与注视点算法后处理相关。主要包括滤波注视点跳动、注视点转监听注视点输入的应用，眼球追踪鉴权用于回调各模块，负责鉴权请求者是否被允许，参数设置模块用于解析配置和实时更新配置，瞳孔修复模块用于创建人眼图像模板库，以及用于对采集的第一眼部图像进行修复。其中，眼球追踪服务还可通过照相机原生开发工具包(nativedevelopmentkit，ndk)接口调用照相机应用，照相机应用会调用摄像头，通过摄像头采集第一眼部图像。

请参阅图1c，图1c是本申请实施例提供的一种瞳孔检测方法的流程示意图，应用于如图1a所示的电子设备，如图1c所示，本申请提供的瞳孔检测方法包括：

101、获取第一眼部图像。

其中，第一眼部图像是包含用户人眼部位的图像。

本申请实施例中，获取第一眼部图像，可通过电子设备上设置的摄像头拍摄第一眼部图像。采集后的第一眼部图像可用于进行眼球追踪，在眼球追踪场景下，电子设备可在进行眼球追踪过程中，通过摄像头采集第一眼部图像进行瞳孔检测，以检测得到瞳孔在第一眼部图像的瞳孔中心位置，从而进一步根据瞳孔中心位置确定用户关注电子设备屏幕的注视点，进而根据该注视点控制电子设备的操作。请参阅图1d，图1d为本申请实施例提供的一种通过摄像头拍摄第一眼部图像的场景示意图，在具体拍摄场景下，当用户眼皮下垂，或者用户向下看，又或者，用户戴眼镜的情况下，在一些角度采集的第一眼部图像中会出现瞳孔被遮挡，若拍摄到的第一眼部图像中瞳孔区域被遮挡，则对第一眼部图像进行瞳孔检测时，无法直接得到瞳孔中心位置，从而，可对第一眼部图像进行修复。

102、若所述第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，其中，所述被遮挡区域至少包括部分瞳孔区域。

其中，被遮挡区域至少包括部分瞳孔区域具体地可包括以下情况：第一眼部图像中的瞳孔区域被全部遮挡，但其他眼部区域未被完全遮挡，或者，第一眼部图像中的一部分瞳孔区域被遮挡，但另一部分瞳孔区域未被遮挡，其他眼部区域未被完全被遮挡。请参阅图1e，图1e为本申请实施例提供的一种瞳孔区域被全部遮挡的第一眼部图像的演示示意图，请参阅图1f，图1f为本申请实施例提供的一种部分瞳孔区域被遮挡的第一眼部图像的演示示意图。

具体实现中，电子设备可预先设置人眼图像模板库，人眼图像模板库中可包括不同角度、不同距离下采集的多个人眼图像模板，每一人眼图像模板的人眼区域都未被遮挡。从而，若第一眼部图像为被部分遮挡的眼部图像，可确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板。

可选地，上述步骤102中，确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，可包括以下步骤：

21、将所述第一眼部图像与所述预设的人眼图像模板库中的多个人眼图像模板进行匹配，得到多个匹配值；

22、若所述多个匹配值中存在大于预设匹配值的目标匹配值，确定所述目标匹配值对应的人眼图像模板与所述第一眼部图像匹配成功，并将所述目标匹配值对应的人眼图像模板确定为目标人眼图像模板。

其中，将所述第一眼部图像与所述预设的人眼图像模板库中的多个人眼图像模板进行匹配，可首先获取摄像头拍摄第一眼部图像的第一拍摄角度和第一拍摄距离，然后将第一拍摄角度与多个人眼图像模板中每一人眼图像模板对应的拍摄角度进行匹配，得到第一匹配分值，以及，将第一拍摄距离与多个人眼图像模板中每一人眼图像模板对应的拍摄距离进行匹配，得到第二匹配分值，进而确定第一匹配分值和第二匹配分值之和，得到与该人眼图像模板对应的匹配值，从而，可确定多个人眼图像模板与第一眼部图像进行匹配的多个匹配值，每一人眼图像模板对应一个匹配值，最后，可确定多个匹配值中大于预设匹配值的目标匹配值对应的目标人眼图像模板。如此，可确定拍摄角度与第一拍摄角度最接近，拍摄距离与第一拍摄距离最接近的目标人眼图像模板。

可选地，将所述第一眼部图像与所述预设的人眼图像模板库中的多个人眼图像模板进行匹配，还可将第一眼部图像进行特征提取，得到第一人眼特征集，然后将第一特征集与多个人眼图像模板中每一人眼图像模板对应的人眼特征集进行匹配，得到与该人眼图像模板对应的匹配值，从而，可确定多个人眼图像模板与第一眼部图像进行匹配的多个匹配值，每一人眼图像模板对应一个匹配值，最后，可确定多个匹配值中大于预设匹配值的目标匹配值对应的目标人眼图像模板，如此，可确定人眼特征与第一人眼特征集最接近的目标人眼图像模板。

可选地，本申请实施例中，还可包括以下步骤：

1021、对所述第一眼部图像进行特征提取，得到多个眼部图像特征，所述多个眼部图像特征中包括多个眼部轮廓特征；

1022、根据所述多个眼部轮廓特征预测瞳孔参考区域；

1023、将所述多个眼部图像特征中处于所述瞳孔参考区域的部分眼部图像特征与预设瞳孔图像特征进行匹配，得到匹配结果，若匹配结果不满足预设条件，确定所述第一眼部图像包括被遮挡区域。

本申请实施例中，在获取到第一眼部图像后，可先对第一眼部图像进行特征提取，得到多个眼部图像特征，由于第一眼部图像中不同区域呈现的眼部图像特征不一样，因此，可根据多个眼部轮廓特征预测瞳孔参考区域，然后，将多个眼部图像特征中处于瞳孔参考区域的部分眼部图像特征与预设瞳孔图像特征进行匹配，其中，电子设备中可预先存储预设瞳孔图像特征，从而，可将预测的瞳孔参考区域的部分眼部图像特征与预设瞳孔图像特征进行匹配，得到匹配结果，具体地，假定预测的瞳孔参考区域的部分眼部图像特征包括m个眼部图像特征，m为大于1的整数，可将m个眼部图像特征中每一眼部图像特征与预设瞳孔图像特征进行匹配，得到m个特征匹配值，将该m个特征匹配值作为匹配结果，若m个特征匹配值中存在小于或等于预设匹配值的n个特征匹配值，且n与m的比值大于预设比值，确定所述第一眼部图像包括被遮挡区域，其中，n为小于m的正整数，进而，可确定第一眼部图像为被部分遮挡的眼部图像。

103、根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像。

其中，考虑到第一眼部图像中存在瞳孔区域被遮挡的情况，由于目标人眼图像模板为与第一眼部图像最接近的人眼图像模板，因此，可根据目标人眼图像模板对第一眼部图像进行修复，从而，可得到包括完整的瞳孔区域的第二眼部图像。

可选地，上述步骤103中，根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像，可包括以下步骤：

31、确定所述被遮挡区域；

32、确定所述目标人眼图像模板中与所述被遮挡区域对应的模板瞳孔区域；

33、根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像。

其中，可对第一眼部图像进行图像分析，确定第一眼部图像中与预设眼部像素点不一致的像素点集对应的区域为被遮挡区域，预先眼部像素点可以为预设瞳孔区域像素点，或者，还可确定第一眼部图像中与目标人眼图像模板对应的像素点信息不一致的像素点集对应的区域为被遮挡区域。

其中，确定目标人眼图像模板中的模板瞳孔区域，可对目标人眼图像模板进行瞳孔特征提取，得到瞳孔特征点，根据瞳孔特征点确定包含瞳孔特征点的预设范围大小的区域为模板瞳孔区域。

其中，根据模板瞳孔区域对被遮挡区域进行修复，得到所述第二眼部图像，可将模板瞳孔区域的像素点替换第一眼部图像中对应像素点，得到第二眼部图像。

可选地，上述步骤33中，根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像，可包括以下步骤：

3301、使用所述模板瞳孔区域的每一模板像素点替换所述被遮挡区域中与该模板像素点对应的区域像素点，得到所述第二眼部图像。

请参阅图1g，图1g为本申请实施例提供的使用模板瞳孔区域的每一模板像素点替换被遮挡区域中与该模板像素点对应的区域像素点的演示示意图，当被遮挡区域中包括全部被遮挡的瞳孔区域，或者，被遮挡区域包括被遮挡的部分瞳孔区域时，均可使用模板瞳孔区域的每一模板像素点替换被遮挡区域中与该模板像素点对应的区域像素点，从而，可直接将目标人眼图像模板中的模板瞳孔区域作为第一眼部图像中的被修复后的全部瞳孔区域，得到第二眼部图像。

可选地，若所述被遮挡区域中包括被遮挡的部分瞳孔区域，上述步骤33中，根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像，可包括以下步骤：

3302、确定所述被遮挡区域中噪声大于预设阈值的多个第一区域像素点；

3303、确定所述模板瞳孔区域中与所述多个第一区域像素点一一对应的多个第一模板像素点；

3304、根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像。

请参阅图1h，图1h为本申请实施例提供的一种根据多个第一模板像素点对多个第一区域像素点进行修复的演示示意图，其中，若用户的瞳孔区域被部分遮挡，为了修复第一眼部图像中的被遮挡的部分瞳孔区域，可确定被遮挡区域中的噪声大于预设阈值的多个第一区域像素点，将多个第一区域像素点作为待修复的像素点，然后确定模板瞳孔区域中与所述多个第一区域像素点一一对应的多个第一模板像素点，最后，可根据多个第一模板像素点对多个第一区域像素点进行修复，得到所述第二眼部图像。

其中，一种可能的实施例中，根据第二模板像素点集对第二区域像素点集进行修复，具体可将第二模板像素点集中的每一模板像素点替换对应第二区域像素点集中的像素点，得到第二眼部图像。

可选地，上述步骤3304中，根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像，可包括以下步骤：

3341、确定所述第一眼部图像中未被遮挡的多个瞳孔区域像素点；

3342、根据所述多个瞳孔区域像素点确定加权系数；

3343、根据所述加权系数和所述多个第一模板像素点确定多个目标模板像素点，所述多个目标模板像素点与所述多个第一区域像素点一一对应；

3344、将所述多个目标模板像素点中每一目标模板像素点替换所述被遮挡区域中与该目标模板像素点对应的第一区域像素点，得到所述第二眼部图像。

其中，考虑到在用户的瞳孔区域被部分遮挡的情况下，还存在未被遮挡的部分瞳孔区域，因此，可确定第一眼部图像中未被遮挡的多个瞳孔区域像素点。本申请实施例中，请参阅图1i，图1i为本申请实施例提供的一种根据多个第一模板像素点对多个第一区域像素点进行修复的另一种演示示意图，其中，可确定多个瞳孔区域像素点中每一瞳孔区域像素点的灰度值，得到多个像素值，然后确定多个像素值的平均值，得到像素平均值，电子设备中可预先存储平均值与加权系数之间的映射关系，从而可根据该映射关系确定与像素平均值对应的加权系数，进而，根据该加权系数依次与多个第一模板像素点中每一第一模板像素点的像素值进行加权计算，得到多个目标模板像素点，最后将多个目标模板像素点中每一目标模板像素点替换被遮挡区域中与该目标模板像素点对应的第一区域像素点，得到第二眼部图像，如此，可将被遮挡的部分瞳孔区域进行修复。如此，可根据未被遮挡的部分瞳孔区域对被遮挡的另一部分瞳孔区域进行修复，更加准确地对第一眼部图像进行修复，得到第二眼部图像。

104、基于所述第二眼部图像进行瞳孔检测，得到瞳孔中心位置。

其中，在对第一眼部图像进行修复，得到包括瞳孔信息的第二眼部图像后，可根据第二眼部图像进行瞳孔检测，得到瞳孔中心位置。具体实施例中，可针对第二眼部图像进行瞳孔特征提取，得到目标瞳孔特征，然后根据目标瞳孔特征点确定第二眼部图像中的瞳孔中心位置。

可以看出，本申请实施例中通过获取第一眼部图像；若第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与第一眼部图像匹配成功的目标人眼图像模板；根据目标人眼图像模板对第一眼部图像进行修复，得到第二眼部图像；基于第二眼部图像进行瞳孔检测，得到瞳孔中心位置，如此，在采集的第一眼部图像中瞳孔有被遮挡的情况下，通过人眼图像模板将被遮挡的第一眼部图像进行修复，从而解决瞳孔被遮挡的问题，提高瞳孔检测的效率和准确度。

请参阅图2，图2为本申请实施例提供的一种瞳孔检测方法的流程示意图，所述方法包括：

201、获取第一眼部图像。

202、若所述第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，其中，所述被遮挡区域至少包括部分瞳孔区域。

203、确定所述被遮挡区域。

204、确定所述目标人眼图像模板中与所述被遮挡区域对应的模板瞳孔区域。

205、根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像。

206、基于所述第二眼部图像进行瞳孔检测，得到瞳孔中心位置。

其中，上述步骤201-206的具体实现过程可参照步骤101-步骤104中相应的描述，在此不再赘述。

可以看出，本申请实施例中通过获取第一眼部图像；若第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与第一眼部图像匹配成功的目标人眼图像模板；确定被遮挡区域；确定目标人眼图像模板中与被遮挡区域对应的模板瞳孔区域；根据模板瞳孔区域对被遮挡区域进行修复，得到第二眼部图像；基于第二眼部图像进行瞳孔检测，得到瞳孔中心位置，如此，在采集的第一眼部图像中瞳孔有被遮挡的情况下，通过人眼图像模板将被遮挡的第一眼部图像进行修复，从而解决瞳孔被遮挡的问题，提高瞳孔检测的效率和准确度

请参阅图3a-图3b，图3a为本申请实施例提供的一种眼球追踪场景下确定注视点的流程示意图，图3b为本申请实施例提供的一种眼球追踪场景下进行瞳孔检测的流程示意图，所述方法包括：

其中，与上述图1b一致的，如图3a所示，电子设备运行眼球追踪应用的过程中，可向眼球追踪服务请求获得眼球追踪注视点位置，眼球追踪服务可调用照相机应用，具体地，眼球追踪服务可向照相机应用请求获取第一眼部图像，从而，照相机应用会开启电子设备上的摄像头，通过摄像头采集第一眼部图像，摄像头会将采集的第一眼部图像传输至照相机应用，进而，照相机应用会将第一眼部图像传输至眼球追踪服务；进而，眼球追踪服务可调用存储器存储的眼球追踪核心算法，若存在瞳孔被遮挡的情况，可对第一眼部图像进行修复，得到具有完整瞳孔信息的第二眼部图像，进而，可针对第二眼部图像进行眼球追踪，得到眼球注视点位置，最后，眼球追踪服务可将眼球注视点位置传输至眼球追踪应用。

如图3b所示，在通过摄像头获取第一眼部图像后，可对所述第一眼部图像进行特征提取，得到多个眼部图像特征，多个眼部图像特征中包括多个眼部轮廓特征；根据所述多个眼部轮廓特征预测瞳孔参考区域；将所述多个眼部图像特征中处于所述瞳孔参考区域的部分眼部图像特征与预设瞳孔图像特征进行匹配，得到匹配结果，若匹配结果不满足预设条件，确定所述第一眼部图像包括被遮挡区域，确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，确定所述第一眼部图像中的被遮挡区域，确定所述目标人眼图像模板中与所述被遮挡区域对应的模板瞳孔区域，若被遮挡区域包括全部瞳孔区域，使用所述模板瞳孔区域的每一模板像素点替换所述被遮挡区域中与该模板像素点对应的区域像素点，得到所述第二眼部图像，若所述被遮挡区域中包括被遮挡的部分瞳孔区域，确定被遮挡区域中噪声大于预设阈值的多个第一区域像素点；确定所述模板瞳孔区域中与所述多个第一区域像素点一一对应的多个第一模板像素点；根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像，基于第二眼部图像进行瞳孔检测，得到瞳孔中心位置，最后，根据所述瞳孔中心位置确定眼球注视点位置，从而可实现眼球追踪场景下，确定眼球注视点位置。

可以看出，本申请实施例中通过获取第一眼部图像；若第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与第一眼部图像匹配成功的目标人眼图像模板；若被遮挡区域包括全部瞳孔区域，使用模板瞳孔区域的每一模板像素点替换被遮挡区域中与该模板像素点对应的区域像素点，得到第二眼部图像，若被遮挡区域中包括被遮挡的部分瞳孔区域，确定被遮挡区域中噪声大于预设阈值的多个第一区域像素点；确定模板瞳孔区域中与多个第一区域像素点一一对应的多个第一模板像素点；根据多个第一模板像素点对多个第一区域像素点进行修复，得到第二眼部图像；基于第二眼部图像进行瞳孔检测，得到瞳孔中心位置，如此，在采集的第一眼部图像中瞳孔有被遮挡的情况下，通过人眼图像模板将被遮挡的第一眼部图像进行修复，从而解决瞳孔被遮挡的问题，提高瞳孔检测的效率和准确度。

可见，通过上述方案，在不同情况下，均可实现对人眼瞳孔位置的检测，从而，可提高瞳孔检测的效率，改善现有技术中瞳孔检测的局限性。

以下是实施上述瞳孔检测方法的装置，具体如下：

与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器410、通信接口430和存储器420；以及一个或多个程序421，所述一个或多个程序421被存储在所述存储器420中，并且被配置成由所述处理器执行，所述程序421包括用于执行以下步骤的指令：

获取第一眼部图像；

若所述第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，其中，所述被遮挡区域至少包括部分瞳孔区域；

根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像；

基于所述第二眼部图像进行瞳孔检测，得到瞳孔中心位置。

在一个可能的示例中，在所述确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板方面，所述程序421包括用于执行以下步骤的指令：

将所述第一眼部图像与所述预设的人眼图像模板库中的多个人眼图像模板进行匹配，得到多个匹配值；

若所述多个匹配值中存在大于预设匹配值的目标匹配值，确定所述目标匹配值对应的人眼图像模板与所述第一眼部图像匹配成功，并将所述目标匹配值对应的人眼图像模板确定为目标人眼图像模板。

在一个可能的示例中，在所述根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像方面，所述程序421包括用于执行以下步骤的指令：

确定所述被遮挡区域；

确定所述目标人眼图像模板中与所述被遮挡区域对应的模板瞳孔区域；

根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像。

在一个可能的示例中，在所述根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像方面，所述程序421包括用于执行以下步骤的指令：

使用所述模板瞳孔区域的每一模板像素点替换所述被遮挡区域中与该模板像素点对应的区域像素点，得到所述第二眼部图像。

在一个可能的示例中，若所述被遮挡区域中包括被遮挡的部分瞳孔区域，在所述根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像方面，所述程序421包括用于执行以下步骤的指令：

确定所述被遮挡区域中噪声大于预设阈值的多个第一区域像素点；

确定所述模板瞳孔区域中与所述多个第一区域像素点一一对应的多个第一模板像素点；

根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像。

在一个可能的示例中，在所述根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像方面，所述程序421包括用于执行以下步骤的指令：

确定所述第一眼部图像中未被遮挡的多个瞳孔区域像素点；

根据所述多个瞳孔区域像素点确定加权系数；

根据所述加权系数和所述多个第一模板像素点确定多个目标模板像素点，所述多个目标模板像素点与所述多个第一区域像素点一一对应；

将所述多个目标模板像素点中每一目标模板像素点替换所述被遮挡区域中与该目标模板像素点对应的第一区域像素点，得到所述第二眼部图像。

在一个可能的示例中，所述程序421还包括用于执行以下步骤的指令：

对所述第一眼部图像进行特征提取，得到多个眼部图像特征，所述多个眼部图像特征中包括多个眼部轮廓特征；

根据所述多个眼部轮廓特征预测瞳孔参考区域；

将所述多个眼部图像特征中处于所述瞳孔参考区域的部分眼部图像特征与预设瞳孔图像特征进行匹配，得到匹配结果，若匹配结果不满足预设条件，确定所述第一眼部图像包括被遮挡区域。

请参阅图5，图5是本实施例提供的一种瞳孔检测装置的结构示意图，所述瞳孔检测装置500应用于电子设备，所述电子设备包括加速度传感器和摄像头，该装置500包括获取单元501、确定单元502、修复单元503和检测单元504，其中，

所述获取单元501，用于获取第一眼部图像；

所述确定单元502，用于若所述第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板，其中，所述被遮挡区域至少包括部分瞳孔区域；

所述修复单元503，用于根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像；

所述检测单元504，用于基于所述第二眼部图像进行瞳孔检测，得到瞳孔中心位置。

可选地，在所述确定预设的人眼图像模板库中与所述第一眼部图像匹配成功的目标人眼图像模板方面，所述确定单元502具体用于：

将所述第一眼部图像与所述预设的人眼图像模板库中的多个人眼图像模板进行匹配，得到多个匹配值；

若所述多个匹配值中存在大于预设匹配值的目标匹配值，确定所述目标匹配值对应的人眼图像模板与所述第一眼部图像匹配成功，并将所述目标匹配值对应的人眼图像模板确定为目标人眼图像模板。

可选地，在所述根据所述目标人眼图像模板对所述第一眼部图像进行修复，得到第二眼部图像方面，所述修复单元503具体用于：

确定所述被遮挡区域；

确定所述目标人眼图像模板中与所述被遮挡区域对应的模板瞳孔区域；

根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像。

可选地，在所述根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像方面，所述修复单元503具体用于：

使用所述模板瞳孔区域的每一模板像素点替换所述被遮挡区域中与该模板像素点对应的区域像素点，得到所述第二眼部图像。

可选地，若所述被遮挡区域中包括被遮挡的部分瞳孔区域，在所述根据所述模板瞳孔区域对所述被遮挡区域进行修复，得到所述第二眼部图像方面，所述修复单元503具体用于：

确定所述被遮挡区域中噪声大于预设阈值的多个第一区域像素点；

确定所述模板瞳孔区域中与所述多个第一区域像素点一一对应的多个第一模板像素点；

根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像。

可选地，在所述根据所述多个第一模板像素点对所述多个第一区域像素点进行修复，得到所述第二眼部图像方面，所述检测单元503具体用于：

确定所述第一眼部图像中未被遮挡的多个瞳孔区域像素点；

根据所述多个瞳孔区域像素点确定加权系数；

根据所述加权系数和所述多个第一模板像素点确定多个目标模板像素点，所述多个目标模板像素点与所述多个第一区域像素点一一对应；

将所述多个目标模板像素点中每一目标模板像素点替换所述被遮挡区域中与该目标模板像素点对应的第一区域像素点，得到所述第二眼部图像。

可选地，所述检测单元504，还用于对所述第一眼部图像进行特征提取，得到多个眼部图像特征，所述多个眼部图像特征中包括多个眼部轮廓特征；根据所述多个眼部轮廓特征预测瞳孔参考区域；将所述多个眼部图像特征中处于所述瞳孔参考区域的部分眼部图像特征与预设瞳孔图像特征进行匹配，得到匹配结果，若匹配结果不满足预设条件，确定所述第一眼部图像包括被遮挡区域。。

可以看出，本申请实施例中所描述的瞳孔检测装置，通过获取第一眼部图像；若第一眼部图像包括被遮挡区域，则确定预设的人眼图像模板库中与第一眼部图像匹配成功的目标人眼图像模板；根据目标人眼图像模板对第一眼部图像进行修复，得到第二眼部图像；基于第二眼部图像进行瞳孔检测，得到瞳孔中心位置，如此，在采集的第一眼部图像中瞳孔有被遮挡的情况下，通过人眼图像模板将被遮挡的第一眼部图像进行修复，从而解决瞳孔被遮挡的问题，提高瞳孔检测的效率和准确度。

可以理解的是，本实施例的瞳孔检测装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取器(英文：randomaccessmemory，简称：ram)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。