瞳孔定位方法及装置、设备和存储介质与流程

本申请涉及定位技术领域，具体涉及一种瞳孔定位方法及装置、设备和存储介质。

背景技术：

目前，瞳孔定位算法的应用已较为普遍，现有的瞳孔定位算法虽然定位非常精确，但算法逻辑非常复杂，需要耗费大量的运算资源，导致只适用于以软件的形式运行，不适用于硬件化设计、集成电路芯片化设计，难以满足硬件定制开发需求。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种所需运算资源较少，满足硬件定制开发需求的瞳孔定位方法及装置、设备和存储介质。

第一方面，本发明提供一种瞳孔定位方法，包括：

对瞳孔图像进行预处理；

根据预处理获得的图像分别在二维坐标轴的横轴和纵轴上生成第一投影曲线和第二投影曲线；

根据预配置的阈值分别在第一投影曲线和第二投影曲线上确定第一对分界点和第二对分界点；

根据第一对分界点和第二对分界点确定瞳孔的中心坐标。

第二方面，本发明提供一种瞳孔定位装置，包括预处理单元、计算单元、阈值截取单元和坐标提取单元。

预处理单元配置用于对瞳孔图像进行预处理；

计算单元配置用于根据预处理获得的图像分别在二维坐标轴的横轴和纵轴上生成第一投影曲线和第二投影曲线；

阈值截取单元配置用于根据预配置的阈值分别在第一投影曲线和第二投影曲线上确定第一对分界点和第二对分界点；

坐标提取单元配置用于根据第一对分界点和第二对分界点确定瞳孔的中心坐标。

第三方面，本发明还提供一种设备，包括一个或多个处理器和存储器，其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的瞳孔定位方法。

第四方面，本发明还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序使计算机执行根据本发明各实施例提供的瞳孔定位方法。

本发明诸多实施例提供的瞳孔定位方法及装置、设备和存储介质通过对预处理后的图像在二维坐标轴上进行简单的运算操作得到投影曲线，再根据预配置的阈值在投影曲线上截取分界点以确定瞳孔的中心坐标，实现了以非常简单的运算进行精准的瞳孔定位，只需耗费非常少的运算资源即可实现定位，从而满足了硬件定制开发的需求；

本发明一些实施例提供的瞳孔定位方法及装置、设备和存储介质进一步通过在预处理中对图像进行二值化处理，从而大幅简化累加操作，在保障定位精度需求的同时进一步减少了所需的运算资源，扩展了瞳孔定位解决方案的适用范围；

本发明一些实施例提供的瞳孔定位方法及装置、设备和存储介质进一步通过对灰度值进行累加，在满足硬件定制开发需求的同时进一步提高了定位的精度；

本发明一些实施例提供的瞳孔定位方法及装置、设备和存储介质进一步通过对多帧图像分别提取瞳孔的中心坐标，并根据各中心坐标进行坐标预测，在满足硬件定制开发需求的同时进一步提高了定位的准确性；

本发明一些实施例提供的瞳孔定位方法及装置、设备和存储介质进一步通过在阈值截取结果不理想时根据所截取到的分界点优化阈值，并通过优化后的阈值重新确定分界点，实现了在阈值设定不恰当时可以通过自动优化保障完成定位，提升了瞳孔定位解决方案的可靠性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例提供的一种瞳孔定位方法的流程图。

图2为图1所示方法的一种优选实施方式中预处理和投影过程的流程图。

图3为图2所示方法中投影和阈值截取分界点的原理示意图。

图4为图1所示方法的另一种优选实施方式中预处理和投影过程的流程图。

图5为图1所示方法的一种优选实施方式的流程图。

图6为图1所示方法的一种优选实施方式的流程图。

图7为本发明一实施例提供的一种瞳孔定位装置的结构示意图。

图8为图7所示装置的一种优选实施方式中预处理单元的结构示意图。

图9为图7所示装置的另一种优选实施方式中预处理单元的结构示意图。

图10为图7所示装置的一种优选实施方式的结构示意图。

图11为本发明一实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明一实施例提供的一种瞳孔定位方法的流程图。

如图1所示，在本实施例中，本发明提供一种瞳孔定位方法，包括：

s10：对瞳孔图像进行预处理；

s30：根据预处理获得的图像分别在二维坐标轴的横轴和纵轴上生成第一投影曲线和第二投影曲线；

s50：根据预配置的阈值分别在第一投影曲线和第二投影曲线上确定第一对分界点和第二对分界点；

s70：根据第一对分界点和第二对分界点确定瞳孔的中心坐标。

具体地，在步骤s10中，对瞳孔图像预处理的目的在于，令图像中的瞳孔部分与其它部分呈现不同的状态，使得步骤s30可以通过简单的运算完成将瞳孔部分投影在二维坐标轴上。以下通过图2-4所示的预处理和投影过程对步骤s10和步骤s30进行详细介绍。

图2为图1所示方法的一种优选实施方式中预处理和投影过程的流程图。如图2所示，在一优选实施例中，步骤s10包括：

s1012：对瞳孔图像进行灰度化处理，得到灰度图像；

s1014：对灰度图像进行滤波处理；

s1016：对滤波后的灰度图像进行二值化处理，得到二值图像；

s1018：对二值图像进行去杂点处理。

步骤s30包括：

s301：将二值图像中每列像素的值在二维坐标轴的横轴上进行累加，生成第一投影曲线；

s302：将二值图像中每行像素的值在二维坐标轴的纵轴上进行累加，生成第二投影曲线。

具体地，在步骤s1012中，对瞳孔图像进行灰度提取。

在步骤s1014中，为滤除噪声，采用具有中值滤波特性的滤波算法对灰度图像进行滤波处理。更进一步地，在下文将要介绍的图5所示的优选方案中，为配合预测算法，可以采用兼具中值滤波特性和高斯特性的高斯滤波算法进行滤波处理。

在步骤s1016中，二值化处理具体包括：采用预配置的一项灰度阈值对滤波后的灰度图像进行阈值分割，若某一像素的灰度值大于该灰度阈值，则将该像素的值置为1(或0)，反之则置为0(或1)。优选地，在完成上述二值化处理后，若瞳孔部分的值为0、背景部分的值为1，则进行取反操作，使得瞳孔部分的值变为1、背景部分的值变为0，以便后续运算。在理想状态下，二值化处理后可以得到瞳孔部分的值为1、背景部分的值为0的二值图像。但在多数情况下，二值图像的瞳孔部分和背景部分仍会存在一些杂点，这些杂点会影响到后续定位的准确性。

对于理想状态的瞳孔图像，或定位精度需求较低的情况下，完成步骤s1016后可以直接进入步骤s30进行累加投影。但在通常情况下，需要通过步骤s1018去除这些杂点以提高定位精度。

在步骤s1018中，本实施例采用腐蚀算法和膨胀算法进行去杂点处理。在另一实施例中，还可以只采用腐蚀算法进行去杂点处理。通过实验验证，单独采用腐蚀算法同样可以满足定位精度需求，同时可以减少所需的运算资源。

图3为图2所示方法中投影和阈值截取分界点的原理示意图。如图3所示，在步骤s301中，对二值图像中每列像素的值(瞳孔部分为1、背景部分为0)在二维坐标轴的横轴x轴上累加得到第一投影曲线m，并在步骤s302中对二值图像中每行像素的值在二维坐标轴的纵轴y轴上累加得到第二投影曲线n。

在步骤s50中，通过预配置的横轴阈值y0(第一阈值线p：y＝y0)在第一投影曲线m上确定第一对分界点a(x1，y0)、b(x2，y0)；并通过预配置的纵轴阈值x0(第二阈值线q：x＝x0)在第二投影曲线n上确定第二对分界点c(x0，y1)、d(x0，y2)。

其中，横轴阈值y0和纵轴阈值x0可以根据经验配置，也可以通过神经网络模型训练获得。

在步骤s70中，本实施例中采用取均值的计算方式确定瞳孔的中心坐标，即x＝(x1+x2)/2；y＝(y1+y2)/2，得到瞳孔中心坐标(x，y)并输出。在更多实施例中，还可根据实验结果对计算方式进行微调，例如对于左眼和右眼分别为分界点坐标配置不同的权重，根据不同人种的不同眼型配置不同的计算方式等。

图2所示的实施例通过在预处理中对图像进行二值化处理，从而大幅简化累加操作，在保障定位精度需求的同时进一步减少了所需的运算资源，扩展了瞳孔定位解决方案的适用范围。

图4为图1所示方法的另一种优选实施方式中预处理和投影过程的流程图。

如图4所示，在另一优选实施例中，步骤s10包括：

s1023：对瞳孔图像进行灰度化处理，得到灰度图像；

s1025：对灰度图像进行滤波处理；

s1027：对灰度图像进行去杂点处理。

步骤s30包括：

s303：将灰度图像中每列像素的灰度值在二维坐标轴的横轴上进行累加，生成第一投影曲线；

s304：将灰度图像中每行像素的灰度值在二维坐标轴的纵轴上进行累加，生成第二投影曲线。

具体地，该优选实施例的预处理过程相较于图2所示的预处理过程的区别在于，省略了阈值分割的步骤，直接对灰度图像进行去杂点处理。从而使得步骤s30的投影过程中累加的值不再只是1和0，而是灰度值，从而保留了更多图像的细节，使得定位结果更为精准。

进一步优选地，步骤s302在累加灰度值之前，还可以对灰度值作同比缩减或阈值截取等操作，以缩小灰度值累加得到的值，从而减少所需的运算资源。此外，还可以将各像素的灰度值与同帧图像的二值化结果作与操作(使得背景部分的值变为0，从而无需累加背景部分的灰度值，同时保留瞳孔部分的灰度值)，然后再进行累加操作。

图4所示的实施例通过对灰度值进行累加，在满足硬件定制开发需求的同时进一步提高了定位的精度。

优选地，上述图2或图4所示的预处理过程进一步还包括：在执行步骤s1012或s1023后，对灰度图像进行曝光补偿。具体地，对于某些瞳孔图像，例如红外摄像头或vr眼睛采集的瞳孔图像，会存在图像偏暗的情况，导致难以区分瞳孔部分和背景部分，因此需要在灰度处理后进行曝光补偿。

图5为图1所示方法的一种优选实施方式的流程图。如图5所示，在一优选实施例中，瞳孔图像包括至少两帧图像，上述方法还包括：

s90：根据各帧图像分别确定的各中心坐标进行瞳孔坐标预测，得到预测坐标并输出。

具体地，单帧图像仅表征采集到图像这一时刻的瞳孔位置，因此根据单帧图像定位得到的瞳孔中心坐标有时候不能精准表征瞳孔的当前位置，导致定位不够精准。

在该优选实施例中，通过对多帧图像分别进行定位，并采用卡尔曼滤波算法对各帧图像分别定位得到的各中心坐标进行预测，得到预测坐标，从而实现对瞳孔的当前位置进行更为精准的定位。具体地，基于卡尔曼滤波算法建立过程模型，将各中心坐标作为一组测量值输入该过程模型，以对下一状态进行预测，生成预测值，再根据预测值和最新状态的测量值生成最优预测值，作为预测坐标输出。

在更多实施例中，还可采用本领域常用的其它位置预测算法来根据各中心坐标预测瞳孔的当前位置。

优选地，当步骤s90中的预测算法采用卡尔曼滤波算法时，步骤s10中的滤波处理采用高斯滤波算法可以使得预测得到更为精准的结果。

图5所示的实施例通过对多帧图像分别提取瞳孔的中心坐标，并根据各中心坐标进行坐标预测，在满足硬件定制开发需求的同时进一步提高了定位的准确性。

图6为图1所示方法的一种优选实施方式的流程图。如图6所示，在一优选实施例中，上述方法还包括：

s60：根据第一对分界点和第二对分界点优化阈值，并根据优化后的阈值重新确定第一对分界点和第二对分界点。

具体地，当阈值配置不当时，可能会导致截取不到分界点、只截取到一个分界点而不是一对分界点、截取到的分界点距离太近等问题，从而导致无法完成定位或定位不准确等问题。

在上述情况下，步骤s60中可以通过所截取到的分界点判断是否对阈值进行优化并重新确定分界点，从而保障完成定位，并避免因阈值配置不当影响定位准确性。

图6所示的实施例通过在阈值截取结果不理想时根据所截取到的分界点优化阈值，并通过优化后的阈值重新确定分界点，实现了在阈值设定不恰当时可以通过自动优化保障完成定位，提升了瞳孔定位解决方案的可靠性。

图7为本发明一实施例提供的一种瞳孔定位装置的结构示意图。图7所示的装置可以对应执行图1所示的方法。

如图7所示，本发明提供一种瞳孔定位装置，包括预处理单元10、计算单元30、阈值截取单元50和坐标提取单元70。

其中，预处理单元10配置用于对瞳孔图像进行预处理；

计算单元30配置用于根据预处理获得的图像分别在二维坐标轴的横轴和纵轴上生成第一投影曲线和第二投影曲线；

阈值截取单元50配置用于根据预配置的阈值分别在第一投影曲线和第二投影曲线上确定第一对分界点和第二对分界点；

坐标提取单元70配置用于根据第一对分界点和第二对分界点确定瞳孔的中心坐标。

具体地，在本实施例中，该瞳孔定位装置为一体集成的集成电路(ic)芯片，在另一实施例中，该瞳孔定位装置为一体集成的现场可编程门阵列(fpga)芯片，在更多实施例中，该瞳孔定位装置还可以配置为本领域技术人员可以理解的各类硬件装置或其组合。

上述图7所示装置的瞳孔定位原理参见图1所示的方法，此处不再赘述。

图8为图7所示装置的一种优选实施方式中预处理单元的结构示意图。图8所示的装置可对应执行图2所示的方法。

如图8所示，在一优选实施例中，预处理单元10包括灰度化子单元101、滤波子单元103、二值化子单元105和第一去杂点子单元107。

灰度化子单元101配置用于对瞳孔图像进行灰度化处理，得到灰度图像；

滤波子单元103配置用于对灰度图像进行滤波处理；

二值化子单元105配置用于对滤波后的灰度图像进行二值化处理，得到二值图像；

第一去杂点子单元107配置用于对二值图像进行去杂点处理。

计算单元30包括第一计算子单元301和第二计算子单元302。

第一计算子单元301配置用于将二值图像中每列像素的值在二维坐标轴的横轴上进行累加，生成第一投影曲线；

第二计算子单元302配置用于将二值图像中每行像素的值在二维坐标轴的纵轴上进行累加，生成第二投影曲线。

图8所示装置的预处理和投影原理参见图2所示的方法，此处不再赘述。

图9为图7所示装置的另一种优选实施方式中预处理单元的结构示意图。图9所示装置可对应执行图4所示的方法。

如图9所示，在一优选实施例中，预处理单元10包括灰度化子单元101、滤波子单元103和第二去杂点子单元109。

灰度化子单元101配置用于对瞳孔图像进行灰度化处理，得到灰度图像；

滤波子单元103配置用于对灰度图像进行滤波处理；

第二去杂点子单元109配置用于对灰度图像进行去杂点处理。

投影单元30包括第三计算子单元303和第四计算子单元304。

第三计算子单元303配置用于将灰度图像中每列像素的灰度值在二维坐标轴的横轴上进行累加，生成第一投影曲线；

第四计算子单元304配置用于将灰度图像中每行像素的灰度值在二维坐标轴的纵轴上进行累加，生成第二投影曲线。

图9所示装置的预处理和投影原理参见图4所示的方法，此处不再赘述。

图10为图7所示装置的一种优选实施方式的结构示意图。图10所示装置可对应执行图5所示的方法。

如图10所示，在一优选实施例中，瞳孔图像包括至少两帧图像，上述瞳孔定位装置还包括坐标预测单元90。

坐标预测单元90配置用于根据各帧图像分别确定的各中心坐标进行瞳孔坐标预测，得到预测坐标并输出。

图10所示装置的坐标预测原理参见图5所示的方法，此处不再赘述。

在一优选实施例中，上述瞳孔定位装置还包括阈值优化单元，该阈值优化单元配置用于根据第一对分界点和第二对分界点优化阈值，以供阈值截取单元50根据优化后的阈值重新确定第一对分界点和所述第二对分界点。具体优化原理参见图6所示的方法，此处不再赘述。

上述各项实施例通过对预处理后的图像在二维坐标轴上进行简单的累加操作得到投影曲线，再根据预配置的阈值在投影曲线上截取分界点以确定瞳孔的中心坐标，实现了以非常简单的运算进行精准的瞳孔定位，只需耗费非常少的运算资源即可实现定位，从而满足了硬件定制开发的需求。

图11为本发明一实施例提供的一种设备的结构示意图。

如图11所示，作为另一方面，本申请还提供了一种设备1100，包括一个或多个中央处理单元(cpu)1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。在ram1103中，还存储有设备1100操作所需的各种程序和数据。cpu1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。

以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地，根据本公开的实施例，上述任一实施例描述的瞳孔定位方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行瞳孔定位方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，该程序被一个或者一个以上的处理器用来执行描述于本申请的瞳孔定位方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。