瞳孔关键点定位方法、装置、介质及设备与流程

本技术涉及目标检测领域，具体涉及瞳孔关键点定位方法、装置、介质及设备。

背景技术：

1、在瞳孔区域的关键点定位应用中，由于图像分辨率不高以及眼镜的反光会严重影响图像质量，尤其因眼镜出现反光时，瞳孔附近的像素值、梯度、边缘都会发生改变，严重影响瞳孔关键点的定位精度，这一问题亟待解决。

技术实现思路

1、为了提升瞳孔关键点的定位精度，避免反光的影响，本技术提供了瞳孔关键点定位方法、装置、介质及设备。所述技术方案如下：

2、第一方面，本技术提供了一种瞳孔关键点定位方法，所述方法包括：

3、获取眼部区域图像；

4、将所述眼部区域图像输入至瞳孔定位模型中的特征提取模块，进行特征提取处理，得到多个第一特征图，每个第一特征图表征多个特征点的特征信息；

5、将所述多个第一特征图输入所述瞳孔定位模型中的特征加强模块，进行特征加强处理，对应得到多个第二特征图，每个第二特征图表征多个特征点的特征加强信息；

6、将所述多个第二特征图输入所述瞳孔定位模型中的特征回归模块，进行特征点的检测处理，得到每个第二特征图对应的特征点检测结果，所述特征点检测结果指示对应的第二特征图中的多个特征点是否处于瞳孔区域；

7、根据每个第二特征图对应的特征点检测结果，确定所述眼部区域图像中瞳孔关键点对应的预测位置信息；

8、其中，所述瞳孔定位模型为利用多种工况类别的多个样本图像进行端到端训练得到。

9、可选地，所述方法还包括：

10、获取样本图像集合，所述样本图像集合包含的所述多个样本图像按照反光点所在区域被划分为所述多种工况类别；

11、将每个样本图像输入卷积神经网络模型中的特征提取模块，进行特征提取处理，得到每个样本图像对应的多个第一样本特征图；

12、将每个样本图像对应的多个第一样本特征图输入所述卷积神经网络模型中的特征加强模块，进行特征融合处理，得到每个样本图像对应的多个第二样本特征图；

13、将每个样本图像对应的多个第二样本特征图输入所述卷积神经网络模型中的特征回归模块，进行特征点的检测处理，得到每个第二样本特征图对应的样本特征点检测结果；

14、根据每个第二样本特征图对应的样本特征点检测结果，确定对应的样本图像中所述瞳孔关键点对应的样本预测位置信息；

15、根据每个样本图像中所述瞳孔关键点对应的样本预测位置信息和每个样本图像中所述瞳孔关键点对应的真实位置信息，确定模型预测误差信息；

16、基于所述模型预测误差信息和预设损失函数，确定模型损失信息；

17、基于所述模型损失信息，对所述卷积神经网络模型进行训练，得到所述瞳孔定位模型。

18、可选地，所述多种工况类别包括：不存在反光点、反光点在眼睛区域之外、反光点在眼睛区域之内且在虹膜区域之外、反光点在虹膜区域之内且在瞳孔区域之外、反光点部分遮挡瞳孔区域以及反光点完全遮挡瞳孔区域。

19、可选地，所述预设损失函数为wing-loss函数，所述wing-loss函数的公式为：

20、

21、其中表征模型预测误差信息，为正数，为常数，为约束非线性区域的曲率。

22、可选地，所述方法还包括：

23、对所述卷积神经网络模型进行多轮训练，得到多个候选瞳孔定位模型；

24、获取验证图像，并将所述验证图像分别输入每个候选瞳孔定位模型，进行瞳孔关键点定位处理，得到所述验证图像中所述瞳孔关键点对应的多个候选预测位置信息，所述多个候选预测位置信息与所述多个候选瞳孔定位模型一一对应；

25、根据所述多个候选预测位置信息与所述验证图像中所述瞳孔关键点对应的真实位置信息，分别计算得到多个归一化平均误差数据；

26、根据所述多个归一化平均误差数据，从所述多个候选瞳孔定位模型中确定所述瞳孔定位模型。

27、可选地，所述特征提取模块包括特征提取子模块和多个残差块子模块，所述将所述眼部区域图像输入至瞳孔定位模型中的特征提取模块，进行特征提取处理，得到多个第一特征图，包括：

28、将所述眼部区域图像输入所述特征提取子模块，进行特征提取处理，得到初始特征图；

29、将所述初始特征图输入所述多个残差块子模块，进行特征融合处理，得到多个第一特征图。

30、可选地，所述特征加强模块为特征金字塔网络，所述将所述多个第一特征图输入所述瞳孔定位模型中的特征加强模块，进行特征加强处理，对应得到多个第二特征图，包括：

31、对所述多个第一特征图输入所述特征加强模块，进行自底向上的特征提取处理和自顶向下的特征融合处理，对应得到所述多个第二特征图。

32、可选地，所述将所述多个第二特征图输入所述瞳孔定位模型中的特征回归模块，进行特征点的检测处理，得到每个第二特征图对应的特征点检测结果，包括：

33、将每个第二特征图输入所述特征回归模块，进行特征回归处理，得到每个第二特征图对应的特征点预测框信息，所述特征点预测框信息包括每个特征点对应的多个预测框的回归置信度、位置信息和类别信息；

34、根据每个特征点对应的多个预测框的回归置信度，从所述多个预测框中确定每个特征点对应的目标预测框；

35、根据每个第二特征图中每个特征点对应的目标预测框，确定每个第二特征图对应的特征点检测结果，所述特征点检测结果包括每个特征点对应的目标预测框的位置信息和类别信息。

36、第二方面，本技术提供了一种瞳孔关键点定位装置，所述装置包括：

37、获取模块，用于获取眼部区域图像；

38、特征提取模块，用于将所述眼部区域图像输入至瞳孔定位模型中的特征提取模块，进行特征提取处理，得到多个第一特征图，每个第一特征图表征多个特征点的特征信息；

39、特征加强模块，用于将所述多个第一特征图输入所述瞳孔定位模型中的特征加强模块，进行特征加强处理，对应得到多个第二特征图，每个第二特征图表征多个特征点的特征加强信息；

40、特征回归模块，用于将所述多个第二特征图输入所述瞳孔定位模型中的特征回归模块，进行特征点的检测处理，得到每个第二特征图对应的特征点检测结果，所述特征点检测结果指示对应的第二特征图中的多个特征点是否处于瞳孔区域；

41、关键点位置确定模块，用于根据每个第二特征图对应的特征点检测结果，确定所述眼部区域图像中瞳孔关键点对应的预测位置信息；

42、其中，所述瞳孔定位模型为利用多种工况类别的多个样本图像进行端到端训练得到。

43、第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种瞳孔关键点定位方法。

44、第四方面，本技术提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种瞳孔关键点定位方法。

45、第五方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的一种瞳孔关键点定位方法。

46、本技术提供的瞳孔关键点定位方法、装置、介质及设备，具有如下技术效果：

47、本技术提供的方案构建了瞳孔定位模型，包括特征提取模块、特征加强模块以及特征回归模块，具体的，通过特征提取模块，得到眼部区域图像对应的多个第一特征图，每个第一特征图表征多个特征点的特征信息；通过特征加强模块得到对应的多个第二特征图，每个第二特征图表征多个特征点的特征加强信息；通过特征回归模块得到每个第二特征图对应的特征点检测结果，特征点检测结果指示对应的第二特征图中的多个特征点是否处于瞳孔区域；进而可以根据每个第二特征图对应的特征点检测结果，确定眼部区域图像中瞳孔关键点对应的预测位置信息。在本技术提供的技术方案中，瞳孔定位模型为利用多种工况类别的多个样本图像进行端到端训练得到，可以有效降低反光对定位精确度的影响，同时利用训练后的瞳孔定位模型实现端到端的检测或定位，提升了瞳孔关键点的定位效率。

48、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。