眼部检测方法、装置、设备及存储介质与流程

本技术属于图像处理，具体涉及一种眼部检测方法、装置、设备及存储介质。

背景技术：

1、目前，随着图像处理技术的飞速发展，对于人物图像中面部的检测处理应用越来越多。例如，肤色检测、肤龄检测、抬头纹、法令纹等肤质检测。

2、然而，针对于眼部的检测，由于其涉及到的部位区域小，存在很大的检测难度，因此缺乏对眼部状况进行检测的技术方案。

技术实现思路

1、本技术提出一种眼部检测方法、装置、设备及存储介质。基于眼部关键点、眼型特征信息以及预训练的检测模型，准确识别出用户的眼型、眼纹类别以及眼周是否松弛等眼部特征。

2、本技术第一方面实施例提出了一种眼部检测方法，包括：

3、根据待检测的目标眼睛图像的第一眼部关键点、每种标准眼型图像对应的第二眼部关键点和眼型特征信息，识别所述目标眼睛图像对应的眼型；

4、将所述目标眼睛图像输入预先训练的眼纹检测模型，得到所述目标眼睛图像对应的眼纹类别；

5、根据所述目标眼睛图像及其所属的用户图像，基于预先训练的眼部检测模型，确定所述目标眼睛图像是否出现眼周松弛。

6、在本技术的一些实施例中，所述根据待检测的目标眼睛图像的第一眼部关键点、每种标准眼型图像对应的第二眼部关键点和眼型特征信息，识别所述目标眼睛图像对应的眼型，包括：

7、根据待检测的目标眼睛图像的第一眼部关键点和每种标准眼型图像对应的第二眼部关键点，分别计算所述目标眼睛图像与每种标准眼型图像之间的相似度；

8、根据所述第一眼部关键点、每种标准眼型图像对应的眼型特征信息以及所述目标眼睛图像与每种标准眼型图像之间的相似度，识别所述目标眼睛图像对应的眼型。

9、在本技术的一些实施例中，所述根据待检测的目标眼睛图像的第一眼部关键点和每种标准眼型图像对应的第二眼部关键点，分别计算所述目标眼睛图像与每种标准眼型图像之间的相似度，包括：

10、根据待检测的目标眼睛图像的第一眼部关键点和第一标准眼型图像对应的第二眼部关键点，分别计算眼睛宽度方向对应的第一方差及眼睛高度方向对应的第二方差；所述第一标准眼型图像为所述每种标准眼型图像中的任一标准眼型图像；

11、根据所述第一方差和所述第二方差，计算所述目标眼睛图像与所述第一标准眼型图像之间的总方差；

12、根据所述总方差，确定所述目标眼睛图像与所述第一标准眼型图像之间的相似度。

13、在本技术的一些实施例中，所述根据待检测的目标眼睛图像的第一眼部关键点和第一标准眼型图像对应的第二眼部关键点，计算眼睛宽度方向对应的第一方差，包括：

14、从所述第一眼部关键点中获取第一眼角关键点和第一眼尾关键点；以及，从第一标准眼型图像对应的第二眼部关键点中获取第二眼角关键点和第二眼尾关键点；

15、根据所述第一眼角关键点、所述第一眼尾关键点、所述第二眼角关键点和所述第二眼尾关键点，将所述目标眼睛图像与所述第一标准眼型图像在眼睛宽度方向上对齐；

16、根据所述第二眼部关键点和每个所述第一眼部关键点对应的对齐后关键点，计算眼睛宽度方向对齐后的第一方差。

17、在本技术的一些实施例中，所述根据待检测的目标眼睛图像的第一眼部关键点和第一标准眼型图像对应的第二眼部关键点，计算眼睛高度方向对应的第二方差，包括：

18、从所述第一眼部关键点中获取第一眼部上顶点和第一眼部下顶点；以及，从第一标准眼型图像对应的第二眼部关键点中获取第二眼部上顶点和第二眼部下顶点；

19、根据所述第一眼部上顶点、所述第一眼部下顶点、所述第二眼部上顶点和所述第二眼部下顶点，将所述目标眼睛图像与所述第一标准眼型图像在眼睛高度方向上对齐；

20、根据所述第二眼部关键点和每个所述第一眼部关键点对应的对齐后关键点，计算眼睛高度方向对齐后的第二方差。

21、在本技术的一些实施例中，所述根据所述第一眼部关键点、每种标准眼型图像对应的眼型特征信息以及所述目标眼睛图像与每种标准眼型图像之间的相似度，识别所述目标眼睛图像对应的眼型，包括：

22、根据所述第一眼部关键点，确定所述目标眼睛图像对应的眼型特征；

23、根据所述目标眼睛图像对应的眼型特征及每种标准眼型图像对应的眼型特征信息，按照相似度从大到小的顺序依次判断每种标准眼型图像对应的眼型是否为所述目标眼睛图像对应的眼型。

24、在本技术的一些实施例中，所述根据所述第一眼部关键点，确定所述目标眼睛图像对应的眼型特征，包括：

25、根据所述第一眼部关键点中的第一眼角关键点、第一眼尾关键点、第一眼部上顶点和第一眼部下顶点，计算所述目标眼睛图像对应的眼睛宽高比；

26、根据所述第一眼部关键点，计算各眼内关键角；

27、根据所述各眼内关键角，确定所述目标眼睛图像对应的眼尾走势类型；

28、将所述眼睛宽高比、所述各眼内关键角及所述眼尾走势类型确定为所述目标眼睛图像对应的眼型特征。

29、在本技术的一些实施例中，所述根据所述目标眼睛图像对应的眼型特征及每种标准眼型图像对应的眼型特征信息，按照相似度从大到小的顺序依次判断每种标准眼型图像对应的眼型是否为所述目标眼睛图像对应的眼型，包括：

30、判断所述目标眼睛图像对应的眼型特征是否符合相似度最大的标准眼型图像的眼型特征信息包括的眼型特征条件；

31、如果是，则将相似度最大的标准眼型图像对应的眼型确定为所述目标眼睛图像对应的眼型；

32、如果否，从剩余的标准眼型图像中选取相似度最大的标准眼型图像，返回执行所述判断操作，直至判断出所述目标眼睛图像对应的眼型特征所符合的标准眼型图像，或直至对每种标准眼型图像都执行完所述判断操作为止。

33、在本技术的一些实施例中，所述方法还包括：

34、若所述每种标准眼型图像中不存在所述目标眼睛图像对应的眼型特征所符合的标准眼型图像，则判断所述每种标准眼型图像中相似度最大的标准眼型图像对应的眼型是否为桃花眼；

35、如果否，则将所述每种标准眼型图像中相似度最大的标准眼型图像对应的眼型确定为所述目标眼睛图像对应的眼型；

36、如果是，则若所述目标眼睛图像属于双眼皮类别，确定所述目标眼睛图像对应的眼型为挑花眼；若所述目标眼睛图像属于单眼皮类别，则将所述每种标准眼型图像中相似度次大的标准眼型图像对应的眼型确定为所述目标眼睛图像对应的眼型。

37、在本技术的一些实施例中，所述眼纹检测模型包括第一卷积层、移动翻转瓶颈卷积网络、第二卷积层、分类网络；

38、将所述目标眼睛图像输入预先训练的眼纹检测模型，得到所述目标眼睛图像对应的眼纹类别，包括：

39、通过所述第一卷积层对所述目标眼睛图像进行下采样处理，得到基础特征；

40、通过所述移动翻转瓶颈卷积网络对所述基础特征进行多次移动翻转瓶颈卷积处理，得到特征图；

41、通过所述第二卷积层对所述特征图进行升维操作，得到升维后的特征图；

42、通过所述分类网络基于升维后的特征图进行眼纹分类并输出眼纹类别。

43、在本技术的一些实施例中，所述移动翻转瓶颈卷积网络包括多个串联的移动翻转瓶颈卷积模块；

44、所述通过所述移动翻转瓶颈卷积网络对所述基础特征进行多次移动翻转瓶颈卷积处理，包括：

45、通过每个移动翻转瓶颈卷积模块对输入的特征进行一次移动翻转瓶颈卷积处理。

46、在本技术的一些实施例中，所述移动翻转瓶颈卷积模块包括升维卷积层、深度卷积层、压缩与激发网络、降维卷积层以及拼接层；

47、针对任一移动翻转瓶颈卷积模块对输入的特征进行一次移动翻转瓶颈卷积处理过程，包括：

48、通过所述升维卷积层根据扩张比例对输入的特征进行逐点卷积，以改变输出特征的通道维度；

49、通过所述深度卷积层对所述升维卷积层的输出特征进行深度卷积；

50、通过所述压缩与激发网络对所述深度卷积层的输出特征进行压缩与激发操作；

51、通过所述降维卷积层对所述压缩与激发网络的输出特征进行逐点卷积，以恢复输出特征的通道维度；

52、通过所述拼接层对所述升维卷积层的输出特征和所述降维卷积层的输出特征按照通道维度进行融合。

53、在本技术的一些实施例中，所述眼纹检测模型的训练过程如下：

54、获取数据集，所述数据集包含无、轻度、中度、重度四种眼纹类别标签的眼部样本；

55、遍历所述数据集中的每一眼部样本，将当前遍历的眼部样本输入预先构建的眼纹检测模型，以由所述眼纹检测模型对所述眼部样本进行眼纹类别预测并输出预测结果；

56、利用所述预测结果、所述眼部样本的眼纹类别标签计算损失值；

57、在所述损失值的变化率大于变化阈值时，根据所述损失值优化所述眼纹检测模型的网络参数，并返回遍历所述数据集中的每一眼部样本的步骤循环执行，直至所述损失值低于所述变化阈值结束。

58、在本技术的一些实施例中，在获取数据集之后，所述方法还包括：

59、对所述数据集中的每一眼部样本进行数据增强处理，并将增强处理后的眼部样本添加到所述数据集中，以扩充所述数据集。

60、在本技术的一些实施例中，所述根据所述目标眼睛图像及其所属的用户图像，基于预先训练的眼部检测模型，确定所述目标眼睛图像是否出现眼周松弛，包括：

61、根据所述目标眼睛图像所属的用户图像，检测所述目标眼睛图像是否存在眼部下垂；

62、将所述目标眼睛图像输入预先训练的眼部检测模型，得到所述目标眼睛图像对应的眼袋检测结果、卧蚕检测结果及黑眼圈检测结果；

63、若所述眼部下垂的检测结果、所述眼袋检测结果、卧蚕检测结果及黑眼圈检测结果中至少两个检测结果指示有对应的眼部问题，则确定所述目标眼睛图像出现眼周松弛。

64、在本技术的一些实施例中，所述根据所述目标眼睛图像所属的用户图像，检测所述目标眼睛图像是否存在眼部下垂，包括：

65、对所述目标眼睛图像所属的用户图像进行法令纹检测和木偶纹检测；

66、根据法令纹检测结果和木偶纹检测结果，确定所述目标眼睛图像是否存在眼部下垂。

67、在本技术的一些实施例中，所述对所述目标眼睛图像所属的用户图像进行法令纹检测和木偶纹检测，包括：

68、将所述目标眼睛图像所属的用户图像输入预设的法令纹检测模型，得到所述用户图像中存在左法令纹的概率和右法令纹的概率；

69、根据所述用户图像中的嘴部关键点，从所述用户图像中裁剪出嘴部图像；

70、对所述嘴部图像进行模糊处理，获得所述用户图像中的木偶纹条数。

71、在本技术的一些实施例中，所述根据法令纹检测结果和木偶纹检测结果，确定所述目标眼睛图像是否存在眼部下垂，包括：

72、根据所述左法令纹的概率、右法令纹的概率和所述木偶纹条数，计算眼部下垂概率；

73、根据所述眼部下垂概率，确定所述目标眼睛图像是否存在眼部下垂。

74、在本技术的一些实施例中，所述眼部检测模型包括眼袋检测模型、卧蚕检测模型和黑眼圈检测模型；

75、将所述目标眼睛图像输入预先训练的眼部检测模型，得到所述目标眼睛图像对应的眼袋检测结果、卧蚕检测结果及黑眼圈检测结果，包括：

76、将所述目标眼睛图像输入所述眼袋检测模型，输出用于指示是否有眼袋的检测结果；

77、将所述目标眼睛图像输入所述卧蚕检测模型，输出用于指示是否有卧蚕的检测结果；

78、将所述目标眼睛图像输入所述黑眼圈检测模型，输出用于指示是否有黑眼圈的检测结果。

79、本技术第二方面实施例提出了一种眼部检测装置，包括：

80、眼型识别模块，用于根据待检测的目标眼睛图像的第一眼部关键点、每种标准眼型图像对应的第二眼部关键点和眼型特征信息，识别所述目标眼睛图像对应的眼型；

81、眼纹检测模块，用于将所述目标眼睛图像输入预先训练的眼纹检测模型，得到所述目标眼睛图像对应的眼纹类别；

82、眼周松弛检测模块，用于根据所述目标眼睛图像及其所属的用户图像，基于预先训练的眼部检测模型，确定所述目标眼睛图像是否出现眼周松弛。

83、本技术第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现本技术第一方面所述的方法。

84、本技术第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现本技术第一方面所述的方法。

85、本技术实施例中提供的技术方案，至少具有如下技术效果或优点：

86、在本技术实施例中，首先根据待检测的目标眼睛图像的第一眼部关键点、每种标准眼型图像对应的第二眼部关键点和眼型特征信息，识别所述目标眼睛图像对应的眼型；然后根据预先训练的眼纹检测模型，得到所述目标眼睛图像对应的眼纹类别；根据预先训练的眼部检测模型，确定所述目标眼睛图像是否出现眼周松弛。该方法可以综合识别用户的眼型信息、眼纹类别信息以及眼周松弛信息，便于用户全面了解自己的眼部特征，也便于为眼部整形、眼部彩妆推荐等后续处理提供数据基础。

87、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本技术的实践了解到。