婴幼儿脸部图像抓取及增强方法、装置、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种婴幼儿脸部图像抓取及增强方法、装置、设备及存储介质。

背景技术：

1、随着对人工智能的深入研究，图像识别技术不断落地。在人脸图像识别技术中，人脸图像质量是图像识别的重要基础，直接影响人脸图像识别系统的精度和实效性，特别是人脸图像识别，需要更高视觉质量的人脸图像才能保证人脸图像识别的精度和实效性。

2、目前，在针对婴幼儿的脸部识别场景中，会受到外界环境因素、婴幼儿活动、摄像头参数和摄像头的布置位置等诸多因素影响，使得拍摄到的婴幼儿脸部图像质量不高。比如，当婴幼儿在快速奔跑时，此时抓拍到的婴幼儿脸部图像会由于婴幼儿的运动出现模糊；当由于婴幼儿爬行等活动时，摄像头处于固定的布置位置，拍摄得出的婴幼儿脸部图像可能偏离画面中心；摄像头在光线不足时，会抓拍到噪声大，光线暗的图像，而在外界光线过强时，又会抓拍到过度曝光的图像。上述图像又被统称为低质量图像，由于低质量图像的影响因素不同，使得低质量图像的数据分布大不一样，哪怕是增加图像增强网络的复杂度，也很难使用一个单独的图像增强网络对不同影响因素的低质量图像进行增强，图像增强效果也不好，而且使用过于复杂的图像增强网络会导致计算资源增加，降低图像增强的速度，从而降低对婴幼儿脸部的识别速度，同时，大量计算资源的增加也不利于部署在嵌入式的婴幼儿看护设备中。

3、为此，如何在针对婴幼儿的脸部识别场景中，对婴幼儿脸部图像进行抓取和增强时，避免出现多种类型低质量图像是亟待解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种婴幼儿脸部图像抓取及增强方法、装置、设备及存储介质，用以解决现有技术中在针对婴幼儿的脸部识别场景中，对婴幼儿脸部图像进行抓取和增强时，出现多种类型低质量图像的问题。

2、本发明采用的技术方案是：

3、第一方面，本发明提供了一种婴幼儿脸部图像抓取及增强方法，

4、所述方法包括：

5、s1：获取婴幼儿所在场景下实时的婴幼儿脸部视频数据，将所述视频数据分解为多帧实时图像；

6、s2：对实时视频数据分解得出的各帧实时图像进行运动场分析，提取出各所述图像中横向平均光流速度符合预设要求的多帧第一目标图像；

7、s3：对各帧所述第一目标图像进行图像增强，输出用于婴幼儿脸部识别的各帧第二目标图像；

8、s4：对各帧所述第二目标图像进行脸部分析，输出婴幼儿脸部位于第二目标图像中预设区域的图像。

9、优选地，所述s2包括：

10、s21：将各帧所述实时图像依次降采样至第一分辨率，并在降采样后的各第一分辨率图像中选取一原始图像；

11、s22：获取原始图像中多个目标像素点，并在所述目标帧图像的下一帧图像中找到与所述目标像素点对应的多个lk光流匹配点；

12、s23：确定各所述目标像素点位置信息和所述匹配点位置信息，并依据所述目标像素点位置信息和匹配点位置信息，得出原始图像的横向平均光流速度；

13、s24：对各所述图像中的剩余图像重复步骤s21至s23，直至得出所有帧图像的横向平均光流速度；

14、s25：获取预设的光流速度阈值，将所有帧图像中横向平均光流速度最小且不大于所述光流速度阈值的图像恢复至降采样之前的原始分辨率后作为所述第一目标图像提取出来。

15、优选地，所述s3包括：

16、s31：选取一所述第一目标图像降采样至第二分辨率，得出子图像；

17、s32：将所述子图像输入crf网络中，得出与所述子图像对应的多帧不同曝光的图像；

18、s33：依据预设的加权参数，对各所述不同曝光的图像进行加权处理，得出加权处理后的图像；

19、s34：依据加权处理后的图像中各像素点的第一位置信息和子图像中各像素点的第二位置信息，得出第一映射矩阵；

20、s35：对所述第一映射矩阵进行平滑填充，得出与原始分辨率对应的第二映射矩阵；

21、s36：依据所述第二映射矩阵，对所述第一目标图像进行线性变换，得出各帧所述第二目标图像。

22、优选地，所述s33包括：

23、s331：获取不同曝光的图像中各像素点对应的灰度值；

24、s332：依据预设的加权参数，对各所述灰度值进行加权求平均处理，将处理后的平均值作为各像素点的新灰度值，得出加权处理后的图像。

25、优选地，所述s35包括：

26、s351：获取原始分辨率对应的第一图像宽度信息和第二分辨率对应的第二图像宽度信息；

27、s352：获取所述第一映射矩阵中各元素的第三位置信息，并依据所述第一图像宽度信息和第二图像宽度信息，将第一映射矩阵中各元素映射到新的映射矩阵中；

28、s353：对所述新的映射矩阵中各元素进行赋值，得出所述第二映射矩阵。

29、优选地，所述s353包括：

30、s3531：获取所述新的映射矩阵中各元素的第四位置信息；

31、s3532：依据所述第三位置信息和第四位置信息，若新的映射矩阵中元素位置与第一映射矩阵中元素位置相同，将新的矩阵中元素赋值为第一映射矩阵中对应的元素值；

32、s3533：获取剩余的各未赋值元素，选取距离所述未赋值元素最近的目标元素，将所述目标元素的元素值赋予所述未赋值元素。

33、优选地，所述s4包括：

34、s41：将各所述第二目标图像输入预设的婴幼儿脸部检测模型中，得出第二目标图像中的婴幼儿脸部位置信息；

35、s42：依据所述婴幼儿脸部位置信息，得出婴幼儿脸部的中心点位置信息；

36、s43：依据第二目标图像的图像边长信息和所述中心点位置信息，当婴幼儿脸部中心点在第二目标图像的预设范围内时，输出婴幼儿脸部中心点对应图像。

37、第二方面，本发明提供了一种婴幼儿脸部图像抓取及增强装置，所述装置包括：

38、图像获取模块，用于获取婴幼儿所在场景下实时的婴幼儿脸部视频数据，将所述视频数据分解为多帧实时图像；

39、运动场分析模块，用于对实时视频数据分解得出的各帧实时图像进行运动场分析，提取出各所述图像中横向平均光流速度符合预设要求的多帧第一目标图像；

40、图像增强模块，用于对各帧所述第一目标图像进行图像增强，输出用于婴幼儿脸部识别的各帧第二目标图像；

41、脸部分析模块，用于对各帧所述第二目标图像进行脸部分析，输出婴幼儿脸部位于第二目标图像中预设区域的图像。

42、第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

43、第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

44、综上所述，本发明的有益效果如下：

45、本发明提供的婴幼儿脸部图像抓取及增强方法、装置、设备及存储介质，所述方法包括：获取婴幼儿所在场景下实时的婴幼儿脸部视频数据，将所述视频数据分解为多帧实时图像；对实时视频数据分解得出的各帧实时图像进行运动场分析，提取出各所述图像中横向平均光流速度符合预设要求的多帧第一目标图像；对各帧所述第一目标图像进行图像增强，输出用于婴幼儿脸部识别的各帧第二目标图像；对各帧所述第二目标图像进行脸部分析，输出婴幼儿脸部位于第二目标图像中预设区域的图像。通过计算图像横向运动的平均光流，由于横向光流越小，表示图像运动越平缓，图像模糊的可能性越低，从而将横向光流最小且满足阈值要求的图像提取出来，避免了图像模糊，保证了图像清晰度；通过对婴幼儿脸部位置信息的识别，保证婴幼儿脸部位于图像中心区域，从而避免了图像中婴幼儿脸部的偏移造成抓取图像不符合用户要求的问题出现；通过图像增强操作，避免了图像过度曝光或过暗的情况出现；通过对各种类型的低质量图像进行对应的图像处理，提高了婴幼儿脸部识别的准确度。