婴幼儿与宠物互动内容评估方法、装置、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种婴幼儿与宠物互动内容评估方法、装置、设备及存储介质。

背景技术：

1、随着人民生活水平的不断提高以及对宠物消费观的转变，越来越多的人开始养起了宠物，其中，宠物的种类多以犬类、猫类为主，人均宠物拥有率在逐步提升。宠物主人在饲养宠物的过程中也非常乐意婴幼儿去和宠物进行互动，他们希望能够留住婴幼儿与宠物相处的美好瞬间，并制作成电子相册，然后在各种社交软件上同其他用户分享相册中的精美照片。目前的电子相册通常是系统按照日期自动排列生成的，用户不能根据照片质量进行挑选，自动生成的相册常因为质量过低、不符合用户的喜好而被舍弃。

2、现有中国专利cn113420708a提供一种宠物看护方法、装置、电子设备及存储介质，公开了以下特征：基于所述宠物对象在所述目标图像中的位置信息、所述目标图像的质量、所述宠物对象的位置变换、姿态变化及表情变化，确定宠物对应的状态信息，基于宠物对应的状态信息进行至少一种美化处理操作后，生成所述宠物相册。上述特征仅仅基于宠物的状态信息和图像质量来生成电子相册对宠物进行看护，未考虑婴幼儿的状态信息、婴幼儿与宠物的互动信息，不能有效地对婴幼儿与宠物之间的互动内容进行有效评估。

3、为此，如何在婴幼儿与宠物互动时，对婴幼儿与宠物的互动内容进行有效评估是亟待解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种婴幼儿与宠物互动内容评估方法、装置、设备及存储介质，用以解决现有技术中在婴幼儿与宠物互动时，用户无法对婴幼儿与宠物的互动内容进行有效评估的问题。

2、本发明采用的技术方案是：

3、第一方面，本发明提供了一种婴幼儿与宠物互动内容评估方法，其特征在于，所述方法包括：

4、获取婴幼儿看护场景下多帧包括婴幼儿和宠物的第一目标图像；

5、将各所述第一目标图像输入预设的基于自监督学习的单目深度估计模型中，提取出婴幼儿与宠物之间发生互动的第二目标图像；

6、利用预设的互动评分规则，对各所述第二目标图像中的宠物特征、婴幼儿特征和图像质量特征分别进行评分，输出互动评分结果。

7、优选地，所述将各所述第一目标图像输入预设的基于自监督学习的单目深度估计模型中，提取出婴幼儿与宠物之间发生互动的第二目标图像包括：

8、利用预设的目标位置检测模型，对各所述第一目标图像进行检测，识别出各所述第一目标图像中的婴幼儿位置信息和宠物位置信息；

9、依据所述婴幼儿位置信息和宠物位置信息，得出婴幼儿最小外接矩形框的第一中心点位置信息和宠物最小外接矩形框的第二中心点位置信息；

10、将所述第一中心点位置信息和第二中心点位置信息输入基于monodepth结构的深度估计模型中，得出婴幼儿与宠物之间的相对位置信息；

11、若依据所述相对位置信息，判断第一中心点与第二中心点之间距离小于预设阈值，则认为婴幼儿与宠物之间发生了互动，提取出婴幼儿与宠物之间发生互动的第二目标图像。

12、优选地，所述利用预设的互动评分规则，对各所述第二目标图像中的宠物特征、婴幼儿特征和图像质量特征分别进行评分，输出互动评分结果包括：

13、将各所述第二目标图像输入预设的宠物动作检测模型中，依据提取出的宠物肢体关键点信息和宠物肢体关键点数量，对各所述第二目标图像中的宠物特征进行评分，输出第一分数；

14、将各所述第二目标图像输入预设的人脸检测模型中，对婴幼儿脸部的遮挡情况和婴幼儿的表情进行判断，依据判断结果，对各所述第二目标图像中的婴幼儿特征进行评分，输出第二分数；

15、对各所述第二目标图像的清晰度和光线强度进行评分，输出第三分数；

16、依据预设的评分权重，对所述第一分数、第二分数和第三分数进行加权处理和求和，得出总分数作为互动评分结果。

17、优选地，所述将各所述第二目标图像输入预设的宠物动作检测模型中，依据提取出的宠物肢体关键点信息和宠物肢体关键点数量，对各所述第二目标图像中的宠物特征进行评分，输出第一分数包括：

18、预先收集大量社会公开的家庭宠物各成长阶段的图像；

19、依据用户喜爱度，提取出用户喜爱度高的宠物动作图像；

20、将所述用户喜爱度高的宠物动作图像作为深度学习模型的训练基础，构造和训练基于yolov6s结构的宠物动作检测模型。

21、优选地，所述将各所述第二目标图像输入预设的人脸检测模型中，对婴幼儿脸部的遮挡情况和婴幼儿的表情进行判断，依据判断结果，对各所述第二目标图像中的婴幼儿特征进行评分，输出第二分数包括：

22、获取所述婴幼儿关键点信息，对婴幼儿的表情进行判断；

23、当所述婴幼儿的表情为哭泣时，对所述第二分数进行优化，并获取婴幼儿的哭泣时长；

24、当所述哭泣时长大于预设的时长阈值时，向用户发出危险报警。

25、优选地，所述获取婴幼儿看护场景下多帧包括婴幼儿和宠物的第一目标图像包括：

26、获取婴幼儿看护场景下实时的视频流，将所述视频流分解为多帧图像；

27、利用预设的基于yolov6s结构的目标检测模型对各帧图像进行检测，依据检测结果，提取多帧包括婴幼儿和宠物的第一目标图像。

28、优选地，在所述利用预设的互动评分规则，对各所述第二目标图像中的宠物特征、婴幼儿特征和图像质量特征分别进行评分，输出互动评分结果之后还包括：

29、依据所述互动评分结果，提取总分数高于预设阈值的图像作为高质量图像；

30、比较各所述高质量图像与各预设的替换图像分别在宠物特征、婴幼儿特征和图像质量特征之间的差异；

31、依据所述差异，调整所述评分权重，并依据调整后的评分权重，生成新的高质量图像；

32、将各所述新的高质量图像输出，生成电子相册。

33、第二方面，本发明提供了一种婴幼儿与宠物互动内容评估装置，所述装置包括：

34、图像获取模块，用于获取婴幼儿看护场景下多帧包括婴幼儿和宠物的第一目标图像；

35、互动识别模块，用于将各所述第一目标图像输入预设的基于自监督学习的单目深度估计模型中，提取出婴幼儿与宠物之间发生互动的第二目标图像；

36、互动评分模块，用于利用预设的互动评分规则，对各所述第二目标图像中的宠物特征、婴幼儿特征和图像质量特征分别进行评分，输出互动评分结果。

37、第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

38、第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

39、综上所述，本发明的有益效果如下：

40、本发明提供的婴幼儿与宠物互动内容评估方法、装置、设备及存储介质，所述方法包括：获取婴幼儿看护场景下多帧包括婴幼儿和宠物的第一目标图像；将各所述第一目标图像输入预设的基于自监督学习的单目深度估计模型中，提取出婴幼儿与宠物之间发生互动的第二目标图像；利用预设的互动评分规则，对各所述第二目标图像中的宠物特征、婴幼儿特征和图像质量特征分别进行评分，输出互动评分结果。本发明使用基于自监督学习的单目深度估计模型，有助于提取图像中的深度信息，进而更好地理解婴幼儿和宠物之间的相对位置和互动情况；制定了预设的互动评分规则，有助于对互动场景进行客观评估，包括宠物特征、婴幼儿特征和图像质量等方面的评分，提高了评估的客观性和一致性；通过基于自监督学习的深度估计模型在没有人工标注的深度信息的情况下进行训练，减轻了数据标注的负担，提高了可扩展性；因此，本发明通过实时监测和有效评估婴幼儿与宠物的互动内容，为看护人员提供及时反馈，自动化评估有助于减轻看护人员的工作负担，使其更专注于提供高质量的照顾；通过评估互动行为，为每个婴幼儿和宠物提供个性化的关怀建议。