移动机器人及穿衣建议的提醒方法与流程

本技术涉及图像处理领域，特别涉及一种移动机器人及穿衣建议的提醒方法。

背景技术：

1、对于居家环境下的移动机器人来说，移动机器人能够识别出视野范围内各个人员的年龄、性别、当前的行为以及周围的环境，然后根据识别出来的结果提供相应的服务。由于在居家环境下，用户的情况和周围的环境都较为复杂，而传统图像识别技术识别的内容相对比较简单，不适用于居家环境下的人体识别。因此，亟需一种能够适用于居家环境的穿衣建议的提醒方法。

技术实现思路

1、本技术提供了一种移动机器人及穿衣建议的提醒方法，可以解决相关技术中在无法在复杂的居家环境下对目标人员进行穿衣建议提醒的问题。所述技术方案如下：

2、一方面，提供了一种移动机器人，所述移动机器人包括控制器、摄像头、移动底座和语音播放器，所述控制器用于：

3、获取所述摄像头拍摄的目标人员的视频流，所述目标人员为所述摄像头的拍摄范围内的任一人员；

4、通过经训练的目标人体检测模型对所述视频流进行处理，以得到人体检测结果，所述人体检测结果指示所述目标人员的年龄和性别，所述目标人体检测模型包括经训练的特征提取网络，所述特征提取网络包括下采样模块和卷积注意力机制cbamc3模块，所述cbamc3模块包括两个卷积层、多个移动网络moblienet层、特征融合层和卷积注意力层；

5、通过经训练的行为检测模型对所述视频流进行处理，以得到所述目标人员的行为；

6、如果基于所述目标人员的行为确定所述目标人员要出门，则控制所述移动底座进行移动，以跟随所述目标人员，并基于所述目标人员的年龄和性别，以及当前的天气情况，确定对应的穿衣建议，控制所述语音播放器通过语音的方式播放所述穿衣建议。

7、可选地，所述目标人体检测模型还包括与所述特征提取网络依次连接的特征融合网络和预测网络；

8、所述控制器具体用于：

9、获取第一样本图像集，所述第一样本图像集包括多个第一样本图像，所述多个第一样本图像中的每个第一样本图像对应一个样本标签，所述样本标签指示对应的第一样本图像中人员的年龄和性别；

10、基于所述第一样本图像集，对所述特征提取网络的网络参数进行训练，以得到经训练的网络参数；

11、获取第二样本图像集，所述第二样本图像集包括多个第二样本图像，所述多个第二样本图像中的每个第二样本图像对应一个样本标注信息，所述样本标注信息指示对应的第二样本图像中人员的成像位置；

12、将所述特征提取网络的网络参数固定为所述经训练的网络参数，基于所述第二样本图像集，对所述特征融合网络和所述预测网络的网络参数进行训练，以得到经训练的目标人体检测模型。

13、可选地，所述控制器具体用于：

14、生成图像分类模型，所述图像分类模型包括所述特征提取网络、池化层和全连接层；

15、基于所述第一样本图像集，对所述图像分类模型进行训练，以得到所述经训练的网络参数。

16、可选地，所述控制器具体用于：

17、对所述多个第二样本图像进行色调饱和度亮度hsv数据增强和马赛克数据增强，以得到多个第三样本图像，所述hsv数据增强用于提升所述多个第二样本图像的颜色多样性，所述马赛克数据增强用于提升所述多个第二样本图像的拍摄角度和拍摄场景的多样性；

18、基于所述多个第二样本图像和所述多个第三样本图像，对所述特征融合网络和所述预测网络的网络参数进行训练，以得到经训练的目标人体检测模型，以使所述目标人体检测模型能够对着装颜色多样性、处于不同位置和场景的人体进行检测。

19、可选地，所述多个第一样本图像的总数量大于所述多个第二样本图像的总数量，以提升所述特征提取网络的网络参数的可靠性。

20、另一方面，提供了一种穿衣建议的提醒方法，应用于移动机器人，所述方法包括：

21、获取目标人员的视频流，所述目标人员为拍摄范围内的任一人员；

22、通过经训练的目标人体检测模型对所述视频流进行处理，以得到人体检测结果，所述人体检测结果指示所述目标人员的年龄和性别，所述目标人体检测模型包括经训练的特征提取网络，所述特征提取网络包括下采样模块和卷积注意力机制cbamc3模块，所述cbamc3模块包括两个卷积层、多个移动网络moblienet层、特征融合层和卷积注意力层；

23、通过经训练的行为检测模型对所述视频流进行处理，以得到所述目标人员的行为；

24、如果基于所述目标人员的行为确定所述目标人员要出门，则跟随所述目标人员，并基于所述目标人员的年龄和性别，以及当前的天气情况，确定对应的穿衣建议，并通过语音的方式播放所述穿衣建议。

25、可选地，所述目标人体检测模型还包括与所述特征提取网络依次连接的特征融合网络和预测网络；所述通过经训练的目标人体检测模型对所述视频流进行处理之前，还包括：

26、获取第一样本图像集，所述第一样本图像集包括多个第一样本图像，所述多个第一样本图像中的每个第一样本图像对应一个样本标签，所述样本标签指示对应的第一样本图像中人员的年龄和性别；

27、基于所述第一样本图像集，对所述特征提取网络的网络参数进行训练，以得到经训练的网络参数；

28、获取第二样本图像集，所述第二样本图像集包括多个第二样本图像，所述多个第二样本图像中的每个第二样本图像对应一个样本标注信息，所述样本标注信息指示对应的第二样本图像中人员的成像位置；

29、将所述特征提取网络的网络参数固定为所述经训练的网络参数，基于所述第二样本图像集，对所述特征融合网络和所述预测网络的网络参数进行训练，以得到经训练的目标人体检测模型。

30、可选地，所述基于所述第一样本图像集，对所述特征提取网络的网络参数进行训练，以得到经训练的网络参数，包括：

31、生成图像分类模型，所述图像分类模型包括所述特征提取网络、池化层和全连接层；

32、基于所述第一样本图像集，对所述图像分类模型进行训练，以得到所述经训练的网络参数。

33、可选地，所述基于所述第二样本图像集，对所述特征融合网络和所述预测网络的网络参数进行训练，以得到经训练的目标人体检测模型，包括：

34、对所述多个第二样本图像进行色调饱和度亮度hsv数据增强和马赛克数据增强，以得到多个第三样本图像，所述hsv数据增强用于提升所述多个第二样本图像的颜色多样性，所述马赛克数据增强用于提升所述多个第二样本图像的拍摄角度和拍摄场景的多样性；

35、基于所述多个第二样本图像和所述多个第三样本图像，对所述特征融合网络和所述预测网络的网络参数进行训练，以得到经训练的目标人体检测模型，以使所述目标人体检测模型能够对着装颜色多样性、处于不同位置和场景的人体进行检测。

36、可选地，所述多个第一样本图像的总数量大于所述多个第二样本图像的总数量，以提升所述特征提取网络的网络参数的可靠性。

37、另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述穿衣建议的提醒方法的步骤。

38、另一方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述所述的穿衣建议的提醒方法的步骤。

39、本技术提供的技术方案至少可以带来以下有益效果：

40、在本技术实施例提供的穿衣建议的提醒方法中，移动机器人可以通过目标人体检测模型确定目标人员的年龄和性别，通过经训练的行为检测模型确定目标人员当前的行为，如果目标人员要出门，则基于目标人员的年龄和性别，以及当前的天气情况对目标人员进行穿衣建议的提醒，避免了目标人员在出门后由于各种天气原因造成的不便，增加了目标人员在出门后的舒适程度。而且，在卷积注意力机制模块中引入卷积注意力层，增强了该目标人体检测模型对图像的全局特征和语义特征的特征提取能力，从而提高了目标人体检测模型的泛化能力。在卷积注意力机制中加入多个移动网络层，实现了目标人体检测模型的轻量化，增加了该目标人体检测模型的计算速度，提高了人体检测能力。