机器人控制方法、装置和存储介质与流程

本发明涉及机器人，具体涉及一种机器人控制方法、装置和存储介质。

背景技术：

1、随着科技的发展，机器人在人们的日常生活中应用越来越多，例如常见的扫地机器人、擦地机器人，以及更为高级的机器人管家等，这些机器人在家庭中的应用，使得人们的生活变得更为舒适便利。其中，机器视觉作为辅助可以帮助机器人获取周围视野范围的场景信息。

2、目前，对机器人工作的控制主要基于手机app或者机器人机身上按键。

3、但是，利用手机app，严重依赖于手机与用于传输控制指令的网络，操作不够方便快捷，并且机器人机身上的按键功能也有限，因此目前基于手机app或者机身上按键的机器人控制方案都比较复杂繁琐，用户使用体验不佳。

技术实现思路

1、本发明的目的是针对上述现有技术的不足提出的一种机器人控制方法、装置和存储介质，该目的是通过以下技术方案实现的。

2、本发明的第一方面提出了一种机器人控制方法，所述方法包括：

3、获取机器人周围的第一场景图像，并检测所述第一场景图像中是否有脚部；

4、根据连续预设数量帧第一场景图像均被检测到有脚部，连续获取多帧机器人周围的第二场景图像；

5、基于所述多帧第二场景图像识别脚部姿势，并按照识别到的脚部姿势所对应的控制方式控制所述机器人。

6、在本申请的一些实施例中，所述检测所述第一场景图像中是否有脚部，包括：

7、将所述第一场景图像输入已训练的第一神经网络模型，以由所述第一神经网络模型检测所述第一场景图像中是否有脚部，并输出检测结果。

8、在本申请的一些实施例中，所述方法还包括第一神经网络模型的训练过程：

9、获取由所述摄像头采集的包含脚部的图像作为正样本，并获取不包含脚部的图像作为负样本；利用所述正样本和所述负样本对预先建立的分类模型进行训练，以得到第一神经网络模型。

10、在本申请的一些实施例中，所述基于所述多帧第二场景图像识别脚部姿势，包括：

11、将所述多帧连续的第二场景图像输入已训练的第二神经网络模型，以由所述第二神经网络模型基于多帧第二场景图像识别脚部姿势。

12、在本申请的一些实施例中，所述第二神经网络模型基于多帧第二场景图像识别脚部姿势，包括：

13、通过所述第二神经网络模型中的特征提取模块对每帧第二场景图像依次进行特征提取，得到多帧特征图；通过所述第二神经网络模型中的时序移位模块从所述特征提取模块中获取所述多帧特征图，并对每帧特征图进行时序移位，以得到多帧移位后的特征图；通过所述第二神经网络模型中的识别模块从所述时序移位模块中获取所述多帧移位后的特征图，从所述特征提取模块中获取所述多帧特征图，并根据所述多帧移位后的特征图和所述多帧特征图识别脚部姿势。

14、在本申请的一些实施例中，所述时序移位模块对每帧特征图进行时序移位，以得到多帧移位后的特征图，包括：

15、针对第一帧特征图至倒数第二帧特征图中的每帧特征图，将该特征图中部分通道的特征移位至相邻的下一帧特征图的相应通道上，以得到多帧移位后的特征图。

16、在本申请的一些实施例中，所述识别模块根据所述多帧移位后的特征图和所述多帧特征图识别脚部姿势，包括：

17、通过所述识别模块中的卷积层对每帧移位后的特征图进行卷积操作；通过所述识别模块中的合并层从所述卷积层中获取每帧卷积后的特征图，并将每帧卷积后的特征图与所述多帧特征图中相应的特征图进行合并，以得到多帧合并后的特征图；通过所述识别模块中的全连接层从所述合并层中获取所述多帧合并后的特征图，并基于所述多帧合并后的特征图获得脚部姿势识别结果。

18、在本申请的一些实施例中，所述特征提取模块对每帧第二场景图像依次进行特征提取，得到多帧特征图，包括：

19、通过所述特征提取模块中增加注意力机制的卷积模块对每帧第二场景图像依次进行特征提取，得到多帧特征图。

20、在本申请的一些实施例中，所述增加注意力机制的卷积模块为在至少一对相邻卷积层之间设置有注意力模块；所述注意力模块包括通道注意力模块、第一融合层、空间注意力模块、以及第二融合层；其中，通过所述通道注意力模块根据上一卷积层输出的特征图获得通道权重；通过所述第一融合层将所述通道权重融合到上一卷积层输出的特征图上，得到第一融合特征图；通过所述空间注意力模块根据第一融合层输出的第一融合特征图获得空间位置权重；通过所述第二融合层将所述空间位置权重融合到第一融合特征图上，得到第二融合特征图，并输入至下一卷积层中。

21、在本申请的一些实施例中，所述方法还包括所述第二神经网络模型的训练过程：

22、获取由所述摄像头采集的多段包含脚部的视频，并标注每段视频中包含的预设脚部姿势；利用标注后的多段视频对预先建立的动作识别模型进行训练，以得到第二神经网络模型。

23、在本申请的一些实施例中，在得到第二神经网络模型之后，所述方法还包括：

24、对所述第二神经网络模型中的模型参数进行整型量化。

25、在本申请的一些实施例中，所述按照识别到的脚部姿势所对应的控制方式控制所述机器人，包括：

26、根据识别到的脚部姿势为第一预设姿势，控制所述机器人启动清扫模式开始清扫；根据识别到的脚部姿势为第二预设姿势，控制所述机器人结束清扫；根据识别到的脚部姿势为第三预设姿势，控制所述机器人进入目标跟踪模式；根据识别到的脚部姿势为第四预设姿势，控制所述机器人对所述脚部位置的预设范围进行清扫。

27、本发明的第二方面提供了一种机器人控制装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述方法的步骤。

28、本发明的第三方面提供了一种机器人，包括：

29、如上述第二方面所述的机器人控制装置；

30、摄像头，用于采集所述机器人周围的场景图像。

31、本发明的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述方法的步骤。

32、基于上述第一方面至第四方面所述的机器人控制方法、装置和存储介质，本发明技术方案具有如下有益效果或好处：

33、通过利用搭载在机器人上的摄像头拍摄的场景图像，捕捉到机器人视野范围内出现脚部时，继续利用摄像头拍摄的一段视频识别出具体的脚部姿势，从而按照识别的脚部姿势实现机器人的智能控制。相较于现有的手机app或者机身上按键的控制方式，更加方便、快捷、智能，可以很好提升用户体验。并且由于利用的是机器人上原有摄像头便可实现智能控制，无需增加成本，便可以带来产品的智能控制，进一步提升了用户体验。

技术特征：

1.一种机器人控制方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述检测所述第一场景图像中是否有脚部，包括：

3.如权利要求2所述的方法，其特征在于，所述方法还包括第一神经网络模型的训练过程：

4.如权利要求1所述的方法，其特征在于，所述基于所述多帧第二场景图像识别脚部姿势，包括：

5.如权利要求4所述的方法，其特征在于，所述第二神经网络模型基于多帧第二场景图像识别脚部姿势，包括：

6.如权利要求5所述的方法，其特征在于，所述时序移位模块对每帧特征图进行时序移位，以得到多帧移位后的特征图，包括：

7.如权利要求5所述的方法，其特征在于，所述识别模块根据所述多帧移位后的特征图和所述多帧特征图识别脚部姿势，包括：

8.如权利要求5所述的方法，其特征在于，所述特征提取模块对每帧第二场景图像依次进行特征提取，得到多帧特征图，包括：

9.如权利要求8所述的方法，其特征在于，所述增加注意力机制的卷积模块为在至少一对相邻卷积层之间设置有注意力模块；所述注意力模块包括通道注意力模块、第一融合层、空间注意力模块、以及第二融合层；

10.如权利要求4-9任一项所述的方法，其特征在于，所述方法还包括所述第二神经网络模型的训练过程：

11.如权利要求10所述的方法，其特征在于，在得到第二神经网络模型之后，所述方法还包括：

12.如权利要求1所述的方法，其特征在于，所述按照识别到的脚部姿势所对应的控制方式控制所述机器人，包括：

13.一种机器人控制装置，所述装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-12任一项所述方法的步骤。

14.一种机器人，其特征在于，包括：

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12任一项所述方法的步骤。

技术总结
本发明公开一种机器人控制方法、装置和存储介质，方法包括：检测机器人上摄像头采集的第一场景图像中是否有脚部；根据连续多帧第一场景图像检测到脚部，获取多帧摄像头采集的第二场景图像；基于第二场景图像识别脚部姿势，并按照识别的脚部姿势对应的控制方式控制机器人。通过用搭载在机器人上的摄像头拍摄的场景图像，捕捉视野范围内出现脚部时，再利用摄像头拍摄的一段视频识别出脚部姿势，并按照识别的脚部姿势实现机器人的智能控制。相较现有的手机APP或机身上按键的方式，更加方便、快捷、智能，可以很好提升用户体验。并且由于利用的是机器人上原有摄像头便可实现智能控制，无需增加成本，便可以带来产品的智能控制，进一步提升了用户体验。

技术研发人员：张志鹏,鞠汶奇,徐全飞,孙涛
受保护的技术使用者：美智纵横科技有限责任公司
技术研发日：
技术公布日：2024/1/11