一种室内障碍物检测方法及室内机器人与流程

本申请涉及智能家居及机器人，特别地涉及一种室内障碍物检测方法、装置、存储介质、电子设备以及室内机器人。

背景技术：

1、当前市面上的室内机器人，其避障主要依托双目或深度摄像机所采集的数据，使用的算法主要包括传统算子滤波、主流卷积神经网络(cnn)等。

2、然而深度相机、双目相机的成本较高，在产品中实现大规模应用存在困难；传统检测用的滤波算子，具备效果不佳、鲁棒性不足，以及易导致检测失败从而使机器人与障碍物相撞等缺点；cnn网络模型架构复杂且计算量大，严重挤占机器人其它功能的运算资源。

3、上述的缺陷与不足大大降低了室内机器人的用户使用体验，因此亟需一种既包含轻量级的网络模型且又能够满足室内机器人避障的检测方法。

技术实现思路

1、针对上述问题，本申请提出一种室内障碍物检测方法、装置、存储介质、电子设备以及室内机器人。仅使用单目视觉相机数据就能有效检测障碍物类别，降低了室内机器人的成本，至少解决了现有室内机器人的计算量大且严重挤占室内机器人其它功能的运算资源的问题。

2、本申请的第一个方面，提供了一种室内障碍物检测方法，所述方法包括：

3、按照预设时长从单目摄像机采集的视频流中获取目标视频帧；

4、对所述目标视频帧进行预处理以降低所述目标视频帧的分辨率，获得预处理后的图像；

5、通过训练好的网络模型检测所述预处理后的图像中是否存在障碍物，并在检测到障碍物的情况下确定所述障碍物的类别，其中所述训练好的网络模型通过可分离卷积与点卷积结合的方式对预处理后的图像的每一通道进行单独卷积操作，并使用预设的小卷积核进行图像通道数的调整。

6、进一步的，所述预处理，包括：

7、像素采样处理。

8、进一步的，所述通过训练好的网络模型检测所述预处理后的图像中是否存在障碍物，并在检测到障碍物的情况下确定所述障碍物的类别，包括：

9、根据所述预处理后的图像向分类模型接口发送障碍物检测请求；

10、响应于所述障碍物检测请求，控制所述训练好的网络模型根据所述预处理后的图像生成检测结果，并通过所述分类模型接口输出所述检测结果，其中，所述检测结果中保存有障碍物以及所述障碍物的类别信息。

11、进一步的，所述分类模型接口由部署有所述训练好的网络模型的预设mcu芯片提供。

12、进一步的，所述网络模型的训练步骤包括：

13、根据预设的开源室内场景数据集对所述网络模型进行训练，获得训练后的网络模型；

14、使用预设实验室数据对所述训练后的网络模型进行二次网格调优，以使所述训练后的网络模型满足预设标准条件，获得调优后的网络模型；

15、对所述调优后的网络模型进行剪枝、蒸馏以及固化操作，获得所述训练好的网络模型。

16、进一步的，还包括：

17、将所述训练好的网络模型进行编译并部署在预设mcu芯片中。

18、进一步的，所述控制所述训练好的网络模型根据所述预处理后的图像生成检测结果，包括：

19、控制网络模型的第一卷积层对所述预处理后的图像进行典型特征提取操作与批归一化操作，得到第一结果；

20、控制网络模型的第二卷积层通过设立两个不同的深度可分离卷积分支对所述第一结果进行卷积运算，并对两个分支的运算结果进行整合，获得第二结果；

21、控制网络模型的第三卷积层，单独计算所述第二结果中每个深度的权重，并将权重与所述第二结果相乘，获得第三结果；

22、控制网络模型的第四卷积层，单独计算所述第三结果中每个深度的权重，并将权重与所述第三结果相乘，获得第四结果；

23、控制网络模型的输出层根据所述第四结果进行高维特征学习，并通过全局池化与分类器生成所述检测结果。

24、本申请的第二个方面，提供了一种装置，所述装置包括：

25、获取模块，用于按照预设时长从单目摄像机采集的视频流中获取目标视频帧；

26、预处理模块，用于对所述目标视频帧进行预处理以降低所述目标视频帧的分辨率，获得预处理后的图像；

27、检测模块，用于通过训练好的网络模型检测所述预处理后的图像中是否存在障碍物，并在检测到障碍物的情况下确定所述障碍物的类别，其中所述训练好的网络模型通过可分离卷积与点卷积结合的方式对预处理后的图像的每一通道进行单独卷积操作，并使用预设的小卷积核进行图像通道数的调整。

28、本申请的第三个方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，可被一个或多个处理器执行，用以实现如上所述的方法。

29、本申请的第四个方面，提供了一种电子设备，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，该计算机程序被所述一个或多个处理器执行时，实现如上所述的方法。

30、本申请的第五个方面，提供了一种室内机器人，包括如上所述的电子设备。

31、与现有技术相比，本申请的技术方案具有以下优点或有益效果：

32、对从单目摄像机采集的视频流中获取的目标视频帧进行预处理以降低所述目标视频帧的分辨率，获得预处理后的图像；通过训练好的轻量级的网络模型进行障碍物的检测，可大大降低产品的成本，轻量级的网络模型减少了运算资源消耗，保证了用户的使用体验。

技术特征：

1.一种室内障碍物检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预处理，包括：

3.根据权利要求1所述的方法，其特征在于，所述通过训练好的网络模型检测所述预处理后的图像中是否存在障碍物，并在检测到障碍物的情况下确定所述障碍物的类别，包括：

4.根据权利要求3所述的方法，其特征在于，所述分类模型接口由部署有所述训练好的网络模型的预设mcu芯片提供。

5.根据权利要求1所述的方法，其特征在于，所述网络模型的训练步骤包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求3所述的方法，其特征在于，所述控制所述训练好的网络模型根据所述预处理后的图像生成检测结果，包括：

8.一种装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储的计算机程序，当被一个或多个处理器执行时，实现如权利要求1～7中任一项所述的方法。

10.一种电子设备，其特征在于，包括存储器和一个或多个处理器，所述存储器上存储有计算机程序，所述存储器和所述一个或多个处理器之间互相通信连接，当所述计算机程序被所述一个或多个处理器执行时，执行如权利要求1～7中任一项所述的方法。

11.一种室内机器人，其特征在于，包括：

技术总结
本申请公开了一种室内障碍物检测方法及室内机器人。所述方法包括：按照预设时长从单目摄像机采集的视频流中获取目标视频帧；对所述目标视频帧进行预处理以降低所述目标视频帧的分辨率，获得预处理后的图像；通过训练好的网络模型检测所述预处理后的图像中是否存在障碍物，并在检测到障碍物的情况下确定所述障碍物的类别，其中所述训练好的网络模型通过可分离卷积与点卷积结合的方式对预处理后的图像的每一通道进行单独卷积操作，并使用预设的小卷积核进行图像通道数的调整。通过训练好的轻量级的网络模型进行障碍物的检测，可大大降低产品的成本，轻量级的网络模型减少了运算资源消耗，保证了用户的使用体验。

技术研发人员：张詠钦
受保护的技术使用者：珠海格力电器股份有限公司
技术研发日：
技术公布日：2024/1/11