一种基于目标检测和图像分类的室内机器人垃圾识别方法与流程

本发明属领域，具体是一种基于目标检测和图像分类的室内机器人垃圾识别方法。

背景技术：

1、智能清洁是以传统清洁技术为核心，以人工智能视觉技术为辅助，从而提高清洁效率，降低人力成本。

2、传统基于陀螺仪+超声波+随机碰撞来感知环境的机器人运动随机性太强，同一块区域被反复清洁，而同时有的区域可能并不能够被覆盖，造成实际清扫范围对于全屋的覆盖并没有想象中提升的那么明显。

3、基于slam技术的机器人能够通过激光雷达扫描即时定位与构建环境地图，虽然极大的提高了机器人的效率能够合理的规划路径，但是缺乏无法精准识别垃圾，获取垃圾的位置达到主动清洁的能力。

4、深度学习是一种人工智能(ai)领域的机器学习技术，通过学习垃圾样本数据的内在规律和表示层次，最终让机器能够像人一样主动识别垃圾的颜色、纹理、轮廓等信息。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，本发明提供种基于目标检测和图像分类的室内机器人垃圾识别方法，配合目前市场上具有rgb摄像头的机器人能够很好的定位出垃圾的位置，并且具有一定的泛化能力。搭载该项技术的清洁机器人能够对垃圾进行主动区分，识别出垃圾的物理形态(固体、液体)，识别出垃圾的状态(可清扫、不可扫)，从而驱使清洁机器人对不同物体形态的垃圾进行不同的清洁策略，对不同垃圾状态的垃圾进行主动清洁或者是避障的处理。

2、技术方案：为实现上述目的，本发明提供了一种基于目标检测和图像分类的室内机器人垃圾识别方法，包括以下步骤：

3、1)建立数据集：在检测数据集中采集了大量含有各类垃圾的目标图像，制定细化后的类别标签，包括“可清洁垃圾”、“液体垃圾”、“障碍物垃圾”，组成分类训练数据集。在分类数据集中，将检测数据集中的“可清洁垃圾”在原图上进行裁剪，并进一步细化可清洁垃圾的类别、如：牙签，纸片，烟头，食品包装袋，餐巾纸等，组成分类数据集。

4、2)目标检测：使用yolov7-tiny模型进行检测输出垃圾目标、目标坐标位置、目标置信度；yolov7-tiny模型首先对接收的图像进行校验，如果传入的图像不是640*480分辨率，强制将其转换为640*480尺寸。

5、3)图像切割：对检测框的尺寸进行判断，并将检测出的目标在原图中按照1：1的宽高尺寸比裁剪下来，缩放为特定112*112像素像素大小的图片；假设检测框的宽度为w，高度为h，如果w>h时，图像将会在图像的高度维度上，分别向上、下分别拓展δh个像素值，其中：δh＝(w-h)/2；如向上、下拓展的像素值超过了图像的范围在原图上补充全黑的像素值；如果w<h时，图像将会在图像的宽度维度上，分别向左、右拓展δw个像素值，其中：δw＝(h-w)/2。

6、4)图像分类：将步骤3)得到的图片输入到分类模型当中，使用mobilenetv3_large_x1_0网络作为分类模型的特征提取网络，将得到的图片分类到对应的可清洁垃圾具体类别。

7、5)发布垃圾：将图片对应的分类标签发送给机器人，对于“可清洁垃圾”，机器人打开清洁机构主动前往发布垃圾的位置进行清扫；对于“液体垃圾”，机器人采用拖地的策略对其进行主动处理；对于“障碍物垃圾”，机器人调动控制模块对其进行避障操作，同时机器人会将障碍物垃圾进一步发布给软件控制端，发送给相关调度人员，通过人工干预的方式及时障碍物垃圾。

8、有益效果：本发明，有益效果如下：

9、1)融合使用目标检测+图像分类技术识别当前区域出现的垃圾，针对不同类型的垃圾要发送不同的信号给机器人，使其采用针对性的策略进行处理。

10、2)目标检测模型可以识别输出图像中含有目标物体的类别、置信度、位置信息。图像分类可以识别当前输入图像的类别和置信度。

11、3)将垃圾和垃圾类别进行解耦开的设计方式在数据采集、训练、部署落地过程中都十分方便。并且如果需要增加某种垃圾的识别能力，只需要专门采集对应的垃圾的数据，在不破坏原有数据构成的情况下进行叠加即可。

技术特征：

1.一种基于目标检测和图像分类的室内机器人垃圾识别方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于目标检测和图像分类的室内机器人垃圾识别方法，其特征在于：步骤2)所述目标检测过程中，yolov7-tiny模型首先对接收的图像进行校验，如果传入的图像不是640*480分辨率，强制将其转换为640*480尺寸。

3.根据权利要求1所述的基于目标检测和图像分类的室内机器人垃圾识别方法，其特征在于：步骤3)所述图像切割过程中，裁剪后的缩放为112*112像素大小的图片，假设检测框的宽度为w，高度为h，如果w>h时，图像将会在图像的高度维度上，分别向上、下分别拓展δh个像素值，其中：δh＝(w-h)/2；如向上、下拓展的像素值超过了图像的范围在原图上补充全黑的像素值；如果w<h时，图像将会在图像的宽度维度上，分别向左、右拓展δw个像素值，其中：δw＝(h-w)/2。

技术总结
本发明公开了一种基于目标检测和图像分类的室内机器人垃圾识别方法，融合使用目标检测+图像分类技术识别当前区域出现的垃圾。目标检测模型可以识别输出图像中含有目标物体的类别、置信度、位置信息。图像分类可以识别当前输入图像的类别和置信度。本发明在检测模型中只对标签为“垃圾”的目标进行检测和定位，在检测出垃圾后，本发明采用的算法会将检测框在原图中进行切割下来后将其统一缩放为112*112尺寸的图像，将缩放后的图输入到分类模型当中。通过分类模型对垃圾属性进行进一步分类，根据分类结果不同采用不同的处理流程。

技术研发人员：游亚东,张潜,张淼,潘国峰,刘文博,黄硕
受保护的技术使用者：深圳亿嘉和科技研发有限公司
技术研发日：
技术公布日：2024/1/15