基于深度学习的水面漂浮垃圾识别方法及系统

本发明属于图像检测，具体涉及基于深度学习的水面漂浮垃圾识别方法及系统。

背景技术：

1、随着社会快速发展，生态环境问题日渐成为限制社会发展的重要问题，尤其是水体污染、水域生态破坏的问题越发严重，已经成为可持续发展的一大阻碍。水资源与人类的日常生活紧密相关，国家一直高度重视对水资源的保护。当前许多城市存在不同程度的水面漂浮垃圾污染问题，居民随意丢弃生活垃圾、建筑工地未妥善处理废弃物，以及游客乱丢垃圾是产生垃圾的主要因素，这些不当的行为间接造成了水体富营养化，进而促进各类微生物的繁殖，破坏了水中的生态环境，加剧了水体的恶化问题。所以及时发现并清理水面漂浮垃圾十分重要。

2、目前对于水面漂浮垃圾的检测方法主要分两类：一类使用传统图像处理的方式，另一类采用基于深度学习的方式。传统算法主要通过提取水面图片的前景和背景、颜色、纹理和形状等特征实现漂浮物的识别，该方法在干扰因素少且光照条件充足的环境中表现良好，但水面图像复杂多变，存在倒影、反光和水纹波动等诸多干扰，会导致检测精度显著降低。深度学习检测算法主要分成两类：一类为基于区域提取的两阶段检测算法，另一类为基于回归思想的单阶段检测算法。两阶段检测算法拥有较高的精度，但检测速度比较低，难以完成实时检测的要求；单阶段检测算法速度优于两阶段检测算法，但其精度又有所降低。

3、因此，设计一种能够提高检测效率和检测精度，从而降低误检率和漏检率的基于深度学习的水面漂浮垃圾识别方法及系统，就显得十分必要。

4、例如，申请号为cn202310092012.0的中国专利文献描述的一种基于航拍图像的水环境污染检测方法，该方法获取水域的实时水面图像和基准图像，根据灰度值获取分别获取两张图像中的垃圾待测区，基于边缘像素点的位置获取垃圾待测区的形状矩阵，基于像素点的灰度值获取垃圾待测区的纹理矩阵，结合形状矩阵和纹理矩阵得到垃圾待测区的特征矩阵，根据特征矩阵差异将水面漂浮物体在两个图像中对应的垃圾待测区组成匹配区域对，依据匹配区域对内的位置信息获取波纹影响值，进而获取特征差异阈值，基于特征差异阈值判断垃圾待测区是否为水面漂浮垃圾，依据水面漂浮垃圾的分布信息确定水域的水环境污染情况。虽然提高了对水域的水环境污染情况检测的准确性，但是其缺点在于，由于采用的是基于区域提取的两阶段检测算法，所以检测速度比较低，难以完成实时检测的要求，并且仍然容易受倒影、反光和水纹波动等诸多干扰，造成检测精度降低。

技术实现思路

1、本发明是为了克服现有技术中，目前水面漂浮垃圾的检测方法，存在检测精度容易受倒影、反光和水纹波动等干扰，以及无法同时保证检测速度和检测精度的问题，提供了一种能够提高检测效率和检测精度，从而降低误检率和漏检率的基于深度学习的水面漂浮垃圾识别方法及系统。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、基于深度学习的水面漂浮垃圾识别方法，包括如下步骤：

4、s1，采集多种不同场景、不同时间段的水面漂浮物视频；

5、s2，将所述水面漂浮物视频进行视频帧处理，获得水面漂浮垃圾图像，并将所述水面漂浮垃圾图像制作成数据集；所述数据集被划分为训练集、验证集和测试集；

6、s3，对yolov5s网络模型进行改进，获得改进后的yolov5s网络模型，并对改进后的yolov5s网络模型进行训练；

7、s4，对训练好的模型进行评估；

8、s5，采集实际水面图片并传入嵌入式开发板jetson nano中进行视频帧处理，将视频帧处理得到的图片输入改进后的yolov5s网络模型进行实时检测工作；当检测到水面漂浮垃圾时，上传检测结果至云平台进行显示。

9、作为优选，步骤s2包括如下步骤：

10、s21，将采集到的水面漂浮物视频进行视频帧处理，获得水面漂浮垃圾图像，并使用数据清洗去掉相似度过高的图像；

11、s22，对数据清洗后的图像采用旋转、镜像、色彩偏移和随机亮度的方式进行数据增强扩充；

12、s23，使用labelimg工具对扩充后的图像数据进行标注，并获得数据集；其中，标注的种类包括塑料袋、瓶子、金属罐和牛奶盒四类；

13、s24，采用python脚本文件将数据集按6：2：2的比例划分为训练集、验证集和测试集。

14、作为优选，步骤s3中，所述对yolov5s网络模型进行改进具体为：

15、在原有的yolov5网络架构中，添加一个漂浮目标检测层，用于提升模型对远处场景小目标漂浮垃圾的检测精度；

16、在原有的yolov5网络架构中，融入斯温变换器结构，用于增强水面漂浮垃圾的特征提取功能；

17、在原有的yolov5网络架构中的特征融合层，引入cbam注意力机制，用于加强对漂浮垃圾特征的关注。

18、作为优选，所述斯温变换器结构采用局部窗口的自注意力计算方法，将输入的图像均匀地划分为个不重叠的图像块；其中h和w为输入图像的高和宽，c为图像的通道数；

19、所述斯温变换器结构包括四个阶段，在第一个阶段中，图像块的维度通过线性嵌入变为c，再输入斯温变换器模块中；在第二至第四个阶段中，图像块均经过合并层并改变张量的维度，将维度变成上一阶段的两倍。。

20、作为优选，所述cbam注意力机制包括通道注意力机制模块和空间注意力机制模块；

21、其中，通道注意力机制的计算过程如下所示：

22、

23、公式中，avgpool和maxpool分别表示平均池化操作和最大池化操作，mlp表示多层感知器，σ表示sigmoid激活函数，w0和w1均表示为mlp的权值，为平均池化操作的输出，为最大池化的输出，mc(f)为通道注意力机制计算过程；输入特征f和通道注意力机制模块的输出特征mc作相乘操作得到f'，并输入空间注意力机制模块。

24、作为优选，在空间注意力机制模块中，特征f'经过全局最大池化操作和全局平均池化操作，并进行通道拼接，再经过卷积核大小为7×7的卷积层与激活函数得到特征ms，最后将特征ms与空间注意力机制模块的输入特征进行相乘操作得到f"；空间注意力机制的计算过程具体如下所示：

25、

26、公式中，f7×7表示卷积核为7×7的卷积运算，为平均池化操作的输出，为最大池化的输出，ms(f)为空间注意力机制的计算过程。

27、作为优选，步骤s3中，对改进后的yolov5s网络模型进行训练包括如下步骤：

28、s31，使用随机梯度下降法对改进后的yolov5s网络模型进行训练；

29、s32，将训练集中的图像尺寸调整为640x640像素，并设置学习率为0.01，动量因子为0.937，批量大小batchsize为16，一共训练300轮。

30、作为优选，步骤s4包括如下步骤：

31、s41，通过准确率p、召回率r、平均精度均值map对训练好的模型的检测性能进行评估；其中，p、r和map的计算公式如下所示：

32、

33、

34、

35、公式中，tp表示正样本判定为正样本，fp表示负样本判定为正样本，fn表示正样本判定为负样本，ap表示pr曲线的面积大小，n表示样本的总数量；

36、s42，使用训练好的模型与原有yolov5s网络模型对各类水面漂浮垃圾进行检测实验，得到各自的p、r和map结果，并通过比对获得评估结果。

37、本发明还提供了基于深度学习的水面漂浮垃圾识别系统，包括：

38、数据采集模块，用于采集多种不同场景、不同时间段的水面漂浮物视频；

39、数据处理模块，用于将所述水面漂浮物视频进行视频帧处理，获得水面漂浮垃圾图像，并将所述水面漂浮垃圾图像制作成数据集；所述数据集被划分为训练集、验证集和测试集；

40、模型改进与训练模块，用于对yolov5s网络模型进行改进，获得改进后的yolov5s网络模型，并对改进后的yolov5s网络模型进行训练；

41、模型评估模块，用于对训练好的模型进行评估；

42、模型应用模块，用于采集实际水面图片并传入嵌入式开发板jetson nano中进行视频帧处理，将视频帧处理得到的图片输入改进后的yolov5s网络模型进行实时检测工作；当检测到水面漂浮垃圾时，上传检测结果至云平台进行显示。

43、本发明与现有技术相比，有益效果是：(1)本发明通过深度学习算法进行自动化的水面漂浮垃圾检测，可以提高监测效率，并减少对人力资源的需求；(2)本发明通过改进yolov5s方法可以有效提高模型对水面漂浮垃圾的识别精度，从而降低误检率和漏检率；(3)本发明通过计算机视觉技术可以实时监测水域中的漂浮垃圾并进行预警，提醒有关部门及时采取措施防止垃圾进一步扩散。