一种基于高密度小目标生活垃圾智能分类检测方法

：本发明属于生活垃圾目标检测领域，特别是提出了一种使用高密度小目标生活垃圾图像分类的识别方法。

背景技术

0、
背景技术：

1、我国人口众多，生活垃圾数量庞大，种类众多。近年来，生活垃圾对环境也产生一定的危险，人类需要更多地了解生活垃圾的分类信息，以便为环境提供保护和为垃圾分类管理提供信息。如果人工识别生活垃圾种类，难度较高、效率较低并且识别准确度难以保障，这为生活垃圾种类的识别工作带来了巨大挑战。随着人工智能的发展，分类模型在图像的应用逐渐普及，可以对多个种类进行识别且可以在不同的场景中发挥作用。若将人工智能技术应用在生活垃圾识别，可以为生态环境的治理保驾护航。

2、本文借鉴了多列卷积网络的思想，通过一个并行排列的不同大小的卷积核和一个池化滤波器对不同尺度垃圾特征进行提取，不同大小的卷积核感受野不同，通过大小不同的卷积核和池化层进行多尺度垃圾信息的提取，然后将提取的信息进行融合输出到下一层中。同时使用ross girshick于2015年提出的一种快速而准确的目标检测方法fasterr-cnn，相对于之前的r-cnn和fast r-cnn方法，faster r-cnn具有更快的速度和更高的准确性。由于rpn的引入，它可以在单个前向传递中生成候选框，而不需要多个阶段的推理过程。这种设计使得faster r-cnn在实时目标检测任务中更具实用性。使得目标候选框的提取变得更加高效。这些候选框随后送入全连接网络进行目标类别的分类和边界框回归，以最终确定目标检测结果。

技术实现思路

0、
技术实现要素：

1、针对神经网络训练时间久、识别精度退化的问题，本文提出了一种使用高密度小目标生活垃圾图像分类的识别方法，基于卷积神经网络，基于googlenet的inception结构思想，对生活垃圾进行多尺度特征提取。以resnet50网络中使用改进后的faster r-cnn数据模型通过残差连接增加目标检测准确率。高密度小目标生活垃圾智能分类检测方法，由以下步骤组成：

2、1.高密度小目标生活垃圾智能分类检测方法，其特征在于，具体步骤如下：

3、s1：googlenet的inception结构将每层几个不同大小的并行卷积核和一个池化滤波器对不同尺度的垃圾特征进行提取，然后将提取的特征进行叠加，输出到下一层；

4、s2：使用resnet50残差网络融合不同层之间的输出，达到各层之间信息聚合；

5、s3：在faster r-cnn中，将各层聚合的信息通过resnet50网络进行特征提取，得到高维的特征图。这些特征图被送入rpn中，生成候选区域；

6、s4：通过改变iou的计算方法，同时引入fpn特征融合网络，提高小目标检测准确率；

7、2.根据权利要求1所述的高密度小目标生活垃圾智能分类检测方法，其特征在于，所述s1中的googlenet的inception结构，该结构进一步包括以下特征：

8、s1-1：不同大小的卷积核感受野不同，对于不同尺度的垃圾信息的敏感程度不同；

9、s1-2：在不增加网络参数数量和计算量的情况下增加网络的深度和宽度。它通过使用多个并行的卷积和池化操作，同时处理不同尺度的特征，并将它们的输出在通道维度上进行拼接；

10、s1-3：inception模块能够捕获细粒度和粗粒度特征，并允许网络自适应地选择和组合这些特征。这使得网络能够更好地处理不同大小的目标和对象，并提高了网络的表达能力；

11、s1-4：针对种类数为11的生活垃圾种类分类训练，通过inception的聚合优化进一步输出；

12、3.根据权利要求1所述高密度小目标生活垃圾智能分类检测方法，其特征在于，所述s2中使用resnet50残差网络等相关技术，其技术的特征在于：

13、s2-1：引入残差块，来解决深度神经网络训练中的梯度消失和梯度爆炸问题；

14、s2-2：融合浅层网络中包含图像的一些小范围特征，实现网络中深浅特征信息的融合。

15、s2-3：在传统的网络中，假设通过从输入x到输出h(x)的映射，那么传统网络中可以表示为

16、h(x)＝f(x)   (1)

17、其中，f(x)表示需要学习的映射

18、resnet采用残差学习，将输出h(x)表示为残差e(x)与输入x相加的形式

19、h(x)＝f(x)+x   (2)

20、残差e(x)可以看作是需要学习的映射的修正。通过直接学习残差e(x)而不是完整的映射f(x)，网络可以更容易地学习到微小的改进，从而避免了梯度消失和梯度爆炸的问题。

21、s2-4：为了实现公式2，resnet使用了残差块。一个典型的残差块包含两个卷积层和一个跳跃连接。假设输入为x，那么残差块的输出可以表示为：

22、h(x)＝f(x)+x   (3)

23、其中表示f(x)残差块的输出，而x表示输入。f(x)可以通过堆叠多个卷积层和激活函数层构成的子网络来实现

24、s2-5：resnet还引入了批量归一化层，通过堆叠多个残差块，可以构建更深的网络。

25、4.根据权利要求1所述的高密度小目标生活垃圾智能分类检测方法，其特征在于，所述s3中的rpn等具备以下特征：

26、s3-1：将inception结构预处理生成的图像进行聚合输入到resnet50网络中，从不同层级提取多个尺度的特征图。

27、s3-2：对于每个特征图，rpn使用滑动窗口来生成一系列候选区域框，称为候选区域。这些候选区域覆盖了图像中可能存在目标的位置。rpn利用候选区域的特征图和相应的先验框，通过分类和回归网络来对候选区域进行筛选和精确定位。

28、s3-3：对于通过rpn选择的候选区域，使用roipooling操作将每个候选区域映射到固定大小的特征图。这个操作能够将不同大小的候选区域映射为固定大小的特征向量，以供后续的分类和回归任务使用。

29、s3-4：将roipooling得到的固定大小的特征向量输入到两个全连接层(一个用于分类任务，另一个用于边界框回归任务)中进行预测。

30、pooled_features＝max_pool(features,roi_size)

31、这些任务分别用于将候选区域分为不同类别和精确定位目标边界框。

32、5.根权利要求1所述的高密度小目标生活垃圾智能分类检测方法，其特征在于，所述s4中的改进iou和融合fpn方法，具体包含如下改进内容：

33、s4-1：改进的iou可以更准确地度量候选框和真实目标框之间的相似度；

34、s4-2：计算两个框的重叠区域面积；

35、p＝max(0,min(x2_1,x2_2)-max(x1_1,x1_2))

36、q＝max(0,min(y2_1,y2_2)-max(y1_1,y1_2))

37、intersection＝p*q

38、其中，(x1_1,y1_1,x2_1,y2_1)表示候选框的坐标，(x1_2,y1_2,x2_2,y2_2)表示真实目标框的坐标

39、计算两个框的并集面积：

40、union＝area_1+area_2–intersection

41、其中，area_1和area_2分别表示候选框和真实目标框的面积。

42、a＝max(x1_1,x1_2),b＝min(x2_1,x2_2)

43、c＝max(y1_1,t1_2),d＝min(y2_1,y2_2)

44、p和q的最小矩形

45、s＝|(x11e-x21e)*(y11e-y21e)|

46、计算优化结束的iou值为xou：

47、

48、s4-3：xou不受尺度影响，进一步显示了预测边界框和真实边界框的关系，同时，将损失函数的数值降到最低。

49、s4-4：fpn特征融合网络在bottom-up阶段的特征提取：通过主干网络提取多个特征图，表示为p3,p4,p5,p6,p7。这些特征图对应不同的层级，具有不同的分辨率。

50、s4-5：top-down阶段的特征融合，通过上采样操作，将较高层级(分辨率较低、语义信息较高)的特征图进行上采样，使其与较低层级特征图具有相同的尺寸。

51、s4-6：对应的上采样特征图和较低层级特征图按元素相加，用于融合不同层级的特征。特征融合后的特征图表示为p3',p4',p5',p6',p7'，其中每个特征图涵盖了不同的尺度信息。

52、与相关的现有技术相比，本技术提案相比现有技术，有以下主要技术优点：本发明的有益效果是：

53、inception模块通过不同尺寸的卷积操作进行特征提取：通过inception模块充分利用了不同尺度的卷积操作，通过多个平行的卷积层和拼接操作，有效地捕获了图像的多尺度特征，googlenet可以构建出非常深的网络架构，同时显著减少参数量，提高计算效率。在训练过程中，googlenet使用了辅助分类器来帮助梯度传播和减轻梯度消失的问题。

54、对iou的改进，更准确地度量候选框和真实目标框之间的相似度，通过引入角度差异来进一步改进目标检测的准确性评估。iou度量考虑了边界框之间的旋转差异，以更全面地衡量目标区域的重叠程度。。

55、融合fpn的方法，它通过建立多尺度特征金字塔来提取丰富的语义信息，并将这些特征金字塔与底层的高分辨率特征图进行融合，以提升目标检测的准确性。