基于神经网络的厨余垃圾检测方法

1.本发明属于数字图像处理领域，具体涉及一种基于神经网络的厨余垃圾检测方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，人们对于垃圾回收的关注度也越来越高。厨余垃圾是人们生活中产生的众多类垃圾中的一类；在垃圾回收处理过程中，对于厨余垃圾的分类也尤为重要。
3.目前，现有的厨余垃圾分类，一般还处于人工分拣的阶段。但是明显的，对厨余垃圾进行人工分拣的过程，不仅费时费力，而且效率极为低下。随着深度学习技术的发展，目前也已经有了部分采用目标检测算法来进行厨余垃圾分拣的研究。但是，目前的目标检测算法都是基于自然图像或者遥感图像数据集进行训练和测试，对于厨余垃圾图像而言，其适用性不强。而且，厨余垃圾具有自身的独特属性，比如在可见光图像中玻璃制品和塑料瓶轮廓相似度极高，这使得现有的目标检测算法在进行检测时，其可靠性和精确性均较差。


技术实现要素：

4.本发明的目的在于提供一种适用于厨余垃圾分拣，而且可靠性高、精确性好的基于神经网络的厨余垃圾检测方法。
5.本发明提供的这种基于神经网络的厨余垃圾检测方法，包括如下步骤：s1. 获取已经进行标注后的厨余垃圾图像数据集；s2. 对步骤s1获取的数据集进行数据增强；s3. 基于transformer神经网络和原型对比学习算法，构建厨余垃圾检测初始模型；s4. 采用步骤s2得到的增强后的数据集，对步骤s3构建的厨余垃圾检测初始模型进行训练，得到厨余垃圾检测模型；s5. 采用步骤s4得到的厨余垃圾检测模型，进行实际的厨余垃圾检测。
6.步骤s1所述的已经进行标注后的厨余垃圾图像数据集，具体为按照国家生活垃圾种类定义和实际情况需求，将厨余垃圾标记为硬塑料、玻璃、利乐宝、塑料瓶、金属、规则软塑料或无规则软塑料。
7.步骤s2所述的对步骤s1获取的数据集进行数据增强，具体包括如下步骤：首先，读取数据集中的图像；然后，采用双线性插值算法将图像的大小调整到设定的大小值；接下来，将统一大小的图像随机按照横轴、纵轴或对角线进行翻转，翻转概率依次为0.25、0.25和0.25；最后，将得到的图像按照设定的均值和方差进行图像归一化操作，从而得到最终的厨余垃圾图像训练数据集。
8.步骤s3所述的厨余垃圾检测初始模型，具体为首先采用transformer神经网络提取厨余垃圾图像中的特征，然后对得到的多尺度特征进行融合并进行正负样本采样，接下来对得到的样本进行级联和分类，最后采用增强了原型间距的原型对比学习算法对分类结果进行分类结果进行修正，从而完成厨余垃圾检测。
9.所述的步骤s3，具体包括如下步骤：a. 采用transformer神经网络提取厨余垃圾图像的特征。
10.b. 对步骤a提取的特征进行融合得到多层特征，采用卷积网络进行处理生成对应的目标候选框和分类结果，并进行正负样本采样。
11.c. 对步骤b采样的样本进行级联操作，修正候选框位置并对样本进行分类。
12.d. 采用增强了原型间距的原型对比学习算法对分类结果进行修正，从而完成厨余垃圾检测。
13.所述的步骤a，具体包括如下步骤：采用构建的transformer神经网络提取厨余垃圾图像的特征；构建的transformer神经网络包括依次串接的图像切分模层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层；图像切分模层用于对输入的图像进行分块；第一特征提取层包括1层镶嵌模层和2个swintransformer块，用于浅层特征提取；第二特征提取层包括1层图像切分模层和2个swintransformer块，用于浅层特征提取；第三特征提取层包括1层图像切分模层和6个swintransformer块，用于深层特征提取；第四特征提取层包括1层图像切分模层和2个swintransformer块，用于深层特征提取；每一个swintransformer块均包括4层归一化层、2个多层感知机模块、1个窗口多头自注意力模块和1个移位窗口多头自注意力模块。
14.所述的步骤b，具体包括如下步骤：b1. 构建金字塔特征融合模块，将步骤a中每个层输出的特征均与上阶段输出的特征进行融合，从而得到第i层输出的多层特征fi；b2. 构建候选框生成网络，将步骤b1得到的多层特征fi输入到候选框生成网络，从而得到可能包含垃圾目标的候选框b
p
和分类结果c
p
；所述的候选框生成网络包括依次串联的1个3
×
3卷积层和2个1
×
1卷积层；b3. 根据真实边界框、类别标签和步骤b2得到的候选框b
p
、分类结果c
p
，构建损失函数，并在训练时采用梯度下降法更新网络参数；b4. 采用感兴趣区域对齐模块和候选框b
p
，进行多层特征fi的对齐；b5. 采用样本提取模块，按照设定的正负样本比例提取对齐后的样本特征；其中正样本定义为候选框与真实边界框的交并比大于第一设定值，负样本定义为候选框与真实边界框的交并比小于第二设定值，且第二设定值小于第一设定值。
15.步骤b3所述的构建损失函数，具体包括如下步骤：采用如下算式作为损失函数l
rpn
：式中l
rpnreg
为回归损失函数，且，x为回归损失函数l
rpnreg
的自变量，表示候选框b
p
与真实边界框b的差；l
rpncls
为分类损失函数，且
，n为样本总量，为样本i为正样本的概率，yi为二值函数，若样本i为正样本则，若样本i为负样本则。
16.所述的步骤c，具体包括如下步骤：（1）. 将样本输入到三个依次串接的全连接层，得到第一阶段回归结果b1和第一阶段分类结果c1；然后，根据第一阶段回归结果b1与真实边界框b，计算回归损失函数；根据第一阶段分类结果c1和真实类别标签c，计算分类损失函数；并在训练时采用梯度下降法更新网络参数；（2）. 采用第一阶段回归结果b1和多层特征fi，重新提取正负样本；（3）. 对步骤（2）提取的正负样本，再次输入到三个依次串接的全连接层，得到第二阶段回归结果b2和第二阶段分类结果c2；然后，根据第二阶段回归结果b2与真实边界框b，计算回归损失函数；根据第二阶段分类结果c2和真实类别标签c，计算分类损失函数；并在训练时采用梯度下降法更新网络参数。
17.所述的步骤d，具体包括如下步骤：d1. 通过两个全连接层，对步骤c重新提取的样本进行特征提取，得到特征f
p
；d2. 将步骤d1得到的特征f
p
通过构建的原型对比模块，从而增大特征f
p
与其他类原型的间距，并缩小特征f
p
与同类原型的间距；所述的原型对比模块，包括两个全连接层、两个relu层和一个进行了l2范数归一化的全连接层，其中两个全连接层用于组合特征，relu层用于函数激活，使模型具有非线性性，l2范数归一化的全连接层用于分类和对比；d3. 最后，通过构建的原型间距增大模块，增大不同类别原型间的间距，完成分类结果的修正，从而完成厨余垃圾检测。
18.所述的步骤d2，处理过程包括如下步骤：采用如下算式作为处理函数：式中n为样本总量；y
kc
为符号函数，若样本k的真实类别为c则y
kc
为1，否则y
kc
为0；l
kc
为中间变量，且，其中lfi为进行二范数归一化后的特征向量fi，，为特征向量fi的第j个值，lwi为进行二范数归一化后的全连接层参数wi，，为全连接层参数的第i行第j列值；在训练过程中，采用梯度下降算法进行参数更新。
19.步骤d3所述的原型间距增大模块，具体包括一个进行了l2范数归一化的全连接层。
20.所述的步骤d3，处理过程包括如下步骤：
采用如下算式作为处理函数：式中y
kc
为符号函数，若样本k的真实类别为c则y
kc
为1，否则y
kc
为0；m
kc
为中间变量，且，lwi为进行二范数归一化后的全连接层参数wi，，为全连接层参数的第i行第j列的值；在训练过程中，采用梯度下降算法进行参数更新。
21.本发明提供的这种基于神经网络的厨余垃圾检测方法，只在训练时增加增强原型间距的原型对比学习模块，不增加推理速度，具有较强的实际应用价值；通过引入原型对比学习，在模型学习分类任务和回归任务的同时，学习类别原型特征，增大异类原型和样本特征间距，减小同类原型和样本特征间距，使网络能够提取更具有区分意义的类别特征；在类别原型学习的基础上，通过损失函数监督增大类别原型间距，使模型能够学习到更优的类别原型，提升生活厨余垃圾检测精度；因此本发明方法适用于厨余垃圾分类，而且可靠性高、精确性好。
附图说明
22.图1为本发明方法的方法流程示意图。
23.图2为本发明方法与现有方法在厨余垃圾图像数据集上的检测结果比较示意图。
具体实施方式
24.如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于神经网络的厨余垃圾检测方法，包括如下步骤：s1. 获取已经进行标注后的厨余垃圾图像数据集；具体为按照国家生活垃圾种类定义和实际情况需求，将厨余垃圾标记为硬塑料、玻璃、利乐宝、塑料瓶、金属、规则软塑料或无规则软塑料；s2. 对步骤s1获取的数据集进行数据增强；具体包括如下步骤：首先，读取数据集中的图像；然后，采用双线性插值算法将图像的大小调整到设定的大小值（优选为（1024,1024））；接下来，将统一大小的图像随机按照横轴、纵轴或对角线进行翻转，翻转概率为0.25，0.25，0.25；最后，将得到的图像按照设定的均值（优选为（123.675, 116.28, 103.53））和方差（优选为（58.395, 57.12, 57.375））进行图像归一化操作，从而得到最终的厨余垃圾图像训练数据集；s3. 基于transformer神经网络和原型对比学习算法，构建厨余垃圾检测初始模
型；具体为首先采用transformer神经网络提取厨余垃圾图像中的特征，然后对得到的多尺度特征进行融合并进行正负样本采样，接下来对得到的样本进行级联和分类，最后采用增强了原型间距的原型对比学习算法对分类结果进行分类结果进行修正，从而完成厨余垃圾检测；具体实施时，包括如下步骤：a. 采用transformer神经网络提取厨余垃圾图像的特征；具体包括如下步骤：采用构建的transformer神经网络提取厨余垃圾图像的特征；构建的transformer神经网络包括依次串接的图像切分模层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层；图像切分模层用于对输入的图像进行分块；第一特征提取层包括1层镶嵌模层和2个swintransformer块，用于浅层特征提取；第二特征提取层包括1层图像切分模层和2个swintransformer块，用于浅层特征提取；第三特征提取层包括1层图像切分模层和6个swintransformer块，用于深层特征提取；第四特征提取层包括1层图像切分模层和2个swintransformer块，用于深层特征提取；每一个swintransformer块均包括4层归一化层、2个多层感知机模块、1个窗口多头自注意力模块和1个移位窗口多头自注意力模块；b. 对步骤a提取的特征进行融合得到多层特征，采用卷积网络进行处理生成对应的目标候选框和分类结果，并进行正负样本采样；具体包括如下步骤：b1. 构建金字塔特征融合模块，将步骤a中每个层输出的特征均与上阶段输出的特征进行融合，从而得到第i层输出的多层特征fi；b2. 构建候选框生成网络，将步骤b1得到的多层特征fi输入到候选框生成网络，从而得到可能包含垃圾目标的候选框b
p
和分类结果c
p
；所述的候选框生成网络包括依次串联的1个3
×
3卷积层和2个1
×
1卷积层；b3. 根据真实边界框、类别标签和步骤b2得到的候选框b
p
、分类结果c
p
，构建损失函数，并在训练时采用梯度下降法更新网络参数；构建损失函数具体包括如下步骤：采用如下算式作为损失函数l
rpn
：式中l
rpnreg
为回归损失函数，且，x为回归损失函数l
rpnreg
的自变量，表示候选框b
p
与真实边界框b的差；l
rpncls
为分类损失函数，且，n为样本总量，为样本i为正样本的概率，yi为二值函数，若样本i为正样本则，若样本i为负样本则b4. 采用感兴趣区域对齐模块和候选框b
p
，进行多层特征fi的对齐；b5. 采用样本提取模块，按照设定的正负样本比例提取对齐后的样本特征；其中正样本定义为候选框与真实边界框的交并比大于第一设定值（优选为0.7），负样本定义为候选框与真实边界框的交并比小于第二设定值（优选为0.3），且第二设定值小于第一设定值；c. 对步骤b采样的样本进行级联操作，修正候选框位置并对样本进行分类；具体
包括如下步骤：（1）. 将样本输入到三个依次串接的全连接层，得到第一阶段回归结果b1和第一阶段分类结果c1；然后，根据第一阶段回归结果b1与真实边界框b，计算回归损失函数；根据第一阶段分类结果c1和真实类别标签c，计算分类损失函数；并在训练时采用梯度下降法更新网络参数；（2）. 采用第一阶段回归结果b1和多层特征fi，重新提取正负样本；（3）. 对步骤（2）提取的正负样本，再次输入到三个依次串接的全连接层，得到第二阶段回归结果b2和第二阶段分类结果c2；然后，根据第二阶段回归结果b2与真实边界框b，计算回归损失函数；根据第二阶段分类结果c2和真实类别标签c，计算分类损失函数；并在训练时采用梯度下降法更新网络参数；d. 采用增强了原型间距的原型对比学习算法对分类结果进行修正，从而完成厨余垃圾检测；具体包括如下步骤：d1. 通过两个全连接层，对步骤c重新提取的正本样本进行特征提取，得到特征f
p
；d2. 将步骤d1得到的特征f
p
通过构建的原型对比模块，从而增大特征f
p
与其他类原型的间距，并缩小特征f
p
与同类原型的间距；所述的原型对比模块，包括两个全连接层、两个relu层和一个进行了l2范数归一化的全连接层，其中两个全连接层起组合特征作用，relu层起到函数激活作用，使模型具有非线性性，l2范数归一化的全连接层起到分类和对比作用；处理过程包括如下步骤：采用如下算式作为处理函数：式中n为样本总量；y
kc
为符号函数，若样本k的真实类别为c则y
kc
为1，否则y
kc
为0；l
kc
为中间变量，且，其中lfi为进行二范数归一化后的特征向量fi，，为特征向量fi的第j个值，lwi为进行二范数归一化后的全连接层参数wi，，为全连接层参数的第i行第j列值；在训练过程中，采用梯度下降算法进行参数更新；d3. 最后，通过构建的原型间距增大模块，增大不同类别原型间的间距，完成分类结果的修正，从而完成厨余垃圾检测；所述的原型间距增大模块，具体包括一个进行了l2范数归一化的全连接层；步骤d3的处理过程包括如下步骤：采用如下算式作为处理函数：
式中y
kc
为符号函数，若样本k的真实类别为c则y
kc
为1，否则y
kc
为0；m
kc
为中间变量，且，lwi为进行二范数归一化后的全连接层参数wi，，为全连接层参数的第i行第j列的值；在训练过程中，采用梯度下降算法进行参数更新；s4. 采用步骤s2得到的增强后的数据集，对步骤s3构建的厨余垃圾检测初始模型进行训练，得到厨余垃圾检测模型；s5. 采用步骤s4得到的厨余垃圾检测模型，进行实际的厨余垃圾检测。
25.以下结合一个实施例，对本发明方法的优点进行说明：采用的数据集为生活厨余垃圾目标检测数据集。数据集包含图像13873张，其中训练集11098张，测试集2775张。
26.将本发明方法与3种现有方法进行对比；现有方法包括redet（rotation-equivariant detector）、r3det（refined rotation retinanet）与s2anet（single-shot alignment network）。
27.采用本发明方法与3种现有方法处理同一厨余垃圾图像，处理结果如表1所示：表1 厨余垃圾图像处理结果的精度对比示意表从表1可以看到，本发明方法表现出比其他方法更优的量化结果。本发明方法和其他方法的可视化对比结果如图2所示（图2中，图2（a）为s2anet方法的检测结果，图2（b）为r3det方法的检测结果，图2（c）为redet方法的检测结果，图2（d）为本发明方法的检测结果，图2（e）为真实标签的结果）。从可视化结果和量化结果均可以看出，本发明方法的检测效果最好。