一种基于ResNet18和注意力机制的蚕茧图片分类方法及系统与流程

本方法涉及蚕茧分类领域，具体涉及一种基于resnet18和注意力机制的蚕茧图片分类方法及系统。

背景技术：

1、桑蚕丝绸产业是中国传统民族产业、重要民生产业和国际竞争优势产业。为了生产出高品质生丝，需要对蚕茧进行分选以剔除下茧和次茧，保证缫丝原料质量。传统的蚕茧分选基本依靠人工，劳动强度大、选茧效率低，易受选茧人员技术水平和视觉疲劳等主观因素影响，准确率不高、批次间一致性差。

2、目前，机器视觉技术可以实现机器代替人工对蚕茧进行分选，且具有高效、可靠、无损、重复性好等优点；基于图片处理算法的机器视觉通过提取各类蚕茧的特征来达到识别蚕茧种类的目的，但是基于蚕茧颜色和面积的特征差异，容易出现难以识别特征不明显或特征差异较小蚕茧的问题；而基于深度学习的机器视觉技术虽然能实现多种蚕茧的分类，但随着深度学习网络的增加，又可能出现模型退化导致蚕茧分类准确率下降的问题，为此提出一种基于resnet18和注意力机制的的蚕茧图片分类方法及系统，实现多种蚕茧分类的同时，又能避免模型退化的问题。

技术实现思路

1、本发明的目的在于：针对基于图片处理算法的机器视觉难以识别特征差异不明显的蚕茧，以及目前基于深度学习算法识别蚕茧的机器视觉会随着网络的增加导致模型退化，使蚕茧分类准确率下降的问题，提供一种基于resnet18和注意力机制的蚕茧图片分类方法及系统，实现蚕茧分类准确率的增加和选茧效率的提升。

2、为了实现上述发明目的，本发明提供了以下技术方案，其步骤具体包括：

3、s1：获取蚕茧图片，所述蚕茧图片包括带有种类标签的蚕茧训练图片和待分类的蚕茧图片；

4、s2：建立蚕茧分类模型，所述蚕茧分类模型包括resnet18残差网络和注意力机制，使用带有种类标签的蚕茧训练图片训练所述蚕茧分类模型；

5、s3：将所述待分类的蚕茧图片输入训练好的所述蚕茧分类模型，得到所述待分类的蚕茧图片在每个种类中的分布概率，预设上茧概率阈值，所述待分类的蚕茧图片的上茧分布概率高于所述预设上茧概率阈值，则认定所述待分类的蚕茧图片为上茧。

6、所述步骤s2中蚕茧分类模型的训练步骤包括：

7、s21：将带有种类标签的蚕茧训练图片分为训练集、交叉验证集和测试集，所述训练集中的所述蚕茧训练图片用于所述蚕茧分类模型的训练；所述交叉验证集中的所述蚕茧训练图片用于在训练中验证所述蚕茧分类模型的适应性；所述测试集中的蚕茧训练图片用于在训练结束后对所述蚕茧分类模型进行评价。

8、进一步的，所述带有种类标签的蚕茧训练图片划分为训练集、交叉验证集和测试集的具体方法包括：将每类标签下的所述蚕茧训练图片均按3：1：1的比例进行集合划分，然后合并为训练集、交叉验证集和测试集。

9、s22：在所述蚕茧分类模型的resnet18残差网络层中的第二残差层后添加通道与空间注意力机制，在第四残差层后也添加通道与空间注意力机制；所述通道与空间注意力机制的作用是使蚕茧分类模型具有识别关键特征的特性；

10、s23：在所述蚕茧分类模型的resnet18残差网络层的全连接层前添加激活函数层和正则化层；所述激活函数层和所述正则化层均会对输入的特征图减少特征数量，不仅降低了数据计算量，还增加了蚕茧分类模型适应未知蚕茧图片的能力；

11、s24：将所述测试集输入所述蚕茧分类模型，对训练好的所述蚕茧分类模型进行评价，选择最终的所述蚕茧分类模型。

12、进一步的，为了提高所述蚕茧分类模型的准确性，需要对所述蚕茧分类模型进行重复训练。将所述训练集中的图片输入蚕茧分类模型进行蚕茧图片识别训练，并且在所述训练过程中使用所述交叉验证集进行验证，检验所述蚕茧分类模型对未知蚕茧图片数据的识别能力。每次训练结束时会根据当次训练结果计算出所述当次训练的梯度，通过反向传播的方式利用梯度去优化所述蚕茧分类模型中的训练参数。所述反向传播表示根据一次训练得到的结果，调整所述蚕茧分类模型下一次训练中使用的所述训练参数的过程。

13、进一步的，在所述步骤s22中的resnet18残差网络层的结构包括：卷积层、最大池化层、残差网络层、激活函数层、正则化层和全连接层。

14、所述resnet18残差网络为具有18个权重层的残差网络，具体包括1个所述卷积层、具有16个卷积块的所述残差网络层和1个全连接层。

15、所述resnet18残差网络接收所述待分类的蚕茧图片后，输入卷积层进行下采样，得到图片大小减半、特征图数量增加的第一特征图集合；将所述第一特征图集合输入最大池化层提取最大特征信息得到第二特征图集合；将所述第二特征图集合输入所述resnet18残差网络中的残差网络层继续进行下采样和增加通道数量，同时通过残差网络层的跳跃连接方式，获得残差网络层输入和残差网络层输出之间的残差特征，输出第三特征图集合；然后将所述第三特征图集合输入激活函数层和正则化层筛选特征信息，输出第四特征图集合；最后将所述第四特征图集合输入和蚕茧分类数相对应的全连接层融合所有特征信息，得到所述待分类的蚕茧图片的分类结果；所属分类结果再结合归一化指数函数和交叉熵损失函数得到所述蚕茧分类模型当次训练的梯度，使用adam优化器对所述梯度进行自适应调整，通过反向传播的方式去优化所述蚕茧分类模型中用于训练的参数。

16、进一步的，所述残差网络层由第一残差层、第二残差层、第三残差层以及第四残差层组成。每个残差层包括两个残差块，所述残差块包括两个卷积块、激活函数层、跳跃连接层以及加法层。所述残差块接收到输入后，一方面通过卷积块和激活函数实现下采样和特征提取功能，得到第一残差因子；另一方面经由跳跃连接层实现通道数的保持或增加，使输出的第二残差因子和第一残差因子的通道数保持一致；最后将第一残差因子和第二残差因子相加得到叠加了残差的输出，使所述蚕茧分类模型获得对残差网络层输入和残差网络层输出之间的残差。

17、进一步的，在所述步骤s22中的所述通道与空间注意力机制，包括通道注意力机制和空间注意力机制；所述通道注意力机制用于增加第五特征图集合不同通道上的权重系数，所述空间注意力机制用于增加第五特征图集合的不同特征上的权重系数，使模型具有关注特征图的主要特征的特性。

18、进一步的，所述步骤s24中对所述蚕茧分类模型的评价步骤包括：将所述测试集的蚕茧图片输入所述蚕茧分类模型进行泛化实验，得到所述蚕茧分类模型对所述测试集的预测值和所述测试集的真实值之间的混淆矩阵；根据所述混淆矩阵计算模型的准确率、精确率和召回率；根据所述精确率和召回率计算模型的调和平均数f1-score。使用所述准确率、精确率和召回率对所述蚕茧分类模型进行评价，得到最终的蚕茧分类模型。

19、进一步的，在所述步骤s3中，将低于上茧概率阈值的所述蚕茧重新采集，并对所述蚕茧分类模型预测的所述蚕茧的各个种类下的分布概率按从大到小进行排序；将排序第一的种类设为主标签，将排序第二的种类设为次标签；确定主标签和次标签蚕茧的区别特征，根据所述区别特征对所述待分类的蚕茧图片重新采集，并增加相应的图片采集预处理，增加相应的图片采集方式，对所述重新采集的图片进行图片增强，再输入所述蚕茧分类模型重新分类，得到分类结果。

20、进一步的，再次采集所述蚕茧的图片时，增加的预处理操作包括：所述主标签和次标签的主要区别特征为蚕茧颜色时，提高对蚕茧的光照强度；所述主标签和次标签的主要区别特征为纹理及表面印记时，对蚕茧图片放大，采集放大后的蚕茧纹理图片；所述主标签和次标签的主要区别特征为蚕茧形状及瑕疵面积时，增加模型中对蚕茧大小和/或面积的识别权重。

21、增加对所述重新采集的蚕茧图片的清晰度和对比度，提高所述重新采集的蚕茧的图片的特征表达。通过图片去噪和图片锐化的方式提升所述重新采集的蚕茧图片的清晰度；通过非线性变换中的对数变换提升所述重新采集的蚕茧图片的对比度。将提高了特征表达的所述重新采集的蚕茧图片输入所述蚕茧分类模型，得到最终分类结果。

22、所述一种基于resnet18和注意力机制的蚕茧图片分类系统，包括：

23、图片获取模块，获取蚕茧图片，所述蚕茧图片包括带有种类标签的蚕茧训练图片和待分类的蚕茧图片。

24、模型训练模块，建立蚕茧分类模型，所述蚕茧分类模型包括resnet18残差网络和注意力机制，使用带有种类标签的蚕茧训练图片训练所述蚕茧分类模型；

25、模型分类模块，将所述待分类的蚕茧图片输入训练好的所述蚕茧分类模型，得到所述待分类的蚕茧图片在每个种类中的分布概率，预设上茧概率阈值，所述待分类的蚕茧图片的上茧分布概率高于所述预设上茧概率阈值，则认定所述待分类的蚕茧图片为上茧。

26、与现有技术相比，本发明具有以下有益效果：

27、1、本发明使用的所述resnet18残差网络，在所述残差网络层中的第二残差层后添加通道与空间注意力机制，在第四残差网络层后也添加了通道与空间注意力机制。实现了对输入的蚕茧图片在不同通道上增加权重系数和图片上不同特征增加权重系数，使所述蚕茧分类模型具有关注关键特征的能力，增加分类的准确性。

28、2、现有深度学习算法虽然能实现多种蚕茧的分类，但是随着深度学习模型网络的增加，反而会出现模型退化导致分类准确率下降。本发明利用所述resnet18残差网络的卷积特性融合图片的特征，利用所述resnet18残差网络的跳跃连接特性使输入图片获得和输出图片之间的残差，实现原始图片和残差特征的融合，增强了输入图片的特征表达，有利于提高所述蚕茧分类模型的准确率，同时还避免了蚕茧分类模型出现模型退化。

29、3、实践中发现采集的蚕茧图片受光照、图片采集角度以及蚕茧区别特征差异很小等影响，所述蚕茧分类模型分类出的上茧中含有其他种类的蚕茧。本发明使用所述蚕茧分类模型对上茧种类中低于上茧概率阈值的重新分类，对输入图片采用增加图片对比度和清晰度等图片增强手段，增强蚕茧的区别特征，有利于提高分类的准确性。