农作物病害识别模型的训练方法及农作物病害识别方法

本发明属于自学自，更具体地，本发明涉及一种农作物病害识别模型的训练方法及农作物病害识别方法。

背景技术：

1、快速准确的植物病害检测对于以可持续的方式提高农业生产率至关重要。传统上，人类专家依靠诊断疾病、害虫、营养缺陷或极端天气引起的植物异常。然而，这是昂贵的、耗时的，在某些情况下是不切实际的。为了应对这些挑战，利用图像处理技术进行植物病害识别的研究已成为一个热门的研究课题。

2、近年来，基于深度卷积神经网络(deep convolutional neural networks,dcnns)农作物病害识别模型已被广泛应用于农作物病害识别领域。dcnns模型通过多层卷积和池化层，可以自动学习到图像的特征表示，实现高效准确的病害分类和识别。其局部感受野和权值共享的机制，能够捕捉到图像中的局部特征，并具备一定的平移不变性，一定程度上提高了病害识别的鲁棒性。然而，dcnns模型主要关注局部信息的提取和表示，缺乏对全局信息的充分利用，其感受野(receptive field)依赖卷积核大小、步长以及网络层数，网络层数的加深虽然可以扩大模型感受野，但对于位置距离较远的特征图，深层的特征传播后容易出现信息丢失。因此，由于缺乏全局信息交互和特征表示能力，基于dcnns模型的病害识别算法在面对真实环境下可能出现的遮挡、模糊和噪声干扰时识别精度差。

技术实现思路

1、本发明提供一种农作物病害识别模型的训练方法，旨在改善上述问题。

2、本发明是这样实现的，一种农作物病害识别模型的训练方法，农作物病害识别模型的训练模型包括：预训练模型及精调模型组成；

3、预训练模型，由层级图像分块序列化模块和mae模型组成，mae模型包括transformer编码层网络和transformer解码层网络；

4、精调模型，由层级图像分块序列化模块及经预训练模型预训练好的transformer编码层网络组成，在部分transformer编码层的多头自注意力层和前馈神经网络之间引入序列重组单元；

5、农作物病害识别模型的训练方法具体如下：

6、预训阶段：输入的样本图像经序列化模块切分成包含多尺度层级信息的不重叠的图像块序列s(x)，输入mae模型，mae模型通过未掩码图像块序列来预测掩码图像块序列，以实现对transformer编码层网络进行训练；

7、精调阶段：样本图像经层级图像分块序列化模块切分成包含多尺度层级信息的不重叠的图像块序列s(x)，将带类别序列的图像块序列z(x)输入精调模型中的transformer编码层网络，对引入序列重组单元的transformer编码层网络进行训练，transformer编码层输出训练后类别序列，基于类别序列预测样本图像的病害类别，在网络损失收敛时的精调模型即为农作物病害识别模型；

8、其中，序列重组单元通过多头自注意力层进行信息交互，丢弃对类别序列贡献小的图像块后返回当前transformer编码层的前馈神经网络。

9、进一步的，样本图像的层级图像分块序列化过程具体如下：

10、(1)将样本图像x输入大小为4、步长为4的卷积核，采样得到图像序列x′；

11、(2)对图像序列x′进行批归一化batchnorm和非线性激活relu后，输入大小为2x2、步长为2的卷积核，采样得到图像序列x″；

12、(3)对图像序列x″进行批归一化batchnorm和非线性激活relu后，输入大小为2x2、步长为2的卷积核，采样得到图像序列x″′；

13、(4)对图像序列x″′使用批归一化batchnorm后，形成图像块序列s(x)。

14、进一步的，transformer编码层网络设有12层transformer编码层，在其中3个transformer编码层的多头自注意力层和前馈神经网络之间设有序列重组单元。

15、进一步的，设有序列重组单元的3个transformer编码层均匀的分布在transformer编码层网络。

16、进一步的，序列重组单元计算图像块序列中各图像块相对于类别序列的注意力大小，将图像块按注意力从大到小重新排列，保留注意力大的k个图像块，形成新的图像块序列。

17、进一步的，图像块i相对于类别序列的注意力计算公式具体如下：

18、

19、其中，ah表示第h个注意头输出的图像块i的注意力，h∈[1,...,h]，h表示多头自注意力层中的注意力头总数。

20、进一步的，训练模型中的transformer编码层网络的屏蔽比设置为0.75，基于屏蔽比对输入mae模型的图像块序列s(x)进行掩码。

21、进一步的，精调阶段中带类别序列的图像块序列z(x)的形成过程具体如下：

22、(1)在序列化模块输出的图像块序列s(x)上拼接类别序列xclass，获类别序列zs＝[xclass；s(x)]；

23、(2)对类别序列zs添加位置编码epos，形成带位置信息的类别序列z0，即z0＝zs+epos，

24、(3)对带位置信息的类别序列z0进行正则化后，形成带类别序列的图像块序列z(x)。

25、本发明是这样实现的，一种农作物病害识别方法，所述方法包括如下步骤：

26、(1)采集农作物病害部位的图像，图像经层级图像分块序列化模块切分成包含多尺度层级信息的不重叠的图像块序列s(x)；

27、(2)对图像块序列依次进类别序列的拼接，位置编码epos的添加及正则化处理，获取带类别序列的图像块序列z(x)；

28、(3)带类别序列的图像块序列z(x)输入农作物病害识别模型，农作物病害识别模型输出当前农作物的病害类别。

29、本发明使用图像分块序列化结构来提高mae模型的层级信息提取能力；在精调阶段本文使用的序列重组操作在计算自注意力时选择性丢弃掉无意义的背景序列块，不仅提高编码层网络的推理速度也让模型更加关注病害区域，进而提高病害的识别精度。

技术特征：

1.一种农作物病害识别模型的训练方法，其特征在于，农作物病害识别模型的训练模型包括：预训练模型及精调模型组成；

2.如权利要求1所述农作物病害识别模型的训练方法，其特征在于，样本图像的层级图像分块序列化过程具体如下：

3.如权利要求1所述农作物病害识别模型的训练方法，其特征在于，transformer编码层网络设有12层transformer编码层，在其中3个transformer编码层的多头自注意力层和前馈神经网络之间设有序列重组单元。

4.如权利要求3所述农作物病害识别模型的训练方法，其特征在于，设有序列重组单元的3个transformer编码层均匀的分布在transformer编码层网络。

5.如权利要求1所述农作物病害识别模型的训练方法，其特征在于，序列重组单元计算图像块序列中各图像块相对于类别序列的注意力大小，将图像块按注意力从大到小重新排列，保留注意力大的k个图像块，形成新的图像块序列。

6.如权利要求5所述农作物病害识别模型的训练方法，其特征在于，图像块i相对于类别序列的注意力计算公式具体如下：

7.权利要求1所述农作物病害识别模型的训练方法，其特征在于，训练模型中的transformer编码层网络的屏蔽比设置为0.75，基于屏蔽比对输入mae模型的图像块序列s(x)进行掩码。

8.如权利要求1所述农作物病害识别模型的训练方法，其特征在于，精调阶段中带类别序列的图像块序列z(x)的形成过程具体如下：

9.一种农作物病害识别方法，其特征在于，所述方法包括如下步骤：

技术总结
本发明公开一种农作物病害识别模型的训练方法，具体如下：预训练阶段：输入的样本图像切分成包含多尺度层级信息的不重叠的图像块序列S(x)，使用MAE模型对Transformer编码层网络进行训练；精调阶段：样本图像经层级图像分块序列化模块切分成包含多尺度层级信息的不重叠的图像块序列S(x)，将拼接类别序列的图像块序列Z(x)输入引入序列重组单元的Transformer编码层网络，Transformer编码层输出训练后类别序列，基于类别序列预测样本图像的病害类别；使用层级图像分块序列化结构来提高MAE模型的层级信息提取能力；在精调阶段使用的序列重组操作，根据类别序列与图像块序列自注意力值选择并丢弃掉无意义的背景图像块序列，提高编码层网络的推理速度也让模型更加关注病害区域。

技术研发人员：王杨,许佳炜,王傲,马唱,宋世佳,谢帆,赵传信
受保护的技术使用者：安徽师范大学
技术研发日：
技术公布日：2024/4/17