一种面向开放环境的单阶段作物叶片异常识别方法

本发明涉及计算机视觉和植物病理学，尤其涉及一种面向开放环境的单阶段作物叶片异常识别方法。

背景技术：

1、在现代农业生产和植物病理学研究中，对植物叶片病害的快速、准确诊断具有重要意义。传统的植物叶片病斑识别方法主要依赖于人工观察和分析，这种方法不仅耗时耗力，而且准确性和重复性受限于观察者的经验和主观判断。随着计算机视觉技术的发展，一些自动化的病斑识别方法被提出，但这些方法大多依赖于复杂的图像处理技术和多阶段的处理流程。这些多阶段的方法通常包括图像预处理、特征提取、分类器设计等步骤，每个步骤都需要精心设计并对参数进行仔细调整，这使得整个流程变得繁琐且效率低下。此外，传统方法在处理大规模数据时面临着显著的挑战。例如，在大面积农田或多样化的作物种类中，叶片的形态、纹理和颜色差异很大，这需要方法具有较高的泛化能力和适应性。同时，植物叶片图像常常受到光照、阴影、背景干扰等因素的影响，这增加了病斑识别的难度。

2、因此，开发一种快速、准确、高效且易于实施的植物叶片病斑识别技术迫在眉睫。这种技术应能够克服现有方法的局限性，如处理速度慢、准确度低、对数据集要求高和泛化能力弱等问题。特别是在大规模农业监控和快速植物病理学诊断领域，急需一种能够适应不同植物种类和各种环境条件的智能化解决方案。

技术实现思路

1、本发明的目的是提供一种面向开放环境的单阶段作物叶片异常识别方法，不仅降低了对训练数据的获取难度，简化了实施过程，提高了病斑识别的准确性和效率，而且通过将叶片分割和病斑识别集成在同一深度学习框架中，为大规模农业监控和植物病理学研究提供一种实用、高效的工具，在处理不同作物种类和各种环境条件下的叶片图像方面表现出良好的泛化能力和适应性，具有广泛的应用前景和重大的实用价值。

2、为实现上述目的，本发明提供了一种面向开放环境的单阶段作物叶片异常识别方法，包括以下步骤：

3、s1、数据采集与预处理；

4、s2、基于步骤s1的数据集，进行数据增强；

5、s3、构建单阶段训练模型；

6、s4、进行模型训练与推理。

7、优选的，在步骤s1中，具体包括以下步骤：

8、s11、数据采集：包括网络数据图像和自采数据图像；所述图像在不同相机设置、不同天气条件、不同成熟阶段、不同光照条件下拍摄，其中包含了大量的健康叶片和少量的病变叶片；

9、s12、预处理：对采集到的图像进行裁剪和大小调整，使用图像处理软件增强图像质量，包括对比度调整和去噪。

10、优选的，在步骤s2数据增强中，具体包括以下步骤：

11、s21、图像尺寸调整：随机选取一个在0.25到2倍之间的比例因子，根据选定比例对图像长和宽进行调整，丰富数据集中目标的尺度变化；

12、s22、图像翻转：对图像进行50％几率的水平或垂直翻转，增加数据集对称性变体；

13、s23、图像模糊化处理：利用5至15大小的高斯滤波核，以25％概率对图像进行模糊化处理；

14、s24、图像旋转变换：以25％的概率对图像进行随机旋转，旋转角度在-60度到60度之间选择；

15、s25、色彩空间转换：将图像从rgb颜色空间转换至hsv空间，并在色调、饱和度和亮度三个维度上进行扰动。

16、优选的，在步骤s3中，训练模型包含分割模块，重建模块和耦合模块；该模型结合图像分割技术和重建技术，从叶片图像中对叶片进行分割并识别叶片上的未知异常对象。

17、优选的，所述分割模块采用线性组合的方式生成掩码，采用跨尺度特征交互金字塔网络，进行特征提取；

18、分割模块的处理流程，如下所示：

19、s311、对于某输入图像i，将其输入到主干特征提取网络resnet101中进行特征提取，得到特征集合{c1，c2，c3，c4，c5}；

20、s312、将主干特征提取网络得到的特征集合{c1，c2，c3，c4，c5}输入到跨尺度特征交互金字塔网络中，进一步对不同尺度叶片特征提取，得到集合{p1，p2，p3，p4，p5}，集合中的每个元素分别与{c1，c2，c3，c4，c5}相对应；

21、s313、将得到特征集合{p1，p2，p3，p4，p5}，通过4个共享的相同的卷积块，得到5层各自的掩码系数{m1，m2，m3，m4，m5}，并将5层掩码系数在通道维度进行拼接得到m；

22、s314、将特征集合{p1，p2，p3，p4，p5}中的p1输入到一个卷积网络中，得到原型掩码r；

23、s315、将步骤s313中得到的m与步骤s314中得到的r进行逐像素的线性组合，并用sigmoid函数输出每个像素值为叶片的概率，最后通过非极限最大抑制nms得到最终的掩码mask；

24、s316、分割模块采用的损失函数为标准的二值交叉熵损失函数，定义如下：

25、

26、其中，为二值交叉熵损失函数，n为样本总数，即要进行比较的像素总数，i是样本的索引；y为真实标签向量，其中yi是第i个样本的真实标签，取值为0或1；为预测标签向量，其中是模型预测的第i个样本的标签的概率，取值在0到1之间。

27、优选的，重建模块的处理流程，如下所示：

28、s321、通过使用一个3x3大小的卷积核，步长为1，256个输出通道的2d卷积来捕获跨尺度特征交互金字塔的最后一层中的特征，得到降维特征；

29、s322、码器逐步通过四个相同的卷积块上采样步骤s321中得到的降维特征，重建叶片；

30、s323、度量结构相似性指数：利用ssim将重建的rgb图像与输入图像i进行比较，ssim可表示为：

31、

32、其中，和表示位于中心位置(x，y)的两个局部窗口，在此μ和σ分别代表了局部窗口像素值的均值与方差；

33、s324、重建模块的损失函数，定义如下：

34、

35、其中，m为叶片l与病斑a，即非叶片区域的二值掩码，|m|表示掩码中非零元素的计数，而ξ是引入的松弛变量。

36、优选的，耦合模块将编码在分割网络中的“已知类别”的信息与在重建模块发现的“未知异常”的信息相结合，得到逐像素的异常评分；使用公式(3)训练耦合模块，如下所示：

37、

38、其中，n代表样本数量，即像素数；yn，分别为第n个训练样本的真实类别标签和预测类别标签。

39、优选的，步骤s4模型训练与推理中，如下所示：

40、s41、参数设置：模型的学习率设置为0.001，固定随机种子，输入图像尺寸设置为512×512，训练在单个nvidia rtx 2080ti gpu上完成；

41、s42、在训练过程中，将输入图像输入模型，整个模型的损失值由分割损失如式(1)、辅助重建损失如式(3)、耦合损失如式(4)相加而成，如下所示：

42、

43、s43、在推理过程中，首先通过分割模块处理输入图像，获取分割特征；其次，将特征输入到重建网络模块，输出与输入图像相同分辨率的重建图像；然后，基于结构相似性指标ssim将重建图像与输入图像进行比较，通过比较得到每个像素的重建误差；最后，将误差与分割网络的输出层通过两个卷积块融合，得到输出为“叶片”和“异常”两个类别的特征图。

44、优选的，在步骤s313中，卷积块由卷积核大小为3x3，步长为1，输出通道为256的2d卷积、batchnorm和relu(rectified linear unit)非线性组成；在最后一个卷积层中，特征通道的数量变为固定参数k。

45、优选的，在步骤s314中，卷积神经网络的结构是三个连续的卷积单元构成，每个单元由以下部分构成：

46、(1)卷积层：使用3x3大小的卷积核，步长为1，以及256个输出通道的2d卷积；

47、(2)relu非线性：每个卷积层后面紧跟一个relu激活函数，对输入进行非线性变换。

48、因此，本发明采用上述一种面向开放环境的单阶段作物叶片异常识别方法，不仅降低了对训练数据的获取难度，简化了实施过程，提高了病斑识别的准确性和效率，而且通过将叶片分割和病斑识别集成在同一深度学习框架中，为大规模农业监控和植物病理学研究提供一种实用、高效的工具，在处理不同作物种类和各种环境条件下的叶片图像方面表现出良好的泛化能力和适应性，具有广泛的应用前景和重大的实用价值。

49、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。