一种作物冠层表型信息提取方法、电子设备及存储介质

本发明涉及图像处理，更具体地说，涉及一种作物冠层表型信息提取方法、电子设备及存储介质。

背景技术：

1、作物冠层表型信息如作物覆盖度、叶面积指数和冠层宽度等是育种工作的重要参考。其中，冠层覆盖度反映作物与杂草竞争土壤养分和光照的能力；叶面积指数是作物区域物质循环和能量流动过程等研究的重要指标；冠层宽度是反映作物群体特征、作物冠层结构长势的重要株型参数。因此，提供一种面向高分辨率遥感影像中作物冠层表型信息提取方法，高通量、准确地获取作物冠层表型信息对育种工作中作物长势分析、产量估测等任务具有十分重要的现实意义。

2、基于rgb图像的低空无人机遥感技术具有高时效性、高通量、低成本等优势，可作为作物冠层数据采集的关键技术手段。传统图像处理算法缺乏对颜色、纹理特征的鲁棒性，且过于依赖人工设计特征。深度学习的出现克服了传统的图像处理算法的不足，目前已经被大量使用在计算机视觉、自然语言处理、语音识别等多个领域。

3、在计算机视觉领域中，图像的语义分割是一个像素级任务，其目的是聚集属于同一目标的像素，从而在像素级别理解图像。随着深度学习技术的不断发展，语义分割技术在农业、遥感领域广泛应用。然而由于作物生长环境的复杂性和田间作物品种、实际种植情况的多样性，基于语义分割的作物冠层表型信息提取工作还存在如下问题：①自然环境下，存在光照多变、背景复杂等因素，同时由于大田不同种植规范导致的作物生长分布差异性，语义分割模型对作物特征的提取方式与提取能力难以满足实际需求；②对田间作物图像的语义分割过程中，一个像素点所属类别的划分不仅由该像素点决定，还受其邻域像素点特征反映的作物种植方式、作物种植密度等信息所影响。若仅基于单个像素点特征对其进行类别划分，易导致像素点分类错误、语义分割效果不佳、作物冠层表型信息提取精度低；③不同品种作物的大小特性和同种作物的不同基因型均会导致作物个体在尺度上存在差异，随着语义分割模型中特征提取网络层数的加深，频繁的下采样操作导致小尺度作物或长势稀疏的作物品种难以得到有效分割。

技术实现思路

1、1.发明要解决的技术问题

2、针对作物生长环境的复杂性和田间作物品种、实际种植情况的多样性导致作物冠层表型信息提取效果不佳的问题，本发明提供了一种作物冠层表型信息提取方法、电子设备及存储介质，本发明采用编码器-解码器架构设计面向作物冠层表型信息提取的语义分割模型，融合基于多维权重聚合的动态卷积神经网络与基于级联自注意力的作物特征提取网络，增强特征提取网络对环境因素和作物生长分布差异的鲁棒性。在模型编、解码器连接处引入作物上下文信息提取模块，并联有效的空洞卷积组合捕获作物冠层像素点与其邻域像素点特征以辅助分类决策，进而提升模型对作物冠层像素与背景像素的辨别能力。构建作物多尺度特征聚合模块优化解码器结构，充分利用各解码模块生成的多尺度特征并根据重要性权重进行聚合，提升模型对由于作物特性或基因型导致的小尺度作物个体的识别效果。本发明适用于多种作物的叶面积指数、冠层宽度、冠层长度、冠层覆盖度和长势情况等表型信息的有效提取，能够提升作物冠层表型信息的提取效率与精度，具有输出结果鲁棒、收敛快速且稳定的特点。

3、2.技术方案

4、为达到上述目的，本发明提供的技术方案为：

5、本发明第一方面提供一种作物冠层表型信息提取方法，所述方法包括如下步骤：

6、s110：获取田间作物高分辨率遥感图像，将所述田间作物高分辨率遥感图像归一化处理，将归一化处理后的图像随机切片为512×512大小得到作物切片图像，标注作物切片图像建立作物冠层数据集并划分为训练集、验证集和测试集；

7、s120：构建基于多维权重聚合的动态卷积神经网络，所述基于多维权重聚合的动态卷积神经网络由基于多维注意力的动态卷积模块残差连接堆叠而成，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；

8、s130：构建基于级联自注意力的作物特征提取网络，所述基于级联自注意力的作物特征提取网络包括固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块；

9、s140：构建作物上下文信息提取模块，所述提取模块由并行连接的不同空洞率空洞卷积模块、作物上下文信息交互融合子模块构成；

10、s150：构建作物多尺度特征聚合模块，所述作物多尺度特征聚合模块首先拼接不同尺度特征，再以双分支聚合特征并分别添加可学习参数以平衡重要性权重，最后残差连接各分支结果得到输出特征图；

11、s160：配置面向作物冠层表型信息提取的语义分割模型。所述面向作物冠层表型信息提取的语义分割模型包括编码器结构、解码器结构和跳跃连接结构；

12、s170：输入作物图像数据训练步骤s160所述面向作物冠层表型信息提取的语义分割模型，训练结果可用于后续作物表型信息提取；

13、s180：计算作物冠层表型信息，计算的表型信息包括但不限于叶面积指数、冠层宽度、冠层长度、冠层覆盖度和长势情况。

14、作为一个示例，所述步骤s120中基于多维权重聚合的动态卷积神经网络构建方法包括：

15、构建基于多维注意力的动态卷积模块，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；所述多维注意力提取模块可根据输入样本，计算不同维度上的注意力权重；所述多维注意力聚合模块，将计算出的注意力权重与卷积核参数进行聚合；

16、残差连接结构将所述基于多维注意力的动态卷积模块构建为作物特征提取模块；

17、分别构建第一作物特征提取模块、第二作物特征提取模块和第三作物特征提取模块，输入的作物切片图像通过一系列依次连接的作物特征提取模块提取不同感受野下的语义特征；

18、三个串联的作物特征提取模块构成基于多维权重聚合的动态卷积神经网络。

19、作为一个示例，所述步骤s130中基于级联自注意力的作物特征提取网络构建方法包括：

20、构建固定间隔自注意力模块以感知作物整体分布特征，所述固定间隔自注意力模块将输入特征图按超参数指定的切片数量进行划分，进而对每个切片中的像素点按从上至下、从左至右进行编号，最后对相同编号的像素点按组分别进行多头自注意力运算。

21、构建局部分区自注意力模块以充分提取每个地块中作物冠层特征，所述局部分区自注意力模块将输入特征图划分为固定大小切片，进而对每个固定大小切片内所有像素点进行多头自注意力运算。

22、构建随机窗口自注意力模块以增强模型对作物种植标准差异的鲁棒性，所述随机窗口自注意力模块将输入特征图按超参数指定的窗口数量进行划分，随机抽取每个窗口内的1个像素点按组分别进行多头自注意力运算。

23、将固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块以级联的形式构建基于级联自注意力的作物特征提取基础模块，并将基于级联自注意力的作物特征提取基础模块重复堆叠构建基于级联自注意力的作物特征提取网络。

24、作为一个示例，所述步骤s140中作物上下文信息提取模块构建与输入处理过程包括：

25、配置满足作物冠层表型信息提取需求感受野大小的空洞率组合；

26、根据所述空洞率组合构建空洞卷积模块；

27、并联所述空洞卷积模块得到输出结果，最后传入作物上下文信息交互融合子模块合并输出结果得到作物上下文交互融合信息。

28、作为一个示例，所述作物上下文信息交互融合子模块由作物多头独立自注意力计算通道与双层交互计算通道串联而成。首先将作物上下文多尺度信息按通道数进行展开得到作物多头独立上下文信息。进而，通过矩阵映射，将作物多头独立上下文信息映射至高维空间，得到作物高维上下文信息。随后，对作物高维上下文信息每个通道进行自注意力运算得到作物上下文融合信息。对作物上下文融合信息分别开展双层交互计算分别得到作物上下文空间交互信息、作物上下文通道交互信息。最后，将作物上下文融合信息与上下文空间交互信息、上下文通道交互信息分别作逐元素相乘并将二者输出逐元素相加得到作物上下文交互融合信息。

29、作为一个示例，所述步骤s150中作物多尺度特征聚合模块构建方法包括：

30、多尺度特征聚合模块旨在聚合模型不同层次的特征图，解码器各阶段特征图按不同深度可分为浅层特征、中间层特征和深层特征，所述多尺度特征聚合模块构建方法包括：

31、将三种来自解码器不同层次特征图上采样至输入图像分辨率大小；

32、将三种来自解码器不同层次特征图的通道数调整至与浅层特征图通道数一致，并按从浅层至深层顺序进行拼接；

33、将拼接得到的特征图在双分支中分别使用1×1卷积调整通道数、按特征尺度在通道上求和，得到聚合分支输出特征图和累加分支输出特征图。

34、在双分支上分别添加可学习参数、用于调整和的重要性权重，并将结果进行残差连接以获取输出特征图，该过程可表示为

35、。

36、作为一个示例，所述步骤s160中面向作物冠层表型信息提取的语义分割模型包括编码器结构、解码器结构和跳跃连接结构：

37、编码器结构包括步骤s120所述的基于多维权重聚合的动态卷积神经网络和步骤s130所述的基于级联自注意力的作物特征提取网络，跳跃连接结构中包括步骤s140所述的作物上下文信息提取模块，解码器结构包括s150所述的作物多尺度特征聚合模块。

38、作为一个示例，所述步骤s170使用任一品种作物数据集训练s160所述面向作物冠层表型信息提取的语义分割模型，获得对应作物冠层语义分割模型权重，可用于后续作物表型信息提取。

39、作为一个示例，所述步骤s180获取待分割的作物图像，将所述作物图像输入步骤s160构建的面向作物冠层表型信息提取的语义分割模型；获取对应的分割结果，所述分割结果表示为作物像素与背景像素。可基于分割结果，统计作物像素与总像素的比值获取冠层覆盖度，结合球面叶片倾斜分布函数计算叶面积指数，依据单位像素对应的实际长度计算得到冠层宽度等表型信息。

40、本发明第二方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述的方法。

41、本发明第三方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。

42、3.有益效果

43、采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

44、（1）本发明提出一种基于多维权重聚合的动态卷积神经网络，其根据不同的输入样本计算三个维度上的注意力并聚合，得到不同的卷积核参数，相比于传统卷积神经网络具有更强的作物特征提取能力与表达能力，具有在背景、光照等扰动情况下捕获作物纹理、颜色和长势等特征的优势；层级结构将输入图片生成低维与高维语义等信息，有利于后续对多尺度的特征利用；相对于简单的重复堆叠动态卷积操作，残差连接能使模型更易于优化，缓解梯度消失和梯度爆炸等问题。

45、（2）本发明构建基于级联自注意力的作物特征提取网络，其侧重于以线性计算复杂度提取作物不同分布情况下的语义信息；首先采用固定间隔自注意力模块感知作物整体分布特征，再通过局部分区自注意力模块保证每个地块中作物冠层特征被充分提取，最后引入随机窗口自注意力模块增强对作物种植规范差异的鲁棒性。

46、（3）本发明通过设计不同空洞率组合从而构建作物上下文信息提取模块，并联有效的空洞卷积组合捕获作物冠层像素点与其周围像素点的相关信息辅助分类决策，进而提升模型对作物冠层像素与背景像素的辨别能力，克服了空洞率组合不合理产生棋盘格效应导致的作物上下文信息提取不充分与传统语义分割模型中由于缺少上下文信息提取模块导致作物冠层分割效果不佳的问题。

47、（4）本发明为保证模型对小尺度作物个体识别的准确性，设计了作物多尺度特征聚合模块并嵌入解码器结构末端，该模块先拼接解码器结构各层提供的多尺度特征，随后按重要性权重进行聚合，避免了由于作物特性或基因型导致的作物个体尺度小而冠层结构无法得到有效识别的问题。