一种针对多光谱图像反射率多特征的作物产量估计方法

本发明涉及农作物生产，具体为一种针对多光谱图像反射率多特征的作物产量估计方法。

背景技术：

1、随着无人机和多光谱相机在农业中的逐步应用，探究作物的多光谱图像数据与作物的产量、株高、叶绿素含量等之间的关联成为众多学者研究的热点。其中，建立作物多光谱图像数据与作物实际产量之间的关系，即通过作物多光谱图像进行产量估计，是一个热门的研究问题。

2、现有的产量估计方法大多利用作物多光谱图像的各波段反射率均值，结合有限的植被指数公式进行产量的估计。但是，这种方法需要人为进行植被指数公式的选择，而且不能充分的利用原有多光谱图像的信息，这使得产量估计模型的能力受到限制，并直接导致最终产量估计的精准度低。

技术实现思路

1、本发明的目的是：针对现有技术中产量估计方法不能充分的利用原有多光谱图像的信息，使得产量估计模型的能力受到限制，并直接导致最终产量估计的精准度低的问题，提出一种针对多光谱图像反射率多特征的作物产量估计方法。

2、本发明为了解决上述技术问题采取的技术方案是：

3、一种针对多光谱图像反射率多特征的作物产量估计方法，包括以下步骤：

4、步骤一：获取作物多光谱图像数据以及作物实际产量数据，所述多光谱图像数据包括作物多个生长时期或单个生长时期的多光谱各个波段图像；

5、步骤二：获取各个波段图像的反射率，并对各个波段图像的反射率进行特征提取，所述特征包括最小值、均值、方差、标准差、最大值、中值中至少两个；

6、步骤三：利用步骤二中提取到的特征以及作物实际产量数据训练产量估计模型；

7、步骤四：利用训练好的产量估计模型完成作物产量估计。

8、进一步的，所述步骤三的具体步骤为：

9、步骤三一：利用步骤二中提取到的特征以及作物实际产量数据训练产量估计模型；

10、步骤三二：计算产量估计模型输出的估计产量值和实际产量值的损失；

11、步骤三三：基于步骤三二的损失计算累积的损失，并通过梯度优化算法更新产量估计模型的参数，进而得到最终的产量估计模型。

12、进一步的，所述产量估计模型包括lstm网络、多日期注意力加权模块mda、均值池化层和全连接层；

13、所述lstm网络用于对多个日期的作物反射率多特征值进行特征提取，并进行多种植被指数特征的隐式挖掘，得到作物多日期的多植被指数特征；

14、所述多日期注意力加权模块mda用于对作物多日期的多植被指数特征之间的交互，对作物多日期的多植被指数特征进行加权关注；

15、所述均值池化层用于对加权关注后的作物多日期的多植被指数特征进行进一步提取；

16、所述全连接层用于根据均值池化层提取的特征进行产量估计。

17、进一步的，所述多日期注意力加权模块具体执行如下步骤：

18、对于输入的作物多日期特征值向量x，多日期注意力加权模块先将其映射至三个不同的高维空间学习特征表示，得到三种作物多日期特征值向量表示q、k、v，三个不同的高维空间即query空间、key空间、value空间；

19、将query空间映射后的作物多日期特征值向量表示q与key空间映射后的作物多日期特征值向量表示k进行矩阵乘法相似度计算后，通过softmax函数得到关注度权重矩阵a；

20、最后将关注度权重矩阵a与映射至value空间的作物多日期特征值向量表示v进行矩阵乘法后得到加权后的表示z，并将z与原始输入向量x进行shortcut连接，得到最终的加权向量y。

21、进一步的，所述映射的具体步骤为：

22、所述的映射过程为q＝query(x),k＝key(x),v＝value(x)，其中query、key、value模块内部由全连接层fc和激活函数relu组成；

23、进一步的，所述通过softmax函数得到关注度权重矩阵a表示为：

24、a＝softmax(q*(k^t))

25、其中，k^t代表k矩阵的转置操作。

26、进一步的，所述最终的加权向量y表示为：

27、y＝x+a*v。

28、进一步的，所述波段包括红光波段、蓝光波段、绿光波段、红边波段、近红外波段。

29、进一步的，所述多光谱图像数据通过无人机搭载多光谱镜头得到。

30、进一步的，所述对各个波段图像的反射率进行特征提取通过qgis或arcgis进行。

31、本发明的有益效果是：

32、本申请通过利用多光谱图像各波段反射率的多种特征，能够更充分高效的利用多光谱图像数据的信息，也同时避免了植被指数公式选取难和植被指数公式选取不当导致的估产结果不准确的问题。提升产量估计的精准度。

33、现有技术的方法中包含人工选取植被指数公式，进行进一步特征提取的步骤。该步骤存在针对特定任务，人工选取、设计合适的植被指数公式困难的问题。而本申请考虑到，可以利用深度学习模型内部进行类似植被指数公式的隐式挖掘，从而解决了现有技术的方法中，选取、设计合适的植被指数困难的问题，能够提升估产方法的整体效率。除此以外，现有技术的方法中，人工选取植被指数公式进行进一步特征提取的步骤，会导致信息提取后，部分信息丢失的不可逆性。例如有特征值a＝1和b＝2，在带入植被指数公式k＝(a+b)/2后，将会得到k＝1.5，但此时将k＝1.5作为后续模型的输入，已经存在信息丢失，无法得知原来的a＝1和b＝2，因为a＝2和b＝1也有可能得到k＝1.5的结果。因此若选取的植被指数公式不当，将会导致更差的估产结果。而本申请的方法则没有这一步骤，能够保持原有的信息送入后续模型中，通过模型中的多特征植被指数编码器，隐式进行植被指数公式的挖掘，从而提升最终估产结果的准确率。

34、现有技术的方法只考虑了对作物多日期进行整体的考虑，即在全局的角度对多日期的数据进行一次注意力评判打分。举个例子来说，若存在多日期a、b、c的数据，则这种注意力机制只是考虑从整体的角度而言，a、b、c和最终估计的产量之间的重要程度。而本申请考虑到，各个日期之间可能存在一定的关联性，比如a和c之间可能联系比较紧密，b和c之间可能没有什么太大的关联等等。因此，我们提出了一种多日期注意力交互模块mda，在该模块中我们能够考虑各日期与其他日期之间的关联性，并进行数据交互，提升了最终估产结果的准确率。

技术特征：

1.一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于包括以下步骤：

2.根据权利要求1所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述步骤三的具体步骤为：

3.根据权利要求1所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述产量估计模型包括lstm网络、多日期注意力加权模块mda、均值池化层和全连接层；

4.根据权利要求3所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述多日期注意力加权模块具体执行如下步骤：

5.根据权利要求4所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述映射的具体步骤为：

6.根据权利要求5所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述通过softmax函数得到关注度权重矩阵a表示为：

7.根据权利要求6所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述最终的加权向量y表示为：

8.根据权利要求1所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述波段包括红光波段、蓝光波段、绿光波段、红边波段、近红外波段。

9.根据权利要求1所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述多光谱图像数据通过无人机搭载多光谱镜头得到。

10.根据权利要求1所述的一种针对多光谱图像反射率多特征的作物产量估计方法，其特征在于所述对各个波段图像的反射率进行特征提取通过qgis或arcgis进行。

技术总结
一种针对多光谱图像反射率多特征的作物产量估计方法，涉及农作物生产技术领域，针对现有技术中产量估计方法不能充分的利用原有多光谱图像的信息，使得产量估计模型的能力受到限制，并直接导致最终产量估计的精准度低的问题，本申请通过利用多光谱图像各波段反射率的多种特征，能够更充分高效的利用多光谱图像数据的信息，也同时避免了植被指数公式选取难和植被指数公式选取不当导致的估产结果不准确的问题。提升产量估计的精准度。

技术研发人员：姚鸿勋,鲍志伟,刘劼
受保护的技术使用者：哈尔滨工业大学
技术研发日：
技术公布日：2024/1/14