基于多时序属性元素深度特征的小麦重度病害预测方法与流程

本发明涉及农业植保预测技术领域，具体来说是一种基于多时序属性元素深度特征的小麦重度病害预测方法。

背景技术

当下农业大数据正在驱动农业生产向精准化、智能化转变，数据逐渐成为现代农业生产中新兴的生产要素。围绕农田环境下小麦病害大数据表示、识别与预测的模型研究仍处于起步阶段，无论在理论上还是算法上，都还不够完善。特别是，传统的小麦病害识别技术只能识别或预测出病害和非病害小麦，而对于小麦的病害程度则无法判断，而在实际应用中，重度病害的预测对于小麦病害的前期防治有着重要的作用。

现有的小麦病害预测模型研究受限于以下两个方面：影响小麦病害发生的环境信息是复杂多因素，环境信息和获取的直观图像数据具有很高的相关性；其次，没有考虑到小麦病害数据时间观测之间的依赖关系，传统的基于线性回归或神经网络方法无法建模时序预测，以至于其无法预测出重度病害。

小麦病害发生的过程要经历多个状态，对应很多的时间阶段。病害在每个时间段也呈现出不同的特征状态，重度病害是基于从无到有，从轻度、中度演变而来的，不同时间点之间又具有很高的相关性。

因此，如何研发一种能够预测出小麦重度病害的方法已经成为急需解决的技术问题。

技术实现要素：

本发明的目的是为了解决现有技术中无法针对小麦重度病害进行预测的缺陷，提供一种基于多时序属性元素深度特征的小麦重度病害预测方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于多时序属性元素深度特征的小麦重度病害预测方法，包括以下步骤：

基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据；

小麦重度病害预测模型的构建，利用深度卷积神经网络以及时序信息存储网络融合小麦病害不同时间发生的环境、图像的语义和位置环境属性后，构造出小麦病害重度预测模型；

时序信息存储网络和深度卷积神经网络的联合训练，将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练；

待预测图像和待预测环境信息数据的获取；

小麦重度病害的预测，将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。

所述小麦重度病害预测模型的构建包括以下步骤：

环境信息数据和图像信息数据的时域联合学习，对小麦重度病害数据特征建模，选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习；

将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布yt，

yt＝softmax(w*ht+b)，

其中，w、b为权值、偏置项。

所述时序信息存储网络和深度卷积神经网络的联合训练包括以下步骤：

对深度卷积神经网络进行端到端训练，使用imagenet图像集预训练的模型进行初始化；

时序信息存储网络的前向计算训练，

使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算it、ct、ft、ot、ht五个向量的值；

同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值；

时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。

所述环境信息数据和图像信息数据的时域联合学习包括以下步骤：

设定时域上不变的环境属性元素，k、l、m分别表示品种、土壤类型、地形特征；

设定时域上变化的属性元素，t＝1至t＝t时刻，时域上存在变换的气象ct、土壤墒情特征描述st和图像it；

时序信息存储网络更新规则设定如下：

x0＝t1*a1，

xt＝t2*{i,a2}t，t∈{1,...,t}，

其中，a1为时域上不变的环境属性元素{k,l,m},a2为时域上变化的属性元素{it,ct,st}，t1和t2分别为时序不变属性和时序变化属性的转换矩阵，时序信息存储网络的时序不变环境属性因子特征集为(x0,x1,x2,...,xt)；

对特征数据进行归一化处理，把数据维度控制在0到1之间；

设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出，时序信息存储网络模型首层输入时序不变环境属性因子特征x0，其影响结果持续传递到每一刻的预测中；

时序信息存储网络模型层第n+1层的输入，

图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入，并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次；

设定时序信息存储网络单元模型的前向计算。

所述设定时序信息存储网络单元模型的前向计算包括以下步骤：

长时存储单元ct-1通过遗忘单元ft去遗忘丢弃信息；

设定遗忘单元ft受当前时刻的外部输入xt、上一时刻的短时存储输出ht-1、上一时刻的长时存储ct-1的控制，其表达式如下：

ft＝σ(wxfxt+whfht-1+wcfct-1+bf)，

wxf、whf、wcf、bf分别表示外部输入，短时存储和长时存储的权重和偏置，；

由当前时刻外部输入xt和上一时刻的短时存储输出ht-1计算出当前时刻的新信息

由输入单元it控制将当前时刻的新信息写入长时存储单元，产生新的长时存储ct，其表达式如下：

it＝σ(wxixt+whiht-1+wcict-1+bi)，

其中，it受xt、ht-1、ct-1的控制，it、ct、ft、ot分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元；其中，σ()表示s形的激活函数，·表示组件分量乘法，w是连接不同单元的权值矩阵；

激活长时存储单元ct，准备输出；

由输出单元ot把控，将至目前积累下来的存储ct选出部分相关的存储生成这一时刻关注的存储ht，再把这部分存储进行输出yt，

ot＝σ(wxoxt+whoht-1+wcoct1+bo)，

ht＝ot·tanh(ct)，

其中，输出单元ot受xt、ht-1和当前时刻的长时存储ct的控制。

有益效果

本发明的基于多时序属性元素深度特征的小麦重度病害预测方法，与现有技术相比从小麦病害发生的时序维度上图像、环境等多种特征因素出发，利用时序信息存储网络以及深度特征提取网络融合小麦重度病害多时序属性元素，自动学习和获知数据序列中不同时间段小麦病害的程度，从而实现针对于小麦重度病害的预测。

本发明解决了从单一特征或数据源出发完成训练学习、缺少小麦病害发生时间上先后顺序模型分析的问题，利用时序信息存储网络单元能够应多个输入变量的问题，将其利用在病害严重度的时序预测上，充分利用了小麦病害发生的环境以及小麦图像的多时序属性信息。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的基于多时序属性元素深度特征的小麦重度病害预测方法，包括以下步骤：

第一步，基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据。其中，根据实际应用现场环境的需要，通常多日图像数据集可以包括轻度病害图像、中度病害图像和重度病害图像或近似病害发病、轻度病害、轻中度病害、中度病害图像和重度病害图像等相关图像信息。环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据库等相关环境信息。

第二步，小麦重度病害预测模型的构建。利用深度卷积神经网络以及时序信息存储网络融合小麦病害发生的环境、图像的语义和位置环境属性后，构造出小麦病害重度预测模型。卷积神经网络适应性强，非常适合处理具有统计平稳性和局部关联性的数据，隐式地从无人机拍摄的训练图像数据中学习不同形状区域的特征，时序信息存储网络在学习更高级别特征序列中的长期依赖性和时序性上有着很大的优势，所以将两者相结合从时间和空间对重度病害建模。其具体步骤如下：

(1)环境信息数据和图像信息数据的时域联合学习。

对小麦重度病害数据特征建模，选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习。

小麦病害发生是时序事件，所以像素环境是不太稳定的，一方面，病害受不同的光照等因素影响；另一方面，病害受不同时期不同外观因素的限制。但是，对同一病害来说，其发生环境和发生时间上下文关系则一般较为稳定，表现为某种类型的作物在一定的时间段和一定的环境下会发生相应的病害。因此需要充分利用时间上下文和环境上下文即不同时间段的各种发生表现和感知信息来进行研究，具体来说是利用病害发生的空间信息、时间信息、气候信息等之间的关系。

其包括以下步骤：

a1、设定时域上不变的环境属性元素，k、l、m分别表示品种、土壤类型、地形特征，其均为随着时间推移上不会发生变换的属性元素。

设定时域上变化的属性元素，t＝1至t＝t时刻，时域上存在变换的气象ct、土壤墒情特征描述st和图像it，其均为随着时间推移上会发生变换的属性元素。

a2、时序信息存储网络更新规则设定如下：

x0＝t1*a1，

xt＝t2*{i,a2}t，t∈{1,...,t}，

其中，a1为时域上不变的环境属性元素{k,l,m},a2为时域上变化的属性元素{it,ct,st}，t1和t2分别为时序不变属性和时序变化属性的转换矩阵，时序信息存储网络的时序不变环境属性因子特征集为(x0,x1,x2,...,xt)。

a3、对特征数据进行归一化处理，把数据维度控制在0到1之间。由于特征数据中几个参数的维度不同，所以需要先对数据进行归一化处理，把数据维度控制在0到1之间，转化为无量纲表达式，有利于消除各维度之间的量纲影响。

a4、设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出。在此，时序信息存储网络模型的每一层，相当于健康小麦发展成重度病害小麦的阶段性过程。即，在实际应用中，若健康小麦发展成重度病害小麦的阶段性过程分为健康(图像)、轻度病害(图像)、中度病害(图像)和重度病害(图像)阶段，则时序信息存储网络模型的层数为4层；若健康小麦发展成重度病害小麦的阶段性过程分为健康(图像)、近似病害发病(图像)、轻度病害(图像)、轻中度病害(图像)、中度病害(图像)和重度病害(图像)阶段，则时序信息存储网络模型的层数为6层，模型层数还可根据实际情况的等级划分。

在此，时序信息存储网络模型首层输入时序不变环境属性因子特征x0，其影响结果持续传递到每一刻的预测中，这样可以使得第二层的预测受到第一层的影响、第三层的预测受到第二层的影响。同时，时序信息存储网络模型包含一个尝试将信息储存较久的存储单元，根据时序顺序可以将所有图片和环境属性的影响按顺序依次累积存储有利于最后的预测。

a5、时序信息存储网络模型层第n+1层(第2层、第3层)的输入，

图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入，并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次。

a6、设定时序信息存储网络单元模型的前向计算。

其具体步骤如下：

a61、存储单元用来存储之前的状态，时序信息存储网络单元的关键是存储单元，存储单元贯穿整个过程，上面承载着信息，通过单元结构对存储单元添加或者删除信息。遗忘单元决定存储单元ct-1有多少信息会被遗忘，设定遗忘单元ft受当前时刻的外部输入xt、上一时刻的短时存储输出ht-1、上一时刻的长时存储ct-1的控制，其表达式如下：

ft＝σ(wxfxt+whfht-1+wcfct-1+bf)，

其中，wxf、whf、wcf、bf分别表示外部输入，短时存储和长时存储的权重和偏置，通过训练学习得到。

a62、由当前时刻外部输入xt和上一时刻的短时存储输出ht-1计算出当前时刻的新信息

a63、输入单元决定有多少信息可以流入存储单元，由输入单元it控制将当前时刻的新信息写入长时存储单元，产生新的长时存储ct，其表达式如下：

it＝σ(wxixt+whiht-1+wcict-1+bi)，

其中，it受xt、ht-1、ct-1的控制，it、ct、ft、ot分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元；其中，σ()表示s形的激活函数，·表示组件分量乘法，w是连接不同单元的权值矩阵。

a64、输出单元决定存储单元内多少信息被输出，由输出单元ot把控，将至目前积累下来的存储ct选出部分相关的存储生成这一时刻我们关注的存储ht，再把这部分存储进行输出yt，

ot＝σ(wxoxt+whoht-1+wcoct1+bo)，

ht＝ot·tanh(ct)，

其中，输出单元ot受xt、ht-1和当前时刻的长时存储ct的控制。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，就是tanh(ct)的作用。

(2)将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布yt，

yt＝softmax(w*ht+b)，

其中，w、b为权值、偏置项。

第三步，时序信息存储网络和深度卷积神经网络的联合训练。

将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练。

首先，利用传统方式对深度卷积神经网络进行端到端训练，使用imagenet图像集预训练的模型进行初始化。

其次，时序信息存储网络的前向计算训练。

与步骤a6的设定时序信息存储网络单元模型的前向计算相同，使用深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算it、ct、ft、ot、ht五个向量的值。

最后，同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值。反向传播均为传统方式，时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。

第四步，待预测图像和待预测环境信息数据的获取。在实际应用中为获得无人机在日常巡检过程中拍到的图像数据和相配套提供的环境信息数据。

第五步，小麦重度病害的预测，将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。