基于多层卷积长短时记忆神经网络的图像预测方法与流程

本发明属于计算机视觉技术领域，特别涉及了一种基于多层卷积长短时记忆神经网络的图像预测方法。

背景技术：

随着近些年深度学习的快速发展，越来越多的计算机视觉问题得到了很好的解决。此外随着经济的发展和生活水平的提高，人们对图像预测需要更精确。例如：降水数据、人体健康预测数据等。

对于城市周边利用新技术培育的农产品和花卉，一些需要露天加工产品的农产品加工厂；还有机场等；都需要更苛刻的天气条件。本发明使用深度学习中的卷积长短时记忆神经网络建模该问题。

对于人体健康情况，随着年龄的增长，也需要及时预测疾病和管理健康。

单层的卷积长短时记忆网络的图像预测效果有限，对于细节特征的预测很模糊，空间位置预测还有一定的偏差，这个问题亟待解决。

技术实现要素：

本发明的目的是针对上述问题，为了增强网络的图像结构细节表达能力，提出一种基于多层卷积长短时记忆神经网络的图像预测方法，选择将单层的卷积操作扩展到5层，克服了传统数字预测方法工作繁杂、光流法步骤多和单层卷积长短时记忆神经网络预测细节效果差的缺陷。

本发明的技术方案是：

本发明提供一种基于多层卷积长短时记忆神经网络的图像预测方法，该方法包括如下步骤：

步骤1)训练数据的获取：获取训练数据，采用固定间隔采样选择m张序列图作为训练数据集，m为偶数；

步骤2)多层卷积长短时记忆神经网络模型的训练：

将训练数据集中的序列图分为两部分，前一半作为输入序列xi，i＝1，2，...m/2，后一半作为输出序列yi，

多层卷积长短时记忆神经网络模型学习输入序列图像xi＝{x1，x2，……xm/2}的图像特征，循环获取预测输出图像再与真实的输yi＝{y1+m/2，y2+m/2……ym}计算均方差损失值，采用梯度下降优化算法降低损失值，反向传播更新学习的各门控单元系数矩阵w为w′，各门控单元更新函数的偏执b为b′；

步骤3)预测：使用步骤2)训练后的多层卷积长短时记忆神经网络模型预测输入序列图像xi＝{xm+1，xm+2，……xm+m/2}的图像特征，前述多层卷积长短时记忆神经网络模型具有更新的各门控单元系数矩阵w′和更新函数的偏执b′，循环预测得到t＝1+m～m/2+m时刻的输出图像将前述输出图像作为输入序列，得到t＝1+3m/2～2m时刻的输出图像以此类推，得到之后m/2个预测输出数据。

进一步地，所述步骤1)中图像训练数据采用降水雷达回波数据或者人体健康监测数据。

进一步地，所述步骤1)中降水雷达回波数据采用阿里巴巴天池大数据比赛中的数据，数据采集的地区是以广州为中心的珠三角地区，时间集中在夏季。

进一步地，所述步骤2)中多层卷积长短时记忆神经网络训练的具体步骤为：

(21)、参数初始化：令记忆细胞ct和隐藏层输出ht的初始状态c0和h0均为满足高斯分布的随机数，t表示时刻，t＝1，2，...，m；

(22)、对于多层卷积长短时模块，输入n×n×3的图像xt并与t-1时刻的多层卷积长短时的输出ht-1在通道上连接；其中，n表示图像的长和宽；

(23)、将连接好的输入图送入多层卷积模块和激活模块进行特征提取，将提取结果从通道维度分成四个部分wf(xt+ht-1)、wj(xt+ht-1)、wc(xt+ht-1)、wo(xt+ht-1)；

其中：xt表示t时刻的输入图像，wf表示遗忘门控单元的系数，wj和wc均表示输入门控单元的系数，wo表示输出门控单元的系数；wf(xt+ht-1)表示图像特征第一部分，wj(xt+ht-1)表示图像特征第二部分，wc(xt+ht-1)表示图像特征第三部分，wo(xt+ht-1)表示图像特征第四部分；

(24)、将特征第一部分wf(xt+ht-1)输入遗忘门进行激活，得到激活后遗忘门的输出为ft；

ft＝δ[wf(xt+ht-1)+bf]，

其中，δ[]表示sigmoid激活函数，bf表示遗忘门更新函数的偏执，初始值为满足高斯分布的随机数；更新上一时刻记忆细胞为其中，о表示点积运算；

采用下述公式更新输入门jt和记忆细胞ct；

jt＝δ[wj(xt+ht-1)+bj]

其中：bj表示输入门更新函数jt的偏执，初始值为满足高斯分布的随机数；bc表示输入门更新函数的偏执，初始值为满足高斯分布的随机数；tanh[]表示激活函数；

将新的记忆细胞ct经过tanh[]函数激活tanh(ct)和当前t时刻得到的图像特征第四部分wo(xt+ht-1)采用下述公式进行计算，得到t时刻隐藏层的输出ht；

其中，bo表示输出门更新函数的偏执，初始值为满足高斯分布的随机数；

(25)、重复步骤(22-24)，对t＝1到t＝m/2的输入图像进行处理，得到t＝m/2时刻的记忆细胞cm/2和隐藏层的输出hm/2；

(26)、将t＝m/2时刻多层卷积长短时模块的输出hm/2和记忆细胞cm/2作为预测t＝m/2+1时刻的输入传递给解码网络，预测出t＝m/2+1时刻图像的特征，前述图像的特征包括隐藏层的输出hm/2+1和记忆细胞cm/2+1，将隐藏层的输出hm/2+1经过至少三层卷积还原出t＝m/2+1时刻的预测图像y1+m/2；

(27)、重复步骤(26)，采用t＝m/2+1时刻的输出hm/2+1和记忆细胞cm/2+1作为预测t＝m/2+2时刻的输入传递给解码网络，预测出t＝m/2+2时刻图像的特征，以此类推，预测出t＝m/2+2至t＝m时刻输出图像的特征，将对应时刻隐藏层的输出hm/2+2～hm分别经过至少三层卷积还原出对应的预测图像y2+m/2～ym，得到预测输

(28)、用预测的m/2张图像与真实的输出yi计算均方差，利用梯度下降优化算法降低损失值，得到各门控单元系数w′＝(wf′，wj′，wc′，wo′)和各门控单元更新函数的偏执b′＝(bf′，bj′，bc′，bo′)，反向传播更新多层卷积长短时网络的所有门控单元系数，令各门控单元系数w＝w′，各门控单元更新函数的偏执b＝b′；

将调整后的门控单元系数再次代入步骤(24)更新记忆细胞cm和隐藏层输出hm，得到c′m和h′m。

进一步地，所述步骤2)中，多层卷积长短时记忆神经网络模型结构为编码-解码模型，编码部分用来学习序列图的变化特征，解码部分利用编码学到的变化特征结合最后一张输入来预测下一张图，在特征图的维度上大小相同，解码过程与编码过程中的系数由反向传播进行更新。

进一步地，所述步骤2)中多层卷积长短时记忆神经网络结构包括：

卷积层：从单层卷积操作增加到多层卷积操作，用于提取更抽象的图像特征，卷积核采用较小的3×3卷积；

激活函数，在每层卷积后接relu激活函数也称作修正线性单元，弥补了其他激活函数导致的梯度消失问题，增强网络的学习能力；

多层卷积和激活组成的模块进行特征提取，将提取结果从通道维度分成四个部分wf(xt+ht-1)、wj(xt+ht-1)、wc(xt+ht-1)、wo(xt+ht-1)

遗忘门获得wf(xt+ht-1)部分，通过sigmoid函数映射到0和1，公式为：ft＝δ[wf(xt+ht-1)+bf]，利用ft遗忘记忆细胞ct-1部分内容，使用矩阵对应元素相乘的方法更新记忆细胞使需要保留的与1相乘不变，需要遗忘的与0相乘消失；

输入门将学习到的新特征wj(xt+ht-1)和wc(xt+ht-1)加入到记忆细胞，根据公式计算出需要输入记忆细胞ct-1的内容，结合遗忘门和输入门对记忆细胞ct-1的更改，采用对应元素相加的方法更新得到新的记忆细胞ct；

输出门结合新记忆细胞ct和提取的输出特征部分wo(xt+ht-1)将当前的预测特征输出，对ct采用tanh激活函数将记忆细胞中需要的部分映射到1，不需要的部分映射为-1，之后与当前的输出特征wo(xt+ht-1)相乘，获得当前隐藏层输出特征图，公式为：

进一步地，步骤2)中门控单元的激活函数选择，针对不同门控制单元负责的任务：对于遗忘门，选用能将输出限制在0到1之间的sigmoid激活函数；对于输入门：由特征输入和记忆细胞输入两个部分组成，都采用sigmoid激活函数；对于隐藏层输出门：先对记忆细胞进行tanh函数激活，再和由sigmoid激活的隐藏层特征相乘，输出最终的特征图。

本发明的有益效果：

本发明的多层卷积长短时记忆神经网络的图像预测方法利用了深层卷积提取更抽象特征的思想，通过对卷积层的加深和非线性激活增加拟合能力，从而加强了网络对图像特征细节表达能力，有效克服了单层网络的细节模糊、精准度差的问题。

本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本发明的基本流程图。

图2是本发明中“编码-解码”网络结构图。

图3是本发明中多层卷积长短时记忆神经网络模块内部细节图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。

本实施例的多层卷积长短时记忆神经网络的图像预测方法，包括以下步骤：

步骤1)训练数据的获取：本实施例选用了阿里巴巴天池大数据比赛中的降水雷达回波数据，数据主要反应了暴雨多发季节一天内数小时雷达回波情况。原数据集中共61张雷达回波图，每6分钟拍摄一张图，采用固定间隔采样选择m张序列图作为训练数据集，m为偶数，以下实施例以20张序列图为例；

步骤2)如图1所示，多层卷积长短时记忆神经网络模型的训练，对于单个多层卷积长短时模块，首先是读入此时输入的n×n×3图像xt并与上一个模块的输出ht-1在通道上连接；接着将连接好的输入图送入由5层卷积和激活函数组成的特征提取模块，各门控单元的系数集合w在这一步调整；调整后的系数再经过不同的激活函数更新记忆细胞ct和输出ht；将10张输入序列图变化特征编码完后，最后一个多层卷积长短时模块的输出h10和总的记忆细胞c传递给解码网络并将最后一个输入作为预测时的第一个输入，预测出第11张图像的特征图，经过三层卷积后变成n×n×3的图像用来作为预测12张图像时的输入；重复上一步，预测出第11-20张输出图像。最后，用预测的10张序列图与真实的输出y计算均方差损失，利用优化算法降低损失值和反向传播更新多层卷积长短时网络的系数为w′。

多层卷积长短时记忆神经网络的模型“编码-解码”结构如图2所示，编码和解码部分都是由多层卷积长短时记忆神经网络组成。编码部分学习输入图像的变化特征，存储在记忆细胞c和隐层输出h中，它们包含了输入的10张雷达回波图的全部变化特征。

多层卷积长短时记忆神经网络结构如图3所示：

卷积层，从单层卷积操作增加到5层卷积操作，用于提取更抽象的图像特征；

激活函数，在每前四层卷积后接relu激活函数，增加非线性变化，增强网络的学习能力；

门控单元，接收第五层卷积后的系数，并通过不同的激活函数激活，遗忘门利用系数遗忘记忆细胞部分内容，输入门将学习到的新特征加入到记忆细胞，输出门结合记忆细胞将当前的预测特征输出。

基于多层卷积长短时记忆神经网络模块中控制门和记忆细胞的更新规则如下，门控单元的激活函数选择，考虑了不同门控制单元负责的任务不同。对于遗忘门，仅需要判断是否遗忘像素，这是一个判断0和1的二值问题。所以选用能将输出限制在0到1之间的sigmoid激活函数。输入门单元要输出的特征更复杂，为了增强网络的拟合能力增加非线性映射，选用tanh激活函数。

遗忘门：ft＝δ[wf(xt+ht-1)+bf]

输入门：jt＝δ[wj(xt+ht-1)+bj]

记忆细胞：

输出门：

步骤3)使用模型预测：本发明在预测时，使用训练好的系数矩阵更新多层卷积长短时记忆神经网络模块。输入前10张序列图，输出第11张图；再将第11张图输入回多层卷积长短时记忆神经网络模块；重复操作输出之后全部的10张预测序列图。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。