一种基于长短期记忆神经网络的滑坡位移预测方法

1.本发明涉及滑坡预测领域，尤其是涉及一种基于长短期记忆神经网络的滑坡位移预测方法。


背景技术：

2.近年来，滑坡被认为是一个极其复杂的非线性动态持续性过程，当前时刻滑坡的状态受之前时刻状态的影响，影响当前状态的外界因素在后续时刻也发挥着作用，即影响因素的滞后性。
3.现有预测模型诸如卡尔曼滤波、灰色模型、生物生长模型等，都是基于历史监测数据建立统计规律的静态模型，虽然在位移预测上取得了一定的成果，但实际上仍难以准确描述出滑坡演化过程中存在的位移与各影响因子的非线性关系，导致预测的结果不够精确，难以真实反映滑坡情况。
4.因此，需要设计一种精度更高的滑坡位移预测方法。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种预测精度高的基于长短期记忆神经网络的滑坡位移预测方法。
6.本发明的目的可以通过以下技术方案来实现：
7.本发明提供了一种基于长短期记忆神经网络的滑坡位移预测方法，该方法包括以下步骤：
8.步骤s1、利用小波变换将采集到的滑坡累计位移按照时间序列分解为趋势项位移和周期项位移；
9.步骤s2、采用单变量长短期记忆神经网络对趋势项位移进行预测，得到趋势项位移预测值；
10.步骤s3、采用基于注意力机制的多变量长短期记忆神经网络对周期项位移进行预测，得到周期项位移预测值；
11.步骤s4、叠加趋势项位移预测值和周期项位移预测值，得到滑坡累计位移预测值。
12.进一步地，所述步骤s1中的小波变换为离散小波变换。
13.进一步地，所述步骤s1中的小波变换采用daubechies小波函数对滑坡累计位移进行分解与重构。
14.进一步地，所述步骤s2中的长短期记忆神经网络中的隐藏层单元包括存储细胞状态的记忆单元和用于控制隐藏层状态的门结构。
15.进一步地，所述门结构包括输入门、遗忘门和输出门；通过采用输入门、遗忘门和输出门三个门结构对细胞状态进行更新，每个时刻不同门的计算表达式为：
16.遗忘门：
17.f
t
＝σ(wf·
[h
t-1
,x
t
]+bf)
[0018]
式中，h
t-1
为隐藏层状态，x
t
为目标输出；wf为遗忘门的权重矩阵，bf为遗忘门的偏置，σ为sigmoid激活函数；
[0019]
输入门：
[0020]it
＝σ(wi·
[h
t-1
,x
t
]+bi)
[0021][0022][0023]
式中，为记忆细胞输入的候选状态，c
t
为记忆细胞输出的细胞状态；wi、wc为输入门的权重矩阵，bi、bc为输入门对应的偏置；tanh为双曲正切函数；
[0024]
输出门：
[0025]ot
＝σ(wo·
[h
t-1
,x
t
]+bo)
[0026]ht
＝o
t
*tanh(c
t
)
[0027]
式中，wo为输出门的权重矩阵，bo为输出门的偏置。
[0028]
进一步地，所述步骤s3中的基于注意力机制的多变量长短期记忆神经网络，具体为：
[0029]
在长短期记忆神经网络lstm层和输出层之间引入注意力机制；通过lstm层，提取输入数据中的特征作为隐藏状态，利用注意力机制进一步识别隐藏状态中对目标输出影响大的关键状态。
[0030]
进一步地，所述利用注意力机制进一步识别隐藏状态中对目标输出影响大的关键状态，赋予更大的权重，其本质上为对隐藏层的输出进行加权求和，具体计算过程为：
[0031]
1)计算隐藏层状态hi和目标输出s
t-1
的相似度，表达式为：
[0032]sti
＝v
t tanh(w
·st-1
+u
·hi
+b)
[0033]
式中，w、u、b、v为网络参数；
[0034]
2)归一化权重，表达式为：
[0035][0036]
式中，α
ti
为归一化后的注意力权重；
[0037]
3)采用归一化后的注意力权重对隐藏层进行加权平均，表达式为：
[0038][0039]
式中，c
t
为引入注意力机制的上下文向量。
[0040]
进一步地，所述预测方法还包括步骤s4、采用评价指标对滑坡累计位移预测值进行评价。
[0041]
进一步地，所述评价指标包括均方根误差、平均绝对误差、平均绝对百分比误差和皮尔逊相关系数。
[0042]
进一步地，所述均方根误差表达式为：
[0043][0044]
所述平均绝对误差表达式为：
[0045][0046]
所述平均绝对百分比误差表达式为：
[0047][0048]
所述皮尔逊相关系数的表达式为：
[0049][0050]
式中，yi为实际位移，为实际位移平均值，y'i为预测位移，为预测位移平均值。
[0051]
与现有技术相比，本发明具有以下优点：
[0052]
本发明提出的结合注意力机制的长短期记忆神经网络滑坡位移预测方法利用lstm网络捕捉滑坡位移时间序列中的长期依赖关系，结合注意力机制强化滑坡演化过程中关键因素的影响，从而提高滑坡位移预测的精度和准确度。
附图说明
[0053]
图1为本发明的方法流程图；
[0054]
图2为本发明实施例中a地滑坡地理位置示意图；
[0055]
图3为本发明实施例中a地滑坡监测网点示意图；
[0056]
图4为本发明实施例中a地滑坡gps15监测点趋势项位移；
[0057]
图5为本发明实施例中a地滑坡gps15监测点周期项位移；
[0058]
图6为本发明实施例中a地滑坡gps15监测点趋势项位移预测结果；
[0059]
图7为本发明实施例中监测点gps15周期项位移lstm模型预测值；
[0060]
图8为本发明实施例中监测点gps15周期项位移lstm-attention模型预测值；
[0061]
图9为本发明实施例中监测点gps15周期项位移；
[0062]
图10为本发明实施例中a地滑坡监测点gps15总位移lstm模型结果；
[0063]
图11为本发明实施例中a地滑坡监测点gps15总位移lstm-attention模型结果；
[0064]
图12为本发明实施例中a地滑坡监测点gps15总位移svm模型结果。
具体实施方式
[0065]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实
施例，都应属于本发明保护的范围。
[0066]
实施例
[0067]
本实施例以a地滑坡区域为研究对象，对其滑坡位移进行预测。图2为a地滑坡具体位置示意图。a地为盆地东部山地地貌，长江横贯中部，是典型的亚热带温润季风气候。由于地处库区腹心，受库区蓄水和季节性降雨的影响，境内发育众多滑坡体。
[0068]
接下来需要获取和处理滑坡位移数据。自水库蓄水以来，加上每年5～9月的季节性降水，a地滑坡变形逐渐加剧，因而有必要对a地滑坡使用多源传感器进行监测。a地滑坡现有监测项目包括地表位移监测：gps点16个，深部位移监测：钻孔测斜仪8个，以及地下水位监测点8个。a地滑坡监测网点情况如图3所示。
[0069]
基于对a地滑坡的变形特征，影响因素的分析，选取变形量最大的gps15监测点开展滑坡位移预测研究。由于获得的gps15监测点数据仅包括2018年3月至2020年7月，虽然是每日监测数据，但时间周期相对较短，无法像前人研究一样处理成月数据集，再加上库水位、降雨等位移影响因素的滞后性，本实施例将每日监测数据处理成周数据集。
[0070]
选取2018年3月14日至2020年7月1日期间共计121组监测数据为原始位移时间序列，其中2018年3月14日至2020年2月12日的101组数据作为模型训练集，2020年2月19日至2020年7月1日的20组数据作为模型预测集。
[0071]
如图1所示，本实施例的具体实施过程如下：
[0072]
1、采用离散小波变换并选取daubechies小波函数将进行滑坡时间序列的分解，分解层数为4层，分解结果如图4和图5所示。
[0073]
2、位移预测。
[0074]
对于趋势项位移的预测，使用单变量lstm网络进行趋势项位移的预测，经网格搜索法进行参数寻优，确定网络层数为单层，隐藏层神经元个数为64个，最优输入序列长度为4，同时为避免过拟合，对隐藏层使用dropout机制，并将概率设置成0.5，即隐藏层中的每个神经元有0.5的概率不工作。a地滑坡gps15监测点趋势项位移预测值的结果见图6。预测值的均方根误差rmse为0.86mm，平均绝对误差mae为0.75mm，平均绝对误差百分比mape为0.10％，相关性系数r为1，表明实际值与预测值的一致性良好。
[0075]
对于周期项位移，按以下步骤进行位移预测：
[0076]
1)影响因子选取
[0077]
本实施例通过对位移监测数据与库水位波动、降雨量之间的分析，同时考虑到两者对滑坡位移的滞后性，选择本周累计降雨量、前两周累计降雨量、前四周累计降雨量作为降雨影响因子。通过分析库水位与周期项位移、累计位移之间的关系，发现当库水位快速下降时滑坡位移才会出现阶跃现象，而且滑坡位移对于库水位下降存在着12天-20天的滞后响应，因而本文选取本周库水位高程、前一周库水位最大下降速率、前两周库水位最大下降速率、前三周库水位最大下降速率和前四周库水位最大下降速率作为库水影响因子。此外，滑坡的演化是由内外诸多因素联合作用的结果，处于不同状态下的滑坡对于外界的响应也是不同的，因而本文选取本周位移量、前两周位移量、前三周位移量和前四周位移量作为演化状态影响因子。以上述影响因子作为输入，以周期项位移作为输出，训练网络。
[0078]
2)实验参数设置
[0079]
将样本划分为训练集和预测集，在进行lstm模型和lstm-attention模型训练之
前，需要把模型的输入数据和输出数据按照如下公式归一化到[-1,1]：
[0080][0081]
其中，y
max
＝1，y
min
＝-1。x
max
和x
min
分别是序列样本数据的最大和最小值，x
norm
为原始数据x归一化后的值。
[0082]
采用网格搜索法对模型的隐藏层数目、隐藏层神经元数、输入序列的长度、批处理大小(batch size)进行参数寻优，确定监测点gps15的周期项位移预测lstm模型的网络层数为4层，除去输入层与输出层外包含2层lstm层作为隐藏层，第一层lstm的神经元个数为64，第二层lstm的神经元个数为128，批处理大小为6。输入序列长度，即时间步长，决定着用于预测某时刻滑坡位移的前期数据的个数，严重影响着模型的预测精度，经网格搜索法最终确定模型的最优输入序列长度为8。为比较引入attention机制前后的lstm预测模型的效果，对上述lstm模型的参数不做变动，仅在第二层lstm层与输出层之间加入注意力层。同时为避免模型过拟合，对两层lstm应用dropout机制，并将概率设置成0.5，最终得到监测点gps15周期项位移预测值如图7～图9所示。
[0083]
滑坡累计位移预测值由趋势项与周期项这两者的位移预测值叠加得到。lstm模型、lstm-attention模型以及svm模型预测结果如图10～图12所示。可以看出，lstm模型和lstm-attention模型得到的滑坡累计位移预测值与实测值基本一致。
[0084]
将lstm-attention模型与lstm模型和svm模型对周期项位移预测结果进行对比，各模型预测精度及误差对比见表1。
[0085]
表1
[0086][0087][0088]
相比于svm模型，lstm和lstm-attention均表现出了极佳的优越性，能够较好的反映出各影响因素与位移变化之间的响应关系。lstm模型的rmse、mae、r、mape分别为7.22mm、6.55mm、0.99和0.83％，相比于lstm，lstm-attention模型在模型预测性能上有了较大的提升，其的rmse、mae、r、mape分别为5.45mm、3.70mm、0.99和0.64％，尤其是在平均绝对误差mae项上，lstm-attention模型提升较大，即代表着lstm-attention模型预测值的准确度更高。对于a地滑坡gps15监测点，库水位的快速下降导致其累计位移在5～7月出现阶跃，在这个阶段的前期，lstm-attention模型的预测误差明显小于lstm模型，但在这个阶段的最后三组数据上，lstm-attention模型得到的预测值与真实值差值却在逐渐变大，预测误差明显大于lstm模型。
[0089]
总体来看，不管是在位移平稳期还是阶跃期，相比于lstm模型，lstm-attention模型由于引入注意力机制对影响当前时刻位移的各项因素进行注意力的分配，赋予不同的权重，因而获得了更为精确的预测值。
[0090]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替
换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。