一种基于LSTM模型预测管网水位的方法及系统

一种基于lstm模型预测管网水位的方法及系统
技术领域
1.本发明涉及城市雨水管网在线监测预测领域，尤其涉及一种基于lstm模型预测管网水位的方法及系统。


背景技术：

2.近些年，国内许多大中型城市屡遭暴雨而频现内涝灾害，多次形成“看海”模式。在汛期，许多城市的居民生活会受天气，特别是受暴雨的影响；因为，暴雨之后，城市部分城区，特别是老旧城区会出现或多或少的城市内涝，影响部分城市居民的生产生活，甚至是影响居民的生命安全。内涝的频繁发生，暴露了当前管网主要存在缺乏信息化管理系统和缺乏监测预警机制两方面的问题。
3.为了应对上述问题，需要掌握管网运行动态及负荷空间分布；主动对雨水管网水位进行数据检修及分析；对管网当下运行状况进行在线监测，从而在时间上对管网运行状况做出短时预测。


技术实现要素：

4.(一)要解决的技术问题
5.本发明提供了一种基于lstm模型对雨天排水管网水位的预测方法以及一套包含监测布点、设备管理、实时数据、数据检修、数据分析、数据预测等模块的雨水管网系统在线监测系统。通过对数据的实时监测以及对历史雨天数据的分析，从已知历史时间水位数据分析预测出未来短时趋势走向。
6.(二)技术方案
7.一种基于lstm模型的水位预测方法，方法包括如下步骤：
8.步骤一：利用人工智能神经网络中lstm模型(long short-term memory，长短期记忆模型，以下简称lstm)对雨水管网水位进行未来短时预测的方法。
9.步骤二：定义预测的输入层与输出层：取场次降雨雨水管网的水位历史数据，以5分钟为间隔，1小时内的数据为一组(即12个数据)，预测下1小时的水位变化。
10.步骤三：数据预处理方法，包括数据按小时分组，数据批次按5分钟为间隔，1小时12个值为1批。
11.步骤四：数据归一化方法，管网水位数据有其特殊性，不应按常规方式进行归一化处理，换算管网充满度，即用当前水位值除以管网直径得到的数据即为归一化后的数据，值大小介于0～1之间。
12.步骤五：模型训练与学习方法，利用lstm模型训练学习时，通过多场次降雨事件进行遗忘状态值的调优。
13.作为优选的技术方案，从时间上来看，同一个空间区域内，在当前时刻t，通过lstm的遗忘门读取上一时刻的输出值与当前时刻输入值，其中当前时刻输入值为历史数据中某场次降雨的水位数据；通过lstm的sigmoid函数确定一个遗忘状态值ft，遗忘状态值介于0
～1之间，通过lstm的输入门生成输入状态值，输入状态值样介于0～1之间；通过lstm的tanh函数和输入值、上一时刻的输出值，预测预设同一时期下一时刻的水位数据。
14.一种基于lstm模型水位预测方法构建的管网水位预测系统，系统包括有监测布点模块、设备管理模块、实时数据模块、数据检修模块、数据分析模块、数据预测模块。
15.作为优选的技术方案，监测布点模块用于在监测区域内布设监测点和监测设备，在线查看布点位置以及布点数量。
16.作为优选的技术方案，设备管理模块用于在布设设备仪器之后，对设备信息化标记并联网记录每一台设备的基本信息、指标信息、监测点位信息。
17.作为优选的技术方案，实时数据模块用于设备启用并上线后，监测点的水位数据将会实时采集被发送到服务端，用户可通过浏览器实时查看当前数据。
18.作为优选的技术方案，数据检修模块用于对选择时刻设备采集数据进行校验，对缺失数据和异常数据进行校验并标记，支持阈值法、截断点法、斜率法、方差法等自动预校验方法，同时对异常数据提供均值、插值等方法进行修复。
19.作为优选的技术方案，数据分析模块用于对每台设备的历史数据进行统计分析和警报分析。以时、天、月、年不同时间间隔，计算监测指标的最大值、中值、最小值、均值以及最大值、最小值发生时间，根据这些统计量，生成箱形图、液位趋势分析图；根据被测液位的频次和频率得到液位直方图。
20.作为优选的技术方案，数据预测模块用于结合数据分析模块所得到的统计量以及管网连通性分析得到的相关性，再结合基于lstm模型的预测方法，对城市雨水管网在降雨时管网水位进行预测。
21.(三)有益效果
22.本发明的有益效果在于：
23.1.较于传统预测模型，结合lstm神经网络，可以在训练及学习过程考虑雨量及液位在时间上的记忆，即存在多长时间段的雨量及液位对下一时刻的预测液位有多大的相关性。
24.2.该预测方法是一动态预测方法，即通过当年降雨及对应液位进行初始模型训练后，随着不断发生降雨事件作为后续输入训练集，进行迭代后，模型精度会由于训练样本增大而减少过拟合现象，有一定幅度的提高并趋于稳定。
25.3.本发明提供方法是一套集成度较高的系统，已将预测模型过程所需的数据采集、数据初始化处理、模型训练及预测结果展示集成到相应的软件模块，将界面可视化并简化了相关参数设置操作，降低系统操作人员的技术门槛，且具备一定的稳定性和重用性。
附图说明
26.图1管网水位预测方法及流程
27.图2lstm模型3门和1细胞单元
28.图3降雨量和管道充满度变化曲线
29.图4为7场降雨数据统计量
30.图5具体样本示例
31.图6损失曲线
32.图7为8月19日降雨场次模型预测
33.图8管网水位预测系统及模块
34.具体实施
35.为使本说明书的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本说明书的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
36.结合附图对本发明一种基于lstm模型预测管网水位的方法及系统，做进一步说明，下面结合实施例对本发明作进一步详述：
37.第一部分，本发明提供了一种基于lstm模型的水位预测方法。
38.取某场次降雨雨水管网的水位历史数据，如以5分钟为间隔，1小时内的数据为一组(即12个数据)，预测下1小时的水位变化。
39.从时间上来看，同一个空间区域内，在当前时刻t，通过lstm的遗忘门读取上一时刻的输出值与当前时刻输入值，其中所述当前时刻输入值为所述历史数据中某场次降雨的水位数据；通过lstm的sigmoid函数确定一个遗忘状态值f
t
，所述遗忘状态值介于0～1之间，0表示完全遗忘，1表示完全保留；通过lstm的输入门生成输入状态值，所述输入状态值样介于0～1之间；通过lstm的tanh函数和输入值、上一时刻的输出值，预测所述预设同一时期下一时刻的水位数据。
40.第二部分，本发明提供一套管网水位采集、监测、预测系统。
41.本系统通过六个模块对监测区域进行水位数据采集、监测、预测。六个模块分别具有以下不同的功能。
42.监测布点模块：在监测区域内布设监测点和监测设备，可以在线查看布点位置以及布点数量，通过对监测点的分布地理信息以及数据进行实时监测，科学合理规划设计监测点布设方案。
43.设备管理模块：在布设设备仪器之后，对设备信息化标记并联网记录每一台设备的基本信息、指标信息、监测点位信息。对不同类型或同种类型不同设备可以在线查看每一台设备的工作状态，以及日志信息，同时可以根据现实需求及时调整设备状态，如：是否启用该设备，设备的监测对象，采样间隔，预警上下限等，可以对设备进行远程控制，方便快捷。
44.实时数据模块：设备启用并上线后，监测点的水位数据将会实时采集被发送到服务端，用户可通过浏览器实时查看当前数据。该模块还支持查看任意时间段的水位数据，以及整体的变化趋势，通过时间段的调节，自动显示时、日、月、年的数据统计信息。
45.数据检修模块：对选择时刻设备采集数据进行校验，对缺失数据和异常数据进行校验并标记，支持阈值法、截断点法、斜率法、方差法等自动预校验方法，同时对异常数据提供均值、插值等方法进行修复。
46.数据分析模块：对每台设备的历史数据进行统计分析和警报分析。如：以时、天、月、年不同时间间隔，计算监测指标的最大值、中值、最小值、均值以及最大值、最小值发生时间，根据这些统计量，生成箱形图、液位趋势分析图；根据被测液位的频次和频率得到液位直方图；通过这些统计图可以更直观地观察分析液位变化。
47.数据预测模块：结合数据分析模块所得到的统计量以及管网连通性分析得到的相关性，再结合上述所提的基于lstm模型的预测方法，对城市雨水管网在降雨时管网水位进行预测。
48.具体的本发明方法部分实施例如图1所示，提供一种基于lstm模型的水位预测方法，该方法包括如下步骤：
49.步骤1，获取预设目标范围内布点仪器所测的历史水位数据。
50.根据本发明实施例，通过预设目标区域内布置的一定数量的液位计获取该区域历史降雨时的管网水位数据：在预设目标区域内布置6个测试点，每个测试点均布置1个液位计，通过这6个测试点的液位仪得到一组某一时间段内的历史水位数据，以5分钟为间隔，1小时内的数据为一组(即12个数据)，预测下1小时的水位变化。
51.步骤2，对上述数据组织所得到的历史数据进行归一化处理。
52.此处采用的归一化方法为计算管网充满度，即用当前水位值除以管网直径得到的数据即为归一化后的数据，值大小介于0～1之间。
53.步骤3，利用lstm模型训练和学习历史数据，预测预设目标范围内下一时刻降雨时的管网水位数据。
54.根据本发明实施例，在当前时刻t，通过lstm的遗忘门读取上一时刻的输出值与当前时刻输入值；通过lstm选用sigmoid函数确定一个遗忘状态值f
t
，遗忘状态值介于0～1之间，0表示完全遗忘，1表示完全保留；通过lstm的输入门生成输入状态值，输入状态值样介于0～1之间；通过lstm的tanh函数和输入值、上一时刻的输出值，预测下一次降雨时的管网水位数据。
55.其中，lstm的核心思想是把一次完整的输入到输出看做一个细胞，其关键在于细胞的状态，和穿过细胞的那条水平线。细胞的状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互，信息在上面流传保持不变会很容易。
56.lstm网络的结构与传统循环神经网络的结构相同，均由输入层、隐藏层和输出层组成。在隐藏层中，lstm神经元增加了能够进行选择性学习的结构。相比于传统的激活函数，lstm神经元包含了一个储存单位，该单位由遗忘门、输入门和输出门这3个“门”结构和1个循环连接单元组成。门可以选择性地让信息通过，门结构的“状态”由一个通过sigmoid函数生成的状态值决定，该状态值处于0～1之间，0代表不让任何信息通过，1代表让所有信息完全通过。通过这种方式，lstm网络可以进行有选择地学习，决定是否学习长期存储的信息。在t时刻，lstm神经元的输入值为x
t
，输出值为o
t
，记忆细胞单元状态为c
t
，w和u为对应的权重矩阵，b为对应的偏移向量。每个门都有对应的自己的w、u、b参数值，可事先通过大量的数据训练lstm模型中的各个参数。
57.如图2所示，当前时刻遗忘门读取上一个细胞的输出h
t-1
和当前细胞的输入x
t
，通过sigmoid函数(σ)返回一个遗忘状态值f
t
控制被遗忘的程度大小。该状态值介于0～1之间，0表示完全遗忘，1表示完全保留。状态值f
t
计算公式如下：
58.f
t
＝σ(wfx
t
+ufh
t-1
+bf)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
59.输入门包含一个σ函数生成的输入状态值i
t
，该值同样介于0～1之间。σ为经验值，根据预测模型精准度，人为的修改，调大或者调小。输入门i
t
的计算公式如下：
60.i
t
＝σ(wix
t
+u
iht-1
+bi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
61.当遗忘门和输入门当遗忘门和输入门运算完成，lstm会更新当前的细胞状态，更新细胞状态g
t
。更新门g
t
计算公式如下：
62.g
t
＝tanh(wgx
t
+ugh
t-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
63.此时记忆细胞单元状态c
t
由两部分组成。当前的细胞状态g
t
和上一时刻的细胞状态c
t-1
与遗忘状态值f
t
的乘积(决定遗忘或保留多少上一时刻的细胞状态)构成本细胞新的记忆细胞单元状态c
t
。c
t
计算公式如下：
64.g
t
＝f
tgt-1
+i
tgt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
65.lstm最后会计算当前需要确定什么样的信息需要输出，这个任务主要靠输出门根据当前的细胞状态c
t
来完成。在网络中c
t
会保留住序列数据的重要信息并可以传递较长的时刻，能够有效的缓解长期依赖。
66.输出门确定需要输出部分的细胞状态o
t，
计算公式如(5)，然后公式(6)把细胞状态通过tanh函数处理，得到一个(-1,1)范围的值，并将其和o
t
相乘得到当前时刻最终的隐藏层输出h
t
。
67.o
t
＝σ(wox
t
+u
oht-1
+bo)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
68.h
t
＝o
t
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
69.本发明中，输入层特征向量x
t
选取为降雨时间序列、历史水位时间序列(归一化后为充满度时间序列)。降雨量与管道充满度实测数据如图3所示，在旱季，管道充满度基本趋于0，而在降雨期间，管网充满度增大，随着降雨减小，管网逐渐恢复排水能力，充满度逐渐减小。
70.本实施例基于谷歌人工智能框架tensorflow来构建模型。tensorflow具有使用灵活、方便移植，效率高等优点，目前支持c++和python两种编程语言。考虑到python语言的简洁性以及数据批处理上的优势，故采用python进行程序设计及模型训练与验证，训练结果通过tensorflow提供的图表工具——tensorboard进行可视化。
71.本实施例降雨数据选取实施地区雨季6-8月的7场降雨资料，分别为6月10日、6月19日、7月2日、7月9日、7月10日、7月29日和8月8日降雨。图4列出7场实测降雨的总降雨量、降雨历时及峰值雨强。
72.在本实施例中样本timestep(即选取定长时间间隔数据进行分组)设为12(5分钟间隔，1小时内数据作为数组)是为与具体实例相关的设定，即在不同管网需根据实际情况多次训练和学习后得到合适的timestep。此值与遗忘有一定相关性，通俗理解可为，多长时间内的降雨数据以及历史水位数据会对当前时刻水位有较高相关性，而超过此值的可以被遗忘。具体单个样本输入样例见图5。
73.通过输入上述7场降雨的时间序列以及当前时刻的出水口上游管道充满度，由神经网络预测下一时刻充满度，然后与实测值进行对比来进行模型训练和参数优化。选取均方误差(mse)作为评价模型精度的指标，即作为神经网络训练的损失函数。
74.均方误差mse的计算公式如下：
[0075][0076]
其中，n代表样本数量，g代表预测模型，根据矩阵x输出预测向量g(x)。
[0077]
设定训练次数设为5000次，训练学习效率为0.001，训练方法为梯度下降法，训练
完成后通过tensorboard输出结果如图6所示。
[0078]
训练学习完成后，选用当年8月19日降雨进行模型的验证，其预测结果如图7所示。
[0079]
综上，本实施例通过长短期记忆模型lstm预测未来降雨时雨水管网系统的水位变化趋势，从而为短时预警以及应急对策提供更为科学合理的依据。
[0080]
具体的本发明系统部分实施例是一套集成上述方法并将方法中所涉及的数据预处理、数据输入及输出融合到管网水位采集、校验、预测等多个模块中的完整闭环系统(如图8所示)。上述预测方法在系统中自动化步骤如下：
[0081]
第一步，通过监测布点模块科学合理规划监测区域内合适的布点位置，尽可能选择管网中的关键点位，例如重要干管节点、干管交叉点、管网出口等位置。
[0082]
第二步，现场安装设备后，将安装及设备指标信息录入设备管理模块，开启设备数据采集服务，通过4g或物联网(nb-iot)等通讯方式实时收发数据。
[0083]
第三步，数据校验及修复模块，将完成数据的分组以及数据预处理，并通过充满度计算完成数据归一化。
[0084]
第四步，数据预测模块，提供数据学习训练过程中参数配置与调整功能，得到可靠训练结果后，保存模型。在需要进行预测的降雨场次开启预测，调出训练模型，得到短时预测结果。
[0085]
最后，将预测结果与实时数据曲线合并显示，随着时间演进查看拟合效果，为预警和应急处理提供可视化界面。
[0086]
以上内容不能认定本发明的具体实施只局限这些说明，凡是依照本发明申请专利范围内所做的均等变化和修饰，皆应属于本发明所提交的权利要求书确定的专利保护范围以内。