一种基于大数据技术的城市防汛决策支持系统的制作方法
【专利摘要】本发明公开了一种基于大数据技术的城市防汛决策支持系统，包括如下步骤：步骤一、构建历史水情数据库；步骤二、实时水情数据采集与存储；步骤三、建立组合水位预测模型；步骤四、实时水情展示和水位预报；步骤五、历史水情数据统计分析。本发明的有益效果是：能对1到6小时的水位提供有效的预测，从而在城市汛期来临时为防洪减灾工作提供决策支持。系统采用分布式数据库HBase，能有效地存储海量水情数据并应对数据的快速增长，同时利用大数据分析引擎Impala对海量历史水情数据进行实时处理分析，应用数据可视化技术发掘历史数据的内在价值，为防汛工作提供信息指导。
【专利说明】
一种基于大数据技术的城市防汛决策支持系统
技术领域
[0001] 本发明涉及城市防汛决策支持系统，更具体说，它涉及一种基于大数据技术的城 市防汛决策支持系统。
【背景技术】
[0002] 近年来，随着经济的快速发展，我国的城市化进程一直呈加速发展的态势，城市的 数量在不断增多，城市的规模也在不断扩大。城市化进程在促进社会文明进步的同时，也给 城市带来了很多问题与挑战，城市突发洪涝灾害就是其中之一。每当汛期来临，不断有城市 遭受洪涝灾害的新闻见诸报端。
[0003] 由于城市突发洪涝灾害所造成的后果极其严重，人们在抵御洪水上做了很多努 力。六十年代以前，人们在抵御洪水所做的工作上侧重于采取工程措施。随着社会经济的发 展、人口的不断增长和城市化进程的加快，防洪工程的减灾效益越来越少;七十年代，美国 首先找到了抵御洪水的新方法，提出了非工程措施的概念，此后世界各国在防洪减灾规划 上同时采用工程措施和非工程措施相结合的办法。洪水无法完全避免，防洪工程并不能完 全消除洪水的威胁，采取有效措施减少城市洪涝灾害所造成的经济损失和人员伤亡是城市 防汛的重点研究内容。非工程措施在防洪减灾中扮演着重要角色，主要包括，对城市土地进 行合理规划、建立有效的洪水预报预警体系、提高人们的防洪意识、制定可行的疏散方案 等。防汛决策支持系统就是一种有效地非工程措施。
[0004] 随着水利信息化建设的不断完善，物联网传感器设备不断增加，城市防洪减灾相 关数据呈爆炸式增长，步入了大数据时代。利用大数据技术对城市防汛工作中采集到的数 据进行挖掘分析，为城市突发洪涝灾害的预防与预警提供了一条新途径，具有重要的理论 和现实意义。近年来，云计算技术发展迅猛，而传统的数据处理方式已无法应对大数据的快 速增长，云计算技术的成熟为大数据技术提供了强大的技术支持。在大数据时代背景下，如 何利用大数据和云计算技术处理海量城市水情数据，为城市的防汛工作提供指导，是一项 具有重要研究意义的课题。
[0005] 专利2015104969095"一种防汛调度决策支持系统"提出了一种根据水文遥测数据 进行洪水预测模拟的方法，该系统包括:在线模型服务器，用于接收水文遥测数据，并根据 水文遥测数据进行洪水预测模拟，还包括:数据库，与各水文遥测设备连接，用于存储水文 遥测设备采集的水文遥测数据;数据接口及WEB应用服务器，分别于数据库和在线模型服 务器连接，用于将数据库中的水文遥测数据推送至在线模型服务器，并接收预测模拟结果， 向远程网络终端发布。该系统可以根据降雨情况，实时模拟降雨积水情况，预报积水点位 置、积水深度和退水时间，为排水应急抢救和栗站优化运行提供决策支持。专利 201520604493X"一种远程防汛控制系统"提供了一种利用视频监控装置对水库水情进行实 时动态监视以确保水库安全运行的方法，该系统包括:监控装置、交换机和防汛指挥中心， 防汛指挥中心包括视频服务器、管理服务器、监控显示装置和预警装置，监控装置获取的监 控信息与交换机之间采用微波定向无线传输方式传送，交换机与防汛指挥中心采用VPN专 网连接，监控显示装置经解码服务器与管理服务器相连。该系统结构简单，可及时对水库水 情进行实时动态监控，以便采取相应的预防和补救措施确保水库安全运行，且采用无线方 式传输数据，施工周期短、线路铺设成本低。这些方法和系统只是实现了对某一方面数据信 息的利用，并没有充分利用海量历史水情数据和城市中多源异构的数据。
【发明内容】
[0006] 本发明的目的是克服现有技术中未对海量历史水情数据进行充分利用的不足，提 供一种基于大数据技术的城市防汛决策支持系统。
[0007] 这种基于大数据技术的城市防汛决策支持系统，包括如下步骤：
[0008] 步骤一、构建历史水情数据库:采用基于Hadoop的分布式数据库HBase对历史水情 数据进行存储；
[0009] 步骤二、实时水情数据采集与存储:采用物联网技术将传感器与服务器相连，从而 使服务器能获取各测站的实时水情信息；
[0010]步骤三、建立组合水位预测模型:城市水情数据是时空序列数据，对测站水位的预 测从时间和空间两个角度进行;将不同角度预测的结果进行动态组合；
[0011]步骤四、实时水情展示和水位预报:服务器根据城市的历史水情数据和实时水情 数据，应用步骤三得到的组合水位预测模型对未来1-6小时的水位进行预测;客户端访问服 务器获得JSON格式的每个测站的地理位置信息、实时水情数据和水位预测结果，并将获得 的数据展示以可视化的方式展示在电子地图上；
[0012]步骤五、历史水情数据统计分析:客户端向客户端发起指定时间范围的水情数据 查询请求，服务器端将接收到的查询请求转换为相应的JDBC方法，利用大数据分析引擎 Impala进行分布式查询，并将查询的结果封装成JSON格式返回给客户端，客户端将接受的 数据结合数据可视化工具进行展示。
[0013] 所述步骤一具体包含:HBase表设计Code和Value两个列簇分别存储以上两类数 据，新增的数据类型在相应列簇中添加;城市水情数据都是增量式数据，这些数据都与时间 相关，HBase提供一个时间戳来存储数据的相应版本;HBase数据库只为行键这一个属性建 立索引，为了查询相应时间范围内的数据，数据的时间属性添加到行键中；数据库的表采用 了以小时为"bucket"的结构，将时间精确到小时TM.hour与测站编码STCD组成行键，同一小 时内的数据以不同的时间版本存储在统一数据单元中。
[0014]所述步骤二具体包含:传感器每5分钟采集一次数据，并通过HTTP协议的POST方法 将数据和测站编号以JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务 器同时将每个测站的最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查 询和方便应用于水位预报。
[0015] 所述步骤三具体包含：
[0016] 时间水位预测模型：
[0017] 模型的输入数据有：1)所预测监测站点的最近6小时的水位观测值;2)最近1小时 该站点所在地的降雨量;对1-6小时的每一个时间间隔建立一个预测模型；设当前时间为 tc，时间相关水位预测模型将以tc-5，tc-4，tc-3，t c-2，tc-1，时刻该站点的水位观测值和tc时刻 一小时内的降雨量为输入，对未来tc+l，tc+2，tc；+3，tc；+4，tc；+5，t。这些时刻的水位值进行预测， 每个时刻都有一个对应的预测模型，即每个站点都有6个时间相关水位预测模型；
[0018]时间水位预测模型采用线性回归进行建模，如公式3.1所示： _]
3.1
[0020] Sdi为需要预测的ta+i时刻的水位，S。-」为t。-」时刻的历史水位，Qij为相对应的系 数，R。为t。时刻最近一小时的累积降雨量，E为常数；
[0021 ]空间相关水位预测模型：
[0022]采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测值作为输入，以 BP神经网络处理后的输出作为预测结果;Ri，r2, ...，Rm是测站附近雨量传感器的观测值， S1A2, ...，Sn是测站附近水位测站的观测值;经过归一化处理转换为[0，1]范围内的数值； 神经网络的输出为预报时刻水位与当前水位的差值A S，输出神经元的激活函数为线性函 数;该模型只有一层隐含层，隐含层神经元的激活函数为正切双曲函数tanh;
[0023] 组合水位预测模型：
[0024] 时间水位预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反 映的是空间上站点之间的隐含关系，采用一个分类回归树模型用于动态组合两个模型;分 类回归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在 每个叶节点的数据子集上建立一个线性回归模型;分类回归树的节点分裂的步骤与决策树 一样，但是分类回归树既能处理离散值也能处理连续值;在处理连续值时，分类回归树模型 采用线性回归模型的方差的减小来决定节点是否要分类;能够提供最大的方差减小的属性 将作为节点的分割依据;在水位组合预报中应用分类回归树时，先将时间预测模型的预测 结果Stemporal、空间预测模型的预测结果Sspatial、当前水位S current和最近一小时的累计降雨 量Rcurrent以及预测时段的真实水位Sg r_d_truth组成数据集Set (Stempoml，Sspatial，Scurrent， Rmnt，SgroimcLtriith)树节点可依据两个模型预测结果、当前水位和最近一小时累计降雨量 决定是否分裂节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值S pre^t相对 时间、空间两个模型的预测结果建立线性回归模型Spre^t = f (Ste^pciraI，SspatiaI)。
[0025] 所述步骤四具体包含:客户端向服务器端请求所有测站的实时水情数据，服务器 端将步骤二中采集到的实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并 将数据绑定到相应测站标记上;客户端的测站标记绑定了鼠标点击监听器，实现了相应的 交互逻辑，当用户点击一个测站时，将弹出该测站最近24小时的水位过程线;服务器端将最 近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而得出测站未来1-6小时的 预测水位;如果测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防汛工作 提供参考。
[0026] 所述步骤五具体包含:在服务器端，将对用户需要的数据处理操作进行分解成最 基础的功能，并为这些功能提供RESTful API的web services;客户端通过ajax调用这些 API接口获取处理后的数据，再利用这些数据进行渲染、显示;客户端将测站编号和时间范 围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层 方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询结果以JSON格式 返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行展示。
[0027] 本发明的有益效果是:本发明提出了一种基于大数据技术的城市防汛决策支持系 统，该系统利用大数据分析技术挖掘海量历史水情数据的隐含价值，可以为城市防汛工作 提供有效参考。本专利提出了一个综合考虑时间相关性和空间相关性的组合水位预测模 型，能对1到6小时的水位提供有效的预测，从而在城市汛期来临时为防洪减灾工作提供决 策支持。系统采用分布式数据库HBase，能有效地存储海量水情数据并应对数据的快速增 长，同时利用大数据分析引擎Impala对海量历史水情数据进行实时处理分析，应用数据可 视化技术发掘历史数据的内在价值，为防汛工作提供信息指导。
【附图说明】
[0028] 图1是本发明提出的基于大数据技术的城市防汛决策支持系统总体结构图；
[0029] 图2是本发明使用的河道水情表的结构图；
[0030] 图3是本发明建立的河道水情HBase表；
[0031 ]图4是本发明描述的时间预测模型示意图；
[0032] 图5是本发明描述的空间预测模型示意图；
[0033] 图6是本发明描述的组合水位预测模型示意图；
[0034]图7是本发明实现的城市防汛决策支持系统界面；
[0035]图8是本发明实现的测站24小时水位过程线示意图；
[0036] 图9是本发明实现的测站预测结果示意图；
[0037] 图10是本发明实现的历史水情数据统计分析示意图；
[0038] 图11是本发明的时间预测模型的训练数据；
[0039] 图12是本发明的空间预测模型的训练数据； 图13是本发明的操作界面示意图一； 图14是本发明的操作界面示意图二。
【具体实施方式】
[0040] 下面结合附图和实施例对本发明做进一步描述。虽然本发明将结合较佳实施例进 行描述，但应知道，并不表示本发明限制在所述实施例中。相反，本发明将涵盖可包含在有 附后权利要求书限定的本发明的范围内的替换物、改进型和等同物。
[0041] 该系统的总体结构如图1所示，具体实现步骤如下：
[0042]步骤一、构建历史水情数据库
[0043]通过对城市水情数据的深入研究可以发现，城市水情数据主要包括代码类和数值 类两种，如图2所示的河道水情表中，河流特征码、水势、潮流方法、测积方法、测速方法等为 代码类数据，水位、流量、断面过水面积、断面平均流速、断面最大流速等为数值类数据。因 此HBase表将设计Code和Value两个列簇分别存储以上两类数据，新增的数据类型可在相应 列簇中添加。城市水情数据都是增量式数据，这些数据都与时间相关，而HBase已提供一个 时间戳来存储数据的相应版本。HBase数据库只为行键这一个属性建立索引，为了查询相应 时间范围内的数据，数据的时间属性应当添加到行键中。城市防汛决策支持系统的用户对 数据进行统计分析时，往往都是以小时为最小单位。因此数据库的表将采用了以小时为 "bucket"的结构，将时间精确到小时(TM. hour)与测站编码(STCD)组成行键，同一小时内的 数据以不同的时间版本存储在统一数据单元中，这样可以获得更高的查询效率，河道水情 数据的HBase表如图3所示。
[0044]步骤二、实时水情数据采集与存储
[0045]传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站编号以 JSON格式传送到服务器端，服务器端将数据写入HBase数据库中，服务器同时将每个测站的 最近24小时水位以小时为间隔存储在内存中，以快速响应实时水情查询和方便应用于水位 预报。
[0046] 步骤三、建立组合水位预测模型 [0047](一)空间水位预测模型
[0048] 时间水位预测模型可以预测单个监测站点随时间的变化趋势，用于预测未来6小 时的测站水位，模型的输入数据有：（1)所预测监测站点的最近6小时的水位观测值；（2)最 近1小时该站点所在地的降雨量。这些数据对未来不同时间长度的预测水位有着不同的影 响因子，因此需要对1-6小时的每一个时间间隔建立一个预测模型。图4是时间相关水位预 测模型的基础框架，假如当前时间为t。，时间相关水位预测模型将以1 5，14，13，12， tc-l，时刻该站点的水位观测值和t。时刻一小时内的降雨量为输入，对未来tdl，tw，tc+3， 1 +4，〖。+5，〖。这些时刻的水位值进行预测，每个时刻都有一个对应的预测模型，即每个站点 都有6个时间相关水位预测模型。本文没有采用预测水位作为输入对下一时刻进行预测的 方法，因为预测值具有不确定性，将预测值作为输入会造成不确定性的叠加。
[0049] 时间水位预测模型采用线性回归进行建模，如公式3.1所示：
[0050]
(公式 3. 2)
[0051] Sdi为需要预测的ta+i时刻的水位，Sc^为t。-」时刻的历史水位，0ij为相对应的系数， R。为t。时刻最近一小时的累积降雨量，E为常数。
[0052](二)空间水位预测模型
[0053]空间相关水位预测模型采用BP神经网络，将指定水位测站附近测站和雨量传感器 的观测值作为输入，以BP神经网络处理后的输出作为预测结果。图5是空间相关水位预测 模型的框架。Rl,R2，-_，R m是测站附近雨量传感器的观测值，是测站附近水位测 站的观测值。因为水位数据和雨量数据的单位和大小范围都不相同，需要经过归一化处理 转换为[0，1 ]范围内的数值。水位是相对于高程基准面，变化范围较大，而水位相邻时刻变 化的差值则变化较小。因此，神经网络的输出为预报时刻水位与当前水位的差值A S，输出 神经元的激活函数为线性函数。该模型只有一层隐含层，隐含层神经元的激活函数为正切 双曲函数tanh。
[0054] (三)组合水位预测模型
[0055] 时间相关水位预测模型和空间相关水位预测模型的预测角度各不相同。时间水位 预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反映的是空间上站点 之间的隐含关系，在不同的水文条件下，应当给两个模型赋予不同的权重。本文采用了一个 分类回归树模型用于动态组合两个模型。分类回归树是决策树和线性回归的结合，它根据 数据属性将数据集划分为不同的子集，并在每个叶节点的数据子集上建立一个线性回归模 型。分类回归树的节点分裂的步骤与决策树一样，但是分类回归树既能处理离散值也能处 理连续值。在处理连续值时，分类回归树模型采用线性回归模型的方差的减小来决定节点 是否要分类。能够提供最大的方差减小的属性将作为节点的分割依据。在水位组合预报中 应用分类回归树时，先将时间预测模型的预测结果St e3mpciral、空间预测模型的预测结果 SspatiaI、当前水位Scurrent和最近一小时的累计降雨量Rcurrent以及预测时段的真实水位 Sground-truth组( Stemporal，Sspatial，Scurren tRcurrent，Sground-truth)树' ~P 点 口」'两 型预测结果、当前水位和最近一小时累计降雨量决定是否分裂节点，在叶节点上，将利用叶 节点的数据集为预测时段的水位值SpMdM相对时间、空间两个模型的预测结果建立线性回 归模型5_^^ =以3__31，5_&1)。图6是一个测站的组合预报模型。
[0056] 步骤四、实时水情展示和水位预报
[0057] 客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中采集到的 实时水情数据以JSON格式返回给客户端，客户端对数据进行解析并将数据绑定到相应测站 标记上。客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用户点击一 个测站时，将弹出该测站最近24小时的水位过程线。测站绑定鼠标点击监听器的关键代码 如下：
[0058] var marker = new BMap· Marker(new BMap· Point(lng，Iat))； var listener = (funetion () { var id = data, list [i] , id; return function () { $e getlSONC'.. /real time/getLatest24?sttype=$ {sttype}&stcd=// + i d, function(d) { IineChartData. labels： = d. labels：; IineQiartData. datas母?&[0]、data 二 d. data';
[0059] var ctx = documents getElementById(/，/canms'/), getContext (^2(]^); new Chart(etx). Line(IineChartData, { responsive: true, })；. I); this. openlnfoWindow(infoWindow); } }>()； marker, addHventListener(^elick^, listener);
[0060] 图7是实时水情的操作界面，每个测站都标注了测站编号和最近观测水位。图8是 点击测站后弹出的24小时水位过程线。
[0061] 服务器端将最近1-6小时的水情数据输入步骤三建立的组合水位预测模型，从而 得出测站未来1-6小时的预测水位。如果测站的预测值超过水位警戒线，测站标记上将会展 现警告信息，为防汛工作提供参考。图9是展示的是测站1-6小时水位预测结果。
[0062]步骤五、历史水情数据统计分析
[0063]本专利实现了对海量历史水情数据的存储方案，对历史水情数据进行统计分析可 以把握防汛工作的总体形势，为防汛工作提供指导。在服务器端，将对用户需要的数据处理 操作进行分解成最基础的功能，并为这些功能提供RESTful API的web services。客户端通 过ajax调用这些API接口获取处理后的数据，再利用这些数据进行渲染、显示。客户端将测 站编号和时间范围作为参数向服务器发起请求，服务器对接收到的参数进行解析处理，调 用相应的业务层方法，利用大数据分析引擎Impala对历史水情数据库进行相应查询，查询 结果以JSON格式返回到客户端，客户端对范围结果进行解析，并通过数据可视化工具进行 展示。图10是历史水情统计分析的结果展示。
[0064] 图2是河道水情表的结构图，其他水情表有相似的结构，可以用类似的方式建立相 应的HBase水情表。之前的历史水情数据是存放在传统的数据库中，通过Sqoop工具将历史 数据导入到HBase数据库中。
[0065] 将历史数据以每个测站一个文件的方式将数值类字段导出为CSV格式，对每个文 件中的缺失数据进行补偿，之后再将数据以小时为单位进行聚合，水位、流速等数据取平均 值，流量、降雨量等数据取累加和。按图11中的方式将1-6小时的水情数据组织到同一行，为 时间预测模型准备训练数据。对每个测站找出其相邻5km内的所有测站，并将这些测站的数 据按图12中的方式整合到一个文件中，为空间预测模型准备训练数据。分别利用准备好的 数据训练时间预测模型和空间预测模型，将每个测站的两个预测模型的预测结果和真实观 测值组织到一个文件中，为组合预测模型准备训练数据。利用上一步准备的训练数据训练 组合预测模型。
[0066] 测站传感器将采集的数据传送到服务器端，服务器端利用数据库的存储接口将数 据存储到服务器上，同时更新内存中保存的最近24小时水情数据。服务器端将最近24小时 的水情数据输入时间和空间预测模型，得到两个模型的预测值，再将两个模型的预测值输 入组合预测模型得到最终预测结果并保存在内容中以供客户端请求数据。服务器端每1小 时对预测结果进行一次重新计算更新。用户点击进入实时水情查询模块后，客户端以测站 编号作为参数向服务器端请求实时水情数据，服务器端将相应的数据以JSON格式返回给客 户端，客户端将数据解析之后再电子地图的相应位置上展示测站标记。用户鼠标移动到测 站标记上时，如图8所示将测站的24小时水位过程线展现给用户。用户点击进入水位预报模 块后，客户端以测站编号作为参数向服务器端请求水位预测结果，服务器端将预测结果以 JSON格式返回给客户端，客户端解析数据并将数据绑定到相应测站标记上，如果测站的预 测结果超出了测站的警戒值，相应的测站标记上将显示警告信息。用户鼠标移动到测站标 记上时，如图9所示将测站1-6小时的预测结果展示给用户。
[0067] 用户点击进入统计分析模块后，通过如图13的界面选择要查询的测站，之后通过 如图14的界面选择要查询的时间范围，客户端将用户选择的测站编号和时间范围以参数方 式发送到服务器端，服务器对接收到的参数进行解析，调用相应的数据查询方法，利用 Impala大数据分析引擎对历史水情数据库进行查询统计，查询的结果以JSON格式返回到客 户端。客户端将返回的结果通过数据可视化工具如图10进行渲染、展示。
【主权项】
1. 一种基于大数据技术的城市防讯决策支持系统，其特征在于:包括如下步骤： 步骤一、构建历史水情数据库:采用基于化doop的分布式数据库皿ase对历史水情数据 进行存储； 步骤二、实时水情数据采集与存储:采用物联网技术将传感器与服务器相连，从而使服 务器能获取各测站的实时水情信息； 步骤Ξ、建立组合水位预测模型:城市水情数据是时空序列数据，对测站水位的预测从 时间和空间两个角度进行;将不同角度预测的结果进行动态组合； 步骤四、实时水情展示和水位预报:服务器根据城市的历史水情数据和实时水情数据， 应用步骤Ξ得到的组合水位预测模型对未来1-6小时的水位进行预测;客户端访问服务器 获得JS0N格式的每个测站的地理位置信息、实时水情数据和水位预测结果，并将获得的数 据展示W可视化的方式展示在电子地图上； 步骤五、历史水情数据统计分析:客户端向客户端发起指定时间范围的水情数据查询 请求，服务器端将接收到的查询请求转换为相应的JDBC方法，利用大数据分析引擎Impala 进行分布式查询，并将查询的结果封装成JS0N格式返回给客户端，客户端将接受的数据结 合数据可视化工具进行展示。2. 根据权利要求1所述的基于大数据技术的城市防讯决策支持系统，其特征在于:所述 步骤一具体包含:HBase表设计Code和Value两个列簇分别存储W上两类数据，新增的数据 类型在相应列簇中添加;城市水情数据都是增量式数据，运些数据都与时间相关，HBase提 供一个时间戳来存储数据的相应版本;皿ase数据库只为行键运一个属性建立索引，为了查 询相应时间范围内的数据，数据的时间属性添加到行键中；数据库的表采用了 W小时为 "bucket"的结构，将时间精确到小时TM.hour与测站编码STCD组成行键，同一小时内的数据 W不同的时间版本存储在统一数据单元中。3. 根据权利要求1所述的基于大数据技术的城市防讯决策支持系统，其特征在于:所述 步骤二具体包含:传感器每5分钟采集一次数据，并通过HTTP协议的POST方法将数据和测站 编号WJS0N格式传送到服务器端，服务器端将数据写入皿ase数据库中，服务器同时将每个 测站的最近24小时水位W小时为间隔存储在内存中，W快速响应实时水情查询和方便应用 于水位预报。4. 根据权利要求1所述的基于大数据技术的城市防讯决策支持系统，其特征在于:所述 步骤=具体包含： 时间水位预测模型： 模型的输入数据有：1)所预测监测站点的最近6小时的水位观测值;2)最近1小时该站 点所在地的降雨量;对1-6小时的每一个时间间隔建立一个预测模型；设当前时间为t。，时 间相关水位预测模型将WtE-5，心-4,心-3，心-2，心-1时刻该站点的水位观测值和t。时刻一小时 内的降雨量为输入，对未来tc+l，tc+2，tc+3，tc+4，tc+日，t退些时刻的水位值进行预测，每个时 刻都有一个对应的预测模型，即每个站点都有6个时间相关水位预测模型； 时间水位预测模型采用线性回归进行建模，如公式3.1所示： 3. 1 Sc+功需要预测的tc+财刻的水位，Sc-j为tc-拥刻的历史水位，0ij为相对应的系数，Rc为 t。时刻最近一小时的累积降雨量，E为常数； 空间相关水位预测模型： 采用BP神经网络，将指定水位测站附近测站和雨量传感器的观测值作为输入，WBP神 经网络处理后的输出作为预测结果；Ri，R2, ...，Rm是测站附近雨量传感器的观测值，Si， &，...，Sn是测站附近水位测站的观测值;经过归一化处理转换为[0，1]范围内的数值;神经 网络的输出为预报时刻水位与当前水位的差值A S，输出神经元的激活函数为线性函数;该 模型只有一层隐含层，隐含层神经元的激活函数为正切双曲函数化nh; 组合水位预测模型： 时间水位预测模型反映的是局部的单站点的水位变化趋势，空间水位预测模型反映的 是空间上站点之间的隐含关系，采用一个分类回归树模型用于动态组合两个模型；分类回 归树是决策树和线性回归的结合，它根据数据属性将数据集划分为不同的子集，并在每个 叶节点的数据子集上建立一个线性回归模型；分类回归树的节点分裂的步骤与决策树一 样，但是分类回归树既能处理离散值也能处理连续值;在处理连续值时，分类回归树模型采 用线性回归模型的方差的减小来决定节点是否要分类;能够提供最大的方差减小的属性将 作为节点的分割依据;在水位组合预报中应用分类回归树时，先将时间预测模型的预测结 果Stemporal、全间预测板型的预测结果Sspatial、当自U水位Scurrent和巧近一小时的累计降雨重 Rcurrent W 及预 ill]时段白勺真头水ilASground-truth组成数据集Se t ( Stemporal ,Sspatial,Scurrent, Rcurrent，Sground_truth);树节点可依据两个模型预测结果、当前水位和最近一小时累计降雨量 决定是否分裂节点，在叶节点上，将利用叶节点的数据集为预测时段的水位值SpredKt相对 时间、空间两个模型的预测结果建立线性回归模型Spredict = f ( Stemporal，Sspatial )。5. 根据权利要求1所述的基于大数据技术的城市防讯决策支持系统，其特征在于:所述 步骤四具体包含:客户端向服务器端请求所有测站的实时水情数据，服务器端将步骤二中 采集到的实时水情数据WJS0N格式返回给客户端，客户端对数据进行解析并将数据绑定到 相应测站标记上;客户端的测站标记绑定了鼠标点击监听器，实现了相应的交互逻辑，当用 户点击一个测站时，将弹出该测站最近24小时的水位过程线;服务器端将最近1-6小时的水 情数据输入步骤Ξ建立的组合水位预测模型，从而得出测站未来1-6小时的预测水位;如果 测站的预测值超过水位警戒线，测站标记上将会展现警告信息，为防讯工作提供参考。6. 根据权利要求1所述的基于大数据技术的城市防讯决策支持系统，其特征在于:所述 步骤五具体包含:在服务器端，将对用户需要的数据处理操作进行分解成最基础的功能，并 为运些功能提供REST化1 API的web services;客户端通过ajax调用运些API接口获取处理 后的数据，再利用运些数据进行擅染、显示;客户端将测站编号和时间范围作为参数向服务 器发起请求，服务器对接收到的参数进行解析处理，调用相应的业务层方法，利用大数据分 析引擎Impala对历史水情数据库进行相应查询，查询结果WJS0N格式返回到客户端，客户 端对范围结果进行解析，并通过数据可视化工具进行展示。
【文档编号】G06F17/30GK105843942SQ201610205441
【公开日】2016年8月10日
【申请日】2016年4月1日
【发明人】陈观林, 杨太萌
【申请人】浙江大学城市学院