一种基于大数据的给水排水模型优化方法及装置与流程

本发明涉及智慧水利领域，具体地说是一种基于大数据的给水排水模型优化方法及装置。

背景技术：

城市给水排水管网系统担负着城市供水、收集城市生活污水和工业废水以及及时排出城区内雨水和流经市区雨水的任务。我国传统的城市给水排水管网设计和管理均采用恒定流水力学理论计算管网的运行状况，自主开发的模型往往围绕某一特定问题展开，主要用于水量模拟，大多功能较为单一。在计算中，一般只凭经验对管段的管径和坡度等进行适当的调整，以求达到经济合理的目的，但其合理程度极大地受到了设计人员个人能力的限制，此外，大多数的计算采用反复查阅图和表的方式进行，工作效率低，时间长，不利于设计方案的优化。实际上，城市给水排水管网中的水流是非恒定流，并具有瞬时变化的特点。而且排水过程中，经常会出现很多流向冲突的情况，这是由于沉积物长年累月的积累在管道中，导致水流不通畅，管道过水能力下降，尤其是在雨季，雨污不分流，管内水流方向紊乱。所以传统设计方法难以精确计算并实时分析给水排水管网中的真实运行状况。因此，科学管理城市管网给水排水过程，建立管网给水排水优化模型，对于供排水管网的安全高效运行，促进城市的稳定发展具有重要意义。

目前应用广泛的城市管网供水排水模型有：

(1)swmm模型：其具有的水文、水动力模拟功能，对雨水管、合流制管道、自然排放系统都可以进行水量、水质的模拟，包括地表产流、地表汇流、排水管网输送、贮水处理及收纳水体的影响等过程。swmm模型基本计算单元的尺度为排水区尺度，一般每个排水区面积仅为几公顷到几十公顷不等。尽管这为swmm模型通向分布式水文模型提供了条件，但是目前的swmm模型因无法考虑输入空间分布和模型参数空间变化对雨洪形成的影响，所以不能被称之为分布式雨洪模型。此外，swmm模型并没有包含对于泥沙沉积的模拟模块。随着城市排水、防涝标准的提高，以及对城市化和低影响开发的水文效应和环境效应进行评价的日益迫切的要求，目前的swmm模型已无法完全满足要求。

(2)wallingford模型：该模型主要由四大模块构成，分别为降雨径流模块、简单管道演算模块、动力波管道演算模块和水质模拟模块。虽然wallingford模型使用范围很广，不仅可以用于城市市政系统的规划设计，还可以对城市雨洪过程、排污过程及雨污汇合过程进行实时运行管理模拟，但是该模型的构建对原始数据量要求比较高，并且没有集成地下水模块。

可见，现有技术中对城市给水排水管网模拟的准确性与广泛应用性受限于可用数据量、集成模块的数量和种类以及给水排水模型模拟真实性和其计算性能。故如何能够使城市给水排水管网模拟的准确性与广泛应用性不受限于现有技术中的原始数据量、集成模块的数量和种类以及空间分布和模型参数空间变化，提高模拟的真实性是目前现有技术中急需解决的技术问题。

技术实现要素：

本发明的技术任务是提供一种基于大数据的给水排水模型优化方法及装置，来解决如何能够使城市给水排水管网模拟的准确性与广泛应用性不受限于现有技术中的原始数据量、集成模块的数量和种类以及空间分布和模型参数空间变化，提高模拟的真实性的问题。

本发明的技术任务是按以下方式实现的，一种基于大数据的给水排水模型优化方法，该方法是基于大数据、gis的分布式并行计算及多种模型的调用与服务，将给排水模型与gis进行对接，利用dem高程信息对空间分布及变化进行详细描述及模拟，包括地形因素造成的分流以及汇流，扩大给排水模型应用的区域范围，提高对外部环境因素模拟的真实性；同时，集成多类模块并对接实时数据，实时数据包括用水量、排水量、降雨量以及管压监测的数据，实现给排水模型的自我调整优化；其中，模型的种类包括产流模块、汇流模块、地下水模块、渠道模块、水质模块、泥沙沉积模块以及旱流模块；具体步骤如下：

s1、gis的分布式并行计算；

s2、大数据预处理及存储；

s3、模型调用与服务。

作为优选，所述给排水模型主要是由管网内部模块和外部环境模块构成。

更优地，所述步骤s1中gis的分布式并行计算的具体步骤如下：

s101、在外部环境模块中，水文流域的划分对于汇水区域的判定有着极大的影响，利用gis的dem数据对水文流向进行分析从而获取流域的划分规则，将不同流域分块在分布式并行计算中分开模拟，并计算得出模拟区域内地表水流及地下水各流向的分析结果，提高计算精度和效率；

s102、在mapreduce的计算过程中，首先对计算任务-管网内部城市排水量的模拟进行分解，结合外部环境模块，根据所排放的分支管网位置被划分成多个小区域分开进行计算，将各子区域作为一个map操作分配到一个独立的计算单元并从对应的分区文件中提取相应的数据进行计算；

s103、将模型的计算结果在reduce操作中进行合并计算分析整个区域的排水过程。

更优地，所述步骤s101中模拟区域内地表水流及地下水各流向的分析结果包括流向路径、流量和汇水区位置。

作为优选，所述步骤s2中大数据预处理及存储的具体步骤如下：

s201、上传的大量各类供排水相关数据经过分布式储存系统进行预处理，将供排水相关数据根据其对应的地理信息及属性进行分类划区并对异常值进行删减改查；

s202、将经过预处理后的供排水相关数据储存到数据库中，经过查询搜索，供排水相关数据能够迅速精准地被提取出来进行计算分析。

更优地，所述步骤s201中供排水相关数据包括气候数据、环境数据、供需水数据及管网数据。

作为优选，所述步骤s3中模型调用与服务的具体步骤如下：

s301、每次调用都会在服务器系统中启动一个新的计算任务，并采用异步调用方式，避免长时间计算堵塞模型客户端；

s302、执行异步调用操作在启动任务后即返回，并输出任务的唯一标识号，模型客户端依据该标识号查询任务状态或执行出异步调用操作之外的操作；

s303、用户通过多维分析和仪表盘，直接实现对数据的灵活分析及可视化图表展现。

一种基于大数据的给水排水模型优化装置，该装置包括分布式文件系统、面向大数据并行处理的计算平台(mapreduce平台)、给排水模型、模型调用与服务模块、数据计算分析模块以及管网供排水能力评估及内涝风险分析模块，分布式文件系统分别传输数据给面向大数据并行处理的计算平台和数据计算分析模块，面向大数据并行处理的计算平台传输数据到分布式文件系统且面向大数据并行处理的计算平台传输创建任务到模型调用与服务模块，模型调用与服务模块实时监控面向大数据并行处理的计算平台任务完成度，给排水模型调用面向大数据并行处理的计算平台的数据并输出数据到管网供排水能力评估及内涝风险分析模块；

其中，数据计算分析模块用于给排水模型的快速运算及结果分析；数据计算分析模块具有对海量数据的分布式计算功能以及自动引用大数据库内实测数据计算优化模型参数的功能；对海量数据的分布式计算功能采用hadoopmapreduce分布式计算引擎以及计算任务的定义和调度功能。

作为优选，所述分布式文件系统包括gis-dem数据模块、基于gis地理信息的数据储存模块、datanode存储数据模块以及namenode模块，gis-dem数据模块传输数据到基于gis地理信息的数据储存模块，datanode存储数据模块储存基于gis地理信息的数据储存模块中的数据，namenode模块调用datanode存储数据模块中的数据；其中，namenode模块用于起到统领的作用，用户通过namenode来实现对其他数据的访问和操作，类似于root根目录；

gis-dem数据模块包括流向分析模块和区域划分模块；

基于gis地理信息的数据储存模块用于给排水相关大数据及大量模拟输出数据的储存；基于gis地理信息的数据储存模块提供hadoop数据库的数据管理功能以及提供分布式文件系统，实现对结构化数据、半结构化数据、非结构化数据的海量存储；hadoop数据库的数据管理功能具体包括数据源连接、建库建表、分区、列族、数据的增删改查、上传下载的数据在线管理功能；基于gis地理信息的数据储存模块包括外部环境因素模块和管网内部因素模块，外部环境因素模块包括降雨、融雪和蒸发，管网内部因素模块包括管径、管长和阻力；

面向大数据并行处理的计算平台(map/reduce平台)包括map/reduce实现类模块、初始化、分配及协调作业模块(jobtracker模块)、运行作业模块(tasktracke模块)以及任务列表模块，初始化、分配及协调作业模块与运行作业模块进行通信，初始化、分配及协调作业模块与任务列表模块进行通信，运行作业模块与map/reduce实现类模块进行通信，map/reduce实现类模块与给排水模块进行通信。

作为优选，所述模型调用与服务模块包括模型调用模型模块和模型访问服务模块，模型调用模型模块和模型访问服务模块之间互相调用并返回模型数据；

管网供排水能力评估及内涝风险分析模块包括管网供排水能力评估模块和内涝风险分析模块，管网供排水能力评估模块包括设计标准评估模块、限流状态分析模块和抗洪能力评价模块，内涝风险分析模块包括淹水深度计算模块、淹水时间统计模块以及风险等级评估模块。

本发明的基于大数据的给水排水模型优化方法及装置具有以下优点：

(一)、本发明提供了模型运算需要的各类海量数据并对其进行分组处理，利用并行计算方式对传统给水排水模型运算过程进行优化，并且对计算结果数据进行动态整合和评测，大大提高了城市管网给水排水模型的质量、计算效率和计算结果的精度；

(二)、本发明涉及大数据、并行计算、给水排水模型等相关技术，主要针对城市管网建设及内涝问题，通过合理规划，设计并建设一套利用大数据技术的智能优化给水排水模型的方法；针对不同地区中，气候环境的差异和供需管理的需求，结合各地区相应的数据设计优化城市管网给水排水模型，通过优化后的给水排水模型，模拟城市地下管网在不同气候环境及水量供需关系下的输水动态过程，为城市供水排水规划、内涝灾害预警和评估等管理工作提供理论基础；

(三)、本发明解决现有因原始数据量、集成模块的数量和种类问题，以及无法解决空间分布和模型参数空间变化问题导致的模拟真实性问题，提出一种能够提供足够数据量并集成多种模块，可以广泛应用于各大小地区的高效处理方法，并且能解决超大文件处理困难且效率较低的不足，提高模型模拟的准确性及计算效率；

(四)、本发明主要是针对优化城市管网给排水模型模拟城市管网给排水过程的方法，建立了一种基于大数据的给排水系统，利用gis的dem数据对大区域进行分区，使得系统不受范围的限制从而影响模拟真实性的问题；在服务器系统性能的限制下，本发明使用了分布式文件系统，能够快速地为各子模块提供大量的给排水相关数据便于提高模型应用区域的广泛性及其模拟的准确性，并且mapreduce并行计算引擎的应用解决了超大文件处理困难且效率较低的不足，提高模型计算效率。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于大数据的给水排水模型优化装置的结构框图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种基于大数据的给水排水模型优化方法及装置作以下详细地说明。

实施例1：

本发明的基于大数据的给水排水模型优化方法,该方法是基于大数据、gis的分布式并行计算及多种模型的调用与服务，将给排水模型与gis进行对接，利用dem高程信息对空间分布及变化进行详细描述及模拟，包括地形因素造成的分流以及汇流，扩大给排水模型应用的区域范围，提高对外部环境因素模拟的真实性；同时，集成多类模块并对接实时数据，实时数据包括用水量、排水量、降雨量以及管压监测的数据，实现给排水模型的自我调整优化；其中，模型的种类包括产流模块、汇流模块、地下水模块、渠道模块、水质模块、泥沙沉积模块以及旱流模块；其中，给排水模型主要是由管网内部模块和外部环境模块构成；具体步骤如下：

s1、gis的分布式并行计算，具体步骤如下：

s101、在外部环境模块中，水文流域的划分对于汇水区域的判定有着极大的影响，利用gis的dem数据对水文流向进行分析从而获取流域的划分规则，将不同流域分块在分布式并行计算中分开模拟，并计算得出模拟区域内地表水流及地下水各流向的分析结果，提高计算精度和效率；其中，模拟区域内地表水流及地下水各流向的分析结果包括流向路径、流量和汇水区位置。

s102、在mapreduce的计算过程中，首先对计算任务-管网内部城市排水量的模拟进行分解，结合外部环境模块，根据所排放的分支管网位置被划分成多个小区域分开进行计算，将各子区域作为一个map操作分配到一个独立的计算单元并从对应的分区文件中提取相应的数据进行计算；

s103、将模型的计算结果在reduce操作中进行合并计算分析整个区域的排水过程。

s2、大数据预处理及存储，具体步骤如下：

s201、上传的大量各类供排水相关数据经过分布式储存系统进行预处理，将供排水相关数据根据其对应的地理信息及属性进行分类划区并对异常值进行删减改查；其中，供排水相关数据包括气候数据、环境数据、供需水数据及管网数据。

s202、将经过预处理后的供排水相关数据储存到数据库中，经过查询搜索，供排水相关数据能够迅速精准地被提取出来进行计算分析。

s3、模型调用与服务，具体步骤如下：

s301、每次调用都会在服务器系统中启动一个新的计算任务，并采用异步调用方式，避免长时间计算堵塞模型客户端；

s302、执行异步调用操作在启动任务后即返回，并输出任务的唯一标识号，模型客户端依据该标识号查询任务状态或执行出异步调用操作之外的操作；

s303、用户通过多维分析和仪表盘，直接实现对数据的灵活分析及可视化图表展现。

实施例2：

如附图1所示，本发明的基于大数据的给水排水模型优化装置，该装置包括分布式文件系统、面向大数据并行处理的计算平台(mapreduce平台)、给排水模型、模型调用与服务模块、数据计算分析模块以及管网供排水能力评估及内涝风险分析模块，分布式文件系统分别传输数据给面向大数据并行处理的计算平台和数据计算分析模块，面向大数据并行处理的计算平台传输数据到分布式文件系统且面向大数据并行处理的计算平台传输创建任务到模型调用与服务模块，模型调用与服务模块实时监控面向大数据并行处理的计算平台任务完成度，给排水模型调用面向大数据并行处理的计算平台的数据并输出数据到管网供排水能力评估及内涝风险分析模块；

其中，数据计算分析模块用于给排水模型的快速运算及结果分析；数据计算分析模块具有对海量数据的分布式计算功能以及自动引用大数据库内实测数据计算优化模型参数的功能；对海量数据的分布式计算功能采用hadoopmapreduce分布式计算引擎以及计算任务的定义和调度功能；

分布式文件系统包括gis-dem数据模块、基于gis地理信息的数据储存模块、datanode存储数据模块以及namenode模块，gis-dem数据模块传输数据到基于gis地理信息的数据储存模块，datanode存储数据模块储存基于gis地理信息的数据储存模块中的数据，namenode模块调用datanode存储数据模块中的数据；其中，namenode模块用于起到统领的作用，用户通过namenode来实现对其他数据的访问和操作，类似于root根目录；

gis-dem数据模块包括流向分析模块和区域划分模块；

基于gis地理信息的数据储存模块用于给排水相关大数据及大量模拟输出数据的储存；基于gis地理信息的数据储存模块提供hadoop数据库的数据管理功能以及提供分布式文件系统，实现对结构化数据、半结构化数据、非结构化数据的海量存储；hadoop数据库的数据管理功能具体包括数据源连接、建库建表、分区、列族、数据的增删改查、上传下载的数据在线管理功能；基于gis地理信息的数据储存模块包括外部环境因素模块和管网内部因素模块，外部环境因素模块包括降雨、融雪和蒸发，管网内部因素模块包括管径、管长和阻力；

面向大数据并行处理的计算平台(map/reduce平台)包括map/reduce实现类模块、初始化、分配及协调作业模块(jobtracker模块)、运行作业模块(tasktracke模块)以及任务列表模块，初始化、分配及协调作业模块与运行作业模块进行通信，初始化、分配及协调作业模块与任务列表模块进行通信，运行作业模块与map/reduce实现类模块进行通信，map/reduce实现类模块与给排水模块进行通信。

模型调用与服务模块包括模型调用模型模块和模型访问服务模块，模型调用模型模块和模型访问服务模块之间互相调用并返回模型数据；

管网供排水能力评估及内涝风险分析模块包括管网供排水能力评估模块和内涝风险分析模块，管网供排水能力评估模块包括设计标准评估模块、限流状态分析模块和抗洪能力评价模块，内涝风险分析模块包括淹水深度计算模块、淹水时间统计模块以及风险等级评估模块。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。