水利水电大数据架构建设方法与流程

本发明涉及水利水电数据构建技术领域，具体涉及一种水利水电大数据架构建设方法。

背景技术：

随着“数字水利”的提出，人们逐步认识到只有借助于信息技术、计算机技术、网络技术才能实现水利水电行业的管理现代化，达到知识经济时代发展的要求。“数字水利”能够为水利水电行业构造一个统一的、立体的、开放式的信息系统，为水利水电部门的决策提供信息支持，实现水利水电可持续发展。同时，加强水利重点工程的信息化管理，将先进的管理思想、方法及信息技术运用到水利水电工程的科学管理中去，建立健全水利水电工程管理机制，推动水利水电管理的精确化、科学化势在必行。因此，作为“水利信息化”的基础支撑技术，水利水电工程水利水电大数据信息化建设己经成为提高水利水电工程建设绩效和质量管控的重要手段。未来大数据发展是各个行业发展方向，但在水利水电行业中并没有形成专有的技术方法，采用传统大数据分析方法无法对水利水电行业数据进行体系化的采集、挖掘、分析和形成指导数据。因此了解大数据发展趋势，建立一种专有的大数据分析方法，在水利水电大数据未来发展中十分重要。

技术实现要素：

本发明的目的在于针对现有水利水电大数据体系建设技术在水利水电行业应用的技术缺陷，提供一种水利水电大数据架构建设方法。

本发明的技术方案是：

一种水利水电大数据架构建设方法，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括以下几个步骤：

（a）可用数据的采集和存储：水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术，对互联网、水利水电大数据所在内网中的可用数据进行采集，对可用数据进行META数据校验分析，校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储； META数据校验分析包括以下几个步骤：

1)定义提出有效数据检索范围边界条件；

2)制定检索策略，在检索范围内广泛收集；

3)确定纳入和排除标准，剔除不符合要求的文献；

4)数据测试质量评估和特征描述；

5)异质性检验；

6)统计合并效应量并进行统计推断；

7)敏感性分析；

8)作出结论及评价；

（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据，水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比：将符合特征的数据所在位置索引递交进行数据分析，得到有效数据；数据特性对比包括以下几个步骤：

1) 根据用户定义的关键字条件，明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；

2) 对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据等处理，然后降维；

3) 对降噪去赘后的数据与用户边界条件进行模糊对比；

（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；

（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表。

优选的，所述的水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统分别部署在不同的服务器上，采用TCP/IP网络进行互通互联；数据的存储采用Hadoop服务器。

优选的，所述水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM，统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接，统一数据采集模块实时采集用户边界条件，所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据；数据计算服务器从统一数据采集模块中读取实时采集的数据，再通过在线计算或者离线计算对采集的数据进行处理；大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据；数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据，分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据中的一种或者多种，或者其它形式的数据。

本发明的有益效果是：

本发明的水利水电大数据架构建设方法相对于传统大数据分析方法，可实现对水利水电行业数据进行体系化的采集、挖掘、分析并形成指导数据，有利于提高水利水电工程建设绩效和质量管控水平，同时提高了水利水电工程的信息化管理水平。

附图说明

图1为本发明的系统框图；

图2为本发明中水利水电大数据分析系统的运行模式结构框图；

图2中图框1为用户边界条件，图框2为分析结果及支撑数据。

具体实施方式

参见图1-2，一种水利水电大数据架构建设方法，包括水利水电大数据采集系统（SunGather）、水利水电大数据挖掘系统（SunGroove）、水利水电大数据挖掘模型库、水利水电大数据分析系统（Sunalizer）及水利水电大数据分布服务器节点控制系统五部分，包括如下几个步骤：

（a）可用数据的采集和存储：所述水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术（Crawler），对互联网、水利水电大数据采集系统所在内网中的可用数据进行采集，对可用数据进行META数据校验后，交由水利水电大数据分布服务器节点控制系统进行分类存储；META数据校验分析包括以下几个步骤：

1)定义提出有效数据检索范围边界条件；

2)制定检索策略，在检索范围内广泛收集；

3)确定纳入和排除标准，剔除不符合要求的文献；

4)数据测试质量评估和特征描述；

5)异质性检验；

6)统计合并效应量并进行统计推断；

7)敏感性分析；

8)作出结论及评价；

（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求获取分类存储的数据，水利水电大数据挖掘系统对分类存储的数据进行数据特性对比，将符合特征的数据所在位置索引递交进行数据分析；

1) 根据用户定义的关键字条件（如：拱坝、大体积混凝土、平半钢闸门、农田水利等关键字），明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；

2) 对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据等处理，然后降维；

3) 对降噪去赘后的数据与用户边界条件进行模糊对比；

（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；

（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表；

水利水电大数据采集系统（SunGather）、水利水电大数据挖掘系统（SunGroove）、水利水电大数据挖掘模型库、水利水电大数据分析系统（Sunalizer）及水利水电大数据分布服务器节点控制系统分别部署在5台不同的服务器上，采用TCP/IP网络进行互通互联；数据的存储采用Hadoop服务器，与水利水电大数据采集、挖掘、分析逻辑分开，随时添加扩展任意数量的存储服务器。

水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM（Scratch Pad Memory 便笺式存贮器高速暂存存贮器），统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接，统一数据采集模块实时的采集用户边界条件，所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据中的一种、多种，或者采集其它需要采集的数据；数据计算服务器从统一数据采集模块中读取实时采集的数据，再通过在线计算或者离线计算对采集的数据进行处理；大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据；数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据，分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据中的一种或者多种，或者其它形式的数据。