一种水利大数据综合维护系统的制作方法

本发明申请涉及水利数据维护技术领域，特别涉及一种水利大数据综合维护系统。

背景技术：

大水网工程中涉及到众多的水利数据，现有的水利数据还不能实现资源共享，很难做到标准规范的建立，部门之间不能对水利大数据及时处理维护，从而缺乏安全保障。

技术实现要素：

本发明申请的目的在于提供一种水利大数据综合维护系统，为水利门户网站提供平台、数据支持，达成“统一采集、整合共享、安全可靠”的目标，以解决由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立，造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术问题。

为实现上述目的，本发明申请提供如下技术方案：

一种水利大数据综合维护系统，系统架构包括，

业务架构上下文，平台数据来源；

业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享；

数据服务架构，对平台的基本角色和操作进行设定；

能力中心的定位，包括能力中心内部关系和能力中心外部关系；

信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分；

所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。

进一步的，所述能力架构是数据中心采用云计算三层技术架构，分别为iaas、paas和saas。

进一步的，所述paas应用运行于所述iaas基础资源层之上，所述iaas层包括了应用主机、数据库、中间件、网络等资源。

进一步的，所述数据服务架构，包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务。

进一步的，所述数据流架构的流程如下：

步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足后续分析的需要；

步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后续分析的需要；

步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到关系型数据后进行数据可视化展现；

步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供给决策层使用；

步骤5：所有的数据可以通过数据封装的方式共享给外部系统使用。

进一步的，所述数据源：所述数据中心的数据来源于水利专项业务应用系统数据、水利行政办公应用系统数据、政府部门数据、其他业务类数据以及互联网上的公共信息数据；

所述数据存储与计算：所述数据中心将根据数据来源类别，对数据进行分类存储和计算；

所述数据汇聚整合：所述数据中心将对数据按照其业务类别进行汇聚整合，数据整合后划分为七大数据域：地理空间数据域、水文数据域、水资源数据域、水土保持数据域、农林水利数据域、水利行政资源数据域、水利科学技术数据域；

所述数据模型算法：数据挖掘模型根据数据的应用场景分为水利维度模型、气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文本挖掘模型，数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经网络模型算法；

所述数据共享：所述数据中心将对内对外提供数据共享，包括数据封装、元数据管理、安全管控、实时数据共享和非实时数据共享。

进一步的，所述能力中心的定位是用户分为两类，为水利系统内部用户和社会公众用户，能力中心通过政务内网和外网对内部用户提供信息服务；对社会公众用户的服务将利用门户网站，通过互联网的方式进行，提供“一站式”访问。

进一步的，所述元数据建设包括元数据标准、指导用户编写元数据的元数据指南、关键词词典以及实现对元数据进行检索、查询和管理的元数据管理系统四大部分，水利核心元数据内容包括7个元数据实体，分别是数据负责方、数据格式信息、关键字说明、空间范围、时间范围、数据分类、元数据联系方。

进一步的，所述元数据库建设的内容的水利数据库包括：公用基础数据库、水利空间数据库、水文数据库、水利工程基本数据库、社会经济信息数据库、水利法规政策标准数据库、水利行政管理基本信息库、水资源数据库、水质数据库、实时水雨情数据库、历史大洪水数据库、实时工情数据库、气象信息数据库、灾情数据库、热带气旋数据库、水土保持数据库、水利工程管理数据库、农田水利数据库、农村水电及电气化数据库、水利规划数据库、水利经济数据库、人才管理数据库、水利科技管理信息库、地下水数据库。

进一步的，所述数据整合交换共享平台包括设计思路、设计原则、信息共享功能、信息交换方式、平台接口设计、资源目录管理、系统技术实现的优势特性、系统能力及性能指标八个部分；

所述信息共享功能包括数据汇总、数据分发、数据存取访问、数据转换、任务定制、支持用户自定义接口、支持监控管理七个部分。

与现有技术相比，本发明申请的有益效果是：本发明申请水利大数据综合维护系统，水利大数据中心完成对综合业务体系中应用系统的数据支撑和托管服务，与应用支撑平台的功能中间件一起实现包括防汛抗旱、水资源、水土保持监测与管理、农田水利管理、水利工程建设与管理、水质监测与管理、水利信息公众服务和水利行政等各水利应用系统功能、运行环境和安全保障，同时为水利门户网站提供平台、数据支持。达成“统一采集、整合共享、安全可靠”的目标。

附图说明

图1为本发明申请的总体业务架构图；

图2为本发明申请的总体能力架构图；

图3为本发明申请的数据流架构图；

图4为本发明申请的技术架构图；

图5为本发明申请的水利数据中心业务架构上下文示意图；

图6为本发明申请水利数据中心局域网示意图。

具体实施方式

下面将结合本发明申请实施例中的附图，对本发明申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明申请一部分实施例，而不是全部的实施例。基于本发明申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明申请保护的范围。

一种水利大数据综合维护系统，按照水利大数据中心的主要应用需求和水利信息化综合体系，能力中心的技术框架中采用功能层次结构，划分为基础设施平台、网络通信平台、数据资源平台、应用支撑平台和数据管理平台以及安全保障系统和标准规范体系。这些平台共同完成对水利应用系统的支持。系统架构包括业务架构、能力架构、数据流架构、技术架构、业务架构上下文、数据服务架构、能力中心的定位、信息资源目录体系建立、数据整合交换共享平台以及数据资源管理应用平台，其中：

总体业务架构如图1，根据数据从产生到应用的全端到端过程，将数据中心的业务架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享。

1)数据源：数据中心的数据来源于水利专项业务应用系统数据、水利行政办公应用系统数据、政府部门数据、其他业务类数据(上海气象、国家气象、gfs)以及互联网上的公共信息数据(水利部门户、政府网站、热门网站)；

2)数据存储与计算：数据中心将根据数据来源类别(数据来源分类为水利部门、政府部门、监测感知和互联网四个类别)，对数据进行分类存储和计算；

3)数据汇聚整合：数据中心将对数据按照其业务类别进行汇聚整合，数据整合后划分为七大数据域：地理空间数据域、水文数据域、水资源数据域、水土保持数据域、农林水利数据域、水利行政资源数据域、水利科学技术数据域；

4)数据模型算法：数据挖掘模型根据数据的应用场景分为水利维度模型、气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文本挖掘模型，数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经网络模型算法；

5)数据共享：数据中心将对内对外提供数据共享，包括数据封装、元数据管理、安全管控、实时数据共享和非实时数据共享。

能力架构数据中心采用云计算三层技术架构分别为iaas、paas和saas，总体能力架构如图2，对不同使用者角色(平台使用者、平台管理者)提供统一的门户平台，不同角色根据其业务需求，可在统一门户平台上使用数据中心对外提供的saas应用服务。

数据中心将saas应用服务通过能力开放平台和数据封装服务平台进行统一的管理(包括能力的注册和开放)，对外开放多种saas应用服务(水务一张图、共享应用服务、水文分析服务、水环境分析服务、三防主题服务、大数据分析服务、给排水主题服务、专业应用服务、水利计算服务、人工智能服务、河长制信息管理平台、超级天气预报)。

saas服务以应用的方式承载在数据中心的paas平台之上，paas层根据其应用类型(业务b和数据d)分为baas和daas，两者统一称呼为厚paas。业务baas主要对saas服务提供各类服务api能力(业务系统服务api、水利专业算法api、业务能力共享中心api、数据开放服务api等)和应用中心能力(用户中心、流程中心、效能中心、日志中心等)。数据daas主要对saas服务提供数据的综合应用能力(数据存储、数据分析、数据开发、数据计算、数据治理、数据可视化、数据集成、数据交换等)。

paas应用运行于iaas基础资源层之上，iaas层包括了应用主机、数据库、中间件、网络等资源。

为了保障整个数据中心的稳定高效运行，数据中心自身建立了云和大数据的管理、监控和运维子系统。

数据流架构的流架构如图3，包括如下步骤：

1)通过flume采集数据到kafka消息管道，然后到strom平台进行规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台，以满足后续分析的需要；

2)非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足后续分析的需要；

3)通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进入到关系型数据后进行数据可视化展现；

4)进入hadoop平台的数据通过数据分析(接口层--整合层—中间层—汇总层—应用层)形成大量的分析数据提供给决策层使用；

5)所有的数据可以通过数据封装的方式共享给外部系统使用。

技术架构如图4，数据中心在数据全生命周期管理中采用了先进、成熟稳定的技术架构：

数据采集：采用分布式etl技术对批量离线数据进行采集，对于批量准实时数据和实时数据分别采用ogg和webservice的技术手段进行采集。对于互联网上的数据，可通过网络爬虫工具进行爬取。对于类似日志等流式数据的采集，则采用flume+kafka技术框架。

数据存储：数据存储则根据不同的数据处理场景采用适宜的存储技术，例如，hdfs分布式文件系统则对非结构化的批量离线数据进行存储；hbase对hdfs上存储的非结构化数据提供列存储的方式，方便非结构化数据的查询；redis技术将常用的即时处理数据缓存到内存当中；分布式mysql将类似配置信息等结构化数据存储到关系型数据库当中。

数据处理：采用mapreduce实现对hadoop中的数据进行处理，同时在此基础之上，采用impala函数、hivesql的方式封装mapreduce对数据进行便捷处理；对于流式数据的处理，采用storm或sparkstreaming的技术实现。使用yarn对hadoop进行综合的资源调度和管理，使用zookeeper负载均衡保证hadoop的高可用性，使用oozie实现以调度的方式处理数据。

数据服务开放：采用数据服务开发、服务路由、服务管理和服务运维的综合数据服务管理。对数据开放接口技术上，提供ftp、socket、ims和webservce等接口方式。

数据应用：提供数据的统一认证sso、数据可视化、算法库、地理信息系统和报表应用。

数据管控：采用统一的数据资源管控平台实现数据资源的多租户管理，使用统一数据管控平台实现元数据管理、数据安全管理、数据质量管理以及数据的全生命周期管理。

业务架构上下文，如图5，平台数据来源主要包括专项业务应用、行政办公应用、综合水利应用的整合建设，专项业务应用体系划分为防汛抗旱、水资源管理、基础水文管理、水利工程管理、农村水利管理、水土保持管理、河湖管理、水库管理供排水管理、渔业管理；行政办公应用包括办公自动化、人事管理、财务管理、资产管理、政策法规管理、科技管理，综合水利应用体系划分为数据应用、互联网+政务服务应用、综合应急会商应用。

数据中心的使用对象主要包括水利各个部门、政府部门、其他开发厂商、设计人员、开发人员、运维管理人员等。

(1)内部人员主要包括水利部门领导、管理人员、水利部门人员等。数据中心将为内部使用提供统一的访问portal。实现定制化的个人工作台。

(2)外部人员主要为数据对外使用者。数据中心将以货架形式对外提供数据数据，方便外部客户获取适合自身的数据。

(3)管理人员主要为数据中心的管理员和数据服务开发者。管理人员通过该门户实现数据资产管理、数据服务管理、数据服务自助组装、系统日常运行维护与数据质量管控等功能，数据服务开发者则根据内部人员和外部人员的数据服务需求，通过该门户实现数据服务的自助开发与注册、管理，构建高价值数据服务开发的共享平台。

数据服务架构，水利大数据中心采用面向服务(soa)的数据集成框架。面向服务架构是一个能够动态连接资源的系统，各类资源以单个服务的形式存在，类似面向对象概念，将单个服务视为单一对象，构成服务为导向的架构。面向服务架构系统与传统多层式架构系统最大区别在于其所需的功能均根据开放标准服务组件来开发，各组件之间通过消息的方式沟通，不像过去使用专用平台、语言所开发系统因紧密耦合导致与外部系统沟通困难。面向服务架构包括三个基本角色和三种操作，三个基本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务，可以描述如下：

1、服务提供者开发网络服务，并进行服务注册发布，描述发布web服务，提供服务界面。

2、服务请求者即为客户应用端，向服务中介查询现有服务，发现所需服务，并绑定与服务提供者建立联系，通过服务提供者对服务的描述，访问服务。

3、服务中介充当提供者与请求者间的中介角色，帮助建立服务请求者与提供者之间的联系，负责服务提供者的注册，并进行服务分类，以供查询之用。

能力中心的定位

(1)能力中心内部关系

大数据中心网络平台局域网(如图6)分为涉密网(政务内网)、政务外网和互联网。涉密网与政务外网物理隔离，政务外网和互联网之间实现逻辑隔离，保证涉密信息的安全。通过外网统一访问互联网，实现水利行政管理部门门户网站和政务外网之间的互连互通，保证外网和互联网之间信息交流。

大数据中心的用户分为两类，即水利系统内部用户和社会公众用户。能力中心通过政务内网和外网对内部用户提供信息服务；对社会公众用户的服务将利用门户网站，通过互联网的方式进行，提供“一站式”访问。

(2)能力中心外部关系

水利大数据中心是特定行政区域水利数据资源汇聚、存储、管理和交换中心，完备的水利大数据中心环境平台能够保障水利大数据中心系统稳定、安全、高效运行，要求有较高的处理服务能力、快速的信息传输能力、大容量的数据存储备份能力，高可靠的安全管理以及及时的灾难恢复服务能力，不仅水利大数据中心满足水利系统内部各种业务应用系统和数据资源服务要求，还要满足水利信息的社会服务。为避免重复建设，以资源利用为原则，本工程环境平台将不单独建设，将以现有各类大数据平台为基础，满足水利大数据中心环境要求。

水利大数据中心的对外信息服务，通过互联网经由门户网站提供，门户网站可和内各相关门户网站相连，提供服务。

由于水利数据的复杂性，对分类、接入后仍不能满足共享要求的，可依照制定的基本原则和方法进行必要的补充和完善。

信息资源目录体系建立

除了集中存储在水利大数据中心的数据外，还有大量散布在各级水利管理部门、涉水机构、直属科研单位的数据资源，按照水利大数据中心“物理分散、逻辑集中”数据管理总体原则，这些分布式数据资源也是数据能力中心统一管理和共享服务的对象。建立集中统一的信息资源目录系统能够将分散的数据资源为用户提供检索、共享服务，是实现分布式数据资源逻辑集中管理和高效共享的手段。

(1)设计思路

建立目录体系的技术分为元数据采集、元数据建库、目录服务和目录应用技术四个方面。自动采集技术和手工采集的方法建立水利元数据，并建立元数据库。按照标准接口技术建立目录服务，以便通过网络查询信息资源元数据得到相关数据信息。利用xml进行编码向用户展现目录的技术。

(2)元数据

建立水利信息资源目录的前提是进行信息资源分类和建立水利元数据。水利信息资源元数据是描述关于水利数据的数据，即关于数据的内容、覆盖范围、质量、空间参照系和分发等信息。核心元数据是标识水利信息所需要的最小元数据元素和元数据实体，为元数据元素集的子集。

水利大数据中心元数据建设包含：1元数据标准；2指导用户编写元数据的元数据指南；3关键词词典；4实现对元数据进行检索、查询和管理的元数据管理系统四大部分。其中元数据标准重点是对元数据所描述的对象的特性，对元数据的内容和形式的规定，是元数据编写和建立元数据管理系统的依据。

1)元数据功能

核心元数据是水利信息资源目录体系建设的主要内容。通过核心元数据，用户可了解水利信息资源的基本内容，发现和定位水利信息资源，实现数据共享和交换的关键。核心元数据定义了描述水利信息资源所需的核心元数据的数据项集合、各数据项语义定义和著录规则等，它提供了有关水利信息资源的标识、内容、管理、维护的描述信息。

2)水利核心元数据内容

元数据一般包括7个元数据实体，分别是数据负责方、数据格式信息、关键字说明、空间范围、时间范围、数据分类、元数据联系方。

说明如下：

1、数据负责方：对数据的完整性、正确性、真实性等负有责任的单位的名称和地址信息。

2、数据格式信息：数据传送格式的基本信息。

3、关键字说明：用于描述数据主题的通用词、形式化词或短语。

4、空间范围：数据涉及的空间范围。

5、时间范围：数据的起始时间。

6、数据分类：数据的分类信息。

7、元数据联系方：对元数据负责的人或单位的名称和地址信息。

水利信息核心元数据由1个元数据实体集和8个元数据子集构成。其中，标识信息为必选子集，内容、数据质量、覆盖范围、限制、参照系、维护和分发等信息为可选子集。

(3)元数据库建设

元数据存储是目录体系的重要内容，元数据建库是建立已经采集完毕的元数据的集合。元数据库的设计思想以元数据实体集为核心表，数据集标识信息为辅助表，其它相关表则嵌于这两个表下，形成以父节点、子节点、孙节点为结构的基本树结构。数据库的设计原则是最终形成以元数据实体集为根节点的标准树结构，子节点有且唯一具有一个父结点。元数据库设计中，元数据以xml进行编码表示，以关系化的方式进行存储。在关系型数据库中不仅存储元数据的结构/模式信息，而且存储数据内容信息。对于前者，元数据库以独立的存储表对其进行存储，记录数据xml的结构定义信息，即schema。按以上数据库设计建立各种物理存储的关系表，包括元数据基本信息表、模式基本表、扩展表等。其中元数据基本信息表以元数据实体集为核心表，数据集标识信息为辅助表，其它表则嵌于这两个表下，形成以父、子、孙节点为结构的基本树结构。

1)元数据库建设内容

水利元数据库中的数据按照主题进行构建，水利大数据中心建设的水利数据库包括：公用基础数据库、水利空间数据库、水文数据库、水利工程基本数据库、社会经济信息数据库、水利法规政策标准数据库、水利行政管理基本信息库、水资源数据库、水质数据库、实时水雨情数据库、历史大洪水数据库、实时工情数据库、气象信息数据库、灾情数据库、热带气旋数据库、水土保持数据库、水利工程管理数据库、农田水利数据库、农村水电及电气化数据库、水利规划数据库、水利经济数据库、人才管理数据库、水利科技管理信息库、地下水数据库。

因此，对每一个数据库需建立对应的元数据库，元数据库建设遵循国家标准，每一个元数据库必须提供水利核心元数据实体集。

2)元数据存储结构

元数据的存储模式主要有两种，其一是以数据集为基础的分散存储模式，即每一个数据集有一个对应的元数据文件，每一个元数据文件中包含相应数据集的元数据内容；另一种是以数据库为基础的集中存储模式，即所有数据对应一个元数据库，该元数据库统一存储所有元数据，不同数据的元数据在元数据库中体现为不同的表，元数据的不同要素体现为记录。第一种存储模式的优点是调用数据时其相应的元数据也作为一个独立的文件被传输，相对数据库有较强的独立性，在对元数据进行检索时，既可以利用原数据库的功能实现，又可以将元数据文件调到其他数据库系统中进行操作；其缺点是每一数据集都有一个元数据文件，在规模巨大的数据库中则会有大量的元数据文件，管理上极为不便。第二种存储模式由于元数据库统一存储元数据，管理极为方便，添加或删除数据集只需要在元数据库中添加或删除相应的记录项即可，但是元数据库的建立则需要额外的技术支持。早期的元数据数据量小，多采用文件方式存储。随着元数据应用范围的扩大，数据量的递增，应用需求的拓展，这种方式已经不能满足元数据存储的需要，而基于关系数据库的元数据库能够适应元数据存储发展的需要，因此成为元数据存储的首选。

元数据的存储是基于关系数据库的集中存储模式，元数据库的建设采用建立统一的元数据库方式。

3)元数据库建设流程

步骤如下：1.对数据源的集中数据分析，形成水利元数据模型；2.通过抽取、构建各主题数据库水利元数据；3.对元数据进行深加工集成了数据聚合方法的特点，存入元数据库中。

(4)信息资源目录体系设计

1)信息目录体系概念

水利信息资源目录体系是目录信息与服务、保障与支撑组成的一个总体。目录信息与服务基于信息资源核心元数据、能够提供人机接口查询界面的各种浏览器和旁客户端应用，同时也包括提供计算机系统之间通讯的元数据查询服务接口。信息资源目录的参与角色包括使用者、提供者、管理者。

2)信息目录功能

水利信息资源目录体系是整个分布式水利信息资源共享和开发利用的基础设施。基本功能包括目录内容编目、注册、发布、查询、维护。

由于水利信息资源数量多、门类广、分布分散、信息不对称的特性，发现和定位信息资源成为了数据资源共享和开发利用过程的基本前提。通过建立信息资源目录体系实现数据资源发现与定位，可以在使用者和各部门之间搭建起一个桥梁和纽带，方便使用者发现所需要的信息资源，并且根据信息资源元数据中的定位信息获取实际的数据。

3)总体技术方案

资源目录结构采用树形结构，基于ldap的数据存储方式。

水利信息资源目录基于水利元数据技术组织和管理。元数据以xml表示，以dtd或xmlschema对xml文档的结构进行定义。

目录体系基于http、webservices技术提供服务。

服务目录采用webservices、uddi(统一描述、发现和集成协议)技术实现。

服务目录的数据结构类型定义采用w3cxml标准1.0和w3cxmlschema标准1.1，数据结构的组织形式类似于w3cuddiv2数据结构规范。

服务api接口格式参考w3cuddiv2api结构规范。

消息格式接口使用soap1.2规范。

4)信息目录体系层次结构

水利数据资源目录体系的管理层次结构分主、分目录管理方式，即分为水利数据目录中心和下一级目录中心两级。主目录包括直接在本级目录中心注册的水利信息资源核心元数据、按照行业或跨部门应用建立的若干分目录中的核心元数据以及下一级目录中心地址信息与核心元数据。下一级分目录包括直接在本级目录中心注册的水利信息资源核心元数据、按照行业或跨部门应用建立的若干分目录中的核心元数据。下一级目录中心向上一级级目录中心注册下一级目录访问地址和本级管理的核心元数据。

5)目录体系概念模型

水利信息资源目录体系概念模型由标准、数据库、目录等要素构成。

标准包括信息元数据、资源分类、标识符编码及安全等标准。

水利信息资源元数据库是水利信息资源目录体系的组成部分，核心元数据来源于水利信息资源元数据库，也可直接来源于水利信息资源库。核心元数据由数据资源核心元数据以及服务资源核心元数据两类组成。水利信息资源元数据库是在水利核心元数据的基础上，按照水利信息资源管理的需要进行扩展。

水利信息资源目录分为资源目录和服务目录，数据资源核心元数据形成资源目录，服务资源核心元数据形成服务目录。目录中心包括主目录与分目录，具有元数据注册、运维、保存、服务和管理等功能。

6)目录体系结构总体

目录体系总体结构从技术层面上主要分为软件与硬件环境和网络基础设施、数据资源层、服务接口层和应用层。

数据资源层主要由数据资源核心元数据库、服务资源核心元数据库、资源目录和服务目录构成。

服务接口层提供编目服务、注册服务、发布服务、查询服务、目录维护、用户管理和交换接口的功能服务。

应用层提供面向水利内外网及各水利应用系统的功能应用。

7)目录体系流程，

1、目录内容服务形成与提供流程

目录内容服务形成与提供流程包括4个环节：

a)准备：首先由各部门建立共享信息库，并建立共享信息服务系统，提供共享信息的浏览、查询和下载等服务；

b)编目：各部门对共享信息的内容提取特征，通过编目系统形成目录内容库；

c)注册：由各部门通过目录传输系统将目录内容传送到目录服务中心；

d)发布：由目录服务中心对各部门的目录内容进行审核发布。

2、共享资源定位与发现流程包括2个环节：

a)目录查询：目录基于浏览器等客户端查询目录服务中心目录内容，通过目录查询可以定位共享信息。

b)信息获取：用户根据目录查询得到的定位信息，通过个部门的共享信息服务系统获得信息。用户可以通过浏览、查询、下载等各种方式从共享信息服务系统获取共享信息资源。

(8)目录体系管理

水利信息资源目录体系管理架构按两级，各级一般包括三个角色和六项活动。三个角色是目录内容提供者、水利信息资源目录中心、目录内容使用者，其中水利信息资源目录中心是一个虚拟机构，由最高一级水利信息技术管理部门承担其相应职能。六项活动包括规划、编目、注册、发布、维护、查询。

数据整合交换共享平台

(1)设计思路

用户通过数据交换，可以对数据资源进行透明的访问，并获得多种共享交换功能服务。数据交换要求目录体系系统提供元数据服务、目录服务、下载服务或web服务、数据浏览服务等。数据交换的主要对纵向上包括本级和下一级之间的数据交换，横向上包括部门、单位之间各业务系统的数据交换。

a)数据源分析

水利大数据中心数据来源分为行业内部和行业外部。

行业内部，内部信息主要包括历史文献、技术档案、实时或定期监测信息、业务信息和各种层次的再生信息等。水利大数据中心的数据主要来源于水利行政管理和业务工作。包括业务部门依法采集的信息资源、水利部门在履行职能过程中产生和生成的信息资源、部门投资建设的信息资源、和依法授权管理的信息资源。

行业外部，外部信息主要包括社会经济统计信息、地理空间基础信息、国土资源信息以及其它与水利业务有关的非水利部门采集的信息。

b)数据交换方式

根据需要交换的数据、数据量、实时性要求等不同，水利大数据中心提供三种数据交换方式：1)基于webservice的数据交换；2)基于消息中间件的数据交换；3)基于信息整合技术的数据交换。

1、基于webservice的数据交换

基于webservice的数据交换满足数据量较小、实时性要求较高的数据交换。基于webservice的数据交换平台采用soa架构，数据能力中心处于中心位置，它是实现数据共享和交换的中心，通过标准化的webservice接口为每个数据交换节点提供服务。每个数据交换节点只需要与数据能力中心通过webservice进行交互，并通过xml进行数据转换，避免直接连接访问数据库。整个数据共享和交换的底层实现和存储机制对各应用节点是透明的。水利数据交换平台由各部门业务系统和中心数据交换平台组成。各种实时监测数据可通过此种方式进行数据交换。

2、基于消息中间件的数据交换

基于消息中间件的数据交换能够满足数据量较大的数据交换，通过消息中间件保障了数据的可靠传输。

3、基于信息整合技术的数据交换

信息整合技术提供了异构关系型数据库的数据联邦和数据复制功能。基于信息整合技术的数据交换能够用于数据库之间的数据交换，一般用于政府数据能力中心内部各个应用系统之间，或与开放了数据库(交换库)访问的外部应用之间的数据交换。

c)平台设计

整合协同平台服务器是公共基础平台的核心部分，xma整合协同平台提供一整套规范的、高效的、安全的数据交换机制。xma整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。

各业务子系统都要统一使用xma整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过xma整合协同平台向数据中心提供数据，也通过xma整合协同平台访问共享数据。

(2)设计原则

安全高效的数据交换。xma整合协同平台底层采用消息中间件技术，实现可靠的数据传输。在应用层基于服务，实现数据交换，必须支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多种数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。

规范的数据共享访问

共享数据是一个公共的资源，可以供多个业务系统同时使用。对公共数据的访问必须经过用户的验证授权访问。此外，还需要从数据中心运作的流程、规程制度等方面确保共享数据不被用于非法途径。

(3)信息共享功能

a)数据汇总

支持各个分支数据源汇总数据到数据中心。采集公共数据的过程可以看成是一个数据汇总的过程，通过xma整合协同平台将各业务部门的公共数据采集回来，汇集到数据中心的缓存数据库。经过数据管理系统的比对、校验、转换得到一致的数据。

b)数据分发

数据分发是从数据中心的角度，主动向各数据使用方提供数据的过程。通过公开数据服务，依照数据使用权限的规则，从数据中心把数据分发到各个数据使用部门，实现数据共享、信息联动。

c)数据存取访问

xma整合协同平台提供实时按需的数据存取访问服务，通过统一标准的数据接口，以xml作为标准数据格式，通过标准的web服务对各种技术平台提供访问支持。

d)数据转换

数据交换服务可以把某个数据库的数据转换成标准xml数据集。通过数据转换模块，实现对各种异构数据转换到统一标准规范、具有一致性和完整性的公共数据。

e)任务定制

数据接口系统应该允许用户自己配置和管理相关的服务，如：数据提取服务、数据发送服务、数据接收服务、数据存储服务等。

f)支持用户自定义接口

数据接口系统应该是一个开放的系统，要提供一些可扩充的接口以及二次开发接口，支持用户基于这些接口来定义自己的特色服务。

g)支持监控管理

对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。通过数据服务日志可以记录、跟踪数据交换的细节。对数据交换节点进行管理，提供安全策略指南、服务器安全管理配置。

(4)信息交换方式

xma整合协同平台可以支持不同方式的机构和系统间的数据交换与协同，主要包括：

基于webservices服务的方式用于外部机构与中心平台间的实时交换；

基于数据库接口的方式用于内部系统间实时或非实时交换；

基于文件交换的方式用于外部或内部系统间非实时批量交换。

a)基于webservices服务的方式

基于webservices服务的数据交换方式主要用于外部机构部门与数据中心间实时的数据交换和业务协同应用。

基于webservices技术的应用集成通过主流的webservices协议如soap、xmlrpc等协议的无缝集成，支持这些应用系统的接口，提供基于webservices的应用系统整合适配器，并提供快速整合webservices应用的工具和接口api。

数据提供方定义公开数据服务，以服务的形式封装数据交换的内容和协议。数据使用方调用数据提供方的公开数据服务以获取所需的数据，并且按照一定的数据转换和数据更新规则，把数据更新到本地数据源。通过本地数据服务和公开数据服务的交互实现数据提供方和数据使用方之间的数据交换。

b)基于数据库接口的方式

基于数据库接口交换的方式主要用于内部系统间的实时或非实时数据交换方式。

交换的双方通过定义发送和接收任务来进行数据库接口的交换。根据交换的数据格式的不同，这种数据交换方式又可以细分为两种类型：一种是数据落地的数据共享，一种是数据不落地的数据交换。

基于标准xml元数据和数据字典的数据交换由xma整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的xml数据包，由定制好的发送路由发送给接收方。接收方接收到xml数据包后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。

a)基于文件交换的方式

基于文件交换的方式主要用于外部或内部的非实时批量数据交换方式。

交换的双方通过定义发送和接收任务来进行数据文件的交换。根据交换的数据文件的不同，这种数据交换方式又可以细分为两种类型：一种是基于标准xml文件的数据交换，一种是基于其他文件格式的数据交换。

基于标准xml文件的数据交换由xma整合协同平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的xml文件，由定制好的发送任务发送给接收方。接收方接收到xml文件后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。基于其他文件格式的数据交换由业务系统将需要交换的数据文件放置到前置机上的规定路径下，通过xma整合协同平台发送到目的地交由接收部门自行处理。

(5)平台接口设计

制定的接口规范内容为整合协同平台和各接入部门之间，系统互联所涉及的数据交换接口。系统之间的信息传输和交换通过计算机系统互联网络来完成。

a)数据接口

运输层以下层次的通信协议选用合适的标准协议，运输层和网络层建议选用统一的tcp/ip协议，便于各节点之间组网传输，数据链路层和物理层可根据实际通信条件情况灵活选用，如adsl、e1。

在整合协同平台，按照对信息的各种需求，维护一个用于数据共享的标准数据注册中心，采用标准化数据的方式向各接入系统及各应用系统提供共享的信息；各接入系统在整合协同平台处对应维护一张数据字典，用于完成非标数据和标准数据的翻译，从而向共享的标准数据库提供标准化的数据信息；对于单一功能领域的特殊数据信息，系统提供在各子系统之间直接进行交换的途径，满足特定功能的应用需求；系统需要有一个专门的维护和管理机构，分别对系统的数据字典、标准共享数据库进行增添、更新等维护管理，以满足新的接入系统接入和系统发展的需求。

数据传输

在数据传输中，由于系统数据的异构特性，在数据发送接口和接收接口需要对数据格式按照数据字典的要求进行转换，统一于标准的数据格式满足应用的要求。

接口扩展

数据接口的分层次、模块化、规范化设计，将有利于系统的扩展性，对扩展性设计主要体现在以下几个方面：

应用层协议的分层设计，各层功能明确，层之间可通过规范化的接口进行调用和传递信息。各层功能可独立实现，灵活性好，比如可通过购置商品化软件来实现通信子层；某一层协议的功能扩展或变化时，将不影响另一层协议的功能。

采用数据登记标准的、基于xml格式的数据接口方案设计，灵活性比较好，系统扩展方便，适合接入系统的增加或接入信息内容的扩展，有利于满足新的系统接入和系统发展的需求。

数据传输协议基于一些主流的、成熟的数据传输协议，能很好适应系统扩展的需求。

(6)资源目录管理

数据中心通过xma整合协同平台以数据服务的方式从各业务部门采集数据，保存到公共数据缓存库，然后使用公共数据管理维护系统进行数据比对、冲突检查、数据审核、数据转换。当数据达到一致性、完整性要求时，数据被发布到公共数据发布库，通过xma整合协同平台以数据服务的形式提供数据使用方访问。该系统不仅要能够满足基于现状条件下对信息资源的整合利用和规范管理，还要适应未来对信息资源的深度开发和多媒体信息资源库扩展的要求。

应用支撑平台和应用系统建设本系统

(1)建设内容概述

本次资金申请中费用不包含应用支撑平台及应用系统建设内容，故建设内容不再详细描述。

业务支撑平台是构筑整个水利大数据中心应用系统的统一支撑平台，实现应用系统的开发和整合。水利大数据中心业务支撑平台介于中心数据库和各种应用系统之间，与业务应用系统的运行网络环境、软硬件环境无关。业务支撑平台包括操作系统、数据库、存储备份软件、地理信息系统软件和工作流等各种应用中间件。平台的功能主要为各种应用系统提供数据库的访问、地理空间服务、系统之间的信息交换、事务处理、流程控制、认证等各种服务和统一的web服务器平台。

数据处理和存储系统建设、数据管理能力由数据管理平台提供，数据管理平台是水利大数据中心进行数据管理、汇聚、查询的基础性功能业务应用系统组合。

建设内容概述

本次资金申请中费用不包含应用支撑平台及应用系统建设内容，故建设内容不再详细描述。

在水利大数据中心框架基础上，建设数据管理平台，完成对数据资源信息的存储、管理、查询等基本功能，通过平台服务，达到规范数据资源表示、更新和查询。

水利大数据中心数据资源管理平台内容包括元数据管理系统、数据管理系统、数据资源查询系统等部分。

元数据存储与管理系统

元数据及其技术在分散数据资源管理中的巨大优势，使其成为网络数据资源共享的关键。元数据管理系统是通过集中管理的元数据，实现对异构、异地数据资源的分布式管理与服务。

数据管理系统

数据管理系统主要是对水利大数据中心公共数据库、专用数据库和元数据库的管理。数据管理系统为数据提供基于分布式文件系统、分布式关系数据库rdbms和分布式nosql数据库及内存数据库等相结合的存储方案，对结构化、半结构化和非结构化的数据进行有效地存储。其中高价值、数据访问频繁的数据存储到hbase或rdbms中，低价值、数据生命周期长、面向历史的半结构化和非结构化的数据存储在hdfs或hive里，从而建立信息资源的高可用性、高性能和可扩展性机制。

数据存储首先提供ods数据统一共享区，用于存放从业务系统直接抽取出来的数据。实现对不同业务系统中的数据融合，按照面向业务主题进行融合，实现对元数据与主数据的管理，从而提供上层bi分析和数据挖掘的数据支撑。

数据资源查询系统

水利综合查询是在水利大数据中心以电子地图或遥感影像图为背景，以及移动设备，通过多种不同条件的查询方式，为用户提供静态或实时动态水利信息，使用户能方便、快捷、全面地查找、掌握基础资料。

本发明申请的建设总体目标如下：

1.标准规范建立

加强对信息整合共享工作的领导，明确责任分工，加大资金，强化水利信息化专业队伍建设，重点加强水利信息化资源整合有关技术标准和管理办法的制定，通过技术标准制定，重点解决整合过程中共享与协同的技术问题，通过管理办法制定，重点解决信息共享、应用协同过程中的管理问题。

2.信息资源建设

通过对特定行政区域现状数据信息资源(自然地理、社会经济、业务、管理等)、业务应用系统、信息化基础设施、安全体系和支撑保障条件等进行细致梳理，了解和掌握信息化资源现状，以及他们之间的相互支撑服务关系，通过科学规划、优化配置、统筹共建以及必要补充，明确构建水利信息化资源体系的途径和方法。

3.数据处理及管理

通过水利数据模型对各种水利数据进行整合，赋予各类水利对象统一的“身份标识”，经数据与对象以及对象间多方关联，形成有机联系的水利数据资源，并实现对其有序管理和灵活应用。

4.业务应用支撑

通过面向服务体系架构，构建应用支撑平台，按照业务和政务应用流程及其最小工作环节，将系统分解为可以独立开展应用的服务，再根据不同业务和政务应用需要，构建形成相应的业务和政务应用，实现业务应用的整合和协同。

5.安全保障

在统一安全体系规划基础上，对政务内网和业务网进行科学定级，并按照内网分级保护、业务网等级保护的要求，通过系统的整合改造，完善安全策略、安全管理、安全防护等内容，形成有效、可控的安全体系。

综上所述：本发明申请水利大数据综合维护系统，水利大数据中心完成对综合业务体系中应用系统的数据支撑和托管服务，与应用支撑平台的功能中间件一起实现包括防汛抗旱、水资源、水土保持监测与管理、农田水利管理、水利工程建设与管理、水质监测与管理、水利信息公众服务和水利行政等各水利应用系统功能、运行环境和安全保障，同时为水利门户网站提供平台、数据支持。达成“统一采集、整合共享、安全可靠”的目标。

以上所述，仅为本发明申请较佳的具体实施方式，但本发明申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明申请披露的技术范围内，根据本发明申请的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明申请的保护范围之内。