一种水利大数据综合维护系统的制作方法

文档序号:23386428发布日期:2020-12-22 13:51阅读:来源:国知局

技术特征:

1.一种水利大数据综合维护系统,其特征在于,系统架构包括,

业务架构上下文,平台数据来源;

业务架构,根据数据从产生到应用的全端到端过程,将数据中心的业务架构划分为五部分:数据源、数据存储与计算、数据汇聚整合、数据模型算法和数据共享;

数据服务架构,对平台的基本角色和操作进行设定;

能力中心的定位,包括能力中心内部关系和能力中心外部关系;

信息资源目录体系建立,包括设计思路、元数据、元数据库建设和信息资源目录体系设计四个部分;

所述业务架构通过所述业务架构上下文来获取平台数据,对平台数据根据业务架构进行划分;根据所述能力中心的定位,利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立;通过数据整合交换共享平台处理后,关联至数据整合交换共享平台。

2.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述能力架构是数据中心采用云计算三层技术架构,分别为iaas、paas和saas。

3.根据权利要求2所述的一种水利大数据综合维护系统,其特征在于,所述paas应用运行于所述iaas基础资源层之上,所述iaas层包括了应用主机、数据库、中间件、网络等资源。

4.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述数据服务架构,包括三个基本角色和三种操作,三个基本角色为:服务提供者,服务中介,服务请求者,三种操作为:发布,查找和绑定;三个角色通过以上三种操作建立联系完成服务注册、服务发现和使用服务。

5.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述数据流架构的流程如下:

步骤1:通过flume采集数据到kafka消息管道,然后到strom平台进行规则匹配和数据计算,实现数据的实时处理,处理结果沉淀到hadoop平台,以满足后续分析的需要;

步骤2:非实时数据通过ftp方式到数据中心接口机,互联网舆情数据通过scrapy方式采集到数据中心接口机,非实时数据和舆情数据通过etl加载到关系型数据库进行各种业务逻辑处理,最后结果沉淀到hadoop平台,以满足后续分析的需要;

步骤3:通过部分数据进入spark平台进行数据挖掘和分析,挖掘结果进入到关系型数据后进行数据可视化展现;

步骤4:进入hadoop平台的数据通过数据分析形成大量的分析数据提供给决策层使用;

步骤5:所有的数据可以通过数据封装的方式共享给外部系统使用。

6.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,

所述数据源:所述数据中心的数据来源于水利专项业务应用系统数据、水利行政办公应用系统数据、政府部门数据、其他业务类数据以及互联网上的公共信息数据;

所述数据存储与计算:所述数据中心将根据数据来源类别,对数据进行分类存储和计算;

所述数据汇聚整合:所述数据中心将对数据按照其业务类别进行汇聚整合,数据整合后划分为七大数据域:地理空间数据域、水文数据域、水资源数据域、水土保持数据域、农林水利数据域、水利行政资源数据域、水利科学技术数据域;

所述数据模型算法:数据挖掘模型根据数据的应用场景分为水利维度模型、气象预测模型、图形图像识别模型、山洪预测模型、异常告警模型和文本挖掘模型,数据算法包含线性回归算法、贝叶斯算法、决策树算法、神经网络模型算法;

所述数据共享:所述数据中心将对内对外提供数据共享,包括数据封装、元数据管理、安全管控、实时数据共享和非实时数据共享。

7.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述能力中心的定位是用户分为两类,为水利系统内部用户和社会公众用户,能力中心通过政务内网和外网对内部用户提供信息服务;对社会公众用户的服务将利用门户网站,通过互联网的方式进行,提供“一站式”访问。

8.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述元数据建设包括元数据标准、指导用户编写元数据的元数据指南、关键词词典以及实现对元数据进行检索、查询和管理的元数据管理系统四大部分,水利核心元数据内容包括7个元数据实体,分别是数据负责方、数据格式信息、关键字说明、空间范围、时间范围、数据分类、元数据联系方。

9.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述元数据库建设的内容的水利数据库包括:公用基础数据库、水利空间数据库、水文数据库、水利工程基本数据库、社会经济信息数据库、水利法规政策标准数据库、水利行政管理基本信息库、水资源数据库、水质数据库、实时水雨情数据库、历史大洪水数据库、实时工情数据库、气象信息数据库、灾情数据库、热带气旋数据库、水土保持数据库、水利工程管理数据库、农田水利数据库、农村水电及电气化数据库、水利规划数据库、水利经济数据库、人才管理数据库、水利科技管理信息库、地下水数据库。

10.根据权利要求1所述的一种水利大数据综合维护系统,其特征在于,所述数据整合交换共享平台包括设计思路、设计原则、信息共享功能、信息交换方式、平台接口设计、资源目录管理、系统技术实现的优势特性、系统能力及性能指标八个部分;

所述信息共享功能包括数据汇总、数据分发、数据存取访问、数据转换、任务定制、支持用户自定义接口、支持监控管理七个部分。


技术总结
本发明申请公开了一种水利大数据综合维护系统,该水利大数据综合维护系统的系统架构包括,业务架构上下文,平台数据来源;业务架构;数据服务架构,对平台的基本角色和操作进行设定;业务架构通过所述业务架构上下文来获取平台数据,对平台数据根据业务架构进行划分;根据所述能力中心的定位,利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立;通过数据整合交换共享平台处理后,关联至数据整合交换共享平台。本发明申请解决了由于现有的水利数据还不能实现资源共享,很难做到标准规范的建立,造成的部门之间不能对水利大数据及时处理维护,从而缺乏安全保障的技术问题。

技术研发人员:刘革瑞
受保护的技术使用者:刘革瑞
技术研发日:2020.04.28
技术公布日:2020.12.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1