水利大数据分析信息服务系统和平台服务系统的制作方法

本申请要求2018年8月21日提交的申请号为no.201821351719.x的中国申请的优先权，通过引用将其全部内容并入本文。

本发明涉及数据处理技术领域，具体涉及一种水利大数据分析信息服务系统和平台服务系统。

背景技术：

近年来，农业的科学管理与快速发展主要依托于对水利数据的利用，因此，水利数据的重要性不言而喻。然而，近年来，水利数据呈现数据形式和数据种类多样化、数据总量庞大化且数据增长态势持续高速化的发展趋势。水利数据呈现上述发展趋势的原因主要有以下几点：一、水利监测设备的种类及数量日益增多；二、具体业务应用中，应用模型在预报、推演、调度过程中产生的数据量迅猛增长；三、随着多媒体技术的迅速发展，视频、图像和文档等非结构化数据日益增多。

水利数据的发展趋势导致了现有水利数据存储和管理碎片化的现状，尤其是视频、图像和文档等非结构化数据，难以采用关系型数据库进行存储与管理。因此，水利数据的现状极不利于实现数据高效管理和数据共享的目标。

技术实现要素：

有鉴于此，本发明实施例致力于提供一种水利大数据分析信息服务系统和平台服务系统，以解决现有水利数据中心对于水利数据的存储和管理过于碎片化，不能实现高效管理和数据共享的问题。

第一方面，本发明一实施例提供一种水利大数据分析信息服务系统，该水利大数据分析信息服务系统包括相互通信连接的系统资源服务模块、对外服务模块、资源服务管理模块和平台监控管理模块，其中，系统资源服务模块用于对系统资源进行综合管理；对外服务模块用于提供应用服务；资源服务管理模块用于对所述应用服务进行管理；平台监控管理模块用于对所述水利大数据分析信息服务系统实现平台监控。

在本发明一实施例中，系统资源包括数据资源、通信资源、存储资源中的至少一种。

在本发明一实施例中，系统资源服务模块包括数据访问接口服务单元、元数据管理服务单元、数据分析服务单元和数据字典服务单元，其中，数据访问接口服务单元用于提供数据访问接口；元数据管理服务单元用于对元数据进行管理；数据分析服务单元用于提供数据分析服务；数据字典服务单元用于存放数据库所用的相关信息。

在本发明一实施例中，对外服务模块包括公共基础服务模块和/或应用服务模块，其中，公共基础服务模块用于提供公共基础类型的通用服务；应用服务模块用于提供具体的应用服务。

在本发明一实施例中，公共基础服务模块包括统一资源目录服务单元、数据交换服务单元、安全服务单元和内容管理与信息发布服务单元，其中，统一资源目录服务单元用于提供统一资源目录服务；数据交换服务单元用于提供数据交换服务；安全服务单元用于提供安全服务；内容管理与信息发布服务单元用于提供内容管理与信息发布服务。

在本发明一实施例中，公共基础服务模块进一步包括消息服务单元和算法管理单元，其中，消息服务单元用于提供消息服务；算法管理单元用于提供算法管理服务。

在本发明一实施例中，应用服务模块包括数据查询服务单元、gis服务单元、图表展示服务单元和目录查询服务单元，其中，数据查询服务单元用于提供数据查询服务；gis服务单元用于提供地理位置信息服务；图表展示服务单元用于提供图标展示服务；目录查询服务单元用于提供目录查询服务。

在本发明一实施例中，应用服务模块进一步包括模型管理单元、报表服务单元和流量控制服务单元，其中，模型管理单元用于提供模型管理服务；报表服务单元用于提供报表服务；流量控制服务单元用于提供流量控制服务。

在本发明一实施例中，平台监控管理模块包括用户统一管理单元、平台监控单元和平台管理单元，其中，用户统一管理单元用于实现对用户的统一管理；平台监控单元用于实现对平台的监控；平台管理单元用于实现对平台的管理。

第二方面，本发明一实施例还提供一种平台服务系统，该平台服务系统包括上述任一实施例所提及的水利大数据分析信息服务系统。

本发明实施例提供的水利大数据分析信息服务系统通过系统资源服务模块、公共基础服务模块、应用服务模块、资源服务管理模块和平台监控管理模块之间的联动配合，实现了业务逻辑与公共服务的分离，保证了信息服务的松耦合，提高了信息服务的适应能力，并且能够基于服务单元的不同组合为不同的使用者提供个性化服务。也就是说，本发明实施例提供的水利大数据分析信息服务系统实现了对水利数据的高效管理，解决了现有水利数据管理过于碎片化的问题，并且针对于水利数据实现了高效的数据共享，为系统的重构与拓展以及新旧系统的整合提供了框架前提。

附图说明

图1所示为本发明一实施例提供的水利大数据分析信息服务系统的结构示意图。

图2所示为本发明一实施例提供的包括水利大数据分析信息服务系统的平台服务系统的结构示意图。

图3所示为本发明一实施例提供的平台服务系统的技术实现结构示意图。

图4所示为本发明一实施例提供的平台服务系统中的水利数据中心子系统的数据流转的流程示意图。

图5所示为本发明另一实施例提供的水利大数据分析信息服务系统与水利数据中心子系统之间的关系结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明一实施例提供的水利大数据分析信息服务系统的结构示意图。如图1所示，本发明实施例提供的水利大数据分析信息服务系统包括应用服务模块11、公共基础服务模块12、系统资源服务模块13、资源服务管理模块14和平台监控管理模块15，其中，应用服务模块11、公共基础服务模块12统称为对外服务模块，并且各模块之间借助有线和/或无线等通信方式实现信号传输。

具体地，系统资源服务模块13用于对系统资源进行综合管理，其中，系统资源包括但不限于为数据资源、通信资源、存储资源等。在本发明实施例中，系统资源服务模块13包括的业务应用单元有数据访问接口服务单元131、元数据管理服务单元132、数据分析服务单元133和数据字典服务单元134。其中，数据访问接口服务单元131用于提供数据访问接口；元数据管理服务单元132用于对元数据进行管理；数据分析服务单元133用于提供数据分析服务；数据字典服务单元134用于存放数据库所用的相关信息，也就是说，用于提供数据字典服务。

具体地，公共基础服务模块12用于提供公共基础类型的通用服务。在本发明实施例中，公共基础服务模块12包括的业务应用单元有统一资源目录服务单元121、数据交换服务单元122、安全服务单元123、内容管理与信息发布服务单元124。其中，统一资源目录服务单元121用于提供统一资源目录服务；数据交换服务单元122用于提供数据交换服务；安全服务单元123用于提供安全服务；内容管理与信息发布服务单元124用于提供内容管理与信息发布服务。

优选地，在本发明另一实施例中，公共基础服务模块12还包括消息服务单元125和算法管理单元126。其中，消息服务单元125用于提供消息服务；算法管理单元126用于提供算法管理服务。

应当理解，本发明实施例提供的公共基础服务模块12的业务应用单元的划分方式，具有服务粒度小、通用性强等优势，非常适合通过组合与装配形成下述的应用服务模块11中的某一项业务应用单元的服务，进而为实现水利数据的高效管理与数据共享提供前提条件。

具体地，应用服务模块11用于提供具体的应用服务。在本发明实施例中，应用服务模块11包括的业务应用单元有数据查询服务单元111、gis(geographicinformationsystem，地理位置信息系统)服务单元112、图表展示服务单元113和目录查询服务单元114。其中，数据查询服务单元111用于提供数据查询服务；gis服务单元112用于提供地理位置信息服务；图表展示服务单元113用于提供图标展示服务；目录查询服务单元114用于提供目录查询服务。

优选地，在本发明另一实施例中，应用服务模块11还包括模型管理单元115、报表服务单元116和流量控制服务单元117。其中，模型管理单元115用于提供模型管理服务；报表服务单元116用于提供报表服务；流量控制服务单元117用于提供流量控制服务。

应当理解，本发明实施例提供的应用服务模块11的业务应用单元的划分方式，具有服务粒度大的优势，上述的公共基础服务模块12中的业务应用单元的简单组合即可实现应用服务模块11中的需求，进而为实现水利数据的高效管理与数据共享提供前提条件。

具体地，资源服务管理模块14用于对应用服务进行管理，比如对公共基础服务模块12和应用服务模块11中的服务进行管理。在本发明实施例中，资源服务管理模块14包括的业务应用单元有服务调用单元141、服务装配单元142、服务定制单元143、服务日志单元144、服务注册单元145、服务监控单元146和服务定位单元147。其中，服务调用单元141用于实现服务调用管理；服务装配单元142用于实现服务装配管理；服务定制单元143用于实现服务定制管理；服务日志单元144用于实现服务日志管理；服务注册单元145用于实现服务注册管理；服务监控单元146用于实现服务监控管理；服务定位单元147用于实现服务定位管理。

具体地，平台监控管理模块15用于实现对水利大数据分析信息服务系统平台的监控。在本发明实施例中，平台监控管理模块15包括的业务应用单元有用户统一管理单元151、平台监控单元152和平台管理单元153。其中，用户统一管理单元151用于实现对用户的统一管理；平台监控单元152用于实现对平台的监控；平台管理单元153用于实现对平台的管理。

优选地，上述提及的系统资源服务模块13中的系统资源能够被公共基础服务模块12和应用服务模块11所使用，但是系统资源服务模块13中的系统资源对公共基础服务模块12和应用服务模块11中所包含的业务应用单元不可见。也就是说，公共基础服务模块12和应用服务模块11中所包含的业务应用单元如果想要访问系统资源服务模块13中的系统资源，则必须通过自身所在的服务模块(公共基础服务模块12或应用服务模块11)来进行，以便保证系统资源的稳定性与安全性。

在本发明一实施例的平台监控管理模块15中，用户统一管理单元151将基于资源目录，实现统一的用户管理和权限控制，管理所有的用户数据和组织机构数据，并提供单点登录功能，登录进入支撑平台的用户，可以无需登录访问接入支撑平台的应用系统。

优选地，用户统一管理单元151的主要功能包括：在支撑平台内部，完成统一的用户信息管理、机构信息管理、应用系统信息管理，并且对外提供身份验证服务、用户信息查询服务、机构信息查询服务、应用系统与用户信息对应服务；根据用户名和密码实现登录支撑平台系统的功能，并且，使用单点登录技术，实现对所有接入支撑平台的应用系统的访问；增加子机构、修改机构基本信息、注销机构、激活机构、复制机构、移动机构等机构信息管理；新增用户、用户信息查询与修改、用户注销、用户激活、密码修改与重置等用户信息管理；应用系统注册、应用系统基本信息修改、应用系统注销、应用系统超级用户管理、应用系统超级用户密码修改与重置等应用系统注册管理；提供给应用系统调用，以实现应用系统对访问用户身份的验证；提供给应用系统调用，以实现某应用系统业务需要时通过自行编写的登录界面；提供给应用系统调用，以实现应用系统对所有机构信息的查询；提供给应用系统调用，以实现应用系统对所有机构信息的查询。

本发明实施例提供的水利大数据分析信息服务系统通过系统资源服务模块、公共基础服务模块、应用服务模块、资源服务管理模块和平台监控管理模块之间的联动配合，实现了业务逻辑与公共服务的分离，保证了信息服务的松耦合，提高了信息服务的适应能力，并且能够基于服务单元的不同组合为不同的使用者提供个性化服务。也就是说，本发明实施例提供的水利大数据分析信息服务系统实现了对水利数据的高效管理，解决了现有水利数据管理过于碎片化的问题，并且针对于水利数据实现了高效的数据共享，为系统的重构与拓展以及新旧系统的整合提供了框架前提。

在本发明一实施例提供的水利大数据分析信息服务系统中，没有应用服务模块11或公共基础服务模块12，也就是说，本发明实施例提供的水利大数据分析信息服务系统的对外服务模块的种类和数量可根据实际情况自行设定，以充分提高本发明实施例提供的水利大数据分析信息服务系统的适应能力和应用广泛性，本发明实施例对此不进行统一设定。

表1所示为本发明一实施例提供的水利大数据分析信息服务系统中的获取的数据内容与对应的服务功能之间的对应示意表。如表1所示，本发明实施例提供的水利大数据分析信息服务系统能够基于获取的数据内容得到如下服务功能。

表1

图2所示为本发明一实施例提供的将水利大数据分析信息服务系统应用至平台服务系统的结构示意图。平台服务系统指的是将本发明图1实施例所提供的水利大数据分析信息服务系统作为功能模块之一的提供服务的系统。

如图2所示，本发明实施例提供的平台服务系统包括信息采集模块21、网络通信模块22、数据汇集模块23、数据库(包括公共数据库241和专用数据库242)、水利大数据分析信息服务系统1和用户应用模块25。其中，数据汇集模块23、数据库(包括公共数据库241和专用数据库242)和水利大数据分析信息服务系统1共同构成水利数据中心子系统26，水利数据中心子系统26和用户应用模块25共同构成决策支持子系统27。

具体地，信息采集模块21用于进行信息数据的采集操作。在本发明实施例中，信息采集模块21包括水情采集单元211、实时工情采集单元212和旱情采集单元213。其中，水情采集单元211用于采集水情数据；实时工情采集单元212用于采集实时工情数据；旱情采集单元213用于采集旱情数据。

具体地，网络通信模块22用于实现平台服务系统的网络通信，比如，实现信息采集模块21与数据汇集模块23之间的网络通信。优选地，网络通信模块22与气象局实现网络通信，从而使本发明实施例提供的平台服务系统能够获取气象局的天气雷达数据信息，进而为后续平台服务系统的精准服务提供前提。

具体地，数据汇集模块23用于实现信息数据的数据汇集。在本发明实施例中，数据汇集模块23包括水情汇集单元231、工情汇集单元232、旱情汇集单元233、灾情汇集单元234和天气雷达数据汇集单元235。其中，水情汇集单元231用于汇集水情数据；工情汇集单元232用于汇集工情数据；旱情汇集单元233用于汇集旱情数据；灾情汇集单元234用于汇集灾情数据；天气雷达数据汇集单元235用于汇集天气雷达数据。

具体地，公共数据库241和专用数据库242用于提供数据存储管理服务。

具体地，水利大数据分析信息服务系统1用于实现信息数据(内部和外部)交换共享、软件构件、模型、数据存取等功能。应当理解，本发明实施例中的水利大数据分析信息服务系统1即为本发明图1实施例所示的水利大数据分析信息服务系统。

具体地，用户应用模块25用于提供用户应用。在本发明实施例中，用户应用模块25包括水情应用单元251、防洪调度单元252和抗旱管理单元253。其中，水情应用单元251用于提供水情应用；防洪调度单元252用于提供防洪调度应用；抗旱管理单元253用于提供抗旱管理应用。

优选地，本发明实施例提供的平台服务系统还包括安全体系以及安全管理服务模块(图中未示出)，用于实现安全管理。

应当理解，在本发明实施例提及的平台服务系统中，各模块之间借助于标准化的协议与接口结合为一个有机整体。

本发明实施例提供的平台服务系统以系统体系结构为基础进行多级别级多种类水利业务应用系统的搭建，使各模块能够在服务层次、构建层次和信息资源层次协同工作，以实现数据信息交换与共享，实现了减少重复开发的目的，进而实现了降低建设管理、运维成本和保持开放性与可靠性的目的。

图3所示为本发明一实施例提供的平台服务系统的技术实现结构示意图。如图3所示，本发明实施例根据工程建设原则，将平台服务系统进行如

图3所示的技术实现框架布局，基于平台服务系统的体系结构，实现了平台服务系统资源共享，减少了平台服务系统的重复开发的冗余。

图4所示为本发明一实施例提供的平台服务系统中的水利数据中心子系统的数据流转的流程示意图。如图4所示，本发明实施例提供的水利数据中心子系统的数据流转过程包括：

步骤41：搜集数据，以实现数据的交换汇集。

应当理解，由于水利数据中心子系统需要对不同来源的数据进行汇集，因此在步骤41中，所搜集的数据包括但不限于为采集上报的数据、其他系统节点数据以及其他领域交换数据等，本发明实施例对此不进行统一限定。

其中，采集上报的数据主要为实时监测数据，可采取设备直连或现场服务器转发的形式接入；其他系统节点数据主要为水利业务范畴内已建成的应用系统中的业务数据的定时或不定时接入；其他领域交换数据指其他行业与水利相关的数据，如国土、气象等数据，通过预设的接口连接接入。

步骤42：存储交换汇集后的数据。

在步骤42中，可采用关系型数据库和分布式文件系统进行数据的存储操作，其中，关系型数据库包括地理空间数据库、实时雨水情数据库、工情监测数据库、水资源数据库、防洪调度数据库、水利工程数据库、水土保持数据库、元数据库等。

优选地，分布式文件系统为海杜普(hadoop)分布式文件系统。由于hadoop不仅能够支持大数据密集型分布式存储，而且具备强大的批量数据处理和分析能力，因此，本发明实施例将hadoop作为关系型数据库存储的补充存储。

也就是说，本发明实施例提供的水利数据中心子系统将关系型数据库和分布式文件系统进行系统融合，共同支撑水利大数据的存储。

优选地，实时的、结构化的监测及业务处置数据和元数据利用关系型数据库存储，而历史监测数据、文档数据、图像数据和视频数据等半结构化和非结构化数据，利用分布式文件系统存储。需要说明的是，两种存储方式并非独立存在，可采用数据抽取转换及装载工具(etl)相互补充。

在本发明一实施例中，通过元数据库存储水利数据中心子系统中所有结构化、半结构化和非结构化数据的描述和定义，利用元数据技术定义并统一管理系统元数据，进而使水利数据中心子系统具备更高的可用性与易用性。应当理解，元数据是对数据进行描述所产生的数据，这些描述涉及基础属性(例如，结构和行为)、业务定义(包括字典和分类法)以及操作(如活动指标和使用历史)等特征。

步骤43：基于存储的数据进行数据处理操作。

由于本发明实施例提及的水利数据中心子系统是根据主题化应用的需求进行数据处理分析，因此需应用并行计算或云计算体系下的数据挖掘、机器学习、统计分析等技术。比如，在本发明实施例的步骤43中，数据处理操作包括但不限于具备分布式计算、实时计算、数据处理、分析挖掘、机器学习等操作功能。

应当理解，由于映射归约(mapreduce)分布式计算方式能够将大数据集分解成多个独立的小数据段，并将分解后的数据段分发到多个节点上进行快速高效的并行计算，进而解决单机处理中计算性能不足的问题。因此，本发明实施例利用mapreduce分布式计算方式来分析计算hadoop中的海量水利数据，以充分防止水利数据中心子系统出现计算性能不足的问题。

在本发明一实施例中，基于mapreduce，hadoop的开源工具海弗(hive)提供了一套类似于数据库的数据存储和处理机制，将海量半结构化数据映射为表，并自动化产生mapreduce任务，进而实现对存储的数据的处理。应当理解，通过hive提供的接口，能够有效降低应用系统功能开发难度和对mapreduce作业的使用难度。

应当理解，在水利业务应用中，需要涉及大量对实时数据(比如雨水情、工情、水资源等监测数据和视频监控数据等)的处理，基于实时数据处理形成的对应急事件的预警及决策处置意义重大。基于此，在本发明一实施例中，通过实时计算工具斯道姆(storm)处理消息和更新数据库。由于实时计算工具storm不仅能够实时处理hadoop的批任务，而且能够实现视频流的实时处理以及专业模型的实时计算，因此采用实时计算工具storm快速实时计算大量的监测数据，实现监测数据的实时展示、预警以及水库调度方案的实时生成和实时视频流的处理。

步骤44：将数据处理操作后的数据应用到实际情境中。

应当理解，在步骤44中，实际情境包括但不限于为引水调度、监控数据挖掘以及统一门户等情境。

需要注意的是，步骤41中所搜集的数据亦可以直接供给步骤43，也就是说，步骤43中的数据处理操作可直接基于步骤41中搜集的数据进行。

需要说明的是，针对本发明上述实施例提及的水利数据中心子系统，能够构建大量高效的通用性或定制性服务。比如，水利工程安全监测、评估评价、运行维护等水利工程安全管理应用；又比如，面向防洪、发电、航运、农业、生态的水资源多目标优化调度应用等。应当理解，通过对用户和业务数据的分析挖掘，智能地获取用户最感兴趣的数据指标。同时，利用统一门户，可通过统一简洁的界面，直观的向用户展示各种实时和历史信息以及分析预报的结果，以帮助用户正确理解和应用分析成果。

图5所示为本发明另一实施例提供的水利大数据分析信息服务系统与水利数据中心子系统之间的关系结构示意图。如图5所示，在本发明实施例中，水利大数据分析信息服务系统和水利数据中心子系统共同架构成本发明实施例中的中心平台管理监控与数据维护系统51。

具体地，水利数据中心子系统设置于数据资源模块51中，也就是说，数据资源模块51借助于本发明上述实施例提及的水利数据中心子系统来实现数据资源的管理与存储。

水利大数据分析信息服务系统设置于第一应用模块52和第二应用模块53中，也就是说，第一应用模块52和第二应用模块53借助于本发明上述实施例提及的水利大数据分析信息服务系统来实现基于数据资源的数据应用。

在本发明一实施例中，水利大数据分析信息服务系统中的系统资源服务模块13还包括元数据管理维护单元。其中，元数据管理维护单元用于实现元数据的实体维护，负责元数据的抽取与整合，形成对关系型数据库以及分布式文件系统中存储的各种监测数据、业务数据、视频、图像等数据的数据字典。优选地，在关系型数据库以及分布式文件系统中的数据进行变化时，元数据管理维护系统负责实现元数据及时自动更新。

优选地，元数据管理维护单元用于实现元数据的注册、元数据的管理等功能。具体地，元数据的注册主要包括空间元数据和非空间元数据的注册。具体内容为设定元数据的安全等级以及与此元数据相关联的资源，查询所提供资源的审核状态，修改、删除元数据等。优选地，元数据的安全等级的设定基于元数据管理维护单元提供的元数据直接录入界面和/或xml目录文件导入界面进行。

具体地，元数据的管理主要包括元数据著录、元数据库创建与删除、索引创建与删除、元数据输出等功能。

其中，元数据著录提供对不同元数据标准的管理，可以在编辑器中注册、注销、查看元数据标准。优选地，能够实现多个元数据标准的注册管理，支持多种标准、多种版本的元数据标准的注册和标准更新。

其中，元数据库创建与删除是将元数据记录存储在关系数据库中，为用户提供建立元数据库的功能。优选地，支持多个元数据标准及其元数据记录的存储。

其中，索引创建与删除是为了支持元数据信息的网络发布。优选地，采用具有效率保证的非空间静态索引算法、空间和时空间动态索引算法对元数据记录进行索引。优选地，通过定义数据库的可索引域，将数据库索引至不同的元素字段，以适应查全率和查准率的要求。

其中，元数据库配置管理能够同时管理多个待发布的元数据库，提供包括元数据库地址信息配置等多项功能。

其中，元数据输出用于提供基于xml(可扩展标记语言)格式的元数据文档输出。

优选地，在本发明另一实施例中，上述所提及的水利大数据分析信息服务系统、平台服务系统以及水利数据中心子系统中的数据访问均统一采用静态协议接口进行。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。