一种基于大数据服务的治理系统及应用方法与流程

1.本发明涉及大数据领域，尤其涉及一种基于大数据服务的治理系统及应用方法。


背景技术：

2.大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
3.而随着物联网、大数据、云计算等新技术快速发展，在人们的日常生活中得到广泛应用，而对于景区管理来说，为了提高管理效率，同样可以构建大数据服务平台。
4.相关技术中，虽然通过大数据技术构建大数据服务平台，能精确地掌握数字模型，让景区运营更智能，运作更有效率，但是现有的方案将大数据平台处理的各个过程集中在少量的服务中，服务处理过程未做明确的边界划分，开发人员需了解整个处理过程才能清晰的定位和解决问题，因此对开发人员的要求较高，另外，由于数据流转过程缺乏统一的管控，数据处理效率不高，导致平台各服务的耦合度较高。
5.因此，有必要提供一种基于大数据服务的治理系统及应用方法解决上述技术问题。


技术实现要素：

6.本发明提供一种基于大数据服务的治理系统及应用方法，解决了景区大数据服务平台数据流转过程缺乏统一的管控，数据处理效率不高的问题。
7.为解决上述技术问题，本发明提供的基于大数据服务的治理系统，包括：
8.用于对数据收集和处理的大数据处理平台、用于为所述大数据处理平台提供可定制的联合用户认证服务的服务治理模块、用于管理用于日常维护的管理模块；
9.所述服务治理模块包括服务代理单元、服务发现单元、服务生命周期管理单元、身份认证服务单元、服务请求链路追踪单元以及服务日志搜集单元，分别用于向所述大数据处理平台提供服务代理、服务发现、服务生命周期管理、身份认证服务、服务请求链路追踪和服务日志搜集服务；
10.所述大数据处理平台包括数据采集单元、大数据处理单元、数据服务支撑单元以及数据应用单元。
11.优选的，所述服务生命周期管理单元用于为所述管理员提供以面向运营的方式管理景区服务的生命周期。
12.优选的，所述数据采集单元用于采集外部流通数据，其中数据采集是基于大容量、消息和事件的数据导入解决方案，同时具备数据通道管理、数据源管理、数据格式转换功能。
13.优选的，所述大数据处理单元通过交换库、大数据处理结构化和非结构化的数据，并将处理后的数据转移至数据仓库，其主要功能包括内容管理与数据仓库单向关系、数据仓库与数据分析服务双向交互、数据仓库与数据服务目录双向交互关系。
14.优选的，所述数据服务支撑单元主要用于提供数据服务与数据服务目录，其中数据服务的核心是数据分析服务的功能。
15.优选的，所述数据应用模块是面向结构化、非结构化或/和流数据的景区统计、预测和商业智能引擎，在该引擎上，可以利用预置的分析算法，同时快速构建和部署新的智能分析，并即时发布新的统计、预测和多维分析的结果，以提供快速洞察力；其核心能力，包括智能分析目录、基于事件的智能分析管理、基于批量处理的智能分析运行管理、在线联机分析、数据发布管理、智能分析库。
16.一种基于大数据服务的治理应用方法，包括以下步骤：
17.s1、首先将景区数据导入大数据处理平台中，通过数据采集单元完成数据采集过程，根据不同格式的结构化、非结构化和流形式的景区数据，提供易于运营的多种数据源管理和格式转换以及原始数据的临时存储；
18.s2、之后通过大数据处理单元通过交换库、大数据处理结构化和非结构化数据，处理后转至数据仓库，并通过数据仓库整理推出主题库、发布库；
19.s3、然后数据服务支撑单元根据主题库、发布库内容，进一步对内部数据进行分析，并生产相关数据目录。
20.s4、通过数据应用单元，利用预置的分析算法，同时快速构建和部署新的智能分析，并即时发布新的统计、预测和多维分析的结果，以提供快速洞察力，最后将得出的结果通过综合业务数据应用、应用系统展示、大屏系统、bi商业智能系统的方式展示。
21.优选的，所述s1中景区数据来源，主要是共建部门的前置库、业务系统的开放库、低代码平台上报的数据、集成服务的结构化、非结构化的数据，数据来源整合后通过数据适配器，转至数据集成总线，之后才能导入大数据处理平台中。
22.优选的，所述s1-s4中，通过所述服务治理模块提供所有接入服务的网关，为景区的整合应用提供了服务的发现和注册，同时通过集成，为整个大数据平台提供可定制的联合用户认证服务。
23.优选的，所述管理模块包括用于识别管理员身份信息的身份识别单元、用于实时检测所述大数据处理平台运行状态的实时监测单元、用于发出运行故障警报的报警单元以及用于正常控制所述大数据处理平台的操作控制单元。
24.与相关技术相比较，本发明提供的基于大数据服务的治理系统及应用方法具有如下有益效果：
25.本发明提供一种基于大数据服务的治理系统及应用方法，主要采用大数据处理技术，与智慧景区紧密结合，通过设置大数据处理平台用于对景区数据进行处理，并将处理过程拆分成四个过程，即数据采集、数据处理、数据支撑服务和数据应用，实现各服务器分工合作，大大减轻单个服务的运行负担，并通过设置服务治理模块，可实现各服务的解耦，提高数据处理的效率；
26.同时，该系统能够实现构建统一的信息资源共享基础架构，为智慧景区业务应用提供统一数据支撑，构建清晰的信息资源治理架构，共同协作，实现数据统一管控，有效共享、合理利用，奠定统一数据视图、统一业务支撑的数据基础，极大改善了景区大数据平台建设及应用的方式，填补了基于云平台的智慧景区大数据服务治理领域的空白，将大数据处理流程标准化，提高处理的容错性。
附图说明
27.图1为本发明提供的基于大数据服务的治理系统的结构框图；
28.图2为本发明提供的基于大数据服务的治理应用方法的流程图；
29.图3为本发明提供的基于大数据服务的治理系统的第二实施例的结构框图。
具体实施方式
30.下面结合附图和实施方式对本发明作进一步说明。
31.第一实施例
32.请结合参阅图1、图2，其中，图1为本发明提供的基于大数据服务的治理系统的结构框图；图2为本发明提供的基于大数据服务的治理应用方法的流程图。基于大数据服务的治理系统及应用方法，包括：
33.用于对数据收集和处理的大数据处理平台、用于为所述大数据处理平台提供可定制的联合用户认证服务的服务治理模块、用于管理用于日常维护的管理模块；
34.所述服务治理模块包括服务代理单元、服务发现单元、服务生命周期管理单元、身份认证服务单元、服务请求链路追踪单元以及服务日志搜集单元，分别用于向所述大数据处理平台提供服务代理、服务发现、服务生命周期管理、身份认证服务、服务请求链路追踪和服务日志搜集服务；
35.所述大数据处理平台包括数据采集单元、大数据处理单元、数据服务支撑单元以及数据应用单元。
36.所述服务生命周期管理单元用于为所述管理员提供以面向运营的方式管理景区服务的生命周期。
37.所述数据采集单元用于采集外部流通数据，其中数据采集是基于大容量、消息和事件的数据导入解决方案，同时具备数据通道管理、数据源管理、数据格式转换功能。
38.所述大数据处理单元通过交换库、大数据处理结构化和非结构化的数据，并将处理后的数据转移至数据仓库，其主要功能包括内容管理与数据仓库单向关系、数据仓库与数据分析服务双向交互、数据仓库与数据服务目录双向交互关系。
39.所述数据服务支撑单元主要用于提供数据服务与数据服务目录，其中数据服务的核心是数据分析服务的功能。
40.所述数据应用模块是面向结构化、非结构化或/和流数据的景区统计、预测和商业智能引擎，在该引擎上，可以利用预置的分析算法，同时快速构建和部署新的智能分析，并即时发布新的统计、预测和多维分析的结果，以提供快速洞察力；其核心能力，包括智能分析目录、基于事件的智能分析管理、基于批量处理的智能分析运行管理、在线联机分析、数据发布管理、智能分析库。
41.一种基于大数据服务的治理应用方法，包括以下步骤：
42.s1、首先将景区数据导入大数据处理平台中，通过数据采集单元完成数据采集过程，根据不同格式的结构化、非结构化和流形式的景区数据，提供易于运营的多种数据源管理和格式转换以及原始数据的临时存储；
43.请结合参阅图2，为了进一步描述大数据平台的数据处理过程，提出了智慧景区大数据云平台的信息资源共享平台逻辑架构，自左而右分别为数据来源和数据适配集成，数
据资源库(数据处理)，数据服务支撑，数据应用，而景区数据来源，主要是共建部门的前置库、业务系统的开放库、低代码平台上报的数据、集成服务的结构化、非结构化的数据，数据来源整合后通过数据适配器，转至数据集成总线，之后才能导入大数据处理平台中；
44.s2、之后通过大数据处理单元通过交换库、大数据处理结构化和非结构化数据，处理后转至数据仓库，并通过数据仓库整理推出主题库、发布库；
45.s3、然后数据服务支撑单元根据主题库、发布库内容，进一步对内部数据进行分析，并生产相关数据目录。
46.s4、通过数据应用单元，利用预置的分析算法，同时快速构建和部署新的智能分析，并即时发布新的统计、预测和多维分析的结果，以提供快速洞察力，最后将得出的结果通过综合业务数据应用、应用系统展示、大屏系统、bi商业智能系统的方式展示。
47.通过智慧景区大数据云平台的信息资源，提出智慧景区大数据云平台大屏仪表板的展示应用参考架构，自下而上分别为景区的各业务应用系统，平台数据层(景区公共信息服务平台)，平台服务层(数据分析与发布服务平台)，智慧景区仪表板应用服务，终端应用。
48.所述s1-s4中，通过所述服务治理模块提供所有接入服务的网关，为景区的整合应用提供了服务的发现和注册，同时通过集成，为整个大数据平台提供可定制的联合用户认证服务。
49.与相关技术相比较，本发明提供的基于大数据服务的治理系统及应用方法具有如下有益效果：
50.本发明提供一种基于大数据服务的治理系统及应用方法，主要采用大数据处理技术，与智慧景区紧密结合，通过设置大数据处理平台用于对景区数据进行处理，并将处理过程拆分成四个过程，即数据采集、数据处理、数据支撑服务和数据应用，实现各服务器分工合作，大大减轻单个服务的运行负担，并通过设置服务治理模块，可实现各服务的解耦，提高数据处理的效率；
51.同时，该系统能够实现构建统一的信息资源共享基础架构，为智慧景区业务应用提供统一数据支撑，构建清晰的信息资源治理架构，共同协作，实现数据统一管控，有效共享、合理利用，奠定统一数据视图、统一业务支撑的数据基础，极大改善了景区大数据平台建设及应用的方式，填补了基于云平台的智慧景区大数据服务治理领域的空白，将大数据处理流程标准化，提高处理的容错性。
52.第二实施例
53.基于本发明的第一实施例一种基于大数据服务的治理系统及应用方法，本发明的第二实施例提供另一种基于大数据服务的治理系统及应用方法，其中，第二实施例并不会妨碍第一实施例的技术方案的独立实施。
54.具体的，本发明的提供另一种基于大数据服务的治理系统及应用方法不同之处在于：
55.所述管理模块包括用于识别管理员身份信息的身份识别单元、用于实时检测所述大数据处理平台运行状态的实时监测单元、用于发出运行故障警报的报警单元以及用于正常控制所述大数据处理平台的操作控制单元。
56.通过实时检测单元对大数据处理平台运行状态实时检测，可帮助管理人员实时了解其运行状况，并在出现异常故障时，能够第一时间发现，并启动报警单元发出警报，使得
管理人员及时解决，进而增加了系统运行时的安全性以及并保证持续运行。
57.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。