基于Hadoop集群的数据集市管理系统及其使用方法与流程

本发明涉及计算机技术领域，尤其涉及一种基于hadoop集群的数据集市管理系统及其使用方法、电子设备和计算机可读介质。

背景技术：

随着企业业务的扩展，运营管理和生产过程中会产生大量的数据，而能否高效快速地对这些数据进行分析和计算直接影响到大数据在应用中的价值和作用。大数据管理的方式之一是使用基于hadoop集群技术(hadoop是一种分布式系统基础架构，可用于实现分布式文件系统，hadoop集群就是将大量的数据分布到不同的机器上进行处理)建立数据集市或数据仓库来对数据进行管理，其中，数据市集一般指小型的分析型数据库，为了对从各种繁杂业务中抽象出来的分析主题(如用户、成本、商品等)进行分析而建立，具有很高的集成性。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

数据集市缺乏有效管理，对其进行访问等操作时，需要去数据库底层获取数据集市的配置信息，过程繁琐耗时；数据集市的元数据信息管理薄弱，时效性差；用户对数据库进行访问时操作路径过长，降低了数据的使用效率，数据集市欠缺集数据管理、数据计算和元数据管理于一体的自动化管理系统，使用户能够快速高效的从数据集市中查询所需数据。

技术实现要素：

有鉴于此，本发明实施例提供一种基于hadoop集群的数据集市管理系统，能够对基于hadoop集群的数据集市进行数据管理、数据计算和元数据管理于一体的自动化管理，降低运维成本，使用户能够快速高效的从数据集市中查询所需数据。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于hadoop集群的数据集市管理系统，包括：集群管理子系统；数据管理子系统；权限管理子系统；访问接口子系统；其中，所述集群管理子系统用于获取所述数据集市的配置信息，以及将所述配置信息同步至所述权限管理子系统；所述集群管理子系统还用于获取所述数据集市的元数据信息，以及将所述元数据信息同步至所述数据管理子系统，所述数据管理子系统再将所述元数据信息同步至所述权限管理子系统；所述数据管理子系统用于获取所述数据集市的元数据的变更信息，所述数据管理子系统再将所述元数据的变更信息同步至所述权限管理子系统；所述访问接口子系统用于接收访问请求，从所述权限管理子系统获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应。

可选地，所述数据集市管理系统还包括：消息服务子系统，用于将所述数据集市的元数据的变更信息同步至所述数据管理子系统；其中所述消息服务子系统包括：存储单元，用于保存所述数据集市的元数据的信息；日志单元，用于保存所述存储单元中数据变更的信息；订阅单元，用于实时获取并保存所述日志单元中的信息；任务单元，用于将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

可选地，所述集群管理子系统通过超文本传输协议类型的接口获取所述数据集市的配置信息。

可选地，所述订阅单元通过配置实时采集任务实时获取所述日志单元中的信息，并保存该信息用于消息订阅。

可选地，所述任务单元通过建立流处理任务将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种使用基于hadoop集群的数据集市管理系统访问数据集市的方法，包括：集群管理子系统获取所述数据集市的配置信息，以及将配置信息同步至所述权限管理子系统中；所述集群管理子系统获取所述数据集市的元数据信息，以及将所述元数据信息同步至数据管理子系统，所述数据管理子系统再将所述元数据信息同步至所述权限管理子系统；所述数据管理子系统获取所述数据集市的元数据的变更信息，所述数据管理子系统再将所述元数据的变更信息同步至所述权限管理子系统；访问接口子系统接收访问请求，从所述权限管理子系统获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应。

可选地，所述方法还包括：所述数据集市管理系统中的消息服务子系统将所述数据集市的元数据的变更信息同步至所述数据管理子系统；其中，所述消息服务子系统中的存储单元保存所述数据集市的元数据的信息；所述消息服务子系统中的日志单元保存所述存储单元中数据变更的信息；所述消息服务子系统中的订阅单元实时获取并保存所述日志单元中的信息；所述消息服务子系统中的任务单元将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

可选地，所述集群管理子系统通过超文本传输协议类型的接口获取所述数据集市的配置信息。

可选地，所述订阅单元通过配置实时采集任务获取所述日志单元中的信息，并保存该信息用于消息订阅。

可选地，所述任务单元通过建立流处理任务将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种使用基于hadoop集群的数据集市管理系统访问数据集市的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现使用基于hadoop集群的数据集市管理系统访问数据集市方法中任一所述的系统。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种使用基于hadoop集群的数据集市管理系统访问数据集市的计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现使用基于hadoop集群的数据集市管理系统访问数据集市方法中任一所述的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用引入集群管理子系统、数据管理子系统、权限管理子系统和接口访问子系统，对数据集市进行数据管理、数据计算和元数据管理于一体的自动化管理技术手段，所以克服了对数据市集的管理欠缺，用户访问数据集市繁琐耗时的技术问题，进而达到降低运维成本，使用户能够快速高效的从数据集市中查询所需数据的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的使用基于hadoop集群的数据集市管理系统访问数据集市的方法的主要步骤的示意图；

图2是本发明实施例可以应用于其中的示例性系统架构图；

图3是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的使用基于hadoop集群的数据集市管理系统访问数据集市的方法的主要步骤的示意图，如图1所示，所述基于hadoop集群的数据及时管理系统100包括集群管理子系统101、数据管理子系统102、权限管理子系统103、访问接口子系统104和消息服务子系统105。

集群管理子系统101用于获取所述数据集市的配置信息，以及将所述配置信息同步至权限管理子系统103；集群管理子系统101可通过超文本传输协议类型的接口获取所述数据集市的配置信息。其中数据集市的配置信息指的是数据集市所在的hadoop集群名称、集群编码、集群的rm地址(hadoop集群资源管理器yarn的管理端地址)、jh地址(hadoop资源管理器yarn的历史任务列表地址)、ns地址(全称namespace，是hadoop中namenode的管理文件系统)、用户名、生产账号信息、队列信息等。

集群管理子系统101还用于获取所述数据集市的元数据信息，以及将所述元数据信息同步至数据管理子系统102，数据管理子系统102再将所述元数据信息同步至权限管理子系统103；其中数据集市元数据信息包括：集市名称和描述信息、集市下库名和表名，表的结构，表的描述信息，表负责人等信息，还包括库名、表名、字段名、表结构、表描述信息、表负责人和创建时间等。

数据管理子系统102用于获取所述数据集市的元数据的变更信息，所述数据管理子系统再将所述元数据的变更信息同步至权限管理子系统103。

消息服务子系统104，用于将所述数据集市的元数据的变更信息同步至数据管理子系统102。其中消息服务子系统104包括：存储单元1041，用于保存所述数据集市的元数据的信息，常用的储存单元有mysql型数据库(一种开源的关系型数据库管理系统)；日志单元1042，用于保存所述存储单元中数据变更的信息，如mysql数据库的binlog文件，为mysql数据库的一个属性，以二进制日志形式保存，记录对数据发生或潜在发生更改的sql语句；订阅单元1043，用于实时获取并保存日志单元1042中的信息；订阅单元1043通过配置实时采集任务，采集生产系统的数据，并将数据上报至实时数据总线，实时获取日志单元1042中的信息，并保存该信息用于消息订阅，如kafka(一种高吞吐量的分布式发布订阅消息系统)；任务单元1044，用于将订阅单元1043中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统102，任务单元1044可通过建立流处理任务，如storm任务(一种分布式实时计算的通用原语实时处理消息并更新数据库)将订阅单元1043中保存的信息转换为元数据的变更信息，并将该信息同步至数据管理子系统102。

访问接口子系统104用于接收访问请求，从权限管理子系统103获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应。当有用户需要对数据集市进行访问(1001)时，访问接口子系统105用于接收访问请求；访问接口子系统105从权限管理子系统103中获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应(1002)。例如，用户在访问接口子系统105上进行建表操作时，访问接口子系统105会调用权限管理子系统103进行自动授权，授权内容包括数据集市的元数据信息和数据集市的配置信息，用户在访问接口子系统105上进行数据查询或数据订阅后，可通过任务执行客户端执行sql查询(mysql数据库查询)任务，当查询结果返回至客户端后，可以有两种方式展现给用户，一种是将数据结构上传至网盘，然后通过邮件将网盘地址通知用户，另一种方式是将数据查询结果直接返回到访问接口子系统105中展现给用户。

图2示出了可以应用本发明实施例的使用基于hadoop集群的数据集市管理系统访问数据集市的方法或基于hadoop集群的数据集市管理系统装置的示例性系统架构200。

如图2所示，系统架构200可以包括终端设备201、202、203，网络204和服务器205。网络204用以在终端设备201、202、203和服务器205之间提供通信链路的介质。网络204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备201、202、203通过网络204与服务器205交互，以接收或发送消息等。终端设备201、202、203上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备201、202、203可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器205可以是提供各种服务的服务器，例如对用户利用终端设备201、202、203所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的使用基于hadoop集群的数据集市管理系统访问数据集市的方法一般由服务器205执行，相应地，基于hadoop集群的数据集市管理系统的装置一般设置于服务器205中。

应该理解，图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图3所示为适于用来实现本发明实施例的终端设备的计算机系统300的结构示意图。图3所示的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，计算机系统300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分308加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram303中，还存储有系统300操作所需的各种程序和数据。cpu301、rom302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。

以下部件连接至i/o接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本发明公开的实施例，上文框图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行框图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(cpu)301执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质包括计算机可读信号介质或计算机可读存储介质，或者是上述两者的任意组合。计算机可读存储介质包括但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件，或者上述内容的任意组合。计算机可读存储介质具体包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述内容的任意组合。在本发明中，计算机可读存储介质包括任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读的信号介质包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述信号的任意组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf(射频信号)等，或者上述介质的任意组合。

附图中的框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作，框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以并行地执行，有时也可以按相反的顺序执行，其执行顺序依所涉及的功能而定。也要注意的是，框图中的每个方框以及其组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的系统或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的系统或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括集群管理子系统包括：数据管理子系统、权限管理子系统、访问接口子系统。其中，这些系统的名称在某种情况下并不构成对该系统本身的限定，例如，访问接口子系统还可以被描述为“用于接收访问请求，从所述权限管理子系统获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应的系统”。

另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

集群管理子系统；

数据管理子系统；

权限管理子系统；

访问接口子系统；

其中，

所述集群管理子系统用于获取所述数据集市的配置信息，以及将所述配置信息同步至所述权限管理子系统中；

所述集群管理子系统还用于获取所述数据集市的元数据信息，以及将所述元数据信息同步至所述数据管理子系统，所述数据管理子系统再将所述数据信息同步至所述权限管理子系统中；

所述数据管理子系统用于同步所述数据集市的元数据的变更信息，所述数据管理子系统再将所述元数据的变更信息同步至所述权限管理子系统中；

所述访问接口子系统用于接收访问请求，从所述权限管理子系统获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应。

根据本发明实施例的技术方案，因为采用引入集群管理子系统、数据管理子系统、权限管理子系统和接口访问子系统，对数据集市进行数据管理、数据计算和元数据管理于一体的自动化管理技术手段，所以克服了对数据市集的管理欠缺，用户访问数据集市繁琐耗时的技术问题，进而达到降低运维成本，使用户能够快速高效的从数据集市中查询所需数据的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。