实现多种数据源联合查询的方法、系统、计算机设备和存储介质与流程

[0001]
本发明涉及数仓领域，尤其涉及实现多种数据源联合查询的方法、系统、计算机设备和存储介质。


背景技术：

[0002]
数仓平台是数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，致力于：(1)构建统一的数据分类体系，用于目录化管理所有业务数据，便于数据的归类、查找、评价、使用。(2)构建统一的数据标准体系，基于国家或行业标准，用于标准化每一行数据，每一个字段的具体取值，提升数据质量和易用性。(3)构建统一的数据模型体系，通过规范定义和数据建模，自顶向下构建企业数据分层体系，沉淀企业数据公共层和主题库，便于数据的流通、共享、创造、创新，提升数据使用效率，极大的减少数据冗余、混乱、隔离、不一致以及谬误等。然而现有技术中，一个总数仓平台会管理多个其他的分数仓平台，并且分数仓平台之间也会有数据查询的需求，前提是在有权限的情况下；但是各个分数仓平台之间的数据库类型不一样，因此其使用的语言也不同，会导致本数仓平台使用的查询代码无法被其他数仓平台所接受，也就无法进行多数据源联合查询。因此，提供实现多种数据源联合查询的方法、系统、计算机设备和存储介质，属于本领域亟待解决的问题。


技术实现要素：

[0003]
本发明的目的在于克服现有技术的不足，提供涉及实现多种数据源联合查询的方法、系统、计算机设备和存储介质。
[0004]
本发明的目的是通过以下技术方案来实现的：
[0005]
本发明的第一方面，提供实现多种数据源联合查询的方法，包括以下步骤：
[0006]
接收第一平台发送的数据查询指令；
[0007]
获取第一平台的查询权限，得到第一平台有权限查询的其他平台的类型；
[0008]
将所述数据查询指令转换为对应平台类型的转换查询指令；
[0009]
向其他平台发送对应转换查询指令；
[0010]
得到其他平台的查询结果并进行转换后，发送至第一平台。
[0011]
进一步地，所述的类型为平台的数据库类型，包括mysql、oracal、hive。
[0012]
进一步地，所述查询权限的设置方法包括：
[0013]
根据平台自身的等级设定权限，高等级平台具有对低等级平台的查询权限；和/或
[0014]
根据平台的自行设定，选择具有查询本平台权限的其他平台。
[0015]
进一步地，所述等级与单位级别相关，包括国家级、省级、市级、区级。
[0016]
本发明的第二方面，提供实现多种数据源联合查询的系统，包括：
[0017]
查询指令接收模块：用于接收第一平台发送的数据查询指令；
[0018]
平台类型获取模块：用于获取第一平台的查询权限，得到第一平台有权限查询的
其他平台的类型；
[0019]
指令转换模块：用于将所述数据查询指令转换为对应平台类型的转换查询指令；
[0020]
转换指令查询模块：用于向其他平台发送对应转换查询指令；
[0021]
查询结果发送模块：用于得到其他平台的查询结果并进行转换后，发送至第一平台。
[0022]
进一步地，所述的类型为平台的数据库类型，包括mysql、oracal、hive。
[0023]
进一步地，所述查询权限的设置方法包括：
[0024]
根据平台自身的等级设定权限，高等级平台具有对低等级平台的查询权限；和/或
[0025]
根据平台的自行设定，选择具有查询本平台权限的其他平台。
[0026]
进一步地，所述等级与单位级别相关，包括国家级、省级、市级、区级。
[0027]
本发明的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
[0028]
本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
[0029]
本发明的有益效果是：
[0030]
(1)在本发明的一示例性实施例中，适用于总数仓平台的数据处理，首先接收到其他分数仓平台即第一平台的数据查询指令，然后根据第一平台的查询需求和查询权限确定待查询的其他分数仓平台的类型，之后根据所述类型将第一平台发送的数据查询指令进行转化，转化为可以适配为其他平台的转换查询指令，再之后将该转换查询指令发送至对应的其他平台，其他平台接收到可以识别的转换查询指令后在本数仓平台进行数据查询然后将查询结果发送至总数仓平台，总数仓平台将查询结果转换为第一平台可识别的查询结果后发送至第一平台。采用该种方式，通过总数仓平台的查询数据转换，可以实现多种数据源的查询。
[0031]
(2)在本发明的又一示例性实施例中，根据平台的数据库类型进行数据转换。
[0032]
(3)在本发明的又一示例性实施例中，查询权限的设置方法包括：根据平台自身的等级设定权限，高等级平台具有对低等级平台的查询权限；根据平台的自行设定，选择具有查询本平台权限的其他平台。
[0033]
(4)在本发明的又一示例性实施例中，等级与单位级别相关，包括国家级、省级、市级、区级。
附图说明
[0034]
图1为本发明一示例性实施例公开的方法所基于的平台结构示意图；
[0035]
图2为本发明一示例性实施例公开的方法流程图。
具体实施方式
[0036]
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0038]
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0039]
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0040]
参见图1，图1示出了本发明的提供实现多种数据源联合查询的方法所基于的平台的连接示意图，图中包括一总数仓平台和若干与其连接的分数仓平台，总数仓平台不仅提供对分数仓平台的数据收发、数据开发以及数据清洗等等，还实现下述示例性实施例中提到的数据源联合查询功能，方便其中一个分数仓平台(下述为第一平台)对其他分数仓平台(下述为其他平台)的总查询。
[0041]
参见图2，图2示出了本发明其中一示例性实施例提供的实现多种数据源联合查询的方法的流程图，具体包括以下步骤：
[0042]
接收第一平台发送的数据查询指令；
[0043]
获取第一平台的查询权限，得到第一平台有权限查询的其他平台的类型；
[0044]
将所述数据查询指令转换为对应平台类型的转换查询指令；
[0045]
向其他平台发送对应转换查询指令；
[0046]
得到其他平台的查询结果并进行转换后，发送至第一平台。
[0047]
具体地，该示例性实施例的方法适用于总数仓平台的数据处理，首先接收到其他分数仓平台即第一平台的数据查询指令，然后根据第一平台的查询需求和查询权限确定待查询的其他分数仓平台的类型，之后根据所述类型将第一平台发送的数据查询指令进行转化，转化为可以适配为其他平台的转换查询指令，再之后将该转换查询指令发送至对应的其他平台，其他平台接收到可以识别的转换查询指令后在本数仓平台进行数据查询然后将查询结果发送至总数仓平台，总数仓平台将查询结果转换为第一平台可识别的查询结果后发送至第一平台。采用该种方式，通过总数仓平台的查询数据转换，可以实现多种数据源的查询。
[0048]
更优地，在一示例性实施例中，所述的类型为平台的数据库类型，包括mysql、oracal、hive。
[0049]
更优地，在一示例性实施例中，所述查询权限的设置方法包括：
[0050]
根据平台自身的等级设定权限，高等级平台具有对低等级平台的查询权限；和/或
[0051]
根据平台的自行设定，选择具有查询本平台权限的其他平台。
[0052]
其中，第一种方式为根据平台自身的特性进行查询权限的设置，即高等级可以对低等级进行查询，而在一优选示例性实施例中，所述等级与单位级别相关，包括国家级、省级、市级、区级，即可以与对应数据库的单位相关；而在另一示例性实施例中，级别可以根据
公司内部部门的级别进行设定。第二种方式为多个数仓平台的自行设定，可以提供给其他平台进行数据查询。
[0053]
与上述示例性实施例具有相同的发明构思，本发明的又一示例性实施例公开了实现多种数据源联合查询的系统，包括：
[0054]
查询指令接收模块：用于接收第一平台发送的数据查询指令；
[0055]
平台类型获取模块：用于获取第一平台的查询权限，得到第一平台有权限查询的其他平台的类型；
[0056]
指令转换模块：用于将所述数据查询指令转换为对应平台类型的转换查询指令；
[0057]
转换指令查询模块：用于向其他平台发送对应转换查询指令；
[0058]
查询结果发送模块：用于得到其他平台的查询结果并进行转换后，发送至第一平台。
[0059]
更优地，在一示例性实施例中，所述的类型为平台的数据库类型，包括mysql、oracal、hive。
[0060]
更优地，在一示例性实施例中，所述查询权限的设置方法包括：
[0061]
根据平台自身的等级设定权限，高等级平台具有对低等级平台的查询权限；和/或
[0062]
根据平台的自行设定，选择具有查询本平台权限的其他平台。
[0063]
更优地，在一示例性实施例中，所述等级与单位级别相关，包括国家级、省级、市级、区级。
[0064]
基于上述方法的优选示例性实施例，本发明的又一示例性实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
[0065]
基于上述方法的优选示例性实施例，本发明的又一示例性实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。
[0066]
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得装置执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0067]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。