报表查询方法、装置、介质和电子设备与流程

本发明涉及数据库技术领域，具体而言，涉及一种报表查询方法、装置、介质和电子设备。

背景技术：

在对数据进行统计、汇总的应用场景中，需要根据需求生成报表，以通过表格、图表等方式来动态呈现数据。

目前，报表系统在每次查询报表时都需要执行下述步骤：

1、将维度表和事实表进行连接；

2、根据筛选条件对数据进行筛选；

3、按照维度进行分组，对指标进行聚合运算；

4、对已有指标进行计算，得到现货率、周转率等计算指标。

同时，现有的报表系统是将计算指标的运算工程放在代码中实现。

现有的报表系统存在以下问题：

1、由于数据库的表连接、分组聚合操作比较耗时，每次查询都进行表连接和分组聚合操作增加了报表查询时间，影响了用户体验；

2、由于将计算指标的运算过程放在代码中实现，因此工作量较大且计算指标的统计口径有变化时，必须将系统重新上线发布。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明的目的在于提供一种报表查询方法、装置、介质及电子设备，进而至少在一定程度上克服由于上述相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的第一方面，提供了一种报表查询方法，包括：对原始报表进行预处理操作，以得到预处理后的结果集，所述预处理操作包括表连接和分组聚合操作；获得报表查询请求；根据所述报表查询请求，对所述结果集进行查询。

在本发明的一些实施例中，基于前述方案，对原始报表进行预处理操作，以得到预处理后的结果集的步骤，包括：根据需要呈现给用户的报表中的维度信息和非计算指标，生成查询语句；针对所述原始报表执行所述查询语句，以得到所述结果集。

在本发明的一些实施例中，基于前述方案，所述非计算指标为所述需要呈现给用户的报表中的字段。

在本发明的一些实施例中，基于前述方案，所述的报表查询方法还包括：通过一致性哈希算法对所述原始报表进行哈希处理。

在本发明的一些实施例中，基于前述方案，在根据所述报表查询请求，对所述结果集进行查询的步骤之前，还包括：判断所述结果集是否存在；在判定所述结果集不存在时，根据所述报表查询请求，对所述原始报表进行关联查询；在判定所述结果集存在时，根据所述报表查询请求，对所述结果集进行查询。

在本发明的一些实施例中，基于前述方案，获得报表查询请求的步骤，包括：根据需要呈现给用户的报表中的维度信息和非计算指标，以及配置文件中定义的计算指标，生成查询语句，以得到所述报表查询请求。

在本发明的一些实施例中，基于前述方案，所述计算指标为多个所述非计算指标的组合。

在本发明的一些实施例中，基于前述方案，通过临时报表存储所述结果集。

在本发明的一些实施例中，基于前述方案，按照预定的定时时间对所述原始报表进行预处理操作。

在本发明的一些实施例中，基于前述方案，所述的报表查询方法还包括：将所述报表查询请求的查询结果保存至内存数据库中；若再次获得报表查询请求，则优先查询所述内存数据库。

根据本发明的第二方面，提供了一种报表查询装置，包括：预处理单元，用于对原始报表进行预处理操作，以得到预处理后的结果集，所述预处理操作包括表连接和分组聚合操作；获取单元，用于获得报表查询请求；查询单元，用于根据所述报表查询请求，对所述结果集进行查询。

根据本发明的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面中所述的报表查询方法。

根据本发明的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中所述的报表查询方法。

在本发明的一些实施例所提供的技术方案中，通过对原始报表进行预处理操作，以在获得报表查询请求时，直接对预处理后的结果集进行查询，使得能够事先进行表连接和分组聚合操作，这样可以避免每次报表查询都重复进行表连接和分组聚合操作，有效缩短了报表查询时间。

在本发明的一些实施例所提供的技术方案中，通过采用一致性哈希算法对原始报表进行哈希处理，使得原始报表能够均匀分布在各个数据库中，避免了数据库读写热点的问题。

在本发明的一些实施例所提供的技术方案中，由于计算指标是由配置文件来定义的，因此用户能够通过配置文件灵活地定义计算指标，避免了现有技术中将计算指标的运算过程放在代码中实现而在计算指标的统计口径有变化时需要重新上线发布系统的问题。

在本发明的一些实施例所提供的技术方案中，通过将报表查询请求的查询结果保存至内存数据库中，以在再次获得报表查询请求时优先查询内存数据库，使得在再次查询已经查询过的报表时，能够通过对内存数据库的查询快速得到查询结果，提高了报表查询效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的实施例的报表查询方法的流程图；

图2示出了根据本发明的实施例的报表查询系统的架构示意图；

图3示出了根据本发明的实施例的报表查询方案中的预处理过程的示意图；

图4示出了根据本发明的实施例的报表查询方案中的报表查询过程的示意图；

图5示意性示出了根据本发明的实施例的报表查询装置的框图；

图6示意性示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的实施例的报表查询方法的流程图。

参照图1，根据本发明的实施例的报表查询方法，包括如下步骤：

步骤s10，对原始报表进行预处理操作，以得到预处理后的结果集，所述预处理操作包括表连接和分组聚合操作。

在本发明的示例性实施例中，可以通过一致性哈希算法对所述原始报表进行哈希处理，以将原始报表均匀分布在各个数据库中，避免了数据库读写热点的问题。

在步骤s10中，通过对原始报表进行预处理操作，使得能够事先进行表连接和分组聚合操作，进而可以有效缩短报表查询时间。

根据本发明的示例性实施例，步骤s10具体包括：根据需要呈现给用户的报表中的维度信息和非计算指标，生成查询语句；针对所述原始报表执行所述查询语句，以得到所述结果集。

需要说明的是，非计算指标是需要呈现给用户的报表中的普通字段，生成的查询语句可以是sql(structuredquerylanguage，结构化查询语言)语句。

根据本发明的示例性实施例，在对原始报表进行预处理操作之后，可以通过临时报表存储预处理得到的结果集。

此外，在本发明的示例性实施例中，可以按照预定的定时时间对所述原始报表进行预处理操作。

步骤s12，获得报表查询请求。

根据本发明的示例性实施例，步骤s12具体包括：根据需要呈现给用户的报表中的维度信息和非计算指标，以及配置文件中定义的计算指标，生成查询语句，以得到所述报表查询请求。

需要说明的是，由于计算指标是由配置文件来定义的，因此用户能够通过配置文件灵活地定义计算指标，避免了现有技术中将计算指标的运算过程放在代码中实现而在计算指标的统计口径有变化时需要重新上线发布系统的问题。其中，计算指标为多个非计算指标的组合。

步骤s14，根据所述报表查询请求，对所述结果集进行查询。

在本发明的一些实施例中，基于前述方案，在步骤s142之前还包括：判断所述结果集是否存在；在判定所述结果集不存在时，根据所述报表查询请求，对所述原始报表进行关联查询；在判定所述结果集存在时，再根据所述报表查询请求，对所述结果集进行查询。

此外，在本发明的一些实施例中，基于前述方案，所述的报表查询方法还包括：将所述报表查询请求的查询结果保存至内存数据库中；若再次获得报表查询请求，则优先查询所述内存数据库。

图2所示为根据本发明的实施例的报表查询系统的架构示意图。具体而言，该系统架构主要包括如下四个部分：

1、数据存储，原始数据报表存储在mysql数据库中。每天通过任务调度系统定时对原始数据报表进行预处理，将表连接和分组聚合后得到的结果保存在临时表中。

2、服务层，提供数据库访问能力，并将数据库查询结果缓存在内存数据库(如jimdb)中。

3、接口(如restapi)，是对外开放的接口，可通过调用接口进行报表查询。其中，rest全称为representationalstatetransfer，其描述了一个架构样式的网络系统，比如web应用程序；api全称为applicationprogramminginterface，其表示应用程序编程接口。

4、支持多终端，可为浏览器网页和移动端应用提供服务。

基于图2所示的系统架构，本发明实施例的报表查询方案主要包括预处理过程和报表查询过程，以下分别进行说明：

预处理过程：

该过程具体如图3所示，包括如下步骤：

步骤s302，一致性哈希算法对原始报表id进行哈希，并确定临时表所在的数据库。

在步骤s302中，通过一致性哈希算法对原始报表进行哈希处理，使得原始报表能够均匀落在各个数据库中，避免数据库读写热点问题。

步骤s304，根据需要呈现给用户的报表中的维度和非计算指标拼写sql查询语句。

步骤s306，执行sql查询，并将得到的结果集保存在临时表中。

在预处理阶段，主要是处理报表查询过程中的表连接、分组聚合等比较耗时的操作，并将结果保存到临时表中。预处理过程支持对mysql、oracle、sqlserver等多种数据源中的数据进行处理，在生成sql语句时，可以使用模板模式，兼容不同的sql语法。

报表查询过程：

该过程具体如图4所示，包括如下步骤：

步骤s402，根据需要呈现给用户的报表中的维度和非计算指标，以及配置文件中自定义的计算指标拼写sql语句。

步骤s404，查询内存数据库(如jimdb)。

步骤s406，判断查询内存数据库是否命中，若是，则报表查询结束；否则，执行步骤s408。

步骤s408，一致性哈希算法对报表id进行哈希，确定临时表所在的数据库。

步骤s410，判断临时表是否存在，若存在，则执行步骤s412；否则，执行步骤s414。

步骤s412，在临时表上执行sql查询，这样可以避免进行表连接和分组聚合操作，缩短了查询语句的执行时间，提高了查询效率。

步骤s414，在原始报表上进行sql关联查询。

步骤s416，将查询结果保存到内存数据库(如jimdb)。在本发明的实施例中，通过将查询结果保存到内存数据库中，使得再次查询该报表时可以直接从内存数据库中快速返回结果，提高了查询效率，这也正是步骤s404中首先对内存数据库进行查询的原因。

由上述的阐述可知，本发明实施例的报表查询方案通过预先进行数据库表连接和分组操作，降低了报表查询时间；同时能够通过配置文件灵活地定义计算指标；并且通过一致性哈希算法对原始报表进行分库，可以避免数据库读写热点的问题。需要说明的是，本发明实施例的技术方案支持支持星型模型(是一种多维的数据关系，它由一个事实表和一组维度表组成)和雪花模型(在雪花模型中，一个或多个维度表没有直接连接到事实表上，而是通过其他维表连接到事实表上)。

图5示意性示出了根据本发明的实施例的报表查询装置的框图。

参照图5，根据本发明的实施例的报表查询装置500，包括：预处理单元502、获取单元504和查询单元506。

具体地，预处理单元502用于对原始报表进行预处理操作，以得到预处理后的结果集，所述预处理操作包括表连接和分组聚合操作；获取单元504用于获得报表查询请求；查询单元506用于根据所述报表查询请求，对所述结果集进行查询。

需要说明的是，上述报表查询装置500中包含的各模块/单元的具体细节已经在对应的报表查询方法中进行了详细的描述，因此此处不再赘述。

下面参考图6，其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备的计算机系统600仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的报表查询方法。

例如，该电子设备可以实现如图1中所示的：步骤s10，对原始报表进行预处理操作，以得到预处理后的结果集，所述预处理操作包括表连接和分组聚合操作；步骤s12，获得报表查询请求；步骤s14，根据所述报表查询请求，对所述结果集进行查询。

又如，该电子设备可以实现图3或图4所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。