处理报表数据的方法和装置与流程

本发明涉及计算机及软件技术领域，特别地涉及一种处理报表数据的方法和装置。

背景技术：

在数字化时代，越来越多的信息以数据报表的形式提供给人们，例如商品的信息，或者广告投放效果的信息……等等。以广告为例，对于投放了广告的广告主而言，他们在广告投放之后都会频繁的查看广告的投放效果，投放效果基本都以报表的形式展示给广告主，由于报表所涉及的数据量大、数据条目多、逻辑计算复杂，仅仅的优化sql查询语句来提升查询效率是远远不够的。在大数据的查询场景下，需要设计一种基于报表存储和计算的数据结构，来支持对时间延迟敏感的查询，并且具有良好的可伸缩性，可以随着数据规模和查询总量的增长，保持原有的计算速度。目前相关的技术例如rdbms视图和hbase存储结构。

rdbms视图是指关系数据库的视图，目前业务层主要使用mysql。当某个查询结果非常频繁，而且会被当做子查询用于别的查询中时，视图就可以作为一张临时的虚拟表，存储这些数据。视图的数据模型和它所使用的数据库一致，仍然有着相同的存储结构。

由于视图所使用的数据结构仍然和数据库的一致，数据库带来的限制也仍然存在。当结果集比较大而且需要对结果集进行计算、查找或排序时，如果没有索引，仍然效率很低。索引的创建又非常依赖场景，很不灵活。

hbase是一个分布式列存储数据库，提供了可靠的存储和高性能的计算，其海量数据操作的时效性也要优于其他rdbms数据库。hbase的存储模型是基于列存储模，每一行数据都会有一个rowkey，数据按rowkey有序存储，这样的数据结构会使查询时可以快速定位数据。同时hbase的存储模型支持动态的增加列，列的存储值为空也不会增加存储空间，使得使用起来更灵活，免去了rdbms需要修改存储结构的问题。同时hbase对于报表系统的场景有着比较明显的劣势，hbase条件查询性能不高，而报表系统会使用大量的条件查询。

目前众多的系统对报表的查询是使用单一类型的数据库语句例如sql语句直接查询数据库，获取报表数据，使用数据库是mysql，所以对应的技术方案主要是以优化sql语句、优化mysql的配置、增加硬件配置、分库分表等方式来优化查询速度，对于每一张报表都需要根据其场景设计技术方案。

现有技术主要存在以下不足之处：

1.完全依赖于采用单一数据库的语句进行查询时的存储结构，查询性能较低，当处理千万级数据时不能达到毫秒级的响应速度。

2.如果数据库发生变动，所有的优化方案需要重新设计，针对每个场景都需要设计存储格式，兼容性和扩展性都不好。

3.只能基于当前采用的数据库本身去优化改善，如果该数据库版本更新，需要将设计再次重新与新版本合并，造成不必要的工作量。

技术实现要素：

有鉴于此，本发明实施例提供一种处理报表数据的方法和装置，有助于在支持多种数据查询方式的情况下有更高的处理速度。本发明的其他有益效果和优点以及非常规的可选实现方式将结合具体实施方式加以说明。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理报表数据的方法。

本发明实施例的处理报表数据的方法包括：对于从数据源中选择的多个数据列，分别标明该数据列的类型，所述数据列的类型包括键名列和键值列；保存当前报表并且保存行索引字典，当前报表包含多个键名列和多个键值列，所述行索引字典中各行的键名和键值分别是对当前报表的各行所包含的多个键名按预设的计算方式分别进行计算得到的数值和该行的序号；对于获取的所述数据源中的当前行数据的多个键名列使用所述预设的计算方式计算出一个对应值，判断若该对应值是行索引字典中的一个已有键名，则将所述当前报表中序号是该已有键名对应的键值的一行的数据与所述当前行数据采用当前报表中的各个键值列对应的聚合函数进行数据合并。

可选地，在判断若该对应值不是行索引字典中的一个已有键名的情况下，在当前报表中建立新行，该新行的多个键名列和多个键值列分别是所述当前行数据中的多个键名列与多个键值列。

可选地，在判断若该对应值不是行索引字典中的一个已有键名的情况下，该方法还包括：在行索引字典中添加对应的键名和键值，该键名是所述对应值，该键值是所述新行的序号。

可选地，该方法还包括：保存字符字典，该字符字典中的键名是字符串，键值是与该字符串唯一对应的、预定长度的数值；在当前行数据中包含字符串的情况下，使用该字符串在所述字符字典中对应的键名代替该字符串。

可选地，所述预设的计算方式是哈希计算。

根据本发明实施例的另一方面，提供了一种处理报表数据的装置。

本发明实施例的处理报表数据的装置包括：配置模块，用于对于从数据源中选择的多个数据列，分别标明该数据列的类型，所述数据列的类型包括键名列和键值列；报表保存模块，用于保存当前报表，当前报表包含多个键名列和多个键值列；行索引字典模块，用于保存行索引字典，所述行索引字典中各行的键名和键值分别是对当前报表的各行所包含的多个键名按预设的计算方式分别进行计算得到的数值和该行的序号；填表模块，用于对于获取的所述数据源中的当前行数据的多个键名列使用所述预设的计算方式计算出一个对应值，判断若该对应值是行索引字典中的一个已有键名，则将所述当前报表中序号是该已有键名对应的键值的一行的数据与所述当前行数据采用当前报表中的各个键值列对应的聚合函数进行数据合并。

可选地，所述填表模块还用于在判断若该对应值不是行索引字典中的一个已有键名的情况下，在当前报表中建立新行，该新行的多个键名列和多个键值列分别是所述当前行数据中的多个键名列与多个键值列。

可选地，所述填表模块还用于在判断若该对应值不是行索引字典中的一个已有键名的情况下，该方法还包括：在行索引字典中添加对应的键名和键值，该键名是所述对应值，该键值是所述新行的序号。

可选地，所述装置还包括字符字典模块，用于保存字符字典，该字符字典中的键名是字符串，键值是与该字符串唯一对应的、预定长度的数值；所述填表模块还用于在当前行数据中包含字符串的情况下，使用该字符串在所述字符字典中对应的键名代替该字符串。

根据本发明实施例的又一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所述的方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明实施例所述的方法。

根据本发明实施例的技术方案，报告表中包含多个键名列和多个键值列，适用于多指标的数据查询，并且具备数据自动聚合的功能，把需要大量集中处理的数据，在写入存储结构时就完成了一部分计算工作，大大的节省了时间，对于报表查询的场景，会有大量的数据聚合操作，这样的设计会提升报表数据的查询速度。在将查询到的数据写入报告表时，本发明使用了动态索引的计算方式，不必提前设计索引，根据需要查询的数据列自动创建索引，提升了查询时的效率。从本发明的报告表的结构可以看出，它不是典型的关系数据存储模型，数据列之间没有强制约束，同时又支持部分关系型数据的逻辑计算关系，例如报告表的左连接和全连接运算。这些计算方式依赖于报告表的行设计，每一行的键名列都是唯一的，这样就可以进行表之间关联操作，报告表就可以进行进一步的复杂的逻辑运算。可以看出采用本发明的技术方案有助于在支持多种数据查询方式的情况下有更高的处理速度。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施方式的报告表的结构的示意图；

图2是根据本发明实施方式的行索引字典的基本结构的示意图；

图3是根据本发明实施方式的处理报表数据的主要步骤的示意图；

图4是根据本发明实施方式的行聚合的示意图；

图5是根据本发明实施方式的处理报表数据的装置的基本结构的示意图；

图6示出了可以应用本发明实施例的处理报表数据方法或处理报表数据装置的示例性系统架构；

图7是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施方式做出说明，其中包括本发明实施方式的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本发明实施方式中，考虑到数据查询具有的多方面的条件和内容，提出一种新的数据表结构，从数据源获取到要查询的数据并保存到具有该新的结构的当前报表中。为了描述方便，将这种新的结构的当前报表称作报告表。报告表包含多个键名列和多个键值列，即数据列被分为两类。如图1所示，图1是根据本发明实施方式的报告表的结构的示意图。在图1中，报告表10包含了多个键名列和多个键值列，所有的键值列都在所有的键名列的右边。同一列、不同行的键名可以相同或不同。键名列和键值列的列数根据实际数据查询需要而定。

报告表的行的序号即行号按顺序编制，即从第1行至第n行；而且在行索引字典中维护行号与行索引之间的映射关系。具体而言，以报告表的第1行为例，行索引字典中，即有一个键值为1(即该第1行的“1”)，该键值对应的键名是报告表第1行的各个键名列的哈希值，例如有3列键名列，分别是key1、key2、key3，则取哈希值hash(key1,key2,key3)作为上述键值1所对应的键名。因此行索引字典的结构可如图2所示，图2是根据本发明实施方式的行索引字典的基本结构的示意图。在图2中，每一行是一个键名-键值对，左侧为键名，是报告表各键名列的哈希值，右侧为键值，是报告表的行号。图2中是以取哈希值为例，另外也可以采用其他预先设置的计算方式，只要能够计算得到唯一值即可。

在已经查询到一些数据并且填入报告表的情况下，查到的新数据在填入报告表时，有可能需要新建一行，也有可能需要与报告表中原有的行进行合并。以下结合图3所示的流程加以说明。图3是根据本发明实施方式的处理报表数据的主要步骤的示意图。

步骤s31：配置数据源。在查询数据时，通常会有一个查询条件或称查询维度，查询条件决定了报告表的结构。例如想查询美廉美超市的历史一年内，不同分类的每件商品的销量、销售金额、以及当前库存，那么有以下几个列：时间|商品分类|商品名|销量|销售金额|当前库存。其中前三列是维度，在报告表中属于键名列，后三列是指标，在报告表中属于键值列。根据查询的需要，可选择数据源中的全部列或部分列，对于选择的多个数据列，在本步骤中分别标明该数据列的类型，该类型即键名列和键值列这两类。

步骤s32：保存当前报表并且保存行索引字典。在初始状态下，二者都为空。放入的第一条数据即为第1列，并且在行索引字典中形成第1个键名-键值对。

步骤s33：获取数据源中的一行数据。因为已经配置过数据源，所以该行数据中包含了多个键名列和多个键值列。

步骤s34：使用预先设置的计算方式对步骤s33中获取的一行数据中的多个键名列进行计算得到一个对应值。

步骤s35：判断该对应值是否为行索引字典中的一个已有键名。根据步骤s34中计算得到的对应值来判断，如果该对应值存在于行索引字典中，则说明已经获取过同一指标的数据，应当将新获取的数据与已获取的数据进行合并，此时进入步骤s36，否则进入步骤s37，在当前报表中新建一行数据。

步骤s36：进行数据合并。本发明实施方式中的报告表的每一个键值列都对应一个聚合函数。聚合函数的自变量是要合并的两个键值，应变量是合并后的键值。图4是根据本发明实施方式的行聚合的示意图。如图4所示，例如行41是当前报表中的原有的行，行42是从数据源中获取的一行数据，因为它们的所有键名列都相同，因此根据以上步骤，行41和行42需要合并。作为示例，键值列43的聚合函数是两个自变量相加，键值列44的聚合函数是两个自变量相乘。聚合后得到新行412的行号与行41的行号仍相同(行号在图中未示出)。

可以看出，数据行聚合的设计思路是根据键名列数值自动聚合，聚合的条件是：如果两行的键名列的数值完全一致，则将两行合并成一行，并根据键名列的聚合函数将键名列进行聚合计算。这样的设计减少了存储的空间，不会存储多余的行数据，又提高计算效率，将数据在写入当前报表时进行聚合计算。

步骤s37：在当前报表中建立新行。新行的多个键名列和多个键值列分别是步骤s33中获取的一行数据中的多个键名列与多个键值列。另外可更新行索引字典，添加一个键名-键值对，键名是步骤s34中计算得到的对应值，键值是新行的序号。

以上即为从数据源获取数据并且存入当前报表的基本流程。为了使报告表的每一行的长度都一致，可以建立字符字典，字符字典中的键名是字符串，键值是与该字符串唯一对应的、预定长度的数值，例如是字符串的哈希值。这样，在写入报告表时，数据源中的字符串以字符字典中的键值来代替，这样使每一行所占的计算机内存长度相一致，有助于节省内存使用空间，并增加内存分配的利用率。

使用本发明实施方式中的报告表的结构，可支持自定义的关于表格的操作，例如，当存在从多个数据源获取数据，会有多张表之间的连接操作。对两张表进行左连接操作时，可采用以下步骤：

步骤1：对于已有的表一和表二，表一作为主表，表二去关联表一。

步骤2：检查表二所有键名列是否都在表一中。

步骤3：检查表二的所有键值列是否都在表一中。

步骤4：当步骤2、3的检查结果都为“是”时，继续进行以下步骤，否则输出提示信息。

步骤5：遍历表一的每一行，获取与表二完全一致的键名列。

步骤6：将步骤5的键名列的数据取出后拼接在一起计算hash值。

步骤7：将步骤6的hash值即为表二的行索引到键名，根据该键名获取表二对应行。

步骤8：根据步骤7中获取的表二数据行，将对应键值列填充到表一中。

图5是根据本发明实施方式的处理报表数据的装置的基本结构的示意图。该装置作为软件可以设置在计算机中。如图5所示，处理报表数据的装置50主要包括配置模块、报表保存模块、行索引字典模块、以及填表模块。

配置模块用于对于从数据源中选择的多个数据列，分别标明该数据列的类型，所述数据列的类型包括键名列和键值列；报表保存模块用于保存当前报表，当前报表包含多个键名列和多个键值列；行索引字典模块用于保存行索引字典，所述行索引字典中各行的键名和键值分别是对当前报表的各行所包含的多个键名按预设的计算方式分别进行计算得到的数值和该行的序号；填表模块用于对于获取的所述数据源中的当前行数据的多个键名列使用所述预设的计算方式计算出一个对应值，判断若该对应值是行索引字典中的一个已有键名，则将所述当前报表中序号是该已有键名对应的键值的一行的数据与所述当前行数据采用当前报表中的各个键值列对应的聚合函数进行数据合并。

填表模块还可用于在判断若该对应值不是行索引字典中的一个已有键名的情况下，在当前报表中建立新行，该新行的多个键名列和多个键值列分别是所述当前行数据中的多个键名列与多个键值列。

填表模块还可用于在判断若该对应值不是行索引字典中的一个已有键名的情况下，该方法还包括：在行索引字典中添加对应的键名和键值，该键名是所述对应值，该键值是所述新行的序号。

处理报表数据的装置50还可包括字符字典模块，用于保存字符字典，该字符字典中的键名是字符串，键值是与该字符串唯一对应的、预定长度的数值；这样，填表模块还可用于在当前行数据中包含字符串的情况下，使用该字符串在字符字典中对应的键名代替该字符串。

图6示出了可以应用本发明实施例的处理报表数据方法或处理报表数据装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的处理报表数据方法可由服务器或终端设备执行，相应地，处理报表数据装置可设置于服务器或终端设备中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，图7是适于用来实现本发明实施例的终端设备的计算机系统70的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统70包括中央处理单元(cpu)，其可以根据存储在只读存储器(rom)中的程序或者从存储部分加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在ram中，还存储有计算机系统60操作所需的各种程序和数据。cpu、rom以及ram通过总线彼此相连。输入/输出接口(i/o接口)也连接至总线。

以下部件连接至i/o接口：输入部分，例如包括键盘、鼠标等；输出部分，例如包括诸如阴极射线管(crt)、液晶显示器(lcd)等；存储部分，例如包括硬盘等；通信部分，例如及包括诸如lan卡、调制解调器等的网络接口卡等。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至i/o接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本发明公开的实施例，上文描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行本发明公开的实施例所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括配置模块、报表保存模块、行索引字典模块、以及填表模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，报表保存模块还可以被描述为“用于保存当前报表的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备能够实现上文所述的各方法。

根据本发明实施方式的技术方案，报告表中包含多个键名列和多个键值列，适用于多指标的数据查询，并且具备数据自动聚合的功能，把需要大量集中处理的数据，在写入存储结构时就完成了一部分计算工作，大大的节省了时间，对于报表查询的场景，会有大量的数据聚合操作，这样的设计会提升报表数据的查询速度。在将查询到的数据写入报告表时，本发明实施方式使用了动态索引的计算方式，不必提前设计索引，根据需要查询的数据列自动创建索引，提升了查询时的效率。从本发明实施方式的报告表的结构可以看出，它不是典型的关系数据存储模型，数据列之间没有强制约束，同时又支持部分关系型数据的逻辑计算关系。这些计算方式依赖于报告表的行设计，每一行的键名列都是唯一的，这样就可以进行表之间关联操作，报告表就可以进行进一步的复杂的逻辑运算。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。