一种适用于数据平台的通用报表实现方法及电子设备与流程

本发明涉及计算机技术领域，尤其涉及一种适用于数据平台的通用报表实现方法及电子设备。

背景技术：

数据平台的通用报表一般采用如下方式制作：在hive中新建数据源表；导入源文件到数据源表中；对数据源表做一个数据清洗，筛选有用的字段，新建数据清洗表；新建数据分区表，从数据清洗表中把输入导入到数据分区表；对数据分区表的数据进行分组统计；使用sqoop导出数据到mysql中。

数据平台有很多统计页面pv(页面访问量)和uv(独立访客)的需求，由于来自不同的业务线，需要查看不同业务线不同页面的pv和uv，但是它们的计算逻辑是完全相同，所以计算层需要重复做这样的统计。同样在前端展示页面中，不同业务线也需要重复做外形极其相似的页面，大量的重复工作导致开发时间严重被浪费，也降低了开发效率。

因此，现有技术还有待于改进和发展。

技术实现要素：

鉴于上述现有技术的不足，本发明的目的在于提供一种适用于数据平台的通用报表实现方法及电子设备，旨在解决现有技术中数据平台的报表统计效率低的问题。

本发明的技术方案如下：

一种适用于数据平台的通用报表实现方法，其中，包括步骤：

对各业务线进行分类；

对每一业务线上的各个统计页面进行分类；

根据业务线的分类结果和统计页面的分类结果确定所需统计的业务类型；

根据所述业务类型进行统计，并将统计结果统一输出到数据库的数据表中。

所述的适用于数据平台的通用报表实现方法，其中，所述根据所述业务类型对页面访问量和独立访客进行统计，并将统计结果统一输出到数据库的数据表中的步骤之后包括：

通过设置于统一页面展示所述数据表，所述统一页面为预先设置于前端。

所述的适用于数据平台的通用报表实现方法，其中，所述统一页面上设置有用于选择业务类型的选项。

所述的适用于数据平台的通用报表实现方法，其中，通过设置于统一页面展示所述数据表，所述统一页面为预先设置于前端的步骤具体包括：

当接收到用户对业务类型的选项的选择指令时，从数据库获取所述数据表；

在统一页面上按照所选择的业务类型展示所获取的数据表。

所述的适用于数据平台的通用报表实现方法，其中，所述将统计结果统一输出到数据库的数据表中的步骤具体包括：

将统计结果按照业务类型进行排列；

将排列好的统计结果输出到一张数据表中。

所述的适用于数据平台的通用报表实现方法，其中，所述根据所述业务类型进行统计的步骤具体包括：

根据所述业务类型对页面访问量和独立访客进行统计。

所述的适用于数据平台的通用报表实现方法，其中，所述根据业务线的分类结果和统计页面的分类结果确定所需统计的业务类型的步骤包括：

将业务线的分类结果和统计页面的分类结果进行组合得到多个业务类型；

将组合得到的多个业务类型确定为所需统计的业务类型。

一种电子设备，其中，包括：

处理器，适于实现各指令，以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

对各业务线进行分类；

对每一业务线上的各个统计页面进行分类；

根据业务线的分类结果和统计页面的分类结果确定所需统计的业务类型；

根据所述业务类型进行统计，并将统计结果统一输出到数据库的数据表中。

一种非易失性计算机可读存储介质，其中，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行所述的适用于数据平台的通用报表实现方法。

一种计算机程序产品，其中，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行所述的适用于数据平台的通用报表实现方法。

有益效果：通过本发明的方法，可以大大节省开发时间，省去了大量重复性代码，在出现数据异常的时候也方便问题的排查和定位。同时通过本发明，对于新增业务线的统计需求也能够做到快速响应输出报表。

附图说明

图1为本发明一种适用于数据平台的通用报表实现方法较佳实施例的流程图。

图2为本发明一种电子设备较佳实施例的结构框图。

具体实施方式

本发明提供一种适用于数据平台的通用报表实现方法及电子设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明一种适用于数据平台的通用报表实现方法较佳实施例的流程图，如图所示，其包括步骤：

s1、对各业务线进行分类；

s2、对每一业务线上的各个统计页面进行分类；

s3、根据业务线的分类结果和统计页面的分类结果确定所需统计的业务类型；

s4、根据所述业务类型进行统计，并将统计结果统一输出到数据库的数据表中。

本发明对各业务线和每一业务线的各统计页面进行了分类，这样可确定所需要统计的业务类型，按照业务类型进行统计，并输出到数据表中，这样对于不同业务线和不同统计页面均能采用同样的方式进行计算统计，省去了大量的重复开发工作，降低了开发时间，同时，在数据表中，也方便在不同业务线和不同统计页面出现数据异常时进行问题排查和定位，方便了维护。

需说明的是，上述步骤的执行顺序的标号仅为方便说明，显然本领域技术人员可以根据需要对上述步骤的执行顺序进行稍许调整，这些调整都属于本发明权利要求的保护范围。

具体来说，在所述步骤s1中，首先对各业务线进行分类。

比如business_a、business_b、business_c、business_d、business_e、business_f分别代表六种不同类别的业务线，所以可分为六类业务线。

当新增了一条业务线business_1时，先判断其是否属于之前已分类的业务线，如是则可将其归类于相应类别的业务线，例如business_1属于business_b类别的业务线，则直接将其归类于business_b类别的业务线。如其不属于之前已分类的业务线，例如business_1不属于上述举例的六种类别的业务线，则增加一个类别的业务线，并定义为business_1类别的业务线。

在所述步骤s2中，对每一业务线上的各个统计页面进行分类。

比如page_a、page_b、page_c、page_d、page_e、page_f、page_g、page_h分别代表八种不同类别的统计页面，所以可分为八类统计页面。

当新增了一个统计页面page_1时，先判断其是否属于之前已分类的统计页面，如是则可将其归类于相应类别的统计页面，例如page_1属于page_c类别的统计页面，则直接将其归类于page_c类别的统计页面。如其不属于之前已分类的统计页面，例如page_1不属于上述举例的八种类别的统计页面，则增加一个类别的统计页面，并定义为page_1类别的统计页面。

在所述步骤s3中，根据业务线的分类结果和统计页面的分类结果确定所需统计的业务类型。

上述步骤是将业务线的分类结果和统计页面的分类结果进行组合得到所需要统计的业务类型。

也就是说，所述步骤s3具体包括：

s31、将业务线的分类结果和统计页面的分类结果进行组合得到多个业务类型；

s32、将组合得到的多个业务类型确定为所需统计的业务类型。

在所述步骤s31中，将业务线和统计页面的分类结果进行相互组合，从而得到多个业务类型。

例如business_a、business_b、business_c三个类别的业务线，以及page_a、page_b、page_c三个类别的统计页面。

那么将上述三个类别的业务线以及三个类别的统计页面进行组合可以得到以下业务类型：ba_pa、ba_pb、ba_pc、bb_pa、bb_pb、bb_pc、bc_pa、bc_pb、bc_pc。上述业务类型共九种，为上述三个类别的业务线和上述三个类别的统计页面进行自由排列组合构成。其中的ba代表business_a的缩写，bb代表business_b的缩写，bc代表business_c的缩写，pa代表page_a的缩写，pb代表page_b的缩写，pc代表page_c的缩写，那么业务类型ba_pa则代表business_a_page_a，其他业务类型同样是按照上述规则进行标识。

当然，根据业务线和统计页面的数量的不同，所得到的业务类型种类和数量也有所不同。

在所述步骤s4中，根据所述业务类型进行统计，并将统计结果统一输出到数据库的数据表中。

其中的统计就是指业务类型所需要进行的计算工作，最后统一输出到数据表中，方便核对查看。

进一步，所述根据所述业务类型进行统计的步骤具体包括：

根据所述业务类型对页面访问量和独立访客进行统计。

其中的页面访问量(pv，即pageview)是指页面浏览量，通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。页面访问量是评价网站流量最常用的指标之一。监测网站pv的变化趋势和分析其变化原因是很多站长定期要做的工作。pageview中的page一般是指普通的html网页，也包含php、jsp等动态产生的html内容。来自浏览器的一次html内容请求会被看作一个pv，逐渐累计成为pv总数。独立访客(uv)是指指访问某个站点或点击某条新闻的不同ip地址的人数，在同一天内，uv只记录第一次进入网站的具有独立ip的访问者，在同一天内再次访问该网站则不计数，独立ip访问者提供了一定时间内不同观众数量的统计指标，而没有反应出网站的全面活动。

进一步，所述将统计结果统一输出到数据库的数据表中的步骤具体包括：

将统计结果按照业务类型进行排列；

将排列好的统计结果输出到一张数据表中。

也就是说，上述步骤中，是按照相应的业务类型对统计结果进行排列，而不是按照统计结果的高低进行排列，这样可以方便用户进行核对和查看，第一时间查找到相应的业务类型的统计结果。然后将所有的统计结果输出到一张数据表中，这样也是为了方便用户进行查看，用户只需打开一张数据表，即可查看到所需核对的统计结果，而无需多次操作，提升了用户使用体验。

进一步，所述步骤s4之后包括：

s5、通过设置于统一页面展示所述数据表，所述统一页面为预先设置于前端。

由于用户查看的操作是在前端进行，所以需要在前端预先设置好统一页面，通过该统一页面即可查看到相应的数据表。该统一页面可与数据库进行数据的交互，当打开所述统一页面时，即可从数据库中获取并加载相应的数据表。通过统一页面来对数据表进行展示，这样不同的业务线都只需采用一个统一页面进行查看即可，无需在前端多次制作相应的页面进行查看，节省了大量的开发工作。

进一步，所述统一页面上设置有用于选择业务类型的选项。

所述的选项是用来提供给用户进行选择业务类型的，当用户通过该选项选择了相应的业务类型，那么则只展示所选择的业务类型的统计结果，或者高亮显示所选择的业务类型的统计结果，这样可以将所选择的业务类型的统计结果突出，方便用户快速查找和核对。

进一步，通过设置于统一页面展示所述数据表，所述统一页面为预先设置于前端的步骤具体包括：

当接收到用户对业务类型的选项的选择指令时，从数据库获取所述数据表；

在统一页面上按照所选择的业务类型展示所获取的数据表。

具体地，当用户通过所述选项选中某一业务类型或者某几个业务类型后，则根据所选择的业务类型从数据库中获取相应的数据表，此时获取的数据表可以是包含全部业务类型统计结果的数据表，也可以是只包含所选择的业务类型统计结果的数据表。由于相应的数据表所占用空间较小，所以本发明优选获取包含全部业务类型统计结果的数据表，这样后续用户选择新的业务类型时，就无需重新下载，只需从本地获取即可。

最后在统一页面上展示数据表，此时的展示是根据所选择的业务类型进行展示，例如当用户选择的业务类型为ba_pa时，那么只展示ba_pa的统计结果，当用户选择的业务类型为ba_pc和bb_pa时，那么只展示ba_pc和bb_pa的统计结果。当然也可以是，当用户选择的业务类型为ba_pa时，那么展示包含全部业务类型统计结果的数据表，但高亮显示ba_pa的统计结果，当用户选择的业务类型为ba_pc和bb_pa时，那么展示包含全部业务类型统计结果的数据表，但高亮显示ba_pc和bb_pa的统计结果。

优选的，按照日期统计结果统一输出到数据库的数据表中。这样该数据表中将包含了所有日期的统计结果，后续在统一页面上获取的数据表也是包含了所有日期的统计结果。

在统一页面上展示统计结果时，可以按照日期来对各业务类型的统计结果进行展示，这样方便用户进行对比，查看各业务类型的统计结果的高峰和低谷情况等。进一步，还可以按照日期对各业务类型的统计结果进行作图表，例如制作成条形图、柱形图、折线图或者散点图等等，这样用户查看起来更加直观，可以对各业务类型的统计结果随时间变化的情况进行直观的判断，例如在什么时间pv和uv处于高峰，在什么时间pv和uv处于低谷，在哪些时候pv和uv处于正常状态，在哪些时候pv和uv处于异常状态。

另外，上述以图表的形式展示统计结果，其是根据用户所选择的业务类型进行展示，即只将用户所选择的业务类型的统计结果以图表的形式进行展示，而对于其他业务类型的统计结果则不以图表的形式进行展示，以节省图表在整个统一页面所占的空间，同时也方便用户查看。

另外，本发明中，还对统计结果中的pv和uv分别设置一个阈值范围(包含上限和下限)，即pv阈值范围和uv阈值范围，当某一业务类型的统计结果中pv超过了pv阈值范围(可以是过高导致超出阈值范围，也可以过低导致超出阈值范围)，则对相应的统计结果进行突出提示，例如以红色标识相应的pv数据，当然也可以是当pv超过了pv阈值范围的上限时，以红色标识相应的pv数据，当pv超过pv阈值范围的下限时，以黄色标识相应的pv数据。对于uv同样可以采取上述方式来进行突出提示，例如当uv超过了uv阈值范围的上限时，以红色标识相应的uv数据，当uv超过uv阈值范围的下限时，以黄色标识相应的uv数据。这样可以提示这些统计结果出现了不正常的情况，应及时进行跟进和处理。

本发明省去了大量重复性代码的开发，大大节约了开发时间，在出现数据异常的时候也方便问题的排查和定位。

不仅如此，通过本发明，对于新增业务线的统计需求，也能够做到快速响应输出报表。例如当新增的业务线时，先对该业务线进行分类，再对其统计页面进行分类，然后获取所需统计的业务类型，最后进行统计即可。

本发明还提供一种电子设备10，如图2所示，其包括：

处理器110，适于实现各指令，以及

存储设备120，适于存储多条指令，所述指令适于由处理器110加载并执行：

对各业务线进行分类；

对每一业务线上的各个统计页面进行分类；

根据业务线的分类结果和统计页面的分类结果确定所需统计的业务类型；

根据所述业务类型进行统计，并将统计结果统一输出到数据库的数据表中。

所述处理器110可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、arm(acornriscmachine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器还可以是任何传统处理器、微处理器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp核、任何其它这种配置。

存储设备120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的适用于数据平台的通用报表实现方法对应的程序指令。处理器通过运行存储在存储设备中的非易失性软件程序、指令以及单元，从而执行适用于数据平台的通用报表实现方法的各种功能应用以及数据处理，即实现上述方法实施例。

关于上述电子设备10的具体技术细节在前面的方法中已有详述，故不再赘述。

本发明还提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行所述的适用于数据平台的通用报表实现方法。

本发明还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使所述处理器执行所述的适用于数据平台的通用报表实现方法。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。