报表数据查询方法及服务器与流程

文档序号:15445806发布日期:2018-09-14 23:20阅读:236来源:国知局
本发明属于数据处理
技术领域
:,尤其涉及报表数据查询方法及服务器。
背景技术
::目前的报表大部分都是离线数据,一般当天展示前一天的报表数据。而随着业务前端的营销活动的不断开展,越来越多的销售及领导希望准实时了解当前营销活动的销售情况,从而能够及时调整管理战略方案。因此传统的离线模式显然满足不了当前这种需求。发明人在实现本发明的过程中发现现有技术至少存在以下不足:传统的报表数据展示方案只能支持一个数据报表的实时同步,而且数据丢失后重复消费容易出问题,加上报表层面的业务口径非常复杂,导致无法实现多种报表数据的同步,进而导致无法对所需的报表数据进行实时查询。技术实现要素:有鉴于此,本发明实施例提供了报表数据查询方法及服务器,以解决现有技术中报表数据同步实现困难导致无法实时查询的问题。本发明实施例的第一方面提供了一种报表数据查询方法,包括:搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中;获取用户输入的查询请求,所述查询请求包括查询起止时间和用户;从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。可选的,所述搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,包括:建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝所述目标数据库标识,所述目标数据库为hbase数据库;在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识;根据已拷贝所述目标数据库标识的第一目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。可选的,所述获取用户输入的查询请求,包括:获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入java代码,并通过phoenix封装好的jdbc调用所述java代码。可选的,通过java的quartz设置所述查询起止时间。可选的,所述查询请求还包括任务主题和任务状态;所述将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,包括:将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。本发明实施例的第二方面提供了一种服务器,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中;获取用户输入的查询请求,所述查询请求包括查询起止时间和用户;从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。可选的,所述搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,包括:建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝所述目标数据库标识,所述目标数据库为hbase数据库;在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识;根据已拷贝所述目标数据库标识的第一目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。可选的,所述获取用户输入的查询请求,包括:获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入java代码,并通过phoenix封装好的jdbc调用所述java代码。可选的,通过java的quartz设置所述查询起止时间。可选的,所述查询请求还包括任务主题和任务状态;所述将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,包括:将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述报表数据查询方法的步骤。本发明实施例与现有技术相比存在的有益效果是:本发明实施例,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,并获取用户输入的查询请求,然后从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,从而能够实现将报表数据实时同步到目标数据库,再根据查询请求对相应的业务数据进行处理生成报表,以供相关责任人实时了解业务情况,实现对业务数据的实时查询。附图说明为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例提供的报表数据查询方法的流程图;图2是图1中步骤s101的实现流程图;图3是本发明实施例提供的报表界面;图4是本发明实施例提供的报表数据查询程序的运行环境示意图;图5是本发明实施例提供的报表数据查询程序的程序模块图。具体实施方式以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。传统的流式计算kafka和sparkstreaming一般应用于比较简单的场景,比如日志的解析,页面点击量的累加,这些指标都是业务逻辑简单,而新渠道电销的场景,业务需要统计的指标复杂,各种限制条件,还涉及到更新的场景,一个订单有一系列的订单状态,采用传统的流式计算对业务场景的判断非常复杂。本发明各个实施例中,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,并获取用户输入的查询请求,然后从所述目标数据库中获取与所述查询请求对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,从而实现对报表数据的实时获取和查询。为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。实施例一图1示出了本发明实施例一提供的报表数据查询方法的实现流程,详述如下:步骤s101,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中。goldengate是一种基于日志的结构化数据复制方式,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。可选的,参见图2,步骤s101可以通过以下过程实现:步骤s201,建立大数据链路虚拟机,在所述大数据链路虚拟机的第一目录下拷贝所述目标数据库的标识,所述目标数据库为hbase数据库,。其中,所述目标数据库的标识可以为所述目标数据库的名称或所述目标数据库的网络地址,对此不做限定,能够使得大数据链路虚拟机与所述目标数据库建立连接即可。其中,所述第一目录可以为大数据链路虚拟机的$home目录;第二目录可以为大数据链路虚拟机的$ggs_home目录。例如,在大数据链路虚拟机的$home目录下,可以通过“cp-rhbase_confighbase_config目标数据库的标识”指令来实现在所述大数据链路虚拟机的$home目录下拷贝所述目标数据库的标识。hbase数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用hbase技术可在廉价计算机服务器上搭建起大规模结构化存储集群。hbase是googlebigtable的开源实现,hbase利用hadoophdfs作为其文件存储系统,利用hadoopmapreduce来处理hbase中的海量数据。另外,在所述大数据链路虚拟机的$home目录下拷贝所述目标数据库的标识之后,还包括:将所述hbase数据库的配置文件hbase-site.xml放到所述大数据链路虚拟机的$home目录下。例如,可以通过“cdhbase_config_hbase-site.xml”指令将hbase数据库的配置文件hbase-site.xml拷贝到所述大数据链路虚拟机的$home目录下。步骤s202,在所述大数据链路虚拟机的第二目录下拷贝报表数据采集系统标识。其中,报表数据采集系统标识为能够采集报表所需数据的系统的标识。在一个应用场景中,采集报表所需数据的系统可以为安装在业务人员个人电脑中的业务系统,该业务系统可以采集业务人员输入的业务数据;对应的,报表数据采集系统标识则可以为各个业务系统的网络地址,例如为各个业务人员个人电脑的网络地址。在另一个应用场景中,采集报表所需数据的系统可以为安装在业务人员智能终端中的业务系统,该业务系统可以采集业务人员输入的业务数据;对应的,报表数据采集系统标识则可以为各个业务系统的网络地址,例如为各个业务人员智能终端的网络地址。其中,智能终端包括但不限于智能手机、平板电脑等。步骤s203,根据已拷贝所述目标数据库标识的第一目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。一个实施例中,可以修改所述大数据链路虚拟机中的gg.classpath,并使用步骤s201中创建的$home目录替换gg.classpath中的相关部分内容。例如,使用步骤s201中创建的$home目录替换如下字体加粗部分内容:gg.classpath=$java_home/jre:$ggs_home/ggjava/ggjava.jar:$ggs_home/dirprm:/wls/ggadm/hbase/lib/*:/wls/ggadm/hbase_config_patnrt。可以理解的,在步骤s201至步骤s203中,通过大数据链路虚拟机建立报表数据采集系统到目标数据库的数据传输路径,然后可以根据用户输入的查询请求实时的获取报表数据进行查询,相关内容在此不再详述,再步骤s102和步骤s103中再详述。另外,在步骤s203之前,步骤s101还可以包括:修改mgr端口,使用一个未被占用的端口替换该mgr端口;在步骤s203之后,步骤s101还可以包括:启动mgr进程,检测mgr进程状态是否正常,若正常则完成报表数据同步链路的搭建,否则进行重复上述步骤。步骤s102,获取用户输入的查询请求,所述查询请求包括查询起止时间和用户。其中,所述用户可以为一个具体的业务人员,也可以为完成同一个项目的团队,或者为有其他目的组建的团队,例如一个部门,对此不做限制。另外,所述查询请求中可以包括至少一个查询起止时间和至少一个用户。每个所述查询起止时间至少对应一个所述用户,每个所述用户至少对应一个所述查询起止时间。需要说明的是,若用户输入的用户为空,则可以表征需要查询在查询起止时间内所有业务人员的业务数据;若用户输入的查询起止时间为空,则可以表征需要查询在当前时间之前的某个业务人员的所有业务数据。作为一种可实施方式,所述获取用户输入的查询请求包括:获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入java代码,并通过phoenix封装好的jdbc调用所述java代码。可以理解的,业务需要实现实时统计,但是由于这些业务数据所在的业务系统为保证日常坐席的销售,特定时间(例如白天)是不允许统计类的sql大量占用资源的,而采用传统的方法会有大量的逻辑是在判断字段的状态上面,占用大量资源,而本实施例中只需要把sql语句写入java代码,通过phoenix封装好的jdbc调用所述java代码,即可完成任务,能够大大节省资源。可选的,可以通过java的quartz设置所述查询起止时间。例如,设置为每隔预设时间,查询一次用户的业务数据。一种应用场景中,可以通过java的quartz设置查询起止时间为每隔十分钟查询一次,例如每隔十分钟查询一次当天的业务数据,或每隔十分钟查询一次某个项目的业务数据。当然,在其他应用场景中,还可以每隔五分钟查询一次用户的业务数据,或每隔十五分钟查询一次用户的业务数据,对此不予限制。作为一种应用场景,在接收到用户输入的查询请求后,根据查询请求的要求每隔预设时间,查询一次用户的业务数据,可以通过步骤s101建立的报表数据同步链路,实时获取相应业务责任人在相应时间段内的业务数据,并保存到目标数据库中。步骤s103,从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。其中,所述预设的文件格式可以为包含图表和/或数据的文件格式,该图表和/或数据为将获取到的报表数据进行数据处理后得到的,通过预设的文件格式能够将处理后的结果直观的显示给用户。例如,预设的文件格式可以为包含图表和/或数据的excel文件,通过excel文件能够将处理后的结果直观的显示给用户;预设的文件格式也可以为包含图表和/或数据的word文件,通过word文件能够将处理后的结果直观的显示给用户;预设的文件格式还可以为包含图表和/或数据的其他文件格式,以达到处理后的结果直观的显示给用户的目的,对此不予限制。其中,所述查询请求还包括任务主题和任务状态。对应的,步骤s103中所述的将获取到的报表数据进行数据处理后通过预设的文件格式输出报表包括:将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。本实施例中,任务主题可以包括断点、ib咨询、服务、综金销售、保险销售和售后等内容,任务状态可以包括已处理、系统关闭、改约、协办等内容。一个应用场景中,查询起止时间以当天时间为例,用户以部门为例,该部门中包括多个业务人员,任务主题以包括断点、ib咨询、服务、综金销售、保险销售和售后等内容为例,任务状态以包括已处理、系统关闭、改约、协办等内容为例,在从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据后,将获取到的报表数据按照任务主题和任务状态,并结合部门中的各个业务人员,进行分类统计分析,生成预设的文件格式的报表,参见图3。在该报表中包括在查询日当天,各个业务人员的任务完成率、整个部门的任务完成率、整个部门的任务总量和已完成任务量、每个业务人员的具体任务主题对应的任务量和已完成任务量以及各个任务的任务状态情况。以上信息在报表中的具体展现形式可以根据实际需要进行设计,例如可以为图表形式的报表,或为数据表格形式的报表等。通过将当天的部门整体的业务数据和各个业务人员的业务数据以报表的形式展现出来,部门负责人能够根据报表直观、快速地获知部门当天的业务完成情况。另一个应用场景中,查询起止时间以项目起始日至当前时间为例,用户以完成同一个项目的团队为例,项目分割为多个任务,该团队中包括多个业务人员,任务主题以包括开发、销售和售后等内容为例,任务状态以包括处理中、已完成等内容为例,在从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据后,将获取到的报表数据按照任务主题和任务状态,并结合团队中的各个业务人员,进行分类统计分析,生成报表。在该报表中包括该团队中各个业务人员的任务完成率、整个团队的项目完成率、每个业务人员的具体任务主题对应的任务量和已完成任务量以及各个任务的任务状态情况。以上信息在报表中的具体展现形式可以根据实际需要进行设计,例如可以为图表形式的报表,或为数据表格形式的报表等。通过将团队整体的业务数据和各个业务人员的业务数据以报表的形式展现出来,团队负责人能够根据报表直观、快速地获知项目的当前进度。上述报表数据查询方法,搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中,并获取用户输入的查询请求,然后从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表,从而能够实现将报表数据实时同步到目标数据库,再根据查询请求对相应的业务数据进行处理生成报表,以供相关责任人实时了解业务情况,实现对业务数据的实时查询。应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。实施例二对应于上文实施例所述的报表数据查询方法,图4示出了本发明实施例提供的报表数据查询程序的运行环境示意图。为了便于说明,仅示出了与本实施例相关的部分。在本实施例中,所述的报表数据查询程序400安装并运行于服务器40中。该服务器40可包括,但不仅限于,存储器401和处理器402。图5仅示出了具有组件401-402的服务器40,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。所述存储器401在一些实施例中可以是所述服务器40的内部存储单元,例如该服务器40的硬盘或内存。所述存储器401在另一些实施例中也可以是所述服务器40的外部存储设备,例如所述服务器40上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,所述存储器401还可以既包括所述终端设备40的内部存储单元也包括外部存储设备。所述存储器401用于存储安装于所述服务器40的应用软件及各类数据,例如所述报表数据查询程序400的程序代码等。所述存储器401还可以用于暂时地存储已经输出或者将要输出的数据。所述处理器402在一些实施例中可以是一中央处理器(centralprocessingunit,cpu),微处理器或其他数据处理芯片,用于运行所述存储器401中存储的程序代码或处理数据,例如执行所述报表数据查询程序400等。该服务器40还可包括显示器,所述显示器在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。请参阅图5,是本发明实施例提供的报表数据查询程序400的程序模块图。在本实施例中,所述的报表数据查询程序400可以被分割成一个或多个模块,所述一个或者多个模块被存储于所述存储器401中,并由一个或多个处理器(本实施例为所述处理器402)所执行,以完成本发明。例如,在图5中,所述的报表数据查询程序400可以被分割成链路搭建模块501、查询请求获取模块502和报表数据处理模块503。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段,比程序更适合于描述所述报表数据查询程序400在所述服务器40中的执行过程。以下描述将具体介绍所述模块501-503的功能。其中,链路搭建模块501,用于搭建报表数据同步链路,通过goldengate方式将报表数据实时同步到目标数据库中。查询请求获取模块502,用于获取用户输入的查询请求,所述查询请求包括查询起止时间和用户。报表数据处理模块503,用于从所述目标数据库中获取与所述查询起止时间和所述用户对应的报表数据,并将获取到的报表数据进行数据处理后通过预设的文件格式输出报表。作为一种可实施方式,链路搭建模块501具体用于:建立大数据链路虚拟机,在所述大数据链路虚拟机的$home目录下拷贝所述目标数据库标识,所述目标数据库为hbase数据库;在所述大数据链路虚拟机的$ggs_home目录下拷贝报表数据采集系统标识;根据已拷贝所述目标数据库标识的$home目录,修改所述大数据链路虚拟机中到所述目标数据库的连接配置。作为另一种可实施方式,查询请求获取模块502具体用于:获取用户输入的查询请求,将所述查询请求转换为sql查询语句,并将所述sql查询语句写入java代码,并通过phoenix封装好的jdbc调用所述java代码。可选的,通过java的quartz设置所述查询起止时间。进一步的,报表数据处理模块503具体用于:将获取到的报表数据按照所述任务主题和所述任务状态,进行分类统计分析,并将分类统计分析结果按照各个所述用户生成所述报表。在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1