一种流量统计数据获取方法和装置与流程

本发明涉及互联网
技术领域：
，尤其涉及一种流量统计数据获取方法和装置。
背景技术：
：在互联网服务中，需要根据流量统计数据对访问服务情况进行监控。比如获取在某个时间粒度内服务器集群的性能数据和访问数据，然后把这些数据存入数据库，在客户端展示图表，来反应集群化服务的情况。在现有技术中，将每个用户请求的详细信息直接存入数据库，然后通过sql语言查询相应的数据，达到对访问服务情况进行监控的目的；或开发一套性能监控的平台，并提供对外的接口接入应用系统，通过调用这个接口来上报性能数据，监控访问情况。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：1.当访问量即用户请求数量巨大的时候，存储用户请求的详细信息就需要耗费大量的磁盘空间，同时查询效率也大幅度降低。2.开发一套性能监控的平台系统成本巨大。技术实现要素：有鉴于此，本发明实施例提供的一种流量统计数据获取方法和装置，能够按照时间维度将所有响应信息进行聚合处理，得到流量统计数据，降低了统计数据的数据量，同时克服了用户请求数量巨大时需要耗费大量的磁盘空间的技术问题，进而达到提高查询效率、不用高成本的投入也能实现通过获取流量统计数据对访问服务情况进行监控的效果。为实现上述目的，根据本发明实施例的一个方面，提供了一种流量统计数据获取方法，包括：获取与用户请求对应的响应信息，所述响应信息包括：接收时刻；根据每个响应信息中的接收时刻，将所有的响应信息划分为n个数据组，n为正整数；对每个所述数据组内的所有响应信息进行聚合处理，得到所述数据组的响应数据；基于每个所述数据组的响应数据，获取流量统计数据。可选地，所述响应信息包括：响应用户请求的节点标识；对每个所述数据组内的所有响应信息进行聚合处理包括：针对每个所述数据组：按照响应信息的节点标识，将所述数据组内的所有响应信息划分为m个节点信息组，m为正整数；对每个所述节点信息组内的所有响应信息进行聚合处理。可选地，所述响应信息还包括以下至少一种：响应时间、响应结果；所述聚合处理包括以下至少一种：根据每个所述响应信息的响应时间，获取待聚合处理组中响应信息的平均响应时间，以所述平均响应时间作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应时间，获取待聚合处理组中响应时间的第p百分位数，p∈(0,100]；以所述响应时间的第p百分位数作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应结果的结果类型，获取待聚合处理组中各结果类型的占比；以所述各结果类型的占比作为所述待聚合处理组的响应数据。可选地，获取用户请求对应的响应信息之后还包括：获取响应信息的数量；所述流量统计数据还包括：响应信息的数量。可选地，所述响应信息包括：响应于用户请求的第一响应信息，以及修补用户请求的第二响应信息。为实现上述目的，根据本发明实施例的另一方面，提供了一种流量统计数据获取的装置，包括：数据获取模块、数据分组模块、聚合处理模块、流量统计模块；所述数据获取模块，用于获取与用户请求对应的响应信息，所述响应信息包括：接收时刻；所述数据分组模块，用于根据每个响应信息中的接收时刻，将所有的响应信息划分为n个数据组，n为正整数；所述聚合处理模块，用于对每个所述数据组内的所有响应信息进行聚合处理，得到所述数据组的响应数据；所述流量统计模块，用于基于每个所述数据组的响应数据，获取流量统计数据。可选地，所述数据获取模块还用于：获取响应用户请求的节点标识；所述数据分组模块还用于：针对每个所述数据组：按照响应信息的节点标识，将所述数据组内的所有响应信息划分为m个节点信息组，m为正整数；所述聚合处理模块还用于：对每个所述节点信息组内的所有响应信息进行聚合处理。可选地，所述响应信息还包括以下至少一种：响应时间、响应结果；所述聚合处理模块用于以下至少一种情况：根据每个所述响应信息的响应时间，获取待聚合处理组中响应信息的平均响应时间，以所述平均响应时间作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应时间，获取待聚合处理组中响应时间的第p百分位数，p∈(0,100]；以所述响应时间的第p百分位数作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应结果的结果类型，获取待聚合处理组中各结果类型的占比；以所述各结果类型的占比作为所述待聚合处理组的响应数据。可选地，所述数据获取模块用于：获取响应信息的数量；所述流量统计数据还包括：响应信息的数量。为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的流量统计数据获取方法。为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的流量统计数据获取方法。上述发明中的一个实施例具有如下优点或有益效果：本发明实施例中按照时间维度将所有响应信息进行聚合处理，得到流量统计数据，降低了统计数据的数据量，同时克服了用户请求数量巨大时需要耗费大量的磁盘空间的技术问题，进而达到提高查询效率、不用高成本的投入也能实现通过获取流量统计数据对访问服务情况进行监控的效果。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本发明，不构成对本发明的不当限定。其中：图1是根据本发明实施例的流量统计数据获取方法的基本流程的示意图；图2是根据本发明实施例的流量统计数据获取方法的优选流程的示意图；图3是根据本发明实施例的流量统计数据获取装置的基本组成部分的示意图；图4是本发明实施例可以应用于其中的示例性系统架构图；图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本发明实施例的流量统计数据获取方法的基本流程的示意图。如图1所示，一种流量统计数据获取方法，可以包括：步骤s101获取与用户请求对应的响应信息，所述响应信息包括：接收时刻；步骤s102根据每个响应信息中的接收时刻，将所有的响应信息划分为n个数据组，n为正整数；步骤s103对每个所述数据组内的所有响应信息进行聚合处理，得到所述数据组的响应数据；步骤s104基于每个所述数据组的响应数据，获取流量统计数据。其中，接收时刻即为接收用户请求的时刻。每个数据组中响应信息的最早的接收时刻与最晚的接收时刻之间的时间跨度代表该数据组的时间长度，各个数据组对应的时间长度可以不同。聚合处理指将p个数据信息聚合为q个数据信息的过程，其中，p、q皆为正整数，且p>q。本发明实施例中按照时间维度将所有响应信息进行聚合处理，得到流量统计数据，既能反映该时间段的用户访问情况，又降低了统计数据的数据量，进而达到提高查询效率、不用高成本的投入也能实现通过获取流量统计数据对访问服务情况进行监控的效果。本发明实施例中，所述响应信息包括：响应用户请求的节点标识；对每个所述数据组内的所有响应信息进行聚合处理包括：针对每个所述数据组：按照响应信息的节点标识，将所述数据组内的所有响应信息划分为m个节点信息组，m为正整数；对每个所述节点信息组内的所有响应信息进行聚合处理。本发明实施例中将属于同一节点的响应信息进行聚合处理，可以得到该节点的流量统计数据，可以反映该节点在某一时间段的用户访问情况，实现了数据量的压缩，节省了磁盘空间，同时也提高查询效率。本发明实施例中，所述响应信息还包括以下至少一种：响应时间、响应结果。其中，响应时间可以是用户发出请求或接收用户请求到响应用户请求的时间。为了便于对各种响应结果进行分析，可以划分响应结果的类型。响应结果的类型可以根据实际应用场景进行适应性地设置，例如根据响应结果的正确与否将响应结果的类型划分为正确、错误等结果类型，再例如根据响应结果的结果内容、按照预设的划分规则将响应结果划分为多个类别，本发明对划分响应结果的类型的方式不做具体限定。所述聚合处理包括以下至少一种：根据每个所述响应信息的响应时间，获取待聚合处理组中响应信息的平均响应时间，以所述平均响应时间作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应时间，获取待聚合处理组中响应时间的第p百分位数，p∈(0,100]；以所述响应时间的第p百分位数作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应结果的结果类型，获取待聚合处理组中各结果类型的占比；以所述各结果类型的占比作为所述待聚合处理组的响应数据。其中，待聚合处理组可以包括数据组、节点信息组。第p百分位数可表示为：一组n个数值大小排列后处于p％位置的值称为第p百分位数，n为正整数。第p百分位数计算过程可以但不限于如下过程：(1)以递增顺序排列原始数据，即按数值从小到大排列；(2)指数i＝n·p％；(3)若i非整数，将i向上取整，大于i的毗邻整数即为第p百分位数的位置；若i是整数，则第p百分位数是第i项与第i+1项数值的平均值。本发明实施例通过对数据进行聚合处理，可以压缩数据量，降低统计数据的数据量，进而节省了磁盘空间，提高了查询效率。本发明实施例中，获取用户请求对应的响应信息之后还包括：获取响应信息的数量；所述流量统计数据还包括：响应信息的数量。本发明实施例通过对响应信息数量的统计，可以达到有效监控访问服务情况的目的。本发明实施例中，所述响应信息包括：响应于用户请求的第一响应信息，以及修补用户请求的第二响应信息。其中，响应于用户请求的第一响应信息是指接收到用户请求后的正常的响应信息；修补用户请求的第二响应信息可以包括未及时响应用户请求的响应信息、未统计入第一响应信息的遗漏的响应信息、修正原响应信息中的错误内容的响应信息等。另外，第二响应信息与第一响应信息可以融合在一起进行聚合处理得到响应数据，然后根据响应数据，获取流量统计数据；或者，第二响应信息与第一响应信息分别进行聚合处理，分别得到响应数据后，根据两者的响应数据，汇总获取流量统计数据；或者，第二响应信息与第一响应信息分别进行聚合处理、获取各自的流量统计数据之后，再汇总确定最终的流量统计数据。本发明实施例考虑到了有遗漏、错误的响应信息等情况，可以使流量统计数据更为准确。图2是根据本发明实施例的流量统计数据获取方法的优选流程的示意图。如图2所示，获取第一响应信息并写入无序管道中，然后通过排序程序按照时间粒度根据每个第一响应信息的接收时刻，将所有的第一响应信息划分为n个数据组，各数据组的时间段之间可以是前后衔接的，将各数据组按时间排序后写入有序管道；通过聚合程序对有序管道中的数据组内的所有响应信息进行聚合处理，得到数据组的响应数据；基于每个所述数据组的响应数据，获取流量统计数据，将该流量统计数据存入数据库中。也可以针对每个所述数据组，按照第一响应信息的节点标识，将所述数据组内的所有第一响应信息划分为m个节点信息组，各节点信息组的时间段之间可以是前后衔接的，将各节点信息组按时间排序后写入有序管道；通过聚合程序对有序管道中的节点信息组内的第一响应信息进行聚合处理，得到所述数据组的响应数据；基于每个所述数据组的响应数据，获取流量统计数据，将该流量统计数据存入数据库中。获取第二响应信息并写入修复管道；根据第二响应信息的接收用户请求时刻或响应用户请求的节点标识获取流量统计数据，通过修复程序重新聚合汇总，根据第二响应信息、响应数据得到新的响应数据。客户端可以从数据库中获取流量统计数据并通过图表的形式展示。以集群化服务为例，获取集群中的与用户请求对应的响应信息，写入无序管道中；其中，响应信息包括：响应用户请求的节点标识、接收时刻、响应时间、响应结果。其中，节点标识用来表明节点的身份，节点标识可以但不限于是ip地址。写入无序管道的响应信息，如表所示：根据所述接收时刻，通过排序程序，将响应信息写入有序管道。在排序时会有多个线程，每个线程负责一个节点，比如负责节点2的线程先扫描节点2的第一条响应信息，并将该响应信息写入有序管道，当扫描到节点2第二条时，发现已经到了02分钟，但是其他线程(负责节点1的线程)还在01分钟，那么负责节点2的线程就等待，等到其他线程都完成01分钟的排序之后，再开始把02分钟数据发送到有序管道。将属于12:01:00-12:01:59的响应信息分作一个数据组a，数据组a的响应信息，如表所示：将数据组a中的响应信息通过聚合程序进行聚合处理，得到12:01:00-12:01:59时间段的响应数据a，并存入数据库中。响应数据a包括：12:01:00-12:01:59，响应信息的数量9，平均响应时间150ms，响应结果正确率66.7％，响应时间的第80百分位数200ms。在数据组a的响应信息中，将节点1的响应信息分作一个节点信息组b，节点信息组b的响应信息，如表所示：节点标识接收时刻响应时间响应结果节点112:01:16200ms正确节点112:01:45100ms错误将节点信息组b的所有响应信息通过聚合程序进行聚合处理，得到12:01:00-12:01:59时间段节点1的响应数据b，并存入数据库中。b包括：12:01:00-12:01:59，响应信息的数量2，平均响应时间150ms，响应结果正确率50％，响应时间的第80百分位数200ms。在13:05:06发现，在12:01:00-12:01:59时间段内有一条响应信息“节点1-12:01:24-300ms-正确”，没有录入到数据组a中。将第二响应信息“节点1-12:01:24-300ms-正确”也写入修复管道中，响应数据a、第二响应信息通过修复程序得到新的响应数据c，存入数据库中。响应数据c包括：12:01:00-12:01:59，响应信息的数量10，平均响应时间165ms，响应结果正确率70％，响应时间的第80百分位数250ms。图3是根据本发明实施例的流量统计数据获取装置的基本组成部分的示意图。如图3所示，本发明实施例提供了一种流量统计数据获取的装置300，包括：数据获取模块301、数据分组模块302、聚合处理模块303、流量统计模块304；所述数据获取模块301，用于获取与用户请求对应的响应信息，所述响应信息包括：接收时刻；所述数据分组模块302，用于根据每个响应信息中的接收时刻，将所有的响应信息划分为n个数据组，n为正整数；所述聚合处理模块303，用于对每个所述数据组内的所有响应信息进行聚合处理，得到所述数据组的响应数据；所述流量统计模块304，用于基于每个所述数据组的响应数据，获取流量统计数据。本发明实施例中按照时间维度将所有响应信息进行聚合处理，得到流量统计数据，既能反映该时间段的用户访问情况，又降低了统计数据的数据量，进而达到提高查询效率、不用高成本的投入也能实现通过获取流量统计数据对访问服务情况进行监控的效果。本发明实施例中，所述数据获取模块301还用于：获取响应用户请求的节点标识；所述数据分组模块302还用于：针对每个所述数据组：按照响应信息的节点标识，将所述数据组内的所有响应信息划分为m个节点信息组，m为正整数；所述聚合处理模块303还用于：对每个所述节点信息组内的所有响应信息进行聚合处理。本发明实施例中将属于同一节点的响应信息进行聚合处理，可以得到该节点的流量统计数据，可以反映该节点在某一时间段的用户访问情况，实现了数据量的压缩，节省了磁盘空间，同时也提高查询效率。本发明实施例中，所述响应信息还包括以下至少一种：响应时间、响应结果。所述聚合处理模块303用于以下至少一种情况：根据每个所述响应信息的响应时间，获取待聚合处理组中响应信息的平均响应时间，以所述平均响应时间作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应时间，获取待聚合处理组中响应时间的第p百分位数，p∈(0,100]；以所述响应时间的第p百分位数作为所述待聚合处理组的响应数据；根据每个所述响应信息的响应结果的结果类型，获取待聚合处理组中各结果类型的占比；以所述各结果类型的占比作为所述待聚合处理组的响应数据。本发明实施例通过对数据进行聚合处理，可以压缩数据量，降低统计数据的数据量，进而节省了磁盘空间，提高了查询效率。本发明实施例中，所述数据获取模块301用于：获取响应信息的数量；所述流量统计数据还包括：响应信息的数量。本发明实施例通过对响应信息数量的统计，可以达到有效监控访问服务情况的目的。本发明实施例中，所述响应信息包括：响应于用户请求的第一响应信息，以及修补用户请求的第二响应信息。本发明实施例考虑到了有遗漏、错误的响应信息等情况，可以使流量统计数据更为准确。图4示出了可以应用本发明实施例的流量统计数据获取方法或流量统计数据获取装置的示例性系统架构400。如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。需要说明的是，本发明实施例所提供的流量统计数据获取方法一般由服务器405执行，相应地，流量统计数据获取装置一般设置于服务器405中。应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。根据本发明的实施例，本发明还提供了一种电子设备和一种可读存储介质。本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的流量统计数据获取方法。本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的流量统计数据获取方法。下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，数据获取模块、数据分组模块、聚合处理模块、流量统计模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块；还可以被描述为“获取与用户请求对应的响应信息的模块”。作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤s101获取与用户请求对应的响应信息，所述响应信息包括：接收时刻；步骤s102根据每个响应信息的接收时刻，将所有的响应信息划分为n个数据组，n为正整数；步骤s103对每个所述数据组内的所有响应信息进行聚合处理，得到所述数据组的响应数据；步骤s104基于每个所述数据组的响应数据，获取流量统计数据。根据本发明实施例的技术方案，能够按照时间维度将所有响应信息进行聚合处理，得到流量统计数据，降低了统计数据的数据量，压缩了数据量，同时克服了用户请求数量巨大时需要耗费大量的磁盘空间的技术问题，进而达到提高查询效率、不用高成本的投入也能实现通过获取流量统计数据对访问服务情况进行监控的有益效果。上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。当前第1页12