网络带宽统计方法及装置与流程

本发明涉及内容分发网络领域，特别是涉及一种网络带宽统计方法及装置。

背景技术：

内容分发网络(Content Delivery Network，CDN)，通过在网络各处放置缓存服务器，在现有的互联网基础之上构建一层智能虚拟网络，将网站的内容发布到最接近用户的网络“边缘”，使用户可以就近取得所需的内容，以缓解网络拥挤的状况，提高网站的响应速度，从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因，导致用户访问网站的响应速度慢的问题。

为了对数量众多的缓存服务器上应用服务的使用情况进行监控，需要对相应的日志文件进行统计分析，以得到对应的带宽统计结果。

但是，现有的CDN网络的带宽统计方法，存在着准确性低的问题。

技术实现要素：

本发明实施例解决的问题是如何提高CDN网络带宽统计的准确性。

为解决上述问题，本发明实施例提供了一种网络带宽统计方法，所述方法包括：对所获取的当前日志解析周期内产生的日志文件进行遍历；获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息，并计算得到遍历到的日志文件对应的网络总带宽；当确定所述日志访问持续时间小于或等于预设的日志解析周期时，将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽；当确定所述日志访问持续时间大于预设的日志解析周期时，将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，得到遍历到的日志文件在当前日志解析周期内的网络带宽；将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加，得到当前日志解析周期的网络带宽的信息。

可选地，所述对所获取的当前日志解析周期内产生的日志文件进行遍历，包括：从当前日志解析周期内产生的日志文件中筛选出合法的日志文件，并对筛选出的合法的日志文件进行遍历。

可选地，所述从当前日志解析周期内产生的日志文件中筛选出合法的日志文件，包括：对当前日志解析周期内产生的全部日志文件进行逐条遍历，获取遍历到的日志文件的字段数；当确定遍历到的日志文件的字段数等于预设的数值时，获取遍历到的日志文件的域名字段中的域名信息；当确定遍历到的日志文件的域名合法时，确定遍历到的日志文件为合法的日志文件。

可选地，所述方法还包括：当达到对应的带宽汇总周期时，将对应的一个以上的日志分析周期的网络带宽进行汇总，生成对应的网络带宽统计文件。

可选地，所述方法还包括：将生成的网络带宽统计文件发送至对应的中心服务器。

可选地，所述将生成的网络带宽统计文件发送至对应的中心服务器，包括：获取所述带宽统计文件对应的域名的信息；根据所获取的域名的信息，解析得到对应的IP地址的信息；将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。

可选地，所述方法还包括：当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时，判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值；当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时，重新执行将生成的网络带宽统计文件发送至对应的中心服务器操作，直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器，或者将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值。

可选地，所述日志解析周期和带宽汇总周期为根据网络带宽统计需要分别进行设置。

本发明实施例还提供了一种网络带宽统计装置，所述装置包括：第一计算单元，适于对所获取的当前日志解析周期内产生的日志文件进行遍历；获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息，并计算得到遍历到的日志文件对应的网络总带宽；第一判断单元，适于判断所述日志访问持续时间是否大于预设的日志解析周期；带宽分配单元，适于当确定所述日志访问持续时间小于或等于预设的日志解析周期时，将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽；当确定所述日志访问持续时间大于预设的日志解析周期时，将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，得到遍历到的日志文件在当前日志解析周期内的网络带宽；第二计算单元，适于将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加，得到当前日志解析周期的网络带宽的信息。

可选地，所述第一计算单元，适于从当前日志解析周期内产生的日志文件中筛选出合法的日志文件，并对筛选出的合法的日志文件进行遍历。

可选地，所述第一计算单元，适于对当前日志解析周期内产生的全部日志文件进行逐条遍历，获取遍历到的日志文件的字段数；当确定遍历到的日志文件的字段数等于预设的数值时，获取遍历到的日志文件的域名字段中的域名信息；当确定遍历到的日志文件的域名合法时，确定遍历到的日志文件为合法的日志文件。

可选地，所述装置还包括：带宽汇总单元，适于当达到对应的带宽汇总周期时，将对应的一个以上的日志分析周期的网络带宽进行汇总，生成对应的网络带宽统计文件。

可选地，所述装置还包括：发送单元，适于将生成的网络带宽统计文件发送至对应的中心服务器。

可选地，所述发送单元，适于获取所述带宽统计文件对应的域名的信息；根据所获取的域名的信息，解析得到对应的IP地址的信息；将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。

可选地，所述装置还包括：第二判断单元，适于当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时，判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值；所述发送单元，还适于当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时，重新执行将生成的网络带宽统计文件发送至对应的中心服务器操作，直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器，或者将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值。

可选地，所述日志解析周期和带宽汇总周期为根据网络带宽统计需要分别进行设置。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，在遍历到的日志文件的日志访问持续时间大于预设的日志解析周期时，将对应的网络总带宽平均分配至日志访问持续时间所属的多个日志解析周期，而非将对应的网络总带宽全部作为日志访问持续时间的结束时间点所在的日志解析周期，因而可以提高网络带宽统计的准确性。

进一步地，在对相应日志解析周期内的日志文件进行分析时，通过从相应带日志解析周期内的日志文件筛选出合法的日志文件，并对筛选出的合法的日志文件进行分析，得到对应的网络带宽统计结果，可以滤除错误的日志文件对于带宽统计结果的影响，可以进一步提高网络带宽统计的准确性。

进一步地，当生成对应的带宽统计文件时，将所生成的带宽统计文件自动上传至对应的中心服务器，可以提高带宽文件上传的效率，提升用户的体验。

进一步地，根据应用服务提供商的不同需求，为不同的缓存服务器设置不同的日志分析周期，而不是所有缓存服务器均按照固定的日志分析周期进行网络带宽统计，可以满足应用服务提供商对于日志解析周期的不同需求，因而可以提高网络带宽统计的灵活性，提升用户的使用体验。

附图说明

图1是本发明实施例中的一种网络带宽统计方法的流程图；

图2是本发明实施例中的另一种网络带宽统计方法的流程图；

图3是本发明实施例中的带宽统计文件的上传方法的流程图；

图4是本发明实施例中的一种网络带宽统计装置的结构示意图。

具体实施方式

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过在确定日志文件的日志访问持续时间大于预设的日志解析周期时，将对应的网络总带宽平均分配至日志访问持续时间所属的多个日志解析周期，可以提高网络带宽统计的准确性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1示出了本发明实施例中的一种网络带宽统计方法的流程图。参见图1，在具体实施中，本发明实施例中的网络带宽统计方法，可以包括如下的步骤：

步骤S101：对所获取的当前日志解析周期内产生的日志文件进行遍历。

在具体实施中，可以按照日志文件的产生时间的先后顺序，对当前日志解析周期内产生的日志文件进行逐一遍历。

步骤S102：获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息，并计算得到遍历到的日志文件对应的网络总带宽。

在具体实施中，可以通过对日志文件的字段的内容进行解析，便可以得到对应的数据传输量和日志访问持续时间的信息，再将对应的数据传输量除以日志访问持续时间，便可以计算得到遍历到的日志文件对应的网络总带宽的信息。

步骤S103：判断所述日志访问持续时间是否大于所述日志解析周期；当判断结果为是时，可以执行步骤S104；反之，可以执行步骤S105。

在具体实施中，通过解析得到的日志访问持续时间是由用户的实际访问行为产生的，各条日志文件解析得到的日志访问持续时间可能不尽相同。其中，通过解析得到日志访问持续时间或者大于对应的日志解析周期，或者等于对应的日志解析周期，或者小于对应的日志解析周期。

步骤S104：将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，得到遍历到的日志文件在当前日志解析周期内的网络带宽。

在具体实施中，当确定解析得到的日志访问持续时间大于对应的日志解析周期时，可以将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，以提高网络带宽统计的准确性。

步骤S105：将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽。

在具体实施中，当确定日志访问持续时间小于或等于对应的日志解析周期时，表明该条日志文件对应的资源文件访问行为均发生在一个日志解析中周期内，因而可以将计算得到的网络总带宽全部分配至所述日志访问持续时间的结束时间点所在的日志解析周期对应的网络带宽。

步骤S106：将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加，得到当前日志解析周期的网络带宽统计结果的信息。

在具体实施中，当计算得到当前日志解析周期产生的日志文件在当前日志解析周期的网络带宽时，可以将筛选出的合法的日志文件在当前日志解析周期的网络带宽进行相加，便可以得到当前日志解析周期的网络带宽的信息。

采用上述实施例中的方案，通过在遍历到的日志文件的日志访问持续时间大于预设的日志解析周期时，将对应的网络总带宽平均分配至日志访问持续时间所属的多个日志解析周期，因而可以提高网络带宽统计的准确性。

在具体实施中，为了进一步提高网络带宽统计的准确性，本发明实施例中的网络带宽统计方法可以首先从对应日志解析周期内产生的日志文件中筛选出合法的日志文件，并对合法的日志文件进行解析，以得到对应的日志解析周期的带宽统计结果，具体请参见图2。

参见图2，在具体实施中，本发明实施例中的网络带宽统计方法可以包括如下的步骤：

步骤S201：设置对应的日志解析周期和带宽汇总周期。

在具体实施中，CDN中的缓存服务器可以根据实际的需要，如根据所提供的应用服务器提供商对于网络带宽的统计需求，设置对应的日志解析周期和带宽汇总周期。

例如，为了提高网络带宽统计的实时性，可以将日志解析周期和带宽汇总周期均设置为1分钟，也即日志解析频率和带宽汇总频率均为1分钟/次。

步骤S202：当达到预设的日志解析周期时，获取当前日志解析周期内所产生的所有日志文件。

在具体实施中，当用户通过客户端对缓存服务器中存储的资源文件进行访问时，便可以产生对应的日志文件，以对用户的访问行为进行记录。因此，缓存服务器可以通过对各个日志解析周期内产生的日志文件进行逐条解析，以得到每条日志文件在当前日志解析周期内的网络带宽的信息。

步骤S203：从获取的日志文件中筛选出合法的日志文件。

在本发明一实施例中，为了从日志解析周期内产生的日志文件中筛选出合法的日志文件，可以通过对各条日志文件进行解析，分别判断对应的字段数是否为预设的数值，且解析得到的域名是否合法；当确定对应的字段数为预设的数值，且对应的域名合法时，表明对应的日志文件为合法的日志文件；反之，当日志文件的字段数是否为预设的数值，或者解析得到的域名不合法，确定该日志文件为错误的日志文件。

步骤S204：对筛选出的合法的日志文件进行逐条遍历，获取对应的数据传输总量和日志访问持续时间的信息，并计算得到对应的网络总带宽。

在具体实施中，可以按照日志文件的产生时间，对筛选出的合法的日志文件进行逐条遍历，从各条日志文件中的对应字段中解析出对应的数据传输总量和日志访问持续时间，并将解析出的对应的数据传输总量除以日志访问持续时间，从而得到对应的网络总带宽的信息。

步骤S205：判断对应的日志访问持续时间是否大于所述日志解析周期；当判断结果为是时，可以执行步骤S206；反之，则可以执行步骤S207。

步骤S206：将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，得到遍历到的日志文件在当前日志解析周期内的网络带宽。

在具体实施时，当确定日志文件对应的日志访问持续时间大于对应的日志解析周期时，可以将对应的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，以得到所属的各个日志解析周期对应的网络带宽的信息。具体而言，按照所属的多个日志解析周期在所述日志访问持续时间中所占的比例，将计算得到的网络总带宽平均分配至所属的多个日志解析周期内。

例如，日志文件记录的资源文件的访问开始时间为2016-06-15 14:13:00，访问结束时间为2016-06-15 14:15:30，即该日志文件对应的日志访问持续时间为150s。当对应的日志解析周期为1分钟/次，计算得到的总带宽为300Mb/s时，按照平均分配规则：日志解析周期14:13:00到14:13:59分配的网络带宽为300Mb/s*60/150＝120M/s；日志解析周期14:14:00到14:14:59分配的网络带宽为300Mb/s*60/150＝120M/s；日志解析周期14:15:00到14:15:59分配的网络带宽为300Mb/s*30/150＝60M/s。

步骤S207：将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽。

在具体实施中，当确定日志文件的日志访问持续时间小于或等于对应的日志解析周期时，可以将对应的网络总带宽全部作为当前日志解析周期内的网络带宽。

例如，日志文件记录的对应的资源文件的访问开始时间为2016-06-1514:15:00，访问结束时间为2016-06-15 14:15:59，即该日志文件对应的日志访问持续时间为60s。当对应的日志解析周期为1分钟/次，计算得到的网络总带宽为200Mb/s时，对应的日志解析周期14:15:00～14:15:59分配的网络带宽即为200Mb/s，即对应的网络总带宽。

步骤S208：将当前日志解析周期内产生合法的日志文件在当前日志解析周期内的网络带宽相加，得到当前日志解析周期的网络带宽统计结果的信息。

在具体实施中，当计算得到当前日志解析周期内产生的合法的日志文件在当前日志解析周期的网络带宽时，可以将各条日志文件在当前日志解析周期的网络带宽进行相加，便可以得到当前日志解析周期的网络带宽的信息。

例如，缓存服务器在日志解析周期2016-06-15 14:15:00～2016-06-1514:15:59产生的日志文件分别为日志文件1、日志文件2和日志文件3和日志文件4，经过筛选得到的合法的日志文件为日志文件1、日志文件2和日志文件4。其中，日志文件1在日志解析周期2016-06-15 14:15:00～2016-06-1514:15:59分配到的网络带宽为200Mb/s；日志文件2在日志解析周期2016-06-1514:15:00～2016-06-15 14:15:59分配到的网络带宽为300Mb/s；日志文件4在日志解析周期2016-06-15 14:15:00～2016-06-15 14:15:59分配到的网络带宽为200Mb/s，那么，缓存服务器在日志解析周期2016-06-15 14:15:00～2016-06-1514:15:59的网络带宽为：200Mb/s+300Mb/s+200Mb/s＝700Mb/s。

步骤S209：当达到预设的带宽统计周期时，对对应的一个以上的日志解析周期的带宽统计结果进行汇总，生成对应的带宽统计文件。

在具体实施中，当带宽统计周期与日志解析周期相同时，如均为1分钟时，缓存服务器可以每1分钟根据对应的一个日志解析周期的网络带宽统计结果生成对应的带宽统计文件；当带宽统计周期与日志解析周期不相同时，如日志解析周期为1分钟，带宽统计周期为2分钟时，缓存服务器可以每2分钟将对应的两个日志解析周期的网络带宽统计结果进行汇总，生成对应的带宽统计文件。

为了提高带宽统计文件上传的效率，本发明实施例中的网络带宽统计方法，还可以包括：

步骤S210：将生成的带宽统计文件发送至对应的中心服务器。

在具体实施中，为了提高带宽统计文件的上传效率，在生成对应的带宽统计文件时，缓存服务器可以自动将所生成的带宽统计文件上传至对应的中心服务器，具体请参见图3。

图3示出了本发明实施例中的一种带宽统计文件的上传方法的流程图。参见图3，在具体实施中，本发明实施例中的带宽统计文件的上传方法可以包括如下的步骤：

步骤S301：基于带宽统计文件对应的上传域名的信息，解析得到对应的IP地址。

在本发明一实施例中，在进行带宽统计文件的上传时，根据所述带宽统计文件对应的上传域名的信息，通过域名系统(Domain Name System，DNS)解析得到对应的IP地址。

步骤S302：将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。

在具体实施中，当解析得到对应的IP地址时，可以将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器中，以使得用户(应用服务提供商)可以快速地获取带宽统计结果，提升用户的体验。

在具体实施中，为了进一步提高带宽文件上传的可靠性，本发明实施例中的带宽文件上传方法还可以包括：

步骤S303：判断将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器是否成功；当判断结果为是时，可以不执行任何的操作；反之，可以执行步骤S304。

步骤S304：判断将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器的次数是否达到预设的阈值；当判断结果为是时，可以重新从步骤S301开始执行；反之，则可以从步骤S302开始执行。

在本发明一实施例中，为了进一步提高带宽统计文件的上传可靠性，在将所生成的带宽统计文件上传至对应的中心服务器失败时，可以重新尝试将生成的带宽统计文件上传时对应的中心服务器，也即从步骤S302开始执行，直至将生成的带宽统计文件上传至对应的服务器成功，或者当重新尝试将生成的带宽统计文件上传时对应的中心服务器的次数达到预设的次数阈值时，重新从步骤S301开始执行，可以避免因为解析得到的IP地址错误而导致带宽统计文件上传失败情形的发生，以进一步提高带宽统计文件上传的可靠性。

在具体实施中，预设的次数阈值可以根据实际的需要设置，如可以设置为3次等。

上述对本发明实施例中的网络带宽统计方法进行了详细的介绍，下面将结合图4对上述的方法对应的装置做介绍。

参见图4，在具体实施中，本发明实施例中的网络带宽统计装置400可以包括第一计算单元401、第一判断单元402和带宽分配单元403，其中：

所述第一计算单元401，适于对所获取的当前日志解析周期内产生的日志文件进行遍历；获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息，并计算得到遍历到的日志文件对应的网络总带宽。

所述第一判断单元402，适于判断所述日志访问持续时间是否大于预设的日志解析周期。

所述带宽分配单元403，适于当确定所述日志访问持续时间小于或等于预设的日志解析周期时，将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽；当确定所述日志访问持续时间大于预设的日志解析周期时，将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期，得到遍历到的日志文件在当前日志解析周期内的网络带宽。

所述第二计算单元404，适于将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加，得到当前日志解析周期的网络带宽统计结果的信息。

在本发明一实施例中，所述第一计算单元401，适于从当前日志解析周期内产生的日志文件中筛选出合法的日志文件，并对筛选出的合法的日志文件进行遍历。

在本发明一实施例中，所述第一计算单元401，适于对当前日志解析周期内产生的全部日志文件进行逐条遍历，获取遍历到的日志文件的字段数；当确定遍历到的日志文件的字段数等于预设的数值时，获取遍历到的日志文件的域名字段中的域名信息；当确定遍历到的日志文件的域名合法时，确定遍历到的日志文件为合法的日志文件。

在具体实施中，本发明实施例中的网络带宽统计装置400还可以包括带宽汇总单元405，其中：

所述带宽汇总单元405，适于当达到对应的带宽汇总周期时，将对应的一个以上的日志分析周期的网络带宽进行汇总，生成对应的网络带宽统计文件。

在具体实施中，本发明实施例中的网络带宽统计装置400还可以包括发送单元406，其中：

所述发送单元406，适于将生成的网络带宽统计文件发送至对应的中心服务器。

在本发明一实施例中，所述发送单元406，适于获取所述带宽统计文件对应的域名的信息；根据所获取的域名的信息，解析得到对应的IP地址的信息；将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。

在具体实施中，本发明实施例中的网络带宽统计装置400还可以包括第二判断单元407，其中：

所述第二判断单元407，适于当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时，判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值；

所述发送单元406，还适于当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时，重新执行将生成的网络带宽统计文件发送至对应的中心服务器操作，直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器，或者将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值。

在具体实施中，所述日志解析周期和带宽汇总周期可以根据网络带宽统计需要分别进行设置，以满足不同的应用服务提供商对网络带宽统计的不同需求，提升用户的使用体验。

本发明实施例中的上述的方案，通过网络总带宽平均分配至日志访问持续时间所属的一个以上的日志解析周期，而非将对应的网络总带宽全部作为日志访问持续时间的结束时间点所在的日志解析周期，可以提高网络带宽统计的准确性。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。