一种基于日志的通讯开销预测方法
【技术领域】
[0001] 本发明涉及计算机网络领域，主要利用了图论中的生成树和聚类方法，尤其涉及 一种基于日志的通讯开销预测方法。
【背景技术】
[0002] 随着互联网和Web Service的发展，越来越多的企业和组织使用 SOA(Service_oriented Architecture)框架构建复杂的信息化系统。其基本思路是利用 Web Service可组合的特性，将小粒度Web Service(简称原子服务）通过一定的控制结构 (顺序、分支、循环和并行）组合成一个大粒度的Web Service (简称组合服务）以实现一 个复杂的功能。组合服务的执行是通过逐一调用原子服务完成的。在这个框架中，组合服 务的性能指标，即Q〇S(Quality of Service)，包括价格，信誉等等，往往是决定了组合服务 是否能很好地完成指定功能的重要依据。因此在构建组合服务之前需要对QoS做一定的预 测，对照预测的结果与功能需求，以修订组合方案。
[0003] 作为一个重要的QoS指标，通信开销指的是组合服务中调用原子服务时传输数据 所消耗的时间。为了预测通信开销，需要对原子服务之间的网络传输速度进行预测，然而， 这种预测却非常困难，由于以下两个原因：一方面，网络运营商和网络管理员通过带宽控制 网络传输速度，但是带宽是理想值，实际网络中，由于拥塞等原因，传输速度往往难以确定。 另一方面，不同的原子服务可能分布在不同的网络运营商的服务器上，而不同运营商采用 桥接等技术，使得这些服务器之间的传输速度难以确定。
[0004] 因此任意两台服务器之间的通信开销是难以确定的，但是在大部分的网络应用 中，需要跨越多个服务器传输数据，这种数据传输的通信开销如果能够预测，就能保证整个 网络应用的性能。因此网络通信开销的预测是亟待解决的问题。
【发明内容】
[0005] 针对上述技术问题，本发明提出一种基于日志的通讯开销预测方法。
[0006] 为了解决上述技术缺陷，本发明的技术方案如下：
[0007] -种基于日志的通讯开销预测方法，包括如下步骤：
[0008] 11)从服务器提取日志，抽取传输速度；一条服务器日志记录为一个四元组（a，d， u，s)，其中a表示该条日志的类型，包括接受数据和发送数据；d表示数据量，单位是Byte ; u是这条日志发送的对象服务器的网络地址，包含ip和端口号；s是这条日志的unix时间 戳，产生这条日志的服务器的网络位置用V表示，所述网络位置V也包含ip和端口号；如果 M 5P s d表示数据传输开始和结束的时间戳，则从V到u的网络传输速度B (v，u)由式子（1) 得出
【主权项】
1. 一种基于日志的通讯开销预测方法，其特征在于，包括如下步骤： 11) 从服务器提取日志，抽取传输速度；一条服务器日志记录为一个四元组（a，d，u， s)，其中a表示该条日志的类型，包括接受数据和发送数据；d表示数据量，单位是Byte;u 是这条日志发送的对象服务器的网络地址，包含ip和端口号；s是这条日志的unix时间 戳，产生这条日志的服务器的网络位置用v表示，所述网络位置v也包含ip和端口号；如果 \和Sd表示数据传输开始和结束的时间戳，则从v到u的网络传输速度B(v，u)由式子（1) 得出
将所有的日志经过公式（1)的运算，汇总在矩阵B中；所述矩阵B同时也是一个图G= (V，E)的邻接矩阵，其中V表示服务器的集合，E表示这些服务器之间的数据传输，任意两个 服务器v到u的数据传输速度，即B(v，u)表示为图G= (V，E)上对应两个节点的边的权 值； 12) 对图G中的各个服务器按照传输速度进行聚类，首先需要用公式（2)计算网络环境 中的传输速度阈值入
对于任意B(v，u)，如果有B(v，u)大于阈值，则说明v和u不属于同一个子网，反之则 处于同一子网；通过如下步骤获得聚类； 121) 在图G上构造最大生成图，即总是选择权值最大的边，将选出来的边维护一个树 状结构T; 122) 重复执行121)直到选出来的边的权值小于阈值A，则T是一个由k个树组成的 森林，k就是聚类个数，森林里面的每棵树就是一个聚类，用C(v)表示v所在的聚类； 13) 用公式（3)求任意两个聚类(^和(^_之间的平均传输延迟DKpCj);
所述Nu是从C濟C」的边的个数； 14) 对任意两个服务器之间的通信开销进行预测，对于任意两个服务器^和s」，预测的 传输速度否用公式⑷计算得到；
其中D*(Si，Sj)由公式（5)得到；
【专利摘要】本发明公开了一种基于日志的通讯开销预测方法，本发明采用日志作为网络通信开销预测的依据，数据源更好获得，采用聚类方法，将服务器聚成类，对应的就是服务器所属的子网，能够自适应的发现环境中子网的个数，并且能在数据量较少的时候依然能得到较为准确的聚类结果，从而预测数据传输的通信开销，保证整个网络应用的性能。
【IPC分类】H04L12-24, G06F17-30
【公开号】CN104780061
【申请号】CN201510104107
【发明人】尹建伟, 罗智凌, 李莹, 邓水光, 吴健, 吴朝晖
【申请人】浙江大学
【公开日】2015年7月15日
【申请日】2015年3月10日