在具有可选毫米波链路的数据中心网络中的拓扑推测方法与流程

本发明属于数据中心网络拓扑推测领域，具体涉及在具有可选毫米波链路的数据中心网络中的拓扑推测方法，尤其是在有无线链路增强的数据中心网络中。

背景技术：

近几年，毫米波无线技术(millimeterwavelengthwirelesstechnology，mmw)迅速发展。毫米波无线技术的频谱为57-64ghz，通常称60ghz频段。该频段可以在全球范围内使用，并且无需得到许可。该频段包含超过80倍于802.11b/g(2.4ghz)的带宽，并支持数gbps的数据传输速率。此外，由于高频无线信号的快速衰减特性，具有定向天线的60ghz设备可以密集地部署，非常适合高密度的数据中心网络。vlsi技术现在已经足够成熟，我们可以使用cmos技术构建60ghz无线电硬件设备。总之，60ghz无线技术的兴起使数据中心低成本、高密度、高带宽的网络连接成为了可能。

迄今为止，60ghz技术已经成功运用在孤立的点对点链路中。常见的应用场景是家庭娱乐，例如，蓝光播放器通过无线链路与附近的电视进行通信而不是使用笨重的hdmi电缆。另外，无线设备还有低功耗和链路方向可任意调节的特性。因此，现在有许多数据中心使用60ghz链路来增强有线数据中心网络。首先，我们注意到数据中心中机器非常密集，因此，毫米波无线链路非常适合在短距离内为数据中心网络提供高带宽。其次，无线电环境基本上是静态的，由于数据中心中机器设备不经常移动，从而最小化无线链路质量的波动。第三，通过在数据中心中机架顶部安装60ghz无线天线可以实现数据中心网络中机架间的视距通信。最后，有线的数据中心网络可以作为协调无线链路的可靠信道，从而简化了许多传统无线链路的问题。例如对准无线天线的发送器和接收器，以及避免干扰等。

常见的有线数据中心架构有tree、leafspine、fat-trees和clos网络。有线的数据中心网络架构通常是静态的，而应用了毫米波无线技术的有线和无线混合的数据中心架构使数据中心网络拓扑变得如此动态以至于如何准确推断数据中心网络拓扑成为了一个很大的挑战。在混合数据中心架构中，无线天线的改变可以大大影响数据中心中网络拓扑。

技术实现要素：

本发明针对现有技术中的不足，提供一种在具有可选毫米波链路的数据中心网络中的拓扑推测方法。

为实现上述目的，本发明采用以下技术方案：

在具有可选毫米波链路的数据中心网络中的拓扑推测方法，其特征在于，包括如下步骤：

第一步，记录数据中心中节点和节点之间的数据传输时间，构造稀疏矩阵d；

第二步，使用非负矩阵分解算法补全稀疏矩阵d中缺失的元素；

第三步，在对稀疏矩阵d补全后，使用非度量多维尺度变换算法将网络中的节点映射到二维空间；

第四步，使用混合球形高斯模型对映射到二维空间中的节点进行聚类，通过设置不同的阈值，准确得到网络不同层次的拓扑。

为优化上述技术方案，采取的具体措施还包括：

进一步地，第一步中，假如节点m和节点n之间传输数据量为k的数据传输时间为t，则传输单位数据量的数据传输时间为t/k；

数据中心网络拓扑中共有n台主机，记录n台主机中随机的两两节点之间的数据传输时间，然后算出两两节点之间的单位数据传输时间，从而构造出一个n×n的稀疏矩阵d，矩阵d中的元素dij为节点i和节点j之间单位数据传输时间的中位数。

进一步地，第二步中，将第一步中的矩阵d(n×n)分解为x(n×r)和y(r×n)两个矩阵，即d＝x×y，其中r为可以调节的参数，通过控制参数r，控制矩阵中元素的准确率；

非负矩阵分解的目标是最小化误差函数其中表示x矩阵第i行，表示y矩阵第j行；

最小化非负矩阵分解的误差函数通过迭代算法实现，该迭代算法不需要指定步长；非负矩阵分解算法的输入为矩阵x和矩阵y，然后迭代更新矩阵x和矩阵y，更新策略如下：

其中下标ia表示矩阵的第i行第a列元素，下标ja表示矩阵的第j行第a列元素，下标aj表示矩阵的第a行第j列元素；以上更新策略保证误差函数单调减小；

通过稍微调整以上更新策略解决矩阵d中部分元素缺失问题；假定m是一个二进制矩阵，其中mij＝1表明dij是已知的，而mij＝0表明dij是缺失的，修改后的更新策略如下：

其中k表示叠加的取值，下标ik表示矩阵的第i行第k列元素，下标ka表示矩阵的第k行第a列元素，下标ak表示矩阵的第a行第k列元素，下标kj表示矩阵的第k行第j列元素；

利用上述算法来补全矩阵d中缺失的元素。

进一步地，第三步中，在对矩阵d补全以后，使用非度量多维尺度变换算法将拓扑中的n个节点映射到二维空间中。

进一步地，使用r语言中的mass库中的isomds函数将网络中n个节点映射到二维空间中。

进一步地，第四步中，使用r语言中的mclust包进行基于高斯混合模型的层次聚类。

本发明的有益效果是：本发明针对如何准确实时推测有线和无线混合的数据中心网络拓扑架构问题，提出了数据中心网络拓扑推测算法。在网络中无背景流量的理想情况和有背景流量的实际情况下，本发明提出的算法都可以准确推测出数据中心网络不同层次的拓扑结构。

附图说明

图1是数据中心网络拓扑图。

图2是网络中无背景流量情况下网络节点的二维映射图。

图3是网络种有背景流量情况下网络节点的二维映射图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明提出了在有线和无线混合的数据中心网络中高效实时推测网络拓扑的网络拓扑推测算法。

图1是我们在实施过程中采用的数据中心网络拓扑图。

当今数据中心大部分采用有收缩比的层次网络架构。所以对于传输同样的数据，在不同机架下(inter-rack)两个主机的数据传输时间远远大于在相同机架下(intra-rack)的两个主机的数据传输时间。图1中拓扑显示，我们可以借助毫米波无线技术通过在机架上安装无线天线在一定程度上消除网络瓶颈处的链路拥塞问题。但是，这种做法也仅仅起到有限的改善网络性能的作用(即增加了数据中心中机架之间的网络带宽)。而从数据中心中机架层的角度来看，并没有从本质上改变数据中心有线的物理网络拓扑结构。不失一般性，假定数据中心中机架1和机架2之间增加一条无线链路。这会导致机架1和机架2之间的带宽增加，也可以说机架1中主机和机架2中主机之间的网络距离(带宽增加)更近了一点。所以从更高层次的视角来看，可以把这两个机架作为一个整体来看待，称之为一个超机架(super-rack)。由于机架上无线天线随着数据中心网络负载变化而不断变化，所以数据中心网络的超机架拓扑也不断变化。而本发明的数据中心拓扑推测算法可以准确推测出数据中心网络中的机架层拓扑和超机架层拓扑。

不失一般性，假定该拓扑中机架1和机架2、机架3和机架4之间通过无线链路相连。机架5上无线天线的开关处于关闭状态。试验中随机生成80×80×0.5条数据流(数据流源节点和目的节点随机)，每条数据流的大小为1mb。

首先，我们记录数据中心中节点和节点之间的数据传输时间。假如节点m和节点n之间传输数据量为k的数据传输时间为t，则传输单位数据量的数据传输时间为t/k。如图1所示，数据中心网络拓扑中共有80台主机，我们记录80台主机中随机的两两节点之间的数据传输时间，然后算出两两节点之间的单位数据传输时间，从而我们可以构造出一个80×80的稀疏矩阵d，矩阵d中的元素dij为节点i和节点j之间单位数据传输时间的中位数。

第二步，由于矩阵d是一个稀疏矩阵，我们使用非负矩阵分解算法来补全矩阵d中缺失的元素。非负矩阵分解就是将矩阵v分解为两个矩阵w和h，且这三个矩阵中都没有非负元素。假如我们将第一步中的矩阵d(80×80)分解为x(80×r)和y(r×80)两个矩阵，即d＝x×y，其中r为可以调节的参数，通过控制参数r，我们可以控制矩阵中元素的准确率。非负矩阵分解的目标是最小化误差函数其中表示x矩阵第i行，表示y矩阵第j行。最小化非负矩阵分解的误差函数可以通过迭代算法实现，该迭代算法不需要指定步长，且收敛速度快。非负矩阵分解算法的输入为矩阵x和矩阵y(初始值随机)，然后迭代更新矩阵x和矩阵y，更新策略如下：

其中下标ia表示矩阵的第i行第a列元素，下标ja表示矩阵的第j行第a列元素，下标aj表示矩阵的第a行第j列元素；以上更新策略保证误差函数单调减小。实验证明两百次的迭代次数足以使误差函数收敛到最小值附近。

我们可以通过稍微调整以上更新策略解决矩阵d中部分元素缺失问题。假定m是一个二进制矩阵，其中mij＝1表明dij是已知的，而mij＝0表明dij是缺失的，修改后的更新策略如下：

其中k表示叠加的取值，下标ik表示矩阵的第i行第k列元素，下标ka表示矩阵的第k行第a列元素，下标ak表示矩阵的第a行第k列元素，下标kj表示矩阵的第k行第j列元素。

我们利用上述算法来补全矩阵d中缺失的元素。

第三步，在对矩阵d补全以后，使用非度量多维尺度变换算法将拓扑中的n个节点映射到二维空间中。多维尺度变换(multidimensionalscaling，mds)是在低维空间去展示高维多元数据的一种可视化方法。多维尺度变换的基本目标是将原始数据“拟合”到一个低维坐标系中，使得由降维所引起的任何变形最小。根据样本是否可以计量，多维尺度变换可分为度量型多维尺度变换(metricmds)和非度量型多维尺度变换(non-metricmds)。

我们使用r语言中的mass库中的isomds函数将网络中80个节点映射到二维空间中。

最后，使用混合球形高斯模型对映射到二维空间中的节点进行聚类。高斯分布是一种常用的连续变量分布的模型，通常我们也称其为正态分布。若单个变量x服从均值为μ，方差为σ²的高斯分布，即x～n(μ，σ²)，则其概率密度函数为：

高斯混合模型是机器学习中的一种常用的聚类算法。高斯混合模型是指多个高斯分布函数的线性组合，多个高斯分布的线性叠加能拟合非常复杂的密度函数；通过足够多的高斯分布叠加，并调节它们的均值，协方差矩阵，以及线性组合的系数，理论上高斯混合模型可以精确地拟合出任意类型的分布。

mclust是一个基于有限正态混合模型的用于聚类、分类和密度估计的r语言包。它通过em算法为具有各种协方差结构的正态混合模型提供参数估计功能，并为这些模型提供仿真功能。同时，还包括基于模型的层次聚类功能。

我们使用r语言中的mclust包进行基于高斯混合模型的层次聚类，可以清晰地推测出图1中数据中心网络有线和无线的拓扑架构。图2和图3分别展示了在网络中无背景流量和有背景流量两种情况下本发明算法的层次聚类结果。图中不同的形状代表了不同的机架，椭圆代表了拓扑推测算法推测出的聚类类别。从图2a中可以很容易地看出机架层拓扑结构。然而也可以看到图中左下角的机架1和机架2距离非常近。如图2b通过改变聚类的阈值进行更高层次的聚类，也可以将机架1和机架2聚为同一类，即超机架拓扑结构。右上角的另外两个机架(机架3和机架4)也聚为同一类，而右下角的机架5单独成为一类。通过不同层次的聚类，可以得到不同层次的网络拓扑。这些拓扑结果反映了数据中心中机架间的有线和无线链路。通过图3a、3b可以发现，即使在数据中心中有背景流量干扰的情况下，本发明提出的拓扑推测算法依然能准确地推测出数据中心的真实层次拓扑结构。

通过以上结果发现，无论网络中是否有背景流量存在，本发明提出的拓扑推测算法都可以精确地推测出数据中心网络中机架层和超机架层不同层次的拓扑。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。