一种网络测量中控制通道弹性扩展系统和方法

1.本发明属于可编程网络中网络测量的数据采集领域，尤其涉及一种网络测量中控制通道弹性扩展系统和方法。


背景技术：

2.在现代数据中心中，网络测量已经被广泛的应用以及部署。网络测量需要控制平面与数据平面协同执行。在数据平面，测量任务被部署在交换机上并以线速率处理流量，并从流量中提取事件(比如数据包数量)。其中每个事件都与某条特定的流相关。随后，数据平面的交换机把不同的事件通过控制通道一并发送到控制平面，控制平面的测量应用根据收到的事件来完成网络测量。
3.然而，现有的网络测量方案存在着控制通道过载和低载的两个问题。控制通道的最高带宽往往只有100gbps，而数据中心网络中交换机吞吐量往往可以达到tbps级别，这就会造成控制通道的拥塞进而导致事件的流失，降低测量系统的精度。此外，在一些边缘交换机上，他们的吞吐量往往是比较小的，其产生的事件相对较少，这就会导致控制通道的低载，造成资源的浪费。


技术实现要素：

4.本发明的目的在于针对现有技术的不足，提供一种网络测量中控制通道弹性扩展系统和方法。
5.本发明的目的是通过以下技术方案来实现的：
6.一种网络测量中控制通道的弹性扩展系统，包括：数据采集模块、过载/低载控制通道检测模块、最优迁移方案计算模块和迁移策略实施模块。
7.(1)在控制平面的sdn控制器植入数据采集模块。数据采集模块采集控制通道统计信息的技术方案如下：
8.控制通道的实时负载：直接读取端口速率。
9.控制通道的传输时延：控制器下发lldp报文到交换机，计算lldp报文的rtt时间。
10.控制通道中每条事件流的大小：根据事件流之间的数据包五元组设置计数器，统计每条流的大小。
11.事件流的规定传输时延：每条事件流的规定传输时延是用户事先制定的，可以直接获取；比如事件流f需要在30ms以内从数据平面到达控制平面。
12.数据采集模块采集网络拓扑统计信息的技术方案为：采集拓扑中每条链路的负载、每条链路的传输时延。结合网络拓扑，利用深度优先搜索算法计算出任意两台交换机间的所有路径和每条路径的时延和剩余带宽。
13.在运行时，数据采集模块将控制通道统计信息发送给过载/低载控制通道检测模块，将控制通道统计信息和拓扑统计信息发送给最优迁移方案计算模块；
14.(2)过载/低载控制通道检测模块用三个阈值θ
top
、θ
bottom
和θ
safe
来检测控制通
道的过载低载，并控制过载控制通道的向外迁出，避免因为迁移过多的事件流引起额外的开销，降低测量系统的性能。对于过载和低载控制通道，过载/低载控制通道检测模块都为其选择将要迁移的事件流。最后过载/低载控制通道检测模块将待迁移的事件流集合发送给最优迁移方案计算模块；
15.(3)当最优迁移方案计算模块收到控制通道统计信息、拓扑统计信息和待迁移的事件流集合后，将他们作为输入建立整数线性规划模型。模型的输出为迁移方案，确定了每条待迁移事件流要从原来的控制通道迁移到哪条新的控制通道，并给出了事件流到达新控制通道的路由策略。模型的目标函数是最小化待迁移事件流的新传输时延之和。
16.模型的约束为：(i)任何待迁移事件流不能迁移到原本的控制通道；(ii)所有事件流必须被完全迁移；(iii)不能造成新的过载的控制通道；(iv)不能引起链路过载；(v)所有事件流迁移后的传输时延不能超过其规定的传输时延；
17.(4)迁移策略实施模块收到最优迁移方案计算模块的迁移方案后，向交换机配置转发表实现待迁移事件流的迁移。
18.进一步地，在控制平面的sdn控制器植入数据采集模块，用于收集控制通道统计信息以及拓扑统计信息。并基于以上统计信息计算出所有路径的剩余带宽和传输时延。
19.进一步地，过载/低载控制通道检测模块包含三个用户事先定义好的阈值θ
top
、θ
bottom
和θ
safe
。当一条控制通道的负载超过θ
top
时，过载/低载控制通道检测模块将其认定为过载控制通道。类似地，过载/低载控制通道检测模块将负载低于θ
bottom
的控制通道认定为低载控制通道。θ
safe
则用于终止过载控制通道的向外扩展；比如一条控制通道的负载为θ
top
，当它降低到θ
safe
以下时，停止迁出其中的事件流。对于过载的控制通道，过载/低载控制通道检测模块依次选择其中规定传输时延最大的事件流进行迁移，直到其负载低于θ
safe
；对于低载的控制通道，则选择其中全部的事件流进行迁移。
20.进一步地，最优迁移方案计算模块建立的整数线性规划模型的约束条件为：
21.(i)任何待迁移事件流不能迁移到原本的控制通道；
22.(ii)所有事件流必须被完全迁移；
23.(iii)不能造成新的过载的控制通道；
24.(iv)不能引起链路过载；
25.(v)所有事件流迁移后的传输时延不能超过其规定的传输时延。
26.一种网络测量中控制通道的弹性扩展方法，在运行时采集控制通道的统计信息、底层网络链路的统计信息和各个测量任务发送流事件的速率。根据采集到的信息检测过载和低载的控制通道，对过载的控制通道实施向外扩展，即迁移其中的一部分事件流降低其负载，以防止流事件的丢失，对低载的控制通道实施向内扩展，即迁移其中所有的事件流并关闭该控制通道，以提高网络资源的利用率。在实施向外/向内扩展时，保证不会出现新的过载控制通道、不会造成链路的过载、被迁移的事件流的新传输时延不会超过其规定的传输时延。
27.本发明的有益成果是：本发明通过整合控制通道和网络拓扑的统计信息，结合整数线性规划模型，并建立约束条件，快速有效地完成过载/低载控制通道的向外/向内扩展。本发明方法简单，实现灵活，具有较强的实用性；可降低过载和低载控制通道对测量系统的影响。
附图说明
28.图1是一种网络测量中控制通道弹性扩展系统的结构示意图；
29.图2是一种网络测量中控制通道弹性扩展系统运行的流程图。
具体实施方式
30.请参照图1和图2，本发明一种网络测量中控制通道弹性扩展系统，利用实时采集的控制通道和网络拓扑统计信息，在不对网络测量系统造成影响的前提下，及时处理过载/低载的控制通道。具体实施例中，sdn控制器选择ryu，可编程交换机采用barefoot tofino芯片的交换机。具体如下：
31.1、数据采集模块监听每条控制通道的上下行速率，进而获得控制通道的实时负载。对于其中的事件流，数据采集模块则根据它们对应流的五元组设置计数器，统计每个五元组在1s内收到事件的数量，进而统计每条事件流的速率。对于每条控制通道的时延，数据采集模块在收到事件时，根据事件的发送时间以及收到事件的时间计算出控制通道的时延。对于每条链路的时延，数据采集模块向链路的一端发送lldp报文，并记录发送时间t1，当另一端收到lldp报文后，自动发送给数据采集模块。数据采集模块记录收到事件t2，这样链路的时延就可以通过(t2-t1-2*控制通道时延)获得。数据采集模块可以通过sdn控制器获取链路两端的上下行速率进而获取链路的实时负载。
32.2、过载/低载控制通道检测模块中三个用户事先定义好的阈值θ
top
、θ
bottom
和θ
safe
分别设置为80gbps、20gbps和60gbps。在选择待迁移事件流时，对于过载的控制通道，过载/低载控制通道检测模块会一直选择其中规定传输时延最大的事件流进行迁移，直到其负载低于θ
safe
；对于低载的控制通道，则选择其中全部的事件流进行迁移。
33.3、最优迁移方案计算模块建立整数线性规划模型。模型的输出为各条待迁移事件流的目的控制通道及其新的路由。模型的目标函数是最小化待迁移事件流的新传输时延之和。模型的约束为：(i)任何待迁移事件流不能迁移到原本的控制通道；(ii)所有事件流必须被完全迁移；(iii)不能造成新的过载的控制通道；(iv)不能引起链路过载；(v)所有事件流迁移后的传输时延不能超过其规定的传输时延。整数线性规划模型采用gurobi编码求解。
34.4、迁移策略实施模块由p4语言中的匹配动作表实现，当一条事件流被迁移时。sdn控制器会向它新路由路径上的所有交换机下发匹配动作表项，完成迁移策略的部署。
35.本发明一种网络测量中控制通道弹性扩展方法，在运行时采集控制通道的统计信息、底层网络链路的统计信息和各个测量任务发送流事件的速率(即每条事件流的速率)。根据采集到的信息检测过载和低载的控制通道，对过载的控制通道实施向外扩展，对低载的控制通道实施向内扩展，即迁移其中的一部分事件流降低负载，防止因控制通道拥塞而导致的事件流丢失，对低载的控制通道实施向内扩展，即迁移其中所有的事件流并关闭该控制通道，以提高网络资源的利用率。在实施向外/向内扩展时，保证不会出现新的过载控制通道、不会造成链路的过载、被迁移的事件流的新传输时延不会超过其规定的传输时延。
36.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。