一种控制流量带宽的方法和装置与流程

本发明涉及通信技术领域，特别是涉及一种控制流量带宽的方法和装置。

背景技术：

目前，服务质量(英文：Quality of Service，简称：QoS)技术被广泛应用于解决网络延迟和阻塞等问题。当网络过载或者拥塞时，QoS技术通过对不同数据流的流量带宽设置不同的优先级，可以确保关键业务的数据流具有足够的流量带宽，从而使得关键业务和关键应用不受延迟或丢包的影响。

对于采用QoS技术的网络设备来说，该网络设备可以为指定数据流分配用于标识优先级的标签，在接收到所述指定数据流的报文时该网络设备可以将所述指定数据流分配得到的标签添加到所述指定数据流的报文中，网络设备按照报文中携带的标签所标识的优先级对报文进行转发控制。因此，通过为关键业务的数据流分配较高优先级的标签而为非关键业务的数据流分配较低优先级的标签，不同数据流在网路设备出口处占用的带宽得以被控制，从而保证了关键业务在网络设备出口处占用足够的带宽。

发明人经过研究发现，在传统的QoS技术中，网络设备按照用户预先定义的策略为指定数据流分类用于标识优先级的标签，其中，用户预先定义的策略通常是按照正常情况下数据流的流量占用网络链路带宽的情况定义的。但在实际网络环境中，不同数据流的流量在网络设备入口处占用带宽的情况经常变化。有时，在非关键业务的数据流流量过度挤占网络链路带宽的情况下，关键业务的数据流流量在网络设备入口处就已经没能占用到足够的带宽，因此，网络设备仅仅按照用户预先定义的策略为数据流分类用于标识优先级的标签，关键业务的数据流流量在出口处也难以保证占用足够的带宽，关键业务也就难以保证不受延迟、丢包的影响。

技术实现要素：

本发明所要解决的技术问题是，提供一种控制流量带宽的方法和装置，以避免在非关键业务的数据流流量过度挤占链路带宽的情况下关键业务的数据流流量在网络设备入口处和出口处占用带宽不足的情况，从而保证关键业务不受延迟、丢包的影响。

为解决上述技术问题，本发明提供了一种控制流量带宽的方法，，应用于网络设备，包括：

获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果，其中，所述第一数据流集合包括一个或多个数据流，所述当前流量统计结果包括所述第一数据流集合中各数据流在所述当前时间段内的流量；

通过机器学习模型，对所述当前流量统计结果进行计算，得到当前调整策略，其中，所述机器学习模型是通过对所述第一数据流集合的历史流量状况满意度进行学习而训练得到的，所述历史流量状况满意度表示在历史时间段内所述第一数据流量集合的流量统计结果满足期望的程度，在所述历史时间段内所述网络设备采用历史调整策略和第一预先定义策略对所述第一数据流集合进行流量带宽控制；

根据所述当前调整策略和所述第一预先定义策略，为所述第一数据流集合中各数据流分配用于标识优先级的标签；

其中，所述第一数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第一数据流集合中各数据流的报文进行转发控制。

可选的，所述通过机器学习模型，对所述第一数据流集合的流量统计结果进行计算，得到当前调整策略，包括：

将所述当前流量统计结果分别与各可选调整策略输入到所述机器学习模型，得到所述机器学习模型对应于各可选调整策略分别输出的当前流量状况满意度；

选取最大的当前流量状况满意度对应的可选调整策略，作为所述当前调整策略。

可选的，所述机器学习模型具体为深度神经网络。

可选的，还包括：

在可选历史时间段中进行采样，得到目标历史时间段；

根据所述目标历史时间段对应的满意度误差，对所述深度神经网络的权重进行更新；

其中，所述目标历史时间段对应的满意度误差具体为在先流量状况满意度与在后流量状况满意度之间的误差，所述在先流量状况满意度表示在目标历史时间段内所述第一数据流量集合的历史流量统计结果满足期望的程度，所述在后流量状况满意度表示在所述目标历史时间段的下一时间段内所述第一数据流量集合的流量统计结果满足期望的程度。

可选的，

所述在可选历史时间段中进行采样，得到目标历史时间段，具体为：在所述可选历史时间段中进行多次采样，得到多个目标历史时间段；

所述根据所述目标历史时间段对应的满意度误差，对所述深度神经网络的权重进行更新，具体为：根据多个所述目标历史时间段对应的满意度误差，采用梯度下降法对所述深度神经网络的权重进行多次更新。

可选的，各所述可选历史时间段被采样为所述目标历史时间段的概率随时间线性衰减，其中，越接近于所述当前时间段的所述可选历史时间段，被采样为所述目标历史时间段的概率越大。

可选的，所述可选历史时间段与当前时刻之间时间差不超过时间差阈值。

可选的，在所述获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果之后，还包括：

以预设常数为概率，在第一结果和第二结果中进行随机选择；

若随机选择结果为所述第一结果，进入执行所述对所述当前流量统计结果进行计算；

若随机选择结果为所述第二结果，随机选取一个可选调整策略作为当前调整策略，进入执行所述为所述第一数据流集合中各数据流分配用于标识优先级的标签。

可选的，还包括：

根据第二预先定义策略，为所述第二数据流集合中各数据流分配用于标识优先级的标签；所述第一数据流集合包括一个或多个数据流；

其中，所述第二数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第二数据流集合中各数据流的报文进行转发控制。

此外，本发明还提供了一种控制流量带宽的装置，包括：

获取单元，用于获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果，其中，所述第一数据流集合包括一个或多个数据流，所述当前流量统计结果包括所述第一数据流集合中各数据流在所述当前时间段内的流量；

计算单元，用于通过机器学习模型，对所述当前流量统计结果进行计算，得到当前调整策略，其中，所述机器学习模型是通过对所述第一数据流集合的历史流量状况满意度进行学习而训练得到的，所述历史流量状况满意度表示在历史时间段内所述第一数据流量集合的流量统计结果满足期望的程度，在所述历史时间段内所述网络设备采用历史调整策略和第一预先定义策略对所述第一数据流集合进行流量带宽控制；

第一分配单元，用于根据所述当前调整策略和所述第一预先定义策略，为所述第一数据流集合中各数据流分配用于标识优先级的标签；

其中，所述第一数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第一数据流集合中各数据流的报文进行转发控制。

可选的，所述计算模型，具体用于：

将所述当前流量统计结果分别与各可选调整策略输入到所述机器学习模型，得到所述机器学习模型对应于各可选调整策略分别输出的当前流量状况满意度；

选取最大的当前流量状况满意度对应的可选调整策略，作为所述当前调整策略。

可选的，所述机器学习模型具体为深度神经网络。

可选的，还包括：

采样单元，用于在可选历史时间段中进行采样，得到目标历史时间段；

更新单元，用于根据所述目标历史时间段对应的满意度误差，对所述深度神经网络的权重进行更新；

其中，所述目标历史时间段对应的满意度误差具体为在先流量状况满意度与在后流量状况满意度之间的误差，所述在先流量状况满意度表示在目标历史时间段内所述第一数据流量集合的历史流量统计结果满足期望的程度，所述在后流量状况满意度表示在所述目标历史时间段的下一时间段内所述第一数据流量集合的流量统计结果满足期望的程度。

可选的，

所述采样单元，具体用于：在所述可选历史时间段中进行多次采样，得到多个目标历史时间段；

所述更新单元，具体用于：根据多个所述目标历史时间段对应的满意度误差，采用梯度下降法对所述深度神经网络的权重进行多次更新。

可选的，各所述可选历史时间段被采样为所述目标历史时间段的概率随时间线性衰减，其中，越接近于所述当前时间段的所述可选历史时间段，被采样为所述目标历史时间段的概率越大。

可选的，所述可选历史时间段与当前时刻之间时间差不超过时间差阈值。

可选的，还包括：

第一选择单元，用于在获取单元获取当前流量统计结果之后，以预设常数为概率，在第一结果和第二结果中进行随机选择；

第一触发单元，用于在所述第一选择单元的随机选择结果为所述第一结果的情况下，触发所述计算单元；

第二选择单元，用于在所述第一选择单元的随机选择结果为所述第二结果的情况下，随机选取一个可选调整策略作为当前调整策略；

第二触发单元，用于在所述第二选择单元选取所述当前调整策略之后，触发所述第一分配单元。

可选的，还包括：

第二分配单元，用于根据第二预先定义策略，为所述第二数据流集合中各数据流分配用于标识优先级的标签；所述第一数据流集合包括一个或多个数据流；

其中，所述第二数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第二数据流集合中各数据流的报文进行转发控制。

与现有技术相比，本发明具有以下优点：

在本发明实施例中，对于一个数据流集合来说，以该数据流集合在历史时间段内采用历史调整策略和预先定义策略分配标签的情况下流量状况满足期望的程度对机器学习模型进行训练，训练得到的机器学习模型可以根据当前时间段内该数据流集合的流量统计结果确定出使该数据流后续的流量状况最大程度满足期望的当前调整策略，因此，网络设备根据该当前调整策略和对应于该数据流集合的预先定义策略而为该数据流集合中各数据流分配用于标识优先级的标签之后，该数据流集合中各数据流分配到的标签当前被用于对该数据流集合中各数据流的报文进行转发控制，该数据流集合中各数据流的流量状况就可以最大程度上满足用户的期望。由此可见，网络设备能够根据变化的流量状况可以对用户预先定义策略进行调整而得到不同的标签分配策略，以适应不同数据流的流量在网络设备入口处占用带宽变化的情况。因此，在非关键业务的数据流流量过度挤占网络链路带宽而导致关键业务的数据流流量无法占用足够带宽的情况下，网络设备根据此时的流量状况可以对用户预先定义策略进行调整，以使得关键业务分配到的标签增加和/或非关键业务分配到的标签。这样，非关键业务流量的发送速度得以减小，链路带宽也就不再被非关键业务的流量过度挤占，关键业务的数据流流量能够在网络设备的入口处及出口处都占用到足够的带宽。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种示例性应用场景的示意图；

图2为本发明实施例一种控制流量带宽的方法的流程示意图；

图3为本发明实施例一种控制流量带宽的方法的流程示意图；

图4为本发明实施例一种控制流量带宽的方法的流程示意图；

图5为本发明实施例一种控制流量带宽的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人经过研究发现，在传统的QoS技术中，网络设备按照用户预先定义的策略为指定数据流分类用于标识优先级的标签，其中，用户预先定义的策略通常是按照正常情况下数据流的流量占用网络链路带宽的情况定义的。但在实际网络环境中，不同数据流的流量在网络设备入口处占用带宽的情况经常变化。有时，在非关键业务的数据流流量过度挤占网络链路带宽的情况下，关键业务的数据流流量在入口处已经不能保证占用足够的带宽，因此，关键业务的数据流流量在出口处也难以保证占用足够的带宽，关键业务也就难以保证不受延迟、丢包的影响。例如，对于企业用户来说，P2P和视频等非关键业务应用在协议设计层面上采用来了激进的流量控制策略，而企业用户的一些重要业务通常会采用具有退避机制的TCP协议发送流量，因此，当出现网络拥堵时关键业务会主动降低自己的流量发送速度，但是采用激进的流量控制策略的P2P或者视频等非关键业务可能会无条件的进行重传，这样就会导致网络更加的拥堵，关键业务就会产生延迟或者丢包的现象发生。

基于此，本发明实施例中，对于一个数据流集合来说，以该数据流集合在历史时间段内采用的历史调整策略和预先定义的策略分配标签的情况下流量状况满足期望的程度对机器学习模型进行训练，训练得到的机器学习模型可以用于根据当前时间段内该数据流集合的流量统计结果确定出使该数据流集合后续的流量状况最大程度满足期望的当前调整策略，因此，在网络设备根据该当前调整策略和对应于该数据流集合的预先定义策略而为该数据流集合中各数据流分配用于标识优先级的标签之后，通过利用该数据流集合中各数据流分配到的标签对该数据流集合中各数据流的报文进行转发控制，该数据流集合中各数据流的流量状况就可以实现最大程度上满足用户的期望。由此可见，网络设备可以根据变化的流量状况对用户预先定义策略进行调整而得到不同的标签分配策略，以适应不同的数据流的流量在网络设备入口处占用带宽变化的情况。因此，在非关键业务数据流量过度挤占网络链路带宽而导致关键业务的数据流流量无法占用足够带宽的情况下，网络设备根据此时的流量状况可以对用户预先定义策略进行调整，以调整关键业务分配到的标签和/或非关键业务分配到的标签，使得在调整后的标签作用下挤压非关键业务占用带宽，从而迫使非关键业务流量的发送速度减小。因此，链路带宽也就不再被非关键业务的流量过度挤占，关键业务的数据流流量也就能够在网络设备的入口处及出口处都占用到足够的带宽。

举例说明，本发明实施例的场景之一，可以是应用到如图1所示的场景。在该场景中，互联网与企业的内部网之间通过企业边界网关101进行报文转发。由于通过企业边界网关101的数据流分别属于关键业务和非关键业务，企业边界网关101可以对关键业务的数据流和非关键业务的数据流通过分配不同优先级的标签进行流量带宽的控制。具体地，企业边界网关101获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果，其中，所述第一数据流集合包括一个或多个数据流，所述当前流量统计结果包括所述第一数据流集合中各数据流在所述当前时间段内的流量，然后，企业边界网关101通过机器学习模型，对所述当前流量统计结果进行计算，得到当前调整策略，再后，企业边界网关101根据所述当前调整策略和第一预先定义策略，为所述第一数据流集合中各数据流分配用于表示优先级的标签；其中，所述第一数据流集合中各数据流分配到的标签，分别用于企业边界网关101对所述第一数据流集合中各数据流的报文进行转发控制。

可以理解的是，上述场景仅是本发明实施例提供的一个场景示例，本发明实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本发明实施例中一种控制流量带宽的方法和装置的具体实现方式。

示例性方法

参考图2，示出了本发明实施例一种控制流量带宽的方法的流程示意图，在本实施例中，本发明例如可以包括：

S201：获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果。

其中，所述第一数据流集合包括一个或多个数据流，所述当前流量统计结果包括所述第一数据流集合中各数据流在所述当前时间段内的流量。

S202：通过机器学习模型，对所述当前流量统计结果进行计算，得到当前调整策略。

其中，所述机器学习模型是通过对所述第一数据流集合的历史流量统计状况满意度进行学习而训练得到的，所述历史流量状况满意度表示在历史时间段内所述网络设备采用历史调整策略和第一预先定义策略对所述第一数据流集合进行流量带宽控制。

S203：根据所述当前调整策略和所述第一预先定义策略，为所述第一数据流集合中各数据流分配用于标识优先级的标签。

其中，所述第一数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第一数据流集合中各数据流的报文进行转发控制。

本实施例中，多个数据流通过网络设备进行传输。在多个数据流通过当前网络设备时，网络设备可以将数据流划分到一个或多个集合并针对数据流集合进行流量带宽控制，其中，不同的数据流集合可以采用不同的流量带宽控制方式。以任意一个数据流集合作为第一数据流集合，网络设备可以统计第一数据流集合中各数据流在当前时间段内的流量并将统计结果作为当前流量统计结果。通过预先训练得到的机器学习模型对当前流量统计结果进行相应的计算，网络设备可以得到第一数据流集合当前可采用的调整策略，即当前调整策略。其中，机器学习模型是通过对第一数据流集合的历史流量状况满意度进行学习而训练得到的，该历史流量状况满意度表示在历史时间段内所述第一数据流量集合的流量统计结果满足期望的程度。

可以理解的是，利用机器学习模型得到的当前调整策略用于网络设备对用户为第一数据流集合预先定义的第一预定义策略进行调整。在得到当前调整策略之后，网络设备根据该当前调整策略和第一预定义策略，为所述第一数据流集合中各数据流分配用于表示优先级的标签。在标签分配之后，网络设备根据第一数据流集合中各数据流分配到的标签的优先级，对当前数据流集合中的各数据流进行流量带宽控制。

需要说明的是，在同一网络设备中会通过很多不同的数据流，所述第一数据流集合可以是只包括其中的部分数据流，或者也可以是包括所有数据流。进一步而言，同一网络设备中的多个数据流可以被划分到多个不同的数据流集合中，这样网络设备可以对不同的数据流集合采用不同的流量带宽控制方式。例如，在网络设备中除了存在第一数据流集合之外，还存在第二数据流集合。其中，第一数据流集合可以采用按照S201-S203进行流量带宽控制。第二数据流集合的流量带宽控制可以采用其他的流量带宽控制方式。例如，本实施例还可以包括：根据第二预先定义策略，为所述第二数据流集合中各数据流分配用于标识优先级的标签；所述第二数据流集合包括一个或多个数据流。其中，所述第二数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第二数据流集合中各数据流的报文进行转发控制。其中，第二数据流集合可以是与第一数据流集合中不同种类的数据流。

在本实施例中，多种形式的机器学习模型可以被用于对当前流量统计结果进行计算而得到当前调整策略。例如，机器学习模型可以是流量统计结果、调整策略与流量状况满意度之间的对应关系。即，当前流量统计结果与各可选调整策略输入到机器学习模型中，机器学习模型可以输出在当前流量统计结果的情况下采用各可选调整策略之后流量状况满足期望的程度。具体地，S202可以包括：将所述当前流量统计结果分别与各可选调整策略输入到所述机器学习模型，得到所述机器学习模型对应于各可选调整策略分别输出的当前流量状况满意度；选取最大的当前流量状况满意度对应的可选调整策略，作为所述当前调整策略。其中，可选调整策略表示网络设备中设置的、可用于调整第一数据流集合的第一预先定义策略的调整策略。

举例说明：机器学习模型可以表示为以下公式：

Q(S,a；w)＝E(G_t|S_t＝s,A_t＝a)；

其中，G_t表示的当前时间段第一数据流集合的流量统计结果满足期望的程度，S_t表示的是第一数据流集合的当前流量统计结果，A_t表示第一数据流集合的可选调整策略。首先，获取当前时间段内第一数据流集合的当前流量统计结果S_t，将S_t分别与预先为第一数据流集合设定的各可选调整策略A_t输入到上述机器学习模型当中，得到各可选调整策略A_t分别对应的流量状况满意度Q值；然后在得到的各流量状况满意度Q值中选取一个最大的，将最大的Q值对应的可选调整策略A_t，作为当前调整策略，对数据流量进行调整。

在本实施例的一些实施方式中，G_t可以表示为以下公式：

其中，R_t是回报函数，它与当前流量统计结果S_t和预先为第一数据流集合定义的第一预先定义策略P相关，具体可以表示为以下形式：

R_t＝f_n(S_t,P)；

其中S_t可以表示为：S_t＝{a₁,a₂…a_n}，a_n代表了第n种流量在当前时间段内的总流量。可以理解的是，在具体的实现中，不同的调整策略P可以采用不同的具体表达形式。例如，P的表达形式中可以包含权重w、保障带宽r、控制带宽L，因此P还可以表示为以下集合：

P＝{(w₁,r₁,L₁),(w₂,r₂,L₂)...(w_n,r_n,L_n)}；

更具体地，定义C为系统对保障带宽使用的加权比率，M为当前带宽的加权总量，则为了在保障重要业务带宽的前提下，保证带宽利用率最大化，也就是在保障C最大化的前提下，尽可能提升M的值，故回报函数R_t可以具体表示为以下的公式：

其中为常数，其数值较大的常数，sigmoid(M)是通过sigmoid函数将M转换到[0,+1]的区间中。C和M具体可以通过以下的公式进行表示：

在本实施例中，多种形式的机器学习模型可以被用于实现S202。例如，所述机器学习模型具体可以为深度神经网络。

在本实施例中，为了提高机器学习的智能性，提高获得的当前时间段调整策略的准确度，深度神经网络可以是在流量带宽控制的过程中不断进行训练的，其中，对于当前时间段来说，深度神经网络是根据历史时间段的历史流量状况、历史调整策略及其对应的满意度误差进行训练。具体地说，本实施例例如还可以包括：在可选历史时间段中进行采样，得到目标历史时间段；根据所述目标历史时间段对应的满意度误差，对所述深度神经网络的权重进行更新。其中，所述目标历史时间段对应的满意度误差具体为在先流量状况满意度与在后流量状况满意度之间的误差，所述在先流量状况满意度表示在目标历史时间段内所述第一数据流量集合的历史流量统计结果满足期望的程度，所述在后流量状况满意度表示在所述目标历史时间段的下一时间段内所述第一数据流量集合的流量统计结果满足期望的程度。

进一步而言，为了使得深度神经网络的每一次训练更加准确，可以在每次训练深度神经网络时采用多个不同的历史时间段的满意度误差。具体地，在前述实施方式的基础上，在可选历史时间段中进行采样的方式可以为：在所述可选历史时间段中进行多次采样，得到多个目标历史时间段；对深度神经网络进行权重更新的方式可以为：根据多个所述目标历史时间段对应的满意度误差，采用梯度下降法对所述深度神经网络的权重进行多次更新。

举例说明：对于一个历史时间段j来说，第一数据流集合在j内的历史流量统计结果可以用于确定所述历史时间段j之后的下一时间段j+1的历史调整策略A_j，所述在j+1内根据历史调整策略A_j对第一数据流集合进行流量带宽控制，当j+1结束时，网络设备统计出第一数据流集合在j+1内的流量统计结果S_j+1，S_j+1可以用于与第一数据流集合的第一预先定义策略计算出j+1内的回报函数值R_j+1，因此，网络设备可以在存储结构中对应每个历史时间段j保存如下的一组参数(S_j,A_j,R_j+1,S_j+1)，该组参数可以用于计算历史时间段j对应的满意度误差，以便于对深度神经网络的权重进行更新。具体地，历史时间段j对应的满意度误差可以表示为以下公式：

E_j＝(Q(S_j,A_j；w)-(R_j+1+γMax_aQ(S_j+1,a；w)))²；

其中，Q(S_j,A_j；w)表示在先流量状况满意度，R_j+1+γMax_aQ(S_j+1,a；w)表示在后流量状况满意度，γ是预设的常数。

进一步而言，对于当前时间段来说，若此时要更新深度神经网络的权重，可以在其之前的各可选历史时间段内进行K次采样，得到K个目标历史时间段。这K个目标历史时间段对应了K个(S_t,A_t,S_t+1,A_t+1)，可用于计算出K个目标历史时间段对应的K个满意度误差。通过梯度下降法，这K个满意度误差可以用于所述深度神经网络的权重进行更新。其中，更新的方式具体可以表示为下述公式：

w＝w-λ▽E_j(w)。

需要说明的是，由于在实际场景的测试过程中，采样得到的历史目标时间段中的数据对机器学习模型的训练结果有很大的影响，进而对获得的当前调整策略会产生很大的影响。因此，在本实施例的一些实施方式中，在从可选历史时间段中采样目标历史时间段时，各所述可选历史时间段被采样为所述目标历史时间段的概率可以被设置为随时间线性衰减，其中，越接近于所述当前时间段的所述可选历史时间段，被采样为所述目标历史时间段的概率越大。

除此之外，考虑到距离当前时刻越远的历史时间段对当前时刻的流量带宽控制越不具有参考价值，在本实施例的一些实施方式中，网络设备可以设置一个时间差阈值，以便网络设备仅在距离当前时刻不超过该时间差阈值的时间范围内选择用于对深度神经网络进行权重更新的目标历史时间段，也即，所述可选历史时间段与当前时刻之间时间差不超过时间差阈值。在这种情况下，在网络设备的存储结构中，只需要存储最近一段时间内的历史时间段对应的数据(S_j,A_j,S_j+1,A_j+1)，而更早时间段的数据可以删除，这样就节省了存储空间，其中最近一段时间的时长为时间差阈值。

在本实施例的一些实施方式中，参考图3，在S201之后还包括：

S301：以预设常数为概率，在第一结果和第二结果中进行随机选择。

S302：若随机选择结果为所述第一结果，执行S202。

S303：若随机选择结果为所述第二结果，随机选取一个可选调整策略作为当前调整策略，执行S203。

其中，第一结果表示的是当前调整策略通过机器学习模型的方式确定；第二结果得到当前调整策略通过随机选择的方式确定。其中，所述预设常数例如可以是e。

可以理解的是，通过图3所示的实施方式，在训练开始阶段网络设备能够避免机器学习模型朝着固定方向训练而长时间无法训练完成出现偏差，从而使得机器学习模型能够更快速地训练完成并给出较为准确的调整策略

本实施例中，对于一个数据流集合来说，以该数据流集合在历史时间段内采用历史调整策略和预先定义策略分配标签的情况下流量状况满足期望的程度对机器学习模型进行训练，训练得到的机器学习模型可以根据当前时间段内该数据流集合的流量统计结果确定出使该数据流后续的流量状况最大程度满足期望的当前调整策略。因此，网络设备可以根据变化的流量状况，对用户预先定义策略进行调整，以使得关键业务分配到的标签增加和/或非关键业务分配到的标签。这样，非关键业务流量的发送速度得以减小，链路带宽也就不再被非关键业务的流量过度挤占，关键业务的数据流流量能够在网络设备的入口处及出口处都占用到足够的带宽。

参考图4，示出了本发明实施例中一种控制流量带宽的方法的流程示意图。在本实施例中，所述方法例如可以包括：

S401：随机初始化深度神经网络函数Q的权重w，并初始化存储结构，

其中，Q(S,a；w)＝E(G_t|S_t＝s,A_t＝a)；

G_t表示当前时间段第一数据流集合的流量统计结果满足期望的程度，S_t表示当前流量统计结果，A_t表示可选调整策略。

S402：获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果，其中，所述第一数据集合包括一个或多个数据流，所述当前流量统计结果包括所述第一数据流集合中各数据流在所述当前时间段内的流量；

S403：以预设常数为概率，在第一结果和第二结果中进行随机选择。

S404：若随机选择结果为所述第一结果，执行406。

S405：若随机选择结果为所述第二结果，随机选取一个可选调整策略作为当前调整策略，执行S407。

S406：根据以下公式，获取当前调整策略；

A_t＝max_A(Q(S_t,A；w))。

S407：根据所述当前调整策略和所述第一预定义策略，为当前时间段所述第一数据集合中各数据流分配用于标识优先级的标签，若当前时间段到期，进入下一时间段。

其中，所述第一数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第一数据流集合中各数据流的报文进行转发控制。

S408：在所述下一时间段对应的数据中读取S_t+1,计算R_t+1；并将获取的(S_t,A_t,S_t+1,A_t+1)存入到所述存储结构中。

S409：在可选历史时间段中进行K次采样，得到K个目标历史时间段对应的(S_j,A_j,S_j+1,A_j+1)。

S410：根据以下的公式，计算出K个误差函数：

E_j＝(Q(S_j,A_j；w)-(R_j+1+γMax_aQ(S_j+1,a；w)))²。

其中，Q(S_j,A_j；w)表示在先状况满意度，Max_aQ(S_j+1,a；w)表示在后状况满意度，即表示的是在目标历史时间段内的下一时间段中，根据目标历史时间段所采用的调整策略，获得的第一数据流量集合的流量统计结果满足期望的程度，R_j+1表示的是根据目标历史时间段所采用的调整策略，得到的第一数据流量实际满足用户期望的程度，γ是预设的常数，K是预设的整数。

S411：根据梯度下降法对所述权重w进行K次更新，每次更新依据以下的公式进行，

w＝w-λ▽E_j(w)。

并返回S402。

本实施例中，对于一个数据流集合来说，以该数据流集合在历史时间段内采用历史调整策略和预先定义策略分配标签的情况下流量状况满足期望的程度对机器学习模型进行训练，训练得到的机器学习模型可以根据当前时间段内该数据流集合的流量统计结果确定出使该数据流后续的流量状况最大程度满足期望的当前调整策略。因此，网络设备可以根据变化的流量状况，对用户预先定义策略进行调整，以使得关键业务分配到的标签增加和/或非关键业务分配到的标签。这样，非关键业务流量的发送速度得以减小，链路带宽也就不再被非关键业务的流量过度挤占，关键业务的数据流流量能够在网络设备的入口处及出口处都占用到足够的带宽。

示例性设备

参考图5，示出了本发明实施例一种控制流量带宽的装置的结构示意图。在本实施例中，所述装置例如可以包括：

获取单元501，用于获取当前时间段内第一数据流集合的流量统计结果作为当前流量统计结果，其中，所述第一数据流集合包括一个或多个数据流，所述当前流量统计结果包括所述第一数据流集合中各数据流在所述当前时间段内的流量。

计算单元502，用于通过机器学习模型，对所述当前流量统计结果进行计算，得到当前调整策略，其中，所述机器学习模型是通过对所述第一数据流集合的历史流量状况满意度进行学习而训练得到的，所述历史流量状况满意度表示在历史时间段内所述第一数据流量集合的流量统计结果满足期望的程度，在所述历史时间段内所述网络设备采用历史调整策略和第一预先定义策略对所述第一数据流集合进行流量带宽控制。

第一分配单元503，用于根据所述当前调整策略和所述第一预先定义策略，为所述第一数据流集合中各数据流分配用于标识优先级的标签。

其中，所述第一数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第一数据流集合中各数据流的报文进行转发控制。

可选的，所述计算单元包括：

将所述当前流量统计结果分别与各可选调整策略输入到所述机器学习模型，得到所述机器学习模型对应于各可选调整策略分别输出的当前流量状况满意度。

选取最大的当前流量状况满足度对应的可选调整策略，作为所述当前调整策略。

可选的，所述机器学习模型具体为深度神经网络。

可选的，还包括：

采样单元，用于在可选历史时间段中进行采样，得到目标历史时间段。

更新单元，用于根据所述目标历史时间段对应的满意度误差，对所述深度神经网络的权重进行更新。

其中，所述目标历史时间段对应的满意度误差具体为在先流量状况满意度与在后流量状况满意度之间的误差，所述在先流量状况满意度表示在目标历史时间段内所述第一数据流量集合的历史流量统计结果满足期望的程度，所述在后流量状况满意度表示在所述目标历史时间段的下一时间段内所述第一数据流量集合的流量统计结果满足期望的程度。

可选的，

所述采样单元，具体用于在所述可选历史时间段中进行多次采样，得到多个目标历史时间段。

所述更新单元，具体用于根据多个所述目标历史时间段对应的满意度误差，采用梯度下降法对所述深度神经网络的权重进行多次更新。

可选的，各所述可选历史时间段被采样为所述目标历史时间段的概率随时间线性衰减，其中，越接近于所述当前时间段的所述可选历史时间段，被采样为所述目标历史时间段的概率越大。

可选的，所述可选历史时间段与当前时刻之间时间差不超过时间差阈值。

可选的，还包括：

第一随机单元，用于在所述获取单元获取所述当前流量统计结果之后，以预设常数为概率，在第一结果和第二结果中进行随机选择。

触发单元，用于若随机选择结果为所述第一结果，进入所述计算单元；

第二随机单元，用于若随机选择结果为所述第二结果，随机选取一个可选调整策略作为当前调整策略，触发所述第一分配单元。

可选的，还包括：

第二分配单元，用于根据第二预先定义策略，为所述第二数据流集合中各数据流分配用于标识优先级的标签；所述第一数据流集合包括一个或多个数据流。

其中，所述第二数据流集合中各数据流分配到的标签，分别用于所述网络设备对所述第二数据流集合中各数据流的报文进行转发控制。

通过本实施例提供的装置，对于一个数据流集合来说，以该数据流集合在历史时间段内采用历史调整策略和预先定义策略分配标签的情况下流量状况满足期望的程度对机器学习模型进行训练，训练得到的机器学习模型可以根据当前时间段内该数据流集合的流量统计结果确定出使该数据流后续的流量状况最大程度满足期望的当前调整策略。因此，网络设备可以根据变化的流量状况，对用户预先定义策略进行调整，以使得关键业务分配到的标签增加和/或非关键业务分配到的标签。这样，非关键业务流量的发送速度得以减小，链路带宽也就不再被非关键业务的流量过度挤占，关键业务的数据流流量能够在网络设备的入口处及出口处都占用到足够的带宽。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。