一种网络业务流量信息疏导方法及电子设备与流程

本发明涉及通信技术领域，特别涉及一种网络业务流量信息疏导方法及电子设备。

背景技术：

网络业务流量疏导是指将网络业务流量分配的各个网络路径中进行传输。

现有的疏导方案一般包括：在网络业务流量中寻找有共同目的宿节点的源节点，之后寻找这些源节点到宿节点间的业务所需要的共同路径，再进行网络业务流量信息疏导。

但一味的寻找共同路径较多的分配行为可能会导致网络中不断存在业务的汇聚和分离，增加了不必要的bv-oxc(bandwidthvariable-opticalcrossconnect，带宽可变的交换节点结构，简称交换单元),，导致网络业务流量疏导过程中资源的浪费和成本的增加。

技术实现要素：

本发明的目的在于提供一种网络业务流量信息疏导方法，用于减少网络业务流量疏导过程中所需的资源和成本。

基于上述目的，本发明提供了一种网络业务流量信息疏导方法，所述方法包括：

获取网络状态数据，所述网络状态数据包括网络业务流量数据和网络拓扑结构数据；

将所述网络状态数据输入至疏导模型中，得到所述疏导模型输出的流量分配信息；

基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值；

基于所述总奖惩值对所述疏导模型中的参数进行调整；

判断调整后的疏导模型是否满足预设收敛条件；

如果不满足，返回所述获取网络状态数据的步骤；

如果满足，利用调整后的疏导模型输出的流量分配信息进行流量分配。

可选的，获取网络状态数据中的网络拓扑结构数据包括：

基于网络拓扑结构，生成网络拓扑图像；

采用卷积神经网络对所述网络拓扑图像进行识别，得到网络拓扑结构数据。

可选的，所述网络拓扑图像包括方形和三角形，其中，

所述方形表示网络拓扑结构中的源宿节点；

所述三角形表示网络拓扑结构中的交换单元。

可选的，所述基于所述流量分配信息进行流量分配包括；

基于所述流量分配信息给所述网络业务流量数据分配路由；

基于所述流量分配信息给所述网络业务流量数据分配频谱资源。

可选的，所述基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值包括：

基于得分模型中的a3c(asynchronousadvantageactor-critic，异步优势行为-评判者)算法，计算得到每条网络业务流量分配行为的分奖惩值；

将所述每条网络业务的分奖惩值进行累加获得总奖惩值。

可选的，所述基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值包括：

采用得分模型中的如下算式计算得到所述总奖惩值：

r(t)＝γrbv-oxc(t)+δr保护带宽(t)#(1)

其中，t为t时刻，γ和δ为系数，当网络处于接近满负载的状态时，网络急需更多的频谱空间和资源，则γ<δ；当网络流量较为空闲时，网络可将减少成本作为主要优化目标，则γ>δ；

rbv-oxc(t)为t时刻消耗交换单元的奖惩值，r保护带宽(t)为t时刻消耗保护带宽的奖惩值。

可选的，所述基于所述总奖惩值对所述疏导模型中的参数进行调整包括：

采用a3c算法，对所述总奖惩值进行计算，得到神经网络参数梯度；

采用梯度下降法，对所述神经网络参数梯度进行计算，基于计算结果对所述疏导模型中的参数进行调整。

可选的，在所述获取网络状态数据后，所述方法还包括：

判断网络业务流量信息对传输速度和时延要求是否超过设定阈值；

如果超过设定阈值，将所述网络状态数据有限采用k条最短路径算法和首次适应算法对网络业务流量信息进行流量分配；

如果不超过设定阈值，判断将所述网络状态数据输入至疏导模型中。

可选的，所述将所述网络状态数据输入至疏导模型中，得到所述疏导模型输出的流量分配信息具有多个；

基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值包括：基于多个所述流量分配信息进行流量分配，并得到多个所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对多个所述消耗的带宽和交换单元进行计算，得到多个所述总奖惩值；

所述基于所述总奖惩值对所述疏导模型中的参数进行调整包括：基于多个所述总奖惩值对所述疏导模型中的参数进行异步调整。

基于相同的发明创造，本发明还提供了一种执行网络业务流量信息疏导方法的电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意一项所述的方法。

本方法通过将所述网络状态数据输入至疏导模型中，得到所述疏导模型输出的流量分配信息；基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值；基于所述总奖惩值对所述疏导模型中的参数进行调整；判断调整后的疏导模型是否满足预设收敛条件；如果不满足，返回所述获取网络状态数据的步骤；如果满足，利用调整后的疏导模型输出的流量分配信息进行流量分配。

由上述可知，本方法基于消耗的带宽和交换单元不断的更新疏导模型的参数直至满足预设收敛条件，从而使得基于最终的流量分配信息进行的流量分配所消耗的带宽和交换单元可以处在一个较少的水平上，减少了网络业务流量疏导过程中所需的资源和成本。

附图说明

图1为本发明具体实施方式疏导方法的流程示意图；

图2为本发明具体实施方式获取网络拓扑结构数据的流程示意图；

图3(a)为本发明具体实施方式网络拓扑图像示意图，图3(b)为vgg16卷积神经网络结构示意图；

图4为本发明具体实施方式采用得分模型对消耗的带宽和交换单元进行计算得到总奖惩值的流程示意图；

图5为本发明具体实施方式判断是否将网络状态数据输入至疏导模型中的流程示意图；

图6为本发明具体实施方式其中一种弹性光网络拓扑结构示意图；

图7为本发明具体实施方式假设上一分配信息使得网元添加bv-oxc，确定本状态的网络拓扑图像的结构框图；

图8为本发明具体实施方式执行网络业务流量信息疏导方法的电子设备的一个实施例的硬件结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

为达到上述目的，本发明实施例提供了一种网络业务流量信息疏导方法，图1为本发明实施例提供的一种网络业务流量信息疏导方法的流程示意图，该方法可以包括：

s101：获取网络状态数据，所述网络状态数据包括网络业务流量数据和网络拓扑结构数据。

一种实施方式中，网络业务流量数据可以包括业务的源宿节点信息和每条路由上业务占用带宽信息。

一些情况下，由于疏导模型要经过大量数据的训练，网络业务流量数据可以是现实网络中的实际网络业务流量数据，为利于疏导模型的快速学习，前期可以将网络中的业务流量数据按照一定的规律进行排序，按照同源节点的业务或者同宿节点的这类相似业务进行排序，如此可以在前期加快疏导模型的更新训练。

s102：将所述网络状态数据输入至疏导模型中，得到所述疏导模型输出的流量分配信息；

s103：基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值；

举例说明对于不同的网络状态数据采取不同的分配行为所获得的奖惩值设定如表1所示：例如表第三、四行，当网络中存在可以不增加bv-oxc(交换单元)和不增加保护带宽的路由和频谱分配的方法时，疏导模型做出不增加bv-oxc、不增加保护带宽的路由和频谱分配行动，那么网络返回一个较大的奖惩值，即鼓励疏导模型继续做这样的行为，若疏导模型没有采取行动，则网络返回一个值适中的惩罚值。

表1：奖惩值的设定

s104：基于所述总奖惩值对所述疏导模型中的参数进行调整；

s105：判断调整后的疏导模型是否满足预设收敛条件；

在一些情况下，收敛条件可以是loss(损失)值，loss值用于判断疏导模型是否收敛，当loss值收敛，说明疏导模型已经学习到最优。

s106：如果不满足，返回步骤s101；

s107：如果满足，利用参数优化后的疏导模型进行流量分配。

由上述步骤可知，本方法基于消耗的带宽和交换单元不断的更新疏导模型的参数直至满足预设收敛条件，从而使得基于最终的流量分配信息进行的流量分配所消耗的带宽和交换单元可以处在一个较少的水平上，减少了网络业务流量疏导过程中所需的资源和成本。

同时本方法通过大量数据训练更新疏导模型，使得即使在不知道实际网络业务流量数据具体的相关状态，例如仅根据网络业务流量数据的宿源节点请求信息时，也可以实现较好的疏导和规划。

同时本疏导模型是通过神经网络的不断训练得到的，符合迁移学习特性，在微量改变网络状态数据有后，疏导模型重新训练学习时间较短。

同时本疏导模型更新训练完成后，应用于实际网络中后对网络业务流量数据规划和疏导速度较快。

一种实施方式中，如图2所示，获取网络状态数据中的网络拓扑结构数据可以包括：

s201：基于网络拓扑结构，生成网络拓扑图像；

一种实施例中，如图3(a)所示，所述网络拓扑图像可以包括方形和三角形，其中，

所述方形表示网络拓扑结构中的源宿节点；

所述三角形表示网络拓扑结构中的交换单元。

一些情况下，方形和三角形也可以用其他的形状代替。

s202：采用卷积神经网络对所述网络拓扑图像进行识别，得到网络拓扑结构数据。

卷积神经网络可以是vgg16(visualgraphicsgenerator16，16层目视图像生成器)卷积神经网络，图3(b)为vgg16卷积神经网络结构示意图。

一种实施例中，所述基于所述流量分配信息进行流量分配可以包括：

基于所述流量分配信息给所述网络业务流量数据分配路由；

基于所述流量分配信息给所述网络业务流量数据分配频谱资源。

一种实施方式中，如图4所示，所述基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值可以包括：

s301：基于得分模型中的a3c算法，计算得到每条网络业务流量分配行为的分奖惩值；

具体地，a3c算法采用两个神经网络——actor(行为)和critic(评判者)神经网络，actor神经网络负责产生流量分配信息的策略，对于流量分配信息的好坏通过critic神经网络去评价。

s302：将所述每条网络业务的分奖惩值进行累加获得总奖惩值。

一种实施方式中，所述基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值可以包括：

采用得分模型中的如下算式计算得到所述总奖惩值：

r(t)＝γrbv-oxc(t)+δr保护带宽(t)#(1)

其中，t为t时刻，γ和δ为系数，当网络处于接近满负载的状态时，网络急需更多的频谱空间和资源，则γ<δ；当网络流量较为空闲时，网络可将减少成本作为主要优化目标，则γ>δ；

rbv-oxc(t)为t时刻消耗交换单元的奖惩值，r保护带宽(t)为t时刻消耗保护带宽的奖惩值。

由上述可知，本方法可以通过调整γ和δ的值来进行权衡两个不同场景的要求，即当网络处于接近满负载的状态时，网络急需更多的频谱空间和资源与当网络流量较为空闲时，网络可将减少成本作为主要优化目标这两个场景。提升了本方法的实用性。

一种实施方式中，所述基于所述总奖惩值对所述疏导模型中的参数进行调整可以包括：

采用a3c算法，对所述总奖惩值进行计算，得到神经网络参数梯度；

采用梯度下降法，对所述神经网络参数梯度进行计算，基于计算结果对所述疏导模型中的参数进行调整。

一种实施方式中，如图5所示，在所述获取网络状态数据后，所述方法还可以包括：

s401：判断网络业务流量信息对传输速度和时延要求是否超过设定阈值；

s402：如果超过设定阈值，将所述网络状态数据有限采用k条最短路径(k-shortestpaths，ksp)算法和首次适应(first-fit，ff)算法对网络业务流量信息进行流量分配；

s403：如果不超过设定阈值，判断将所述网络状态数据输入至疏导模型中。

在网络业务流量数据输入到疏导模型前，需要对网络业务流量信息进行一个判别，因为疏导模型由于为了节省保护带宽和交换单元，可能选出的路由路径并不适合网络业务流量数据本身的传输。因此在网络业务流量数据输入前，对网络业务流量数据传输时延要求通过上述方法进行一个判别。

由上述可知，本方法可以兼顾到了节省保护带宽和交换单元的目的和满足网络业务流量数据传输的时延要求，提升了本方法的实用性。可以在不同的网络情况中，如高负载网络和低负载网络中可采取不同的分配行为，可以寻找到提高传输速度和减少成本之间的平衡点。

在一种实施方式中，所述将所述网络状态数据输入至疏导模型中，得到所述疏导模型输出的流量分配信息具有多个；

基于所述流量分配信息进行流量分配，并得到所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对消耗的带宽和交换单元进行计算，得到总奖惩值包括：基于多个所述流量分配信息进行流量分配，并得到多个所述流量分配信息对应的分配行为消耗的带宽和交换单元，采用得分模型，对多个所述消耗的带宽和交换单元进行计算，得到多个所述总奖惩值；

所述基于所述总奖惩值对所述疏导模型中的参数进行调整包括：基于多个所述总奖惩值对所述疏导模型中的参数进行异步调整。

由上述可知，本方法中通过疏导模型一次输出多个流量分配信息，具体地，采用疏导模型中多个actor神经网络输出多个流量分配信息，基于一次性的多个流量分配信息，可以对疏导模型中的参数进行异步调整，即一次性可以对疏导模型进行多次调整。如此异步调整能够加快疏导模型满足预设收敛条件，提升了疏导模型训练的效率。

为了进一步实施本方法，下面给出本方法的一个具体实施例，如图6所示，

假设弹性光网络拓扑结构如图6所示。欲采用本发明所述的方法，首先可以利用n条大量网络业务流量数据对疏导模型进行更新训练。

对于第i条业务(例如源节点为1，宿节点为6)，根据该业务的源宿请求信息和上一网络拓扑结构信息(假设上一分配信息使得网元4添加bv-oxc)，确定本状态的网络拓扑图像如图7所示。

若该网络业务流量数据要求的传输时延低于阈值，则说明该业务需要快速传输，则直接对业务进行ksp+ff进行路由选择和频谱分配。否则将该上述图像通过vgg16卷积神经网络进行图像识别，将神经网络识别后的特征同上一状态的网络业务流量数据一同输入到疏导模型中的强化学习a3c神经网络当中，作为强化学习的“环境”。强化学习的“机器/代理”根据输入输出分配信息，即为第i条业务进行路由选择和分配频谱。随后根据表格1中的奖惩值评价方式进行评价，获得该分配信息的奖惩值，并与之前分配信息的奖惩值(即第i条业务之前的已分配业务)累加以计算累积奖惩值，并根据此次行为改变的网络状态，更新下一条网络业务流量数据和网络拓扑结构数据。这样重复同一操作，直到n条业务均分配完毕，获得总奖惩值。根据该总奖惩值，更新疏导模型中的参数，以使得n条业务分配完毕后的总奖惩值最大。

疏导模型更新训练完成后，固定疏导模型的参数，实际应用于网络业务流量信息疏导时，将需要疏导的网络业务流量信息输入到模型当中，进行最佳的业务分配策略。

本发明实施例的第二个方面，提出了一种执行网络业务流量信息疏导方法的电子设备的一个实施例。

图8示出的是本发明提供的一种执行网络业务流量信息疏导方法的电子设备的一个实施例的硬件结构示意图。

一种执行网络业务流量信息疏导方法的电子设备，其特征在于：包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意一项所述的方法。

以如图8所示的电子设备为例，在该电子设备中包括一个处理器以及一个存储器，并还可以包括：输入装置和输出装置。

处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接，图中以通过总线连接为例。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述移动终端程序的计算迁移方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的移动终端程序的计算迁移方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据移动终端程序的计算迁移装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置可接收输入的数字或字符信息，以及产生与移动终端程序的计算迁移装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行上述任意方法实施例中的移动终端程序的计算迁移方法。

所述执行所述移动终端程序的计算迁移方法的电子设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，根据本公开的方法还可以被实现为由cpu执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被cpu执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp核、或任何其它这种配置。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。