一种在线规划时间敏感流的方法、装置及存储介质

1.本发明涉及工业网络技术领域，具体涉及一种在线规划时间敏感流的方法、装置及存储介质。


背景技术：

2.时间敏感网络、无线确定性网络等具有时延确定性需求的网络是目前国际产业界正在积极推动的全新通信技术，确定性网络为时间敏感流的传输提供了有界端到端传输时延、低传输抖动和极低数据丢失率的可靠保证，且具有广泛的应用场景，例如工业自动化、移动网络、车联网等，在大部分应用场景下，具有硬实时性需求的时间敏感流都是静态的且提前定义好的，所以现有的规划算法普遍适用于离线的场景。
3.然而针对于在线规划动态时间敏感流的问题，传统的算法计算时间长且开销大，容易陷入局部最优，不适合实时调度业务流。


技术实现要素：

4.有鉴于此，本发明实施例提供了涉及一种在线规划时间敏感流的方法、装置及存储介质，以解决现有技术中规划时间敏感流的算法不适合实时调度业务流的技术问题。
5.本发明提出的技术方案如下：
6.本发明实施例第一方面提供一种在线规划时间敏感流的方法，包括：根据double dqn深度强化学习算法确定预设求解器；获取业务流信息、网络拓扑信息和网络状态信息；根据所述业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征；根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间；根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间；根据优化目标确定预设求解器求解所需的奖励机制；根据所述状态空间、所述动作空间以及所述奖励机制运行预设求解器求解，得到在线规划结果。
7.可选地，所述时间敏感流的关键特征包括：当前时间敏感流的id号、发包周期、源地址、目的地址、端到端时延需求、抖动需求、每个周期发包数目和数据包大小；所述网络的关键特征包括：网络中每个节点每个接口上的每个队列的空间占用率。
8.可选地，根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间，包括：将提取的网络的关键特征生成状态空间的二维矩阵；将所述二维矩阵拉伸成一维向量；将所述一维向量和所述时间敏感流的关键特征拼接，得到预设求解器求解所需的状态空间。
9.可选地，根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间，包括：将一个调度周期内所有的时间槽和网络中所有无环的可达转发路径构成预设求解器的动作空间。
10.可选地，优化目标为使网络容纳的动态时间敏感流的数量最多；根据优化目标确定预设求解器求解所需的奖励机制，包括：每步迭代求解时，如果在该步需要规划的时间敏
感流被网络容纳，增加奖励值；每步迭代求解时，如果在该步需要规划的时间敏感流不能被网络容纳，增加惩罚值。
11.可选地，所述预设求解器包括神经网络结构和学习算法，所述神经网络结构包括估计神经网络和目标神经网络，所述估计神经网络和目标神经网络具有相同网络结构和相同初始参数；所述学习算法机制为根据当前的状态特征，以基于q值的ε贪婪策略映射出一组动作，并在执行该组动作的过程中与环境交互，得到奖励值并转移到下一个状态，同时采用神经网络的反向传播机制，不断更新和优化神经网络参数，映射出更优的动作，所述学习算法在求解过程中重复迭代上述状态转移过程，直到满足停机准则结束。
12.可选地，所述神经网络的反向传播机制中，double dqn的损失函数通过以下公式表示：
[0013][0014]
其中，q(
·
)是估计神经网络的动作价值函数，yj是目标价值，sj是第j个样本的状态，aj是第j个样本的动作，db表示总样本数；
[0015][0016]
其中，q
′
(
·
)是目标神经网络的动作价值函数，rj是环境给予第j个样本的即时奖励，γ是折扣因子，ω和分别表示估计神经网络和目标神经网络的参数，每经过m步迭代，目标神经网络的参数会被估计神经网络的参数直接取代，则
[0017]
本发明实施例第二方面提供一种在线规划时间敏感流的装置，包括：求解器确定模块，用于根据double dqn深度强化学习算法确定预设求解器；信息获取模块，用于获取业务流信息、网络拓扑信息和网络状态信息；特征提取模块，用于根据所述业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征；状态空间确定模块，用于根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间；动作空间确定模块，用于根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间；奖励机制确定模块，用于根据优化目标确定预设求解器求解所需的奖励机制；求解模块，用于根据所述状态空间、所述动作空间以及所述奖励机制运行预设求解器求解，得到在线规划结果。
[0018]
本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的在线规划时间敏感流的方法。
[0019]
本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的在线规划时间敏感流的方法。
[0020]
本发明提供的技术方案，具有如下效果：
[0021]
本发明实施例提供的在线规划时间敏感流的方法、装置及存储介质，根据深度强化学习算法模型设计预设求解器，通过提取时间敏感流和网络的关键特征信息，以及与环境和优化问题相适配的状态空间、动作空间和奖励机制，来求解网络中对动态时间敏感流和路由的联合调度规划问题，从而得到不同时间敏感流的规划结果。因此，本发明实施例提供的在线规划时间敏感流的方法、装置及存储介质，解决了网络中在线的对动态时间敏感流和路由联合调度规划的难题，提高了网络对动态业务流的适应能力。
附图说明
[0022]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]
图1是根据本发明实施例的在线规划时间敏感流的方法的应用场景示意图；
[0024]
图2是根据本发明实施例的在线规划时间敏感流的方法的流程图；
[0025]
图3是根据本发明实施例的在线规划时间敏感流的装置的结构框图；
[0026]
图4是根据本发明实施例提供的计算机可读存储介质的结构示意图；
[0027]
图5是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0028]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
图1描述了本发明实施例在时间敏感网络中的一个应用场景。该应用场景采用了全集中式时间敏感网络(tsn)架构的部署方式，该架构包括控制平面和数据平面两部分，控制平面包含一个全局控制器，在控制器中部署了三个主要的组件，分别是集中式用户配置cuc、集中式网络配置cnc和数据库。cuc面向用户获取业务流信息，cnc负责集中管控数据平面、下发配置信息以及执行规划业务流所必需的计算。数据平面由终端和tsn交换机组成，每个节点的每个接口上均部署有8个队列，前两个优先级最高的队列用于存储时间敏感流，接下来两个优先级次高的队列用于存储音视频a类流和b类流，其他队列均用于存储尽力而为的流。本实施例对网络中所包括的节点的数量不作具体限定。
[0030]
本发明实施例提供一种在线规划时间敏感流的方法，该方法可以用于具有确定性调度需求的网络，例如时间敏感网络、无线确定性网络等。如图2所示，该方法包括如下步骤：
[0031]
步骤s101：根据double dqn深度强化学习算法确定预设求解器。具体地，在进行时间敏感流的在线规划时，可以先确定预设求解器，采用该求解器进行规划求解。其中，该预设求解器为采用double dqn(ddqn)深度强化学习算法的智能化求解器。同时，该预设求解器将基于循环队列转发机制的时间敏感流和路由的联合调度模型转化成马尔可夫决策过程。
[0032]
在一实施方式中，该预设求解器包括神经网络结构、学习算法、状态空间、动作空间以及奖励机制。其中，神经网络结构包括估计神经网络和目标神经网络，估计神经网络和目标神经网络具有相同网络结构和相同初始参数。而学习算法机制为根据当前的状态特征，以基于q值的ε贪婪策略映射出一组动作，并在执行该组动作的过程中与环境交互，得到奖励值并转移到下一个状态，同时采用神经网络的反向传播机制，不断更新和优化神经网络参数，映射出更优的动作，所述学习算法在求解过程中重复迭代上述状态转移过程，直到满足停机准则结束。
[0033]
其中，在反向传播时，ddqn的损失函数可以用均方误差来表示：
[0034][0035]
其中，q(
·
)是估计神经网络的动作价值函数，yj是目标价值，sj是第j个样本的状态，aj是第j个样本的动作，db表示总样本数；
[0036][0037]
其中，q
′
(
·
)是目标神经网络的动作价值函数，rj是环境给予第j个样本的即时奖励，γ是折扣因子，ω和分别表示估计神经网络和目标神经网络的参数；
[0038]
每经过m步迭代，目标神经网络的参数会被估计神经网络的参数直接取代，有表达式
[0039]
步骤s102：获取业务流信息、网络拓扑信息和网络状态信息。具体地，在获取业务流信息时，可以采用上述集中式用户配置cuc面向用户获取业务流信息。而网络状态信息和网络拓扑信息可以由集中式网络配置cnc实时探测和获取，实现网络的在线实时监测。
[0040]
步骤s103：根据所述业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征。具体地，可以基于业务流信息提取时间敏感流的关键特征，基于网络拓扑信息和网络状态信息提取网络的关键特征。
[0041]
步骤s104：根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间。具体地，在提取到时间敏感流的关键特征和网络的关键特征后，可以将两种特征进行拼接，从而构建预设求解器求解所需的状态空间。
[0042]
步骤s105：根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间。具体地，将一个调度周期内所有的时间槽和网络中所有无环的可达转发路径构成求解器的动作空间，集合表达如下：
[0043]at
＝{t1,t2,...,tn；p1,p2,...,pv}
[0044]
其中，在每步迭代求解时，会根据ε贪婪策略映射出具有最大q值的一组动作{ti,pj}，由此，得到一组由时间槽分配策略和路径转发策略构成的解空间。
[0045]
步骤s106：根据优化目标确定预设求解器求解所需的奖励机制。具体地，在确定奖励机制时，可以先确定此次规划的优化目标。然后根据该优化目标的实现与否确定求解器对应的奖励机制。
[0046]
步骤s107：根据所述状态空间、所述动作空间以及所述奖励机制运行预设求解器
求解，得到在线规划结果。具体地，在确定智能求解器的状态空间、动作空间以及奖励机制后，将其输入到求解器中。求解器根据输入的参数，并基于其内部的double dqn深度强化学习算法进行求解，得到在线规划结果。
[0047]
本发明实施例提供的在线规划时间敏感流的方法，根据深度强化学习算法模型设计预设求解器，通过提取时间敏感流和网络的关键特征信息，以及与环境和优化问题相适配的状态空间、动作空间和奖励机制，来求解网络中对动态时间敏感流和路由的联合调度规划问题，从而得到不同时间敏感流的规划结果。因此，本发明实施例提供的在线规划时间敏感流的方法，解决了网络中在线的对动态时间敏感流和路由联合调度规划的难题，提高了网络对动态业务流的适应能力。
[0048]
在一实施方式中，所述时间敏感流的关键特征包括：当前时间敏感流的id号、发包周期、源地址、目的地址、端到端时延需求、抖动需求、每个周期发包数目和数据包大小；所述网络的关键特征包括：网络中每个节点每个接口上的每个队列的空间占用率。
[0049]
具体地，在提取时间敏感流的关键特征时，可以在每步ddqn算法迭代开始时均进行提取。其中，上述时间敏感流的关键特征可以表示为：
[0050][0051]
对于网络的关键特征，也可以在每步ddqn算法迭代开始时均进行提取。该网络的关键特征包括网络中每个节点每个接口上的每个队列的空间占用率，以便能实时监测队列资源，保证在一个时间槽发送的数据包不超过最大传输容量。由此，将每次提取的时间敏感流特征和网络的关键特征一起输入到求解器中进行每步ddqn算法的迭代求解。
[0052]
在一实施方式中，根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间，包括：将提取的网络的关键特征生成状态空间的二维矩阵；将所述二维矩阵拉伸成一维向量；将所述一维向量和所述时间敏感流的关键特征拼接，得到预设求解器求解所需的状态空间。
[0053]
具体地，对于提取的网络的关键特征，可以结合循环队列转发机制和调度周期，给出状态空间的二维矩阵表示：
[0054][0055]
其中，第i行表示第i个时间槽，第j列表示第j个接收队列，第(i,j)个元素则表示在第i个时间槽内第j个接收队列的空间占用率。
[0056]
而预设求解器所需的状态空间由时间敏感流的关键特征和网络的关键特征拼接而成，由此，对于网络的关键特征生成状态空间的二维矩阵，可以将其进行拉伸生成一维向量，然后再将该一维向量和时间敏感流的关键特征进行拼接生成状态空间。该状态空间的集合由以下公式表示：
[0057]
[0058]
在一实施方式中，优化目标为使网络容纳的动态时间敏感流的数量最多；根据优化目标确定预设求解器求解所需的奖励机制，包括：每步迭代求解时，如果在该步需要规划的时间敏感流被网络容纳，增加奖励值；每步迭代求解时，如果在该步需要规划的时间敏感流不能被网络容纳，增加惩罚值。
[0059]
在确定优化目标后，可以基于每步迭代求解时需要规划的时间敏感流是否能够被网络容纳，确定奖励机制。例如，若能被网络容纳，则证明调度成功，给予奖励值加1，若不能被网络容纳，则证明调度失败，给予惩罚值加1。
[0060]
本发明实施例还提供一种在线规划时间敏感流的装置，如图3所示，该装置包括：
[0061]
求解器确定模块，用于根据double dqn深度强化学习算法确定预设求解器；具体内容参见上述方法实施例对应部分，在此不再赘述。
[0062]
信息获取模块，用于获取业务流信息、网络拓扑信息和网络状态信息；具体内容参见上述方法实施例对应部分，在此不再赘述。
[0063]
特征提取模块，用于根据所述业务流信息、网络拓扑信息和网络状态信息提取时间敏感流的关键特征和网络的关键特征；具体内容参见上述方法实施例对应部分，在此不再赘述。
[0064]
状态空间确定模块，用于根据所述时间敏感流的关键特征和网络的关键特征，构建预设求解器求解所需的状态空间；具体内容参见上述方法实施例对应部分，在此不再赘述。
[0065]
动作空间确定模块，用于根据循环队列转发机制所对应的调度和路由规则，构建预设求解器求解所需要的动作空间；具体内容参见上述方法实施例对应部分，在此不再赘述。
[0066]
奖励机制确定模块，用于根据优化目标确定预设求解器求解所需的奖励机制；具体内容参见上述方法实施例对应部分，在此不再赘述。
[0067]
求解模块，用于根据所述状态空间、所述动作空间以及所述奖励机制运行预设求解器求解，得到在线规划结果。具体内容参见上述方法实施例对应部分，在此不再赘述。
[0068]
本发明实施例提供的在线规划时间敏感流的装置，根据深度强化学习算法模型设计预设求解器，通过提取时间敏感流和网络的关键特征信息，以及与环境和优化问题相适配的状态空间、动作空间和奖励机制，来求解网络中对动态时间敏感流和路由的联合调度规划问题，从而得到不同时间敏感流的规划结果。因此，本发明实施例提供的在线规划时间敏感流的装置，解决了网络中在线的对动态时间敏感流和路由联合调度规划的难题，提高了网络对动态业务流的适应能力。
[0069]
本发明实施例提供的在线规划时间敏感流的装置的功能描述详细参见上述实施例中在线规划时间敏感流的方法描述。
[0070]
本发明实施例还提供一种存储介质，如图4所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中在线规划时间敏感流的方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存
储器的组合。
[0071]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0072]
本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0073]
处理器51可以为中央处理器(central processing unit，cpu)。处理器51还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0074]
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的在线规划时间敏感流的方法。
[0075]
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0076]
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1-2所示实施例中的在线规划时间敏感流的方法。
[0077]
上述电子设备具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0078]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。