技术特征：
1.一种时间敏感网络中时间触发流量的路由与调度方法，其特征在于：包括以下步骤：s1：cnc根据链路发现协议发现tsn网络拓扑并抽象为网络有向图，利用q学习算法，将所述网络有向图中的每个交换机节点作为状态，将每个交换机节点的邻接节点集合作为该交换机节点的动作空间，从而构建出tsn网络拓扑的二维q值矩阵并将其初始化；s2：cnc获取各个终端设备通过cuc发送的tsn流的信息；s3：cnc根据获得的tsn流的信息计算所有tt流中任一两两tt流之间发生冲突的冲突系数，并将tt流按照冲突系数之和的大小进行排序；s4：cnc按照tt流按照冲突系数之和的大小的排序结果，根据任一两两tt流之间发生冲突的系数，确定每一tt流的源节点和目的节点，分别作为q学习模型的初始状态和目标状态，利用所述q学习模型的初始状态和目标状态更新二维q值矩阵；根据各节点的邻接节点信息，计算网络中除源节点外其他节点距离目的节点的最短路径跳数；s5：cnc基于q学习的路由算法对tsn网络中的状态信息进行转换，对二维q值矩阵进行多层次更新，得到当前tt流从源节点到目的节点的最佳决策q值矩阵；s6：cnc根据最佳决策q值矩阵为所有tt流选择最优转发路径；s7：根据tt流的最优传输路径、时延和无冲突传输的情况，确定每一条tt流的最优调度门控列表；s8：cnc将最优调度门控列表配置到tsn交换机，并将流量起始传输时刻和最优调度门控列表通过cuc发送到tsn终端设备，以使tsn终端设备根据最优调度门控列表将业务数据发送至对应tsn交换机。2.根据权利要求1所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s1中，利用q学习算法构建tsn网络拓扑的二维q值矩阵，具体包括：对于互相连接的交换机节点之间q值为1，非连接的交换机节点之间的q值为-1，交换机节点与自身的q值则为0。3.根据权利要求1所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s1中，cnc通过网络建模方法将tsn网络拓扑抽象为网络有向图g，g＝(v，e)，其中v是节点集合，e是节点之间链路e
i
的集合；v＝(sw∪es)，其中sw是tsn交换机的集合，es是终端设备的集合；链路e＝{(v
i
,v
j
)|v
i
,v
j
∈v，i≠j且v
i
和v
j
之间存在连接关系}；每条链路(v
i
,v
j
)存在与其相关联的状态，每条链路对应的状态为二元组其中表示链路(v
i
,v
j
)的剩余带宽，表示经过该链路的tt流的集合。4.根据权利要求1所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s2中，将所有的tsn流的集合记为f，tsn流的参数包括源节点src、目的节点dst、帧的大小si、发送周期p，每个tt流f
itt
用f
itt
＝(src,dst,si,p,td
max
)来表示，用交换机节点发送帧时所占用的时间长度来衡量帧的大小，tt流到达接收端的时刻与在发送端传输开始时刻之间的时间间隔即为端到端时延，td
max
为该流能容忍的最大端到端时延；cuc通过用户配置协议从发送端获得需要发送的tsn流的信息；对于tsn流集合中所有tt流，cuc获得其源节点、目的节点、帧的大小、发送周期和能容忍的最大端到端时延，并将连接需求和tsn流信息通过用户网络接口uni发送到cnc。5.根据权利要求1所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在
于：步骤s3中，存在tt流集合根据tt流的帧的大小si和发送周期p，cnc计算tt流集合中处于同一链路中两两tt流进行传输时可能发生冲突的程度，并用f
itt
与之间的冲突系数c
(i,j)
表示，其中i,j∈[0,n]且i≠j；冲突系数c
(i,j)
定义为：其中，f
itt
与的最大公约数表示为当为1时，表征两条tt流在同一链路上传输时存在冲突，此时冲突系数为当不为1时，表征两条tt流在同一链路上传输时不存在冲突，其冲突系数为0；f
itt
.si和分别为tt流f
itt
和的帧大小，f
itt
.p与分别为tt流f
itt
和的传输周期；设网络需要调度n条tt流，计算f
itt
与网络中其他n-1条tt流的冲突系数c
(i,j)
，并分别将与tt流f
itt
相关的冲突系数c
(i,j)
进行求和，得到在该集合中每一条f
itt
的冲突系数之和c
i
：按照从大到小的顺序，将tt流根据c
i
进行排序，生成排序后的时间触发流集合6.根据权利要求5所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：冲突系数c
i
计算与排序算法具体执行步骤如下：s31：输入初始tt流集合s32：遍历tt流集合中的第i条tt流f
itt
，在每一次遍历中计算并累加f
itt
与网络中其他tt流的冲突系数c
(i,j)
，得到所有f
itt
的c
i
；s33：获得所有f
itt
的c
i
后，选取tt流集合中的第1、第n和第(n-1)/2条tt流，求得三条流对应三个c
i
之中的中位数作为tt流集合f
tt
的枢轴元素值pivkey；s34：基于快速排序算法，将c
i
大于pivkey的f
itt
放置在tt流集合的低位子集中，将c
i
小于pivkey的f
itt
放置在tt流集合的高位子集中，递归地，在pivkey元素两侧的tt流子集中，按照步骤s33的方法分别求得上一层排序后pivkey元素两侧tt流子集的pivkey，并继续将tt流根据c
i
和pivkey大小关系进行排序，获得按照c
i
从大到小排列的tt流集合；s35：输出排序后的tt流集合7.根据权利要求6所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s4中，cnc在中依次选取tt流，将与其发送端和接收端相邻的交换机作为源节点和目的节点，将源节点和目的节点分别作为q学习模型的初始状态和目标状态，更新二维q值矩阵；根据广度优先搜索的方法，计算网络中除源节点外其他节点距离目的节点的最短路径跳数具体执行步骤如下：s41：通过网络有向图g、每一tt流中的目的节点dst，初始化一个队列que；
s42：从图中目的节点dst出发，将目的节点dst入队，将目的节点出队并获取其邻接节点信息，将目的节点的邻接节点的计为1，将所有邻接节点入队并标志已访问过；s43：若队列非空，进入步骤s44，若队列为空则结束；s44：队列首位节点出队，获取出队节点的邻接节点信息；s45：若不存在邻接节点，返回步骤s43，若存在邻接节点，进入步骤s46；s46：将该节点未被访问过的邻接节点入队，并将未被访问过的邻接节点的计为返回步骤s43，其中sw
j
为sw
i
的邻接节点。8.根据权利要求1所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s5中所述的cnc利用tsn网络中的状态信息的转换对二维q值矩阵进行多层次更新，得到当前tt流从源节点到目的节点的最佳决策q值矩阵，是通过基于q学习的路由算法实现的，所述基于q学习的路由算法具体包括以下步骤：s51：输入初始化的二维q值矩阵；s52：设置初始化的最大回合数eps
max
、学习率α、折扣因子γ、跳数权重系数ω1，带宽权重系数ω2和冲突度权重系数ω3；设置多个预设状态及预设状态对应的预设策略，每一预设策略包括预设执行动作；s53：确定当前回合数episodes是否小于eps
max
，若小于则进入步骤s54，否则终止迭代；s54：cnc作为智能体，根据ε-greedy策略和当前状态s
t
选择执行动作a
t
，所述s
t
和a
t
分别为状态空间和动作空间中的一个常量；s55：执行动作后智能体状态转移到新的状态s
t+1
，获得奖励r
t
，更新q值矩阵；s56：判断当前状态是否目的状态，若是目的状态进入步骤s57，否则返回步骤s54；s57：回合数episodes＝episodes+1；s58：若q值矩阵收敛则终止迭代，否则返回步骤s53。9.根据权利要求8所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s5所述的基于q学习的路由算法中，智能体选择节点过程中的奖励值由节点距离目的节点的最短跳数链路剩余带宽链路冲突系数决定；在状态s＝sw
i
下，若采取a＝sw
j
动作，奖励函数r如下所示：式中，ω1为跳数权重系数，ω2为带宽权重系数，ω3为冲突度权重系数，且ω1+ω2+ω3＝1，h
max
为距离目的节点最远节点的跳数，为两个节点之间链路最大带宽，为链路剩余带宽，为该链路中tt流f
itt
冲突系数之和c
i
的总和，由如下公式表示：c
sum
为所有tt流的c
i
之和，c
sum
由如下公式表示：
其中n为tt流总数量。10.根据权利要求9所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s5所述的基于q学习的路由算法中，根据奖励函数计算当前状态下采取不同动作的奖励值并根据ε-greedy策略，通过设置一个参数ε∈[0,1]，使得智能体在选择动作时有ε概率随机选择动作，有1-ε的概率选择价值最大的动作，利用ε-greedy策略能够平衡对于状态空间探索和利用之间的关系；在某一状态s下，动作空间大小为a(s)，选择动作a的概率表示为：在迭代的时候，q学习算法基于ε-greedy策略从当前状态s选择动作a，从当前状态转移到下一个状态，并得到即时奖励r；根据公式(7)中q学习算法中对q函数的定义，通过转移状态，智能体在更新q值矩阵，直到当前状态转移至目的状态为止；在公式(7)中，s
t+1
和a为选择的变量，α∈[0,1]为学习率，决定后续动作对q值矩阵数值影响程度；γ∈[0,1]为折扣因子，决定该动作未来的奖励对于当前奖励的重要程度；q
new
(s
t
,a
t
)为q值矩阵更新后智能体在s
t
状态下采取a
t
动作的期望值；q
t
(s
t
,a
t
)为q值矩阵更新前智能体在s
t
状态下采取a
t
动作的期望值；r
t
为智能体从状态s
t
转移到状态s
t+1
时的奖励；为智能体从状态s
t
转移到状态s
t+1
时能够获得的最大奖励；通过状态转移对q值矩阵进行更新，直到当前状态转移至目的节点为止，称为完成一个回合的路径选择过程；经过多个回合的路径选择过程后，若q值矩阵在一定精度下保持不变，说明q值矩阵收敛，得到当前tt流从源节点到目的节点的最佳决策q值矩阵，对于当前tt流的路径选择迭代终止并进入步骤s6，否则返回初始状态，重新开始迭代更新q值矩阵直到收敛；若迭代回合次数大于最大回合数eps
max
，对于当前tt流的路径选择迭代终止并进入步骤s6。11.根据权利要求1所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s7中，整个网络中tt流的调度周期即为tt流集合f
tt
中所有tt流传输周期的最小公倍数，称为超周期，其计算公式如下所示：tt流f
itt
在一个超周期内循环发送的次数为m
i
＝hp/f
itt
.p；考虑一个超周期内tt流f
itt
第n帧在链路e上的起始传输时刻φ(f
itt
,n,e)和tt流f
itt
在链路e出口端口的队列号ρ(f
itt
,e)作为调度方案设计阶段需要计算的变量；根据约束条件和目标函数，为每一条tt流在其传输路径上求得满足所有约束条件的φ(f
itt
,n,e)和ρ(f
itt
,e)，并生成门控列表。
12.根据权利要求11所述的时间敏感网络中时间触发流量的路由与调度方法，其特征在于：步骤s7中φ(f
itt
,n,e)和ρ(f
itt
,e)满足以下五个约束条件：帧约束：发送时延为对于tt流第一帧的发送时间φ(f
itt
,n,(es
i
,sw
i
))的约束写成如下形式：链路约束：在链路(v
x
,v
y
)上存在两条tt流f
itt
和其每个帧的发送时延分别为和对于对于且i≠j，链路约束为：链路约束为：在同一链路中的两个帧传输时需满足公式(10)或公式(11)，其中α和β均为整数，表示在大小为lcm(p
i
,p
j
)的周期内，f
itt
和除第一次发送外后续发送的次数；流传输约束：对于流传输约束为：其中，δ为网络中时钟偏差的最大值，其作用是在时钟同步存在误差时保证链路传输的时序；帧隔离约束：对于且i≠j，帧隔离约束为：帧隔离约束为：帧隔离约束为：当有多条流的帧在同一时刻到达节点入口队列，需要满足公式(13)或公式(14)或公式(15)，ρ(f
itt
,(v
a
,v
b
))∈[1,8]表示f
itt
在与链路(v
a
,v
b
)相连的出端口上八个优先级队列的队列分配；传输时延约束：
目标函数：变量k
x,y
为链路(v
x
,v
y
)∈e出口端口分配给tt流的队列数，则定义k为交换机节点出口端口分配给tt流的额外队列数的总和：定义δ为所有tt流的端到端时延之和，δ值越小则调度效果越优：以最小化k和δ为调度目标，目标函数为：obj＝c
k
·
k+c
d
·
δ
ꢀꢀꢀꢀ
(19)其中c
k
+c
d
＝1，通过设置不同的c
k
和c
d
调整调度目标的首要目标。13.一种时间敏感网络中时间触发流量的路由与调度装置，其特征在于：包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1至11任一项所述的时间敏感网络中时间触发流量的路由与调度方法。14.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至12任一项所述的时间敏感网络中时间触发流量的路由与调度方法。
技术总结
本发明涉及一种时间敏感网络中时间触发流量的路由与调度方法、装置及可读存储介质，属于时间敏感网络领域，本发明针对时间敏感网络中的TT流和非TT流的传输特征，考虑因传输链路重叠造成的流量冲突问题和流量低时延、低抖动和高可靠的传输要求，优先为不同周期的TT流计算端到端传输路径，最后为网络中的TT流计算调度方案，增加网络中能够容纳TT流的数量，提升网络的调度能力。升网络的调度能力。升网络的调度能力。
技术研发人员：霍承杰 王晋 魏旻 刘畅 徐江珮 周亮 王捷 黄旭炜
受保护的技术使用者：国网湖北省电力有限公司电力科学研究院
技术研发日：2022.11.16
技术公布日：2023/3/31