OTN网络资源优化方法、装置、计算机设备和介质与流程

otn网络资源优化方法、装置、计算机设备和介质
技术领域
1.本公开涉及自动控制技术领域，具体涉及一种otn网络资源优化方法、装置、计算机设备和计算机可读介质。


背景技术：

2.随着人工智能技术的发展，强化学习技术应用越来越得到各领域和行业的广泛重视。强化学习(reinforcement learning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及网络分析预测等领域有许多应用。在连接主义机器学习流派中，把学习算法分为三种类型，即非监督学习(unsupervised learning)、监督学习(supervised leaning)和强化学习。
3.强化学习是智能体(agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统(reinforcement learning system，rls)如何去产生正确的动作。由于外部环境提供的信息很少，rls必须靠自身的经历进行学习，通过这种方式，rls在行动-评价的环境中获得知识，改进行动方案以适应环境。
4.近年来，随着强化学习技术的应用与推广，如何将该项技术的优势应用到otn(optical transport network，光传送网络)网络智能化管控与运维领域，特别是强化学习在otn网络资源优化的应用，得到了otn领域专家的广泛关注。
5.基于sdon(software defined optical network,软件定义光网络)架构的全网资源优化(global co-current optimization，gco)方案如图1所示，gco的主要目的是，在otn网络资源分配过程中，对otn网络业务开通进行规划或者批量创建时，需要在避免各业务路由计算与资源分配受阻的前提下，要求otn网络每条业务通过计算得到的路由和资源占用总和，最大程度地满足用户(网络服务运营商)对网络业务整体上的既定资源分配优化目标。通过全网资源优化技术，可以最大程度地降低用户的运维成本capex(资本性支出)/opex(运营成本)、提高运维收益、优化传输性能和质量，这和用户网络运营的经济效益直接相关，因此该技术得到了用户的高度重视，如何实现otn网络资源优化，意义重大。


技术实现要素：

6.本公开针对现有技术中存在的上述不足，提供一种otn网络资源优化方法、装置、计算机设备和计算机可读介质。
7.第一方面，本公开实施例提供一种otn网络资源优化方法，包括：
8.根据动作策略确定当前业务建立状态下的待建业务，创建所述待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数；
9.迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数；
10.根据所述预设次数回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数；
11.根据各业务建立状态下的最优优化目标策略参数更新所述动作策略。
12.在一些实施例中，所述根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数，包括：
13.根据下一个业务建立状态之后各业务建立状态下的及时奖励计算当前业务建立状态下的预期回报；
14.根据所述当前业务建立状态下的预期回报计算并更新当前业务建立状态下的优化目标策略参数。
15.在一些实施例中，根据以下公式计算当前业务建立状态下的预期回报：
[0016][0017]
其中，g
t
为业务建立状态s
t
下执行动作a
t
的预期回报，γ为折扣系数，0＜γ＜1；r为及时奖励，t为业务建立状态s
t
下已创建的业务的数量，t＝(0，
…
，n-1),n为otn网络待建业务的总数量。
[0018]
在一些实施例中，每个回合中最后一个业务建立状态下的预期回报为所述回合的实际总回报，在计算每个回合中最后一个业务建立状态下的实际总回报之后，计算每个回合中最后一个业务建立状态下的优化目标策略参数之前，所述方法还包括：
[0019]
根据所述实际总回报、预设的阈值和预设的额外回报更新所述实际总回报；其中，若实际总回报大于或等于所述阈值，则实际总回报＝实际总回报+所述额外回报；若实际总回报小于所述阈值，则实际总回报＝实际总回报-所述额外回报。
[0020]
在一些实施例中，所述优化目标策略参数包括状态行为值q
π
(s,a)，或者，所述优化目标策略参数包括状态值v
π
(s)，其中，π(a|s)为业务建立状态s下根据动作策略π(s,a)采取动作a的概率，a为各业务建立状态下执行动作的集合。
[0021]
在一些实施例中，当所述优化目标策略参数为状态行为值q
π
(s,a)时，采用蒙特卡罗算法、异策略的时序差分算法或同策略的时序差分算法计算并更新各个业务建立状态下的优化目标策略参数；
[0022]
所述根据各业务建立状态下的最优优化目标策略参数更新所述动作策略，包括：根据所述状态行为值q
π
(s,a)更新所述动作策略。
[0023]
在一些实施例中，当所述优化目标策略参数为状态值v
π
(s)时，采用动态规划算法计算所述优化目标策略参数；
[0024]
所述根据各业务建立状态下的最优优化目标策略参数更新所述动作策略，包括：根据所述状态值v
π
(s)更新所述动作策略。
[0025]
在一些实施例中，所述根据动作策略确定当前业务建立状态下的待建业务，包括：
[0026]
计算当前业务建立状态下选择各条待建业务的概率；
[0027]
根据所述当前业务建立状态下选择各条待建业务的概率确定一条待建业务；
[0028]
根据预设的otn网络优化目标函数，对确定出的待建业务的备选路由排序；
[0029]
根据所述排序中备选路由的数量，分别计算所述排序中各备选路由的选择概率；
[0030]
根据所述排序中各备选路由的选择概率确定一条备选路由，作为当前业务建立状态下的待建业务的路由。
[0031]
在一些实施例中，根据以下公式计算当前业务建立状态下选择各条待建业务的概率：其中，p(s
tsvci
)为业务建立状态s
t
下选择第i条业务svci的概率，t为业务建立状态s
t
下已创建的业务的数量，t＝(0，
…
，n-1)，n为otn网络待建业务的总数量。
[0032]
在一些实施例中，所述otn网络优化目标函数包括otn网络业务路由代价最小或otn网络业务时延最短。
[0033]
在一些实施例中，所述根据所述排序中备选路由的数量，分别计算所述排序中各备选路由的选择概率,包括：
[0034]
若所述排序中备选路由的数量m＝1，则所述备选路由的选择概率为：
[0035]
若所述排序中备选路由的数量m＝2，则其中一条备选路由的选择概率为：另一条备选路由的选择概率为：
[0036]
若所述排序中备选路由的数量m》2，则第1条到第m-1条备选路由的选择概率为：第m条备选路由的选择概率为：
[0037]
其中，ε为贪婪系数，0.5＜ε＜1，t为业务建立状态s
t
下已创建的业务的数量，t＝(0,...,n-1),n为otn网络待建业务的总数量，i＝(1，...，m-1)。
[0038]
又一方面，本公开实施例还提供一种otn网络资源优化装置，包括：第一处理模块、第二处理模块和更新模块，
[0039]
所述第一处理模块用于，根据动作策略确定当前业务建立状态下的待建业务，创建所述待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数；迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数；
[0040]
所述第二处理模块用于，根据所述预设次数回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数；
[0041]
所述更新模块用于，根据各业务建立状态下的最优优化目标策略参数更新所述动作策略。
[0042]
又一方面，本公开实施例还提供一种计算机设备，包括：
[0043]
一个或多个处理器；
[0044]
存储装置，其上存储有一个或多个程序；
[0045]
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的otn网络资源优化方法。
[0046]
又一方面，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的otn网络资源优化方法。
[0047]
本公开实施例提供的otn网络资源优化方法及装置，所述方法包括：根据动作策略确定当前业务建立状态下的待建业务，创建所述待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数；迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数；根据所述预设次数的回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数；根据各业务建立状态下的最优优化目标策略参数更新所述动作策略；本公开实施例利用强化学习算法的奖惩机制优化otn网络业务创建的排序，得到的动作策略收敛性好、严谨性和可靠性高，将otn网络资源优化问题，归结为对otn网络业务创建的排序问题，通过获得优化的动作策略，实现对otn网络资源的全局优化。
附图说明
[0048]
图1为本公开实施例提供的sdon架构下的全网资源优化示意图；
[0049]
图2为本公开实施例提供的otn网络资源优化流程示意图；
[0050]
图3为本公开实施例提供的计算优化目标策略参数的流程示意图；
[0051]
图4为本公开实施例提供的确定当前业务建立状态下的待建业务的流程示意图；
[0052]
图5为本公开实施例提供的otn网络资源优化装置的结构示意图。
具体实施方式
[0053]
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
[0054]
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0055]
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
[0056]
本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。
[0057]
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具
有理想化或过度形式上的含义，除非本文明确如此限定。
[0058]
在现网otn网络业务部署中，通常需要根据运营需要，给每条业务分配对应的otn网络资源(如带宽、频谱、波长、调制格式、路由等)，并要求满足对整条业务在指定优化策略下的资源优化，优化策略包括整条业务时延最短、路由代价最小等。同时，从运营收益最大化、业务性能最优化、投入capex/opex最低等角度考虑，otn业务运营又需要围绕既定优化策略，满足otn网络业务在网络资源分配使用上的整体最优化，包括如otn网络业务时延最小、otn网络路由代价最小、或者otn网络业务带宽利用率最高等。这就需要otn网络业务在创建过程中，既要满足自身业务资源优化同时，又需要通过编排所有业务的创建顺序满足业务对otn网络资源使用的全局优化。
[0059]
otn网络业务创建过程通常采用并发创建的方式，即在某个时间点集中批量创建多条业务，业务创建过程实际上就是确定所有业务的创建顺序，otn网络业务的创建顺序决定了对otn网络资源的占用形态和otn网络资源分配的优化状态。我们把对otn网络业务的创建顺序称之为业务创建编排策略(即动作策略)，好的业务创建编排策略，能够满足otn网络业务对网络资源使用的优化策略。
[0060]
在初始化阶段，根据otn网络图拓扑结构(包括mesh、星型等结构类型)的环境条件创建n条otn业务，初始化网络环境状态、动作空间、动作优化目标策略、动作策略。强化学习算法的相关参数定义如下。
[0061]
1、定义otn网络优化目标函数
[0062]
otn网络优化目标函数可以为otn网络业务路由代价最小obj
mincost
。
[0063]
其中，cost(svci)为第i条业务svci的路由代价。
[0064]
otn网络优化目标函数也可以为otn网络业务时延最短obj
mindelay
。
[0065]
其中，delay(svci)为第i条业务svci的时延。
[0066]
2、定义业务建立状态s的特征向量
[0067]
利用特征向量φ(s)描述业务建立状态，特征向量φ(s)用于表示当前哪些业务已经创建、哪些业务尚未创建，当一个待建业务创建完成，则进入下一个业务建立状态。
[0068]
业务建立状态s的特征向量φ(s)描述如下：
[0069]
φ(s)＝{stateid；sumsvccost；sumsvcdelay；svcnum；...svcidi；svccosti；
[0070]
svcdelayi；svcseqidi；svcrtidi；srcndidi；dstndidi；...}；
[0071]
其中，
[0072]
stateid为业务建立状态id；
[0073]
sumsvccost为当前所有业务的路由代价总和，未创建业务的路由代价为0；
[0074]
sumsvcdelay为当前所有业务的时延总和，未创建业务的时延为0；
[0075]
svcnum为otn网络所有业务的总数量，为已建业务的数量和待建业务的数量之和；
[0076]
通过以下特征向量元素，表征网络中第i条业务的一组业务建立状态属性序列，前、后省略号表示具备相同定义方式的前i-1条和后n-i条业务的业务建立状态属性序列，其中，
[0077]
svcidi为第i条业务的业务id；
[0078]
svccosti为第i条业务的路由代价，如果该条业务尚未创建，则路由代价为0；
[0079]
svcdelayi为第i条业务的时延，如果该条业务尚未创建，则时延为0；
[0080]
svcseqidi为第i条业务在otn网络业务中的序列id，如果该条业务尚未创建，则该业务的序列id为0；
[0081]
svcrtidi为第i条业务占用的路由id，如果该条业务尚未创建，则该业务的路由id为0；
[0082]
srcndidi为第i条业务源节点id；
[0083]
dstndidi为第i条业务目的节点id。
[0084]
3、定义回合(episode)
[0085]
采用某个动作策略，完成对otn网络业务的依次建立，被定义为一个episode。
[0086]
4、定义动作a
t
及动作策略
[0087]
一个动作是指，在当前网络拓扑环境状态下，在待建业务当中，选择出一条待建业务作为下一条被创建的业务，并在该待建业务的多条备选路由(已经分配了网络资源的路由)当中选择出一条作为该业务的资源路由并完成创建该业务的过程。
[0088]
动作策略π(s,a)或μ(s,a)(也可写做μ(s))表征待建业务(包括该待建业务的路由)的创建顺序。
[0089]
本公开实施例提供一种otn网络资源优化方法，如图2所示，所述方法包括以下步骤：
[0090]
步骤11，根据动作策略确定当前业务建立状态下的待建业务，创建所述待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数。
[0091]
在本步骤中，在一个回合中，根据动作策略确定一个待建业务(包括确定该待建业务的路由)，创建该待建业务之后，计算该业务建立状态下的及时奖励，当前业务建立状态结束，进入下一个业务建立状态。按照上述步骤，针对一个回合中的每个业务建立状态，分别创建待建业务，并计算相应业务建立状态下的及时奖励，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数。
[0092]
在本步骤中，可以采用不同的算法计算更新优化目标策略参数，需要说明的是，采用的算法不同，优化目标策略参数也不同，后续再对各种算法进行详细说明。
[0093]
步骤12，迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数。
[0094]
在本步骤中，重复执行步骤11，迭代预设次数个回合，计算更新各个回合中各业务建立状态下的优化目标策略参数。
[0095]
步骤13，根据所述预设次数回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数。
[0096]
在本步骤中，针对每个业务建立状态，从不同回合的优化目标策略参数中确定该业务建立状态下的最优优化目标策略参数。需要说明的是，采用的算法不同，最优优化目标策略参数的确定方式也不同。经过本步骤，可以得到otn网络全部待建业务对应的所有业务建立状态下的最优优化目标策略参数。
[0097]
步骤14，根据各业务建立状态下的最优优化目标策略参数更新所述动作策略。
[0098]
优化目标策略参数用于表征业务建立状态s
t
和动作a
t
，当某个业务建立状态下的最优优化目标策略参数确定之后，即可确定出该业务建立状态下的最优动作a
t
，最优动作a
t
即为在该业务建立状态下创建最优待建业务的动作，从而可以确定出该业务建立状态下的最优待建业务(包括该待建业务的路由)，由此可以得到按照业务建立状态排序的待建业务，该待建业务的排序即为优化的动作策略。
[0099]
本公开实施例提供的otn网络资源优化方法及装置，所述方法包括：根据动作策略确定当前业务建立状态下的待建业务，创建所述待建业务，并计算当前业务建立状态下的及时奖励，进入下一个业务建立状态，直到一个回合结束，根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数；迭代预设次数回合，以计算并更新各业务建立状态下的优化目标策略参数；根据所述预设次数的回合中各业务建立状态下的优化目标策略参数，分别确定每个业务建立状态下的最优优化目标策略参数；根据各业务建立状态下的最优优化目标策略参数更新所述动作策略；本公开实施例利用强化学习算法的奖惩机制优化otn网络业务创建的排序，得到的动作策略收敛性好、严谨性和可靠性高，将otn网络资源优化问题，归结为对otn网络业务创建的排序问题，通过获得优化的动作策略，实现对otn网络资源的全局优化。
[0100]rt
表示业务建立状态s
t
下获得的及时奖励，t为业务建立状态s
t
下已创建的业务的数量，t＝(0，
…
，n-1),n为otn网络待建业务的总数量。需要说明的是，及时奖励r
t
的计算方式与预先设置的otn网络优化目标函数相关。以“otn网络业务路由代价最小”作为otn网络优化目标函数为例，r
t
取值为当前业务建立状态下最近一次创建的业务svcidi的路由代价svccosti的倒数，即r
t
＝1/svccosti，这样，创建路由代价越小的业务给业务建立状态s
t
带来的及时奖励越大，其中，s0状态下的r0＝0。
[0101]
在一些实施例中，如图3所示，所述根据各个业务建立状态下的及时奖励计算并更新各个业务建立状态下的优化目标策略参数，包括以下步骤：
[0102]
步骤21，根据下一个业务建立状态之后各业务建立状态下的及时奖励计算当前业务建立状态下的预期回报。
[0103]
在一些实施例中，可以根据以下公式计算当前业务建立状态下的预期回报：
[0104][0105]
其中，g
t
为业务建立状态s
t
下执行动作a
t
的预期回报，γ为折扣系数，0＜γ＜1；r为及时奖励，t为业务建立状态s
t
下已创建的业务的数量，t＝(0，
…
，n-1),n为otn网络待建业务的总数量。
[0106]
需要说明的是，最后一个业务建立状态下的预期回报即为该业务建立状态下的及时奖励。
[0107]
步骤22，根据所述当前业务建立状态下的预期回报计算并更新当前业务建立状态下的优化目标策略参数。
[0108]
通过步骤21-22，利用加强算法的奖惩机制实现对优化目标策略参数的优化。
[0109]
在一些实施例中，每个回合中最后一个业务建立状态下的预期回报g
t
为该回合的实际总回报g，在计算每个回合中最后一个业务建立状态下的实际总回报g之后，计算每个
回合中最后一个业务建立状态下的优化目标策略参数之前，所述otn网络资源优化方法还可以包括以下步骤：根据所述实际总回报、预设的阈值g
threshold
和预设的额外回报g
add
更新所述实际总回报g。其中，若实际总回报大于或等于所述阈值，则实际总回报＝实际总回报+所述额外回报；若实际总回报小于所述阈值，则实际总回报＝实际总回报-所述额外回报。也就是说，当g≥g
threshold
时，g＝g+g
add
，智能体获得正向额外回报，即获得额外奖励；当g＜g
threshold
时，g＝g-g
add
，智能体获得负向额外回报，即获得额外惩罚。
[0110]
在一些实施例中，其中，g为一个回合结束时，智能体获得的总回报，n为n为otn网络待建业务的总数量。
[0111]
在一些实施例中，如图4所示，所述根据动作策略确定当前业务建立状态下的待建业务，包括以下步骤：
[0112]
步骤31，计算当前业务建立状态下选择各条待建业务的概率。
[0113]
在一些实施例中，根据以下公式计算当前业务建立状态下选择各条待建业务的概率：
[0114]
其中，p(s
tsvci
)为业务建立状态s
t
下选择第i条业务svci的概率，t为业务建立状态s
t
下已创建的业务的数量，t＝(0，
…
，n-1)，n为otn网络待建业务的总数量，当t＝n时，待建业务条数为0，本回合结束。
[0115]
步骤32，根据所述当前业务建立状态下选择各条待建业务的概率确定一条待建业务。
[0116]
需要说明的是，基于强化学习的exploration(探索)思路，对待建业务的选择遵循策略的随机性。
[0117]
步骤33，根据预设的otn网络优化目标函数，对确定出的待建业务的备选路由排序。
[0118]
所述otn网络优化目标函数包括otn网络业务路由代价最小或otn网络业务时延最短。
[0119]
对被选择的待建业务的备选路由的挑选，遵循贪婪策略(greedy)的原则，即对所有备选路由按照otn网络优化目标函数排序。例如，若otn网络优化目标函数为路由代价最小，就可基于路由代价最小的策略，根据ksp(k优路径算法)+rwa(路由波长分配算法)+rsa(非对称加密算法)，将确定出的待建业务的所有备选路由按照各自的路由代价从小到大排序。
[0120]
步骤34，根据所述排序中备选路由的数量，分别计算所述排序中各备选路由的选择概率。
[0121]
在一些实施例中，若所述排序中备选路由的数量m＝1，则该备选路由的选择概率为：若所述排序中备选路由的数量m＝2，则其中一条备选路由的选择概率为：另一条备选路由的选择概率为：若所述排序中备选
路由的数量m》2，则第1条到第m-1条备选路由的选择概率为：第m条备选路由的选择概率为：其中，ε为贪婪系数，0.5＜ε＜1，t为业务建立状态s
t
下已创建的业务的数量，t＝(0,...,n-1),n为otn网络待建业务的总数量，i＝(1，...，m-1)。
[0122]
步骤35，根据所述排序中各备选路由的选择概率确定一条备选路由，作为当前业务建立状态下的待建业务的路由。
[0123]
在一些实施例中，优化目标策略参数可以为状态行为值q
π
(s,a)，表示智能体从业务建立状态s
t
出发，按照动作策略π执行行为a后得到的累积回报的期望。
[0124]
在一些实施例中，优化目标策略参数也可以为状态值v
π
(s)，表示业务建立状态s下所有状态行为值q
π
(s,a)的加权和。其中，π(a|s)为业务建立状态s下根据动作策略π(s,a)执行动作a的概率，a为各业务建立状态下执行动作的集合。
[0125]
在一些实施例中，当所述优化目标策略参数为状态行为值q
π
(s,a)时，可以采用蒙特卡罗(monte carlo process,mcp)算法、异策略的时序差分(异策略的td-error)算法或同策略的时序差分(同策略的td-error)算法计算并更新各个业务建立状态下的优化目标策略参数。在一些实施例中，可以选用异策略的td-error算法中的q-learning算法，或者，选用同策略的td-error算法中的sasa(state-action-reward-action)算法。相应的，所述根据各业务建立状态下的最优优化目标策略参数更新所述动作策略(即步骤14)，包括：根据所述状态行为值q
π
(s,a)更新所述动作策略。
[0126]
例如，若采用q-learning算法或sasa算法，则确定每个业务建立状态下的最优优化目标策略参数(即步骤13)，可以包括：从所述预设次数回合中各业务建立状态下的优化目标策略参数(即状态行为值q
π
(s,a))中，分别确定各业务建立状态下的最优优化目标策略参数的最大值。
[0127]
在一些实施例中，当所述优化目标策略参数为状态值v
π
(s)时，可以采用动态规划算法计算并更新所述优化目标策略参数。相应的，所述根据各业务建立状态下的最优优化目标策略参数更新所述动作策略(即步骤14)，包括：根据所述状态值v
π
(s)更新动作策略μ(s,a)。
[0128]
以下分别对蒙特卡罗算法、q-learning算法、sasa算法、动态规划算法实现otn网络资源优化的过程进行说明。
[0129]
(1)采用探索性初始化蒙特卡罗算法实现otn网络资源优化的处理过程如下：
[0130]
初始化整个网络拓扑环境，对所有s∈s,a∈α(s)，
[0131]
q(s,a)
←
0；动作策略初始值为μ(s,a)；
[0132]
returns(s,a)
←
emptylist；
[0133]
repeat重复循环以下处理：
[0134]
{
[0135]
依照μ(s,a)选择s0∈s,a0∈a(s)，并生成1个新episode；
[0136]
for每对在该episode中的(s,a)：
[0137]g←
(s,a)第一次出现后的回报；
[0138]
把g加到回报returns(s,a)中去；
[0139]
令状态行为值q(s,a)
←
average(returns(s,a))对回报取均值；
[0140]
for在该episode中的每个s：
[0141]
π(s)
←
argmaxaq(s,a)；
[0142]
}
[0143]
(2)采用q-learning(即异策略的td-error)算法实现otn网络资源优化的处理过程如下：
[0144]
初始化整个网络拓扑环境，对所有s∈s,a∈α(s)，
[0145]
q(s,a)
←
0；动作策略为μ(s,a)；
[0146]
repeat对每个episode循环重复以下处理：
[0147]
初始化状态空间s；
[0148]
repeat(对该episode里的每一步循环重复以下处理)：
[0149]
依照策略μ(s,a)，在s
t
状态选择动作a
t
；
[0150]
执行动作a
t
，并得到及时奖励r
t+1
和下一步状态s
t+1
；
[0151]
令q(s
t
,a
t
)
←
q(s
t
,a
t
)+α[r
t+1
+γmaxaq(s
t+1
,a)-q(s
t
,a
t
)]；
[0152]
其中，α为学习速率；
[0153]st
←st+1
；
[0154]
直到s
t
为终止状态；
[0155]
直到所有的q(s,a)收敛；
[0156]
输出最终策略：π(s)
←
argmaxaq(s,a)；
[0157]
(3)采用sarsa(即同策略的td-error)算法实现otn网络资源优化的处理过程如下：
[0158]
初始化整个网络拓扑环境，对所有s∈s,a∈α(s)，q(s,a)
←
0；
[0159]
repeat对每个episode循环重复以下处理：
[0160]
初始化状态空间s；
[0161]
给定起始状态s0，并根据贪婪策略ε(取获得及时奖励最大的动作)，选择动作a0；
[0162]
repeat(对该episode里的每一步循环重复以下处理)：
[0163]
依照贪婪策略ε，在s
t
状态选择动作a
t
，获得及时奖励r
t+1
和下一个状态s
t+1
；
[0164]
依照贪婪策略ε得到动作a
t+1
；
[0165]
令q(s
t
,a
t
)
←
q(s
t
,a
t
)+α[r
t+1
+γq(s
t+1
,a
t+1
)-q(s
t
,a
t
)]；
[0166]
其中，α为学习速率；
[0167]st
←st+1
；a
t
←at+1
；
[0168]
直到s
t
为终止状态；
[0169]
直到所有的q(s,a)收敛；
1),n为otn网络待建业务的总数量。
[0194]
在一些实施例中，每个回合中最后一个业务建立状态下的预期回报为所述回合的实际总回报，第一处理模块101还用于，在计算每个回合中最后一个业务建立状态下的实际总回报之后，计算每个回合中最后一个业务建立状态下的优化目标策略参数之前，根据所述实际总回报、预设的阈值和预设的额外回报更新所述实际总回报；其中，若实际总回报大于或等于所述阈值，则实际总回报＝实际总回报+所述额外回报；若实际总回报小于所述阈值，则实际总回报＝实际总回报-所述额外回报。
[0195]
在一些实施例中，所述优化目标策略参数包括状态行为值q
π
(s,a)，或者，所述优化目标策略参数包括状态值v
π
(s)，其中，π(a|s)为业务建立状态s下根据动作策略π(s,a)采取动作a的概率，a为各业务建立状态下执行动作的集合。
[0196]
在一些实施例中，当所述优化目标策略参数为状态行为值q
π
(s,a)时，采用蒙特卡罗算法、异策略的时序差分算法或同策略的时序差分算法计算并更新各个业务建立状态下的优化目标策略参数。
[0197]
更新模块103用于，根据所述状态行为值q
π
(s,a)更新所述动作策略。
[0198]
在一些实施例中，当所述优化目标策略参数为状态值v
π
(s)时，采用动态规划算法计算所述优化目标策略参数。
[0199]
更新模块103用于，根据所述状态值v
π
(s)更新所述动作策略。
[0200]
在一些实施例中，第一处理模块101用于，计算当前业务建立状态下选择各条待建业务的概率；根据所述当前业务建立状态下选择各条待建业务的概率确定一条待建业务；根据预设的otn网络优化目标函数，对确定出的待建业务的备选路由排序；根据所述排序中备选路由的数量，分别计算所述排序中各备选路由的选择概率；根据所述排序中各备选路由的选择概率确定一条备选路由，作为当前业务建立状态下的待建业务的路由。
[0201]
在一些实施例中，第一处理模块101用于，根据以下公式计算当前业务建立状态下选择各条待建业务的概率：其中，p(s
tsvci
)为业务建立状态s
t
下选择第i条业务svci的概率，t为业务建立状态s
t
下已创建的业务的数量，t＝(0，
…
，n-1)，n为otn网络待建业务的总数量。
[0202]
在一些实施例中，所述otn网络优化目标函数包括otn网络业务路由代价最小或otn网络业务时延最短。
[0203]
在一些实施例中，第一处理模块101用于，若所述排序中备选路由的数量m＝1，则所述备选路由的选择概率为：若所述排序中备选路由的数量m＝2，则其中一条备选路由的选择概率为：另一条备选路由的选择概率为：若所述排序中备选路由的数量m》2，则第1条到第m-1条备选路由的选择概
率为：第m条备选路由的选择概率为：其中，ε为贪婪系数，0.5＜ε＜1，t为业务建立状态s
t
下已创建的业务的数量，t＝(0,...,n-1),n为otn网络待建业务的总数量，i＝(1，...，m-1)。
[0204]
本公开实施例还提供了一种计算机设备，该计算机设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的otn网络资源优化方法。
[0205]
本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的otn网络资源优化方法。
[0206]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0207]
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。