本发明属于移动通信技术领域，涉及一种基于随机学习的接入网服务功能链部署方法。
背景技术：
网络切片(Network Slicing，NS)是指在一个物理网络基础设施上建立若干个相互隔离的逻辑网络，每种逻辑网络服务一个特定应用场景。网络切片技术一方面可以满足未来移动通信的多样化服务需求，另一方面也可以使运营商降低网络基础设施建设成本和更加灵活部署网络，因此被视为5G的关键技术之一。在推进切片技术商用的进程中还存在许多问题，如切片资源管理、切片隔离、切片移动性管理、切片安全性等问题。切片资源管理问题主要是由于未来复杂多样的需求和海量的数据，在有限的网络资源上不合理的资源管理可能会带来时延高、可靠性差、资源利用率低等问题。
切片网络包含若干条相同服务类型的SFC，且每个SFC由若干有序VNF组成，切片资源管理问题核心在于如何为SFC进行部署。现有的SFC部署方案考虑在核心网(Evolution Packet Core,EPC)一侧，优化SFC在EPC侧的时延等服务质量(Quality of Service,QoS)。基于近似马尔可夫模型为每一个服务功能链寻找一个固定资源分配策略，实际上SFC的数据包到达量会随时间发生变化，静态的部署策略无法实时保证QoS。基于遗传算法的资源分配模型实现SFC在核心网的动态部署而适应变化的数据到达量，但该算法局限于物理网络拓扑不变的情况，而在实际场景下物理网络可能受到随机环境因素的影响而发生变化，动态变化的网络拓扑可能会引起SFC失效、高时延和资源利用率低等问题。同时，上述文献的方案还只是对核心网切片的支持，由于5G接入网采用C-RAN架构，因此无法直接支持接入网切片中的SFC部署。
技术实现要素：
有鉴于此，本发明的目的在于提供一种基于随机学习的接入网服务功能链部署方法，在云化的接入网场景的上行条件下，能够根据物理网络拓扑变化和SFC的变化数据到达量，自适应动态调整各切片的SFC部署方式，优化系统时延和提高资源利用率。
为达到上述目的，本发明提供如下技术方案：
一种基于随机学习的接入网服务功能链部署方法，包括以下步骤：
S1：针对5G云化接入网场景下物理网络拓扑变化引起的高时延问题，建立受约束的多目标接入网SFC部署的数学模型；
S2：感知底层物理节点从而获得网络拓扑变化，并分析观测误差；
S3：根据部分感知的网络拓扑变化和服务功能链的动态数据到达，建立部分可观察马尔可夫决策过程POMDP决策模型；
S4：针对POMDP的维度灾问题，设计高效的求解算法寻找最优的接入网SFC部署方式。
进一步，在步骤S1中，所述5G接入网切片的SFC部署的数学模型为：
基础设施层的服务器网络由带权值无向图G＝{N,L}，N＝N1∪N2表示服务器节点集并由DU池的节点集N1和CU池的节点集N2组成，L＝L1∪L2∪{lNGFI}表示链路集且由DU池的链路集L1、CU池的链路集L2和下一代前传网络链路lNGFI构成。是服务器节点nk的计算资源容量，vl表示链路l的带宽容量；
设接入网侧的切片集合为U，一个切片包含多个相同服务类型的SFC，表示切片u里的SFC集合，切片u里第m个SFC在时刻t的队列长度为qu,m(t)且满足0≤qu,m(t)≤nq,nq表示最大队列长度。
进一步，由于云化接入网的底层物理网络节点受到环境中随机因素的影响而失效而导致网络拓扑发生变化，所以接入网SFC部署时要考虑是否修复这些失效节点；在C-RAN架构下，存在CU池和DU池，接入网的SFC可以灵活的在CU池和DU池里部署VNF，不同的VNF部署方式影响后续的资源分配，因此接入网SFC部署过程的第二阶段为每一个切片选择合适的接入网VNF部署方式；第三阶段是为SFC的VNF在对应的资源池里分配计算资源和带宽资源，其中SFC中处在DU末端的VNF需要分配NGFI带宽资源将数据从DU传到CU。
进一步，在步骤S1中，涉及到修复节点带来的费用成本和时延，其中时延包括排队时延和DU到CU的调度时延，所述接入网SFC部署的优化目标：
max R(t)＝e1R1(t)+e2R2(t)
进一步，在步骤S2中，利用心跳包检测机制为物理网络的节点设置阈值，系统在阈值时间内未受到节点的心态包则判断该节点失效；并用正态分布概率密度函数分析误判失效误差
进一步，在步骤S3中所述的POMDP模型具体由六元组＜S,A,P,R,Z,O＞定义：
状态空间S
其中，Q为队列状态，为CU池和DU池的物理网络拓扑状态。表示包含所有SFC的队列状态空间，SFCm的队列长度Qu,m满足0≤Qu,m≤nq,假设任意SFC在DU侧的队列长度处于离散的且队列最大长度相同，即NQ＝{0,1,2,3,4,...,nq}。表示物理网络拓扑的状态空间，表示节点i处于正常状态，表示节点处于失效状态。
动作空间A
Aα是节点修复动作，A'α表示是否修复失效节点的行动空间，A'α＝{0,1}，Aβ是所有切片选择接入网VNF部署方式的动作，表示全部切片选择接入网VNF部署方式的行动空间，表示切片u选择的接入网VNF部署方式，Aχ是所有SFC的资源分配动作。
转移概率P
设转移概率为τ(s(t),a(t),s(t+1))，s(t)表示时刻t的系统状态，a(t)表示t时刻采取的动作，s(t+1)表示t+1时刻的系统状态，
其中，q(t)表示时刻t的系统队列状态，q(t+1)表示t+1时刻的系统队列状态，表示时刻t的物理网络拓扑状态，表示t+1时刻网络拓扑状态。
Wu,m(t)是第m个SFC在时刻t的数据到达量，设Vu,m(t)是时刻t的SFCm数据服务量且受该SFC分配的资源影响；
其中，和分别表示节点i在时刻t和t+1的状态。如果时刻t采取修复所有失效节点的动作，即a(t)＝(1,aβ(t),aχ(t))，则下一时刻所有的服务器节点肯定都处于正常状态，即当时，其他为0。如果时刻t没有采取修复失效节点的动作，即a(t)＝(0,aβ(t),aχ(t))，则当前时刻处于失效的下一时刻仍时失效的，即当当且仅当时对于当前时刻正常的节点受到环境随机因素可能会失效，即当时，
pi表示在随机环境中下一时刻节点i失效的概率，则下一时刻正常的概率为1-pi。
回报函数R
设t时刻的接入网侧SFC部署动作的回报函数R(s(t),a(t))为节点修复成本函数和系统总时延函数函数的加权和，即R(s(t),a(t))＝e1R1(t)+e2R2(t)
观测空间Z
其中ZQ表示队列观测状态，Z'Q表示系统对队列所有可能的观察的集合，由于队列状态是完全可知的，所以Z'Q＝Q'；表示网络拓扑观测症状态，表示通过心跳包检测机制部分观察物理网络服务器节点时所有可能的观测结果的集合。
观测函数O
设观测函数其中z(t+1)表示t+1时刻的观测状态，zq(t+1)表示t+1时刻的队列观测状态，表示t+1时刻的网络拓扑观测状态。当zq(t+1)＝q(t+1)时，O(zq(t+1),a(t),q(t+1))＝1，否则为0；
其中表示节点i在t+1时刻的观测状态。任意节点i(i∈N1∪N2)，如果采取的行动a(t)＝{1,aβ(t),aχ(t)}则节点观测为正常状态，即时，其他情况为0。任意节点j(j∈N)，如果采取的行动a(t)＝{0,aβ(t),aχ(t)}，实际失效的节点其观测状态肯定也是失效的，即当仅当时其余情况为0，而实际正常的节点其观测状态是失效时，即当时，
进一步，所述POMDP决策模型中马尔可夫链是各态历经的，利用贝尔曼迭代的方式获得最优的长远折扣期望回报，从而决策出稳定最优策略，因此POMDP决策模型将接入网SFC部署优化目标转化为：
进一步，在S4步骤中，所述基于点的混合启发式值迭代算法，选择值函数上下界较大的点来寻找最远后继信念点更新当前的探索信念点集合Bsub，然后基于Bsub更新值函数向量集Γt+1，反复执行上述两个过程直到Γt+1对应的值函数和Γt对应的值函数的差值小于既定的阈值为止。最后通过最优策略值迭代函数决策出每个时刻的最佳接入网SFC部署方式，时刻t的最优接入网部署方式Pr[z|bt,a]表示观测状态为z的归一化因子，表示bt的后继信念点在第k-1步的最优值函数。
本发明的有益效果在于：本发明在云化接入网场景下部署SFC时，综合考虑了接入网SFC可以灵活在CU和DU上部署VNF和根据物理网络拓扑变化与数据到达量的变化动态调整SFC部署方式，优化时延和提高资源利用率。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为可应用本发明场景示意图；
图2为本发明中的接入网VNF部署方式；
图3为本发明中POMDP决策过程示意图；
图4为本发明中基于点的混合值迭代算法流程示意图；
图5为本发明中更新探索信念点集流程示意图；
图6为本发明中更新值函数向量集流程示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1是可应用本发明实施的场景示意图。CU和DU设备都采用通用服务器而实现协议层功能虚拟化，且各自组成DU池和CU池，两者之间通过NGFI进行数据通信。在上行条件下，不同切片根据服务需求，可以灵活部署SFC的VNF，如图1中切片1的SFC2的VNF1部署在DU池，而切片2的SFC1把VNF1和VNF2都部署在DU池，其余在CU池实例化。同时考虑接入网的缓存功能，所以每个SFC在DU侧存在一个队列。
图2是本发明中的接入网VNF部署方式。在上行条件下的C-RAN架构中，接入网侧的SFC可以灵活在CU和DU上部署VNF，所以接入网VNF有多种部署方式。一方面不同的部署方式导致DU池和CU池承载的VNF数量不同从而影响各VNF的资源分配。另一方面各VNF之间的数据交互量不同，不同部署方式使SFC对DU和CU之间的NGFI的时延和带宽需求不同，从而影响SFC的NGFI带宽资源分配。
表1是本发明中各接入网VNF部署方式对NGFI带宽资源的需求。不同VNF之间的数据交互量，而采用不同的接入网VNF部署方式导致其NGFI带宽需求不同。
表1接入网各VNF部署方式对NGFI的需求
图3是本发明中POMDP决策过程示意图。基于信念状态bt执行完一次SFC的部署过程a(t)，得到这次部署动作的节点修复成本函数R1(t)和系统总时延函数R2(t)的加权和R(t)，然后部分感知网络拓扑情况和获得队列长度集合zq(t)从而获得系统的观测状态z(t)，根据系统观测状态更新bt得到下一时刻的bt+1，如此反复执行，通过贝尔曼迭代可以决策每个时刻的SFC部署动作使长远折扣期望回报最优。
图4是本发明中基于点的混合启发式值迭代算法过程。步骤如下：
步骤401：生成CU池和DU池的物理网络拓扑，节点的计算资源和链路的带宽资源随机分布；同时生成多个不同类型的切片网络；
步骤402：初始探索信念点集中只有初始信念点b0；
步骤403：FIB算法初始化上界集合，盲目策略算法初始化下界集合；
步骤404：与V(b0)的差值小于既定的阈值时停止迭代，表示b0处的上界取值,该值将近似求得，V(b0)表示b0处的下界取值，α表示下界集合的向量；
步骤405：寻找有效的后继信念点加入到探索信念点集Bsub中；
步骤406：基于新的Bsub更新目前值函数向量集合Γt为Γt+1；
步骤407：若满足步骤404的判定条件时停止迭代，并利用策略值函数获得时刻t的最佳接入网SFC部署方式
图5是本发明中更新探索信念点集流程示意图，步骤如下：
步骤501：在当前的Bsub中选择值函数上下界差值大于阈值的点构成被扩点集合Bpre，即其中，hb表示信念点b的层数,ε是常数；
步骤502：寻找集合Bpre所包含的信念点b的后继信念点中上下界差值较大的点组成集合
步骤503：在集合suc(b)中选取距离Bsub最远的信念点
其中，且将满足条件的后继信念点加入到Bsub中，即Bsub＝Bsub∪{b”}；
步骤504：上界集合由若干个点-值对组成，每次更新时新加入点-值对：b∈Bsub；
步骤505：更新时先找出点b的新的下界向量αb，且αb＝{αb(s)|s∈S}，
步骤506：让Bsub中每一个点执行上述步骤直到遍历完才进行值函数向量集合的更新。
图6是本发明中更新值函数向量集流程示意图，步骤如下：
步骤601：计算动作a(a∈A)一步回报向量
步骤602：计算动作a(a∈A)在观察z(z∈Z)的向量集合
步骤603：选择使信念点b(b∈Bsub)与向量集合中的向量乘积最大的向量加入集合中
步骤604：判断是否遍历完观测空间里的每个观测状态；
步骤605：如果观测空间遍历完了则将里的向量相加，并和一步向量相加，所得的向量加入集合Γt+1,b；
步骤606：遍历完动作空间里的每个动作则进行下一步，否则返回步骤601；
步骤607：在Γt+1,b寻找与b乘积最大的向量加入值函数向量集Γt；
步骤608：如果遍历完Bsub里的每个信念点，则进行下一步，否则返回步骤601；
步骤609：在遍历完Bsub里所有的信念点时，值函数向量集完成了一次更新，该集合更新为Γt+1。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。