网络边缘在线服务功能链部署方法、系统和设备

1.本发明属于边缘计算技术领域，涉及一种网络边缘在线服务功能链部署方法、系统和设备。


背景技术：

2.随着5g技术的快速发展，其大连接、低延迟和高带宽的特点促进了智能城市、智能工厂和汽车互联网等应用的蓬勃发展。这些典型的物联网(iot)应用程序具有不同甚至矛盾的网络需求。为了适应这些不同场景下的异构需求，引入了网络功能虚拟化(nfv)，使物联网资源分配更加灵活。nfv可以为物联网业务开发和部署提供极大的可扩展性和自主性。nfv的一个潜在应用是服务功能链(sfc)，它将多个虚拟网络功能(vnf)动态链接在一起，例如名称服务、防火墙和深度数据包检查等。sfc可以为物联网应用程序提供安全、快速和稳定的网络服务。
3.为了降低服务延迟，移动边缘计算(mec)技术已被广泛应用于sfc。因此，可以在边缘以较低的延迟响应vnf相关请求，这大大提高了用户在物联网中的服务质量。在网络边缘实施sfc有两种主流趋势。第一类考虑用户需求的动态特性和边缘资源的限制，可能导致服务请求无法在边缘完成与sfc相关的任务；相关设计是利用有限的资源部署新的sfc，这可能导致更多的服务请求在边缘完成。为了确保sfc的完整性，其通过优化vnf的部署位置或vnf部署顺序来提高资源利用率。
4.第二类考虑了可能导致vnf不可用的软件漏洞、硬件故障或管理模块损坏，不可用会导致整个链陷入非功能状态，严重影响服务质量；相关设计是通过部署更多vnf备份以增强功能可用性，维护一个可行数量的vnf副本或自适应动态地实现副本。然而，在实现本发明的过程中，发明人发现前述传统方法都是单方面的优化，未能实现总体服务性能的有效提高。


技术实现要素：

5.针对上述传统方法中存在的问题，本发明提出了一种网络边缘在线服务功能链部署方法、一种网络边缘在线服务功能链部署系统以及一种计算机设备，能够实现总体服务性能的有效提高。
6.为了实现上述目的，本发明实施例采用以下技术方案：
7.一方面，提供一种网络边缘在线服务功能链部署方法，包括步骤：
8.获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量；
9.调用构建的系统部署模型；系统部署模型包括资源延迟模型、放置延迟模型和最小化所有服务请求的平均完成延迟的优化目标；
10.根据计算资源容量和存储资源容量，利用基于dqn算法的服务功能链在线部署法对系统部署模型进行优化处理，得到网络边缘的服务功能链在线部署方案；
11.根据服务功能链在线部署方案，在网络边缘上部署服务功能链。
12.另一方面，还提供一种网络边缘在线服务功能链部署系统，包括：
13.容量获取模块，用于获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量；
14.模型调用模块，用于调用构建的系统部署模型；系统部署模型包括资源延迟模型、放置延迟模型和最小化所有服务请求的平均完成延迟的优化目标；
15.优化处理模块，用于根据计算资源容量和存储资源容量，利用基于dqn算法的服务功能链在线部署法对系统部署模型进行优化处理，得到网络边缘的服务功能链在线部署方案；
16.在线部署模块，用于根据服务功能链在线部署方案，在网络边缘上部署服务功能链。
17.又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的网络边缘在线服务功能链部署方法的步骤。
18.上述技术方案中的一个技术方案具有如下优点和有益效果：
19.上述网络边缘在线服务功能链部署方法、系统和设备，通过首先获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量等在线数据后，调用构建的系统部署模型，利用基于dqn算法的服务功能链在线部署法进行优化处理，得到网络边缘的服务功能链在线部署方案，最后根据该方案进行在网络边缘上部署相应服务功能链。相比于传统方法，前述技术方案是一个深度服务功能链(deepsfc)在线自适应部署方案，在资源有限的网络边缘环境中平衡服务功能链多样性和稳定性之间的资源分配，实现这两个基本原理之间的完美平衡。我们采用深度强化学习方案，结合服务功能链的多样性和稳定性，提高整体用户服务质量。deepsfc可实时监控当前的网络链路利用率和服务器资源消耗率，并将服务平均完成延迟作为对服务质量的奖励，并且deepsfc选择在边缘服务器上回报最大的服务功能链部署方案，以减少服务平均完成延迟，从而实现总体服务性能的有效提高。
附图说明
20.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为在边缘部署sfc的示例示意图；
22.图2为不同部署场景和vnf故障率对服务请求完成延迟的影响示意图；其中，(a)为节点间数据传输示意，(b)为第一种sfc分配，(c)为第二种sfc分配，(d)为第三种sfc分配，(e)为第四种sfc分配，(f)为第五种sfc分配，(g)为第六种sfc分配；
23.图3为一个实施例中网络边缘在线服务功能链部署方法的流程示意图；
24.图4为一个实施例中基于dqn算法的服务功能链在线部署的流程示意图；
25.图5为一个实施例中基于drl(深度强化学习)的边缘部署器框架示意；
26.图6为一个实施例中有成本意识的sfc重新部署框架示意图；其中，(a)为sfc最初的部署方案，(b)为新生成的sfc部署方案；
27.图7为一个实施例中不同部署场景和vnf故障率对服务请求完成延迟的影响的示
意图，其中，(a)为服务请求平均完成延迟，无vnf故障率，(b)为当某些vnf的故障率增加时，服务请求平均完成延迟，(c)为在所有vnf故障率增加的情况下，服务请求平均完成延迟；
28.图8为另一个实施例中不同部署场景和vnf故障率对服务请求完成延迟的影响的示意图，其中，(a)为边缘环境中的服务请求平均完成延迟，边缘环境中没有vnf故障率，(b)为边缘环境中某些vnf的故障率增加时，服务请求平均完成延迟，(c)为边缘环境中所有vnf故障率增加时的服务请求平均完成延迟；
29.图9为一个实施例中不同部署方案和vnf故障率对vnf备份率的影响示意图，其中，(a)为无vnf故障率的vnf备份比率，(b)为当某些vnf的故障率增加时，vnf备份的比率；
30.图10为一个实施例中当所有vnf的故障率增加时，不同部署方案对资源利用率的影响示意图；
31.图11为一个实施例中当所有vnf的故障率增加时，不同部署场景对边缘服务请求完成率的影响示意图；
32.图12为一个实施例中不同的旧vnf率对重新部署计划成本的影响示意图；
33.图13为一个实施例中基于drl的部署器学习过程示意图；
34.图14为一个实施例中网络边缘在线服务功能链部署系统的模块结构示意图。
具体实施方式
35.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
36.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
37.需要说明的是，在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。
38.本领域技术人员可以理解，本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
39.在本技术的研究中发现，传统部署方法中大多采用单方面的优化，其未能实现总体服务性能的全面改善，而这是由部署功能的多样性和可用性共同决定的。因此，在给定资源容量的情况下，多样性(部署新的)和可用性(部署更多)之间存在固有的矛盾。一方面，维护足够的功能备份可以提高可用性，但可能会挤掉新功能的空间。另一方面，如果追求功能的多样性，那么没有功能备份可以存储在边缘。这可能导致部署的功能不可靠，因此无法在附近的边缘对应服务请求。此外，由于不同服务器的动态带宽异构性，vnf在链上的部署位置对延迟有不可忽视的影响(即传输延迟、排队延迟和启动延迟等)。因此，应该考虑如何提供在线自适应sfc部署方案。
40.为此，在本技术中，提出了deepsfc，解决边缘计算网络中的在线sfc自适应部署问题。deepsfc在资源有限的边缘环境中平衡sfc多样性和稳定性之间的资源分配，实现这两
个基本原理之间的完美平衡。采用深度强化学习方案，结合sfc的多样性和稳定性，提高整体用户服务质量。具体来说，deepsfc实时监控当前的网络链路利用率和服务器资源消耗率，并将服务平均完成延迟作为对服务质量的奖励。deepsfc选择在边缘服务器上回报最大的sfc部署方案，以减少服务平均完成延迟。
41.对于更一般的应用场景，当用户的服务请求更改或部署的服务器崩溃时，原始的静态sfc部署策略将导致更新的需求的性能下降。在这种情况下，应该以较少的资源消耗重新部署sfc。为重新部署场景定义了一个满意度阈值，它由用户请求的完成率和平均完成时间组成。当当前满意度低于此阈值时，deepsfc将根据当前用户的服务请求和网络环境参数重新生成部署方案。考虑到巨大的重新部署开销，优先在以前的sfc部署解决方案中迁移或保留相同的vnf，在实施新的sfc部署方案时，这可以有效降低传输和部署成本。
42.为了更容易理解本技术的技术方案，此处还说明了本技术提出的方法的动机：
43.不同部署方案的影响：如图1所示，所有用户所需的sfc集合可以表示为：sfc1(vnf2
→
vnf7
→
vnf8)、sfc2(vnf6
→
vnf9
→
vnf4
→
vnf2)、sfc3(vnf2
→
vnf1
→
vnf5
→
vnf3)和sfc4(vnf10
→
vnf11
→
vnf1)。用户连接到部署vnf的边缘服务器。这些边缘服务器可能无法部署所有sfc及其备份。因此，这些边缘服务器还可以与云或相邻边缘环境联系，以满足更多服务请求。在三个部署场景中讨论了两种不同的用户需求。
44.在第一个部署场景中，用户对sfc的需求是sfc1、sfc2和sfc3。然后讨论了第一个sfc部署方案：sfc1、sfc2和sfc3部署在边缘环境中。在这种情况下，用户对sfc的服务请求可以在边缘得到满足。但是，软件漏洞、硬件故障或管理模块损坏可能会导致vnf不可用。然后，一些无法通过整个链的服务请求将受到严重影响。例如，当vnf1失败时，与sfc3相关的服务请求无法完成vnf1的任务。在这种情况下，用户等待服务器通常是不可接受的，因为自我恢复通常需要很长时间并且容易导致缓冲区溢出。因此，所有准备发送到vnf1所在边缘服务器以完成任务的服务请求，或在此边缘服务器上排队的服务请求，都将求助于云或相邻边缘环境来完成任务要求。特别是，当vnf2失败时，边缘sfc部署解决方案将失败，因为大多数服务请求需要转到云或相邻边缘环境，直到vnf2恢复正常操作。原因是sfc1、sfc2和sfc3中同时存在vnf2。
45.第二个sfc部署方案，与第一个sfc部署方案不同，在资源充足的边缘服务器上添加了vnf2和vnf1的备份。在此部署方案中，当原始vnf2失败时，服务请求可以从原始vnf1所在的边缘服务器发送到备份vnf2所在的边缘服务器，以便服务请求可以通过边缘的整个sfc。因此，与直接访问云或相邻边缘环境相比，平均完成服务请求的延迟可以显著减少。也就是说，确保sfc的可用性有助于确保服务请求能够在边缘环境中稳定可靠地完成，这也大大提高了用户的qos(服务质量)。
46.通过以上分析，可以知道在边缘服务器上部署用户所需的新sfc或备份已实例化的sfc可以带来显著的好处。然而，由于资源有限，在不同的场景中，可能无法同时实现这两个好处，因此需要平衡这两个优点，以找到将服务请求延迟降至最低的sfc部署方案。
47.考虑另一个部署场景，其中用户的需求已从sfc1、sfc2和sfc3更改为sfc1、sfc2、sfc3和sfc4。由于sfc4未部署在边缘，需要sfc4的服务请求需要转到拥有sfc4的云或相邻边缘环境。此时，sfc部署方案仅满足部分用户的服务请求。但是，可以使用用于实例化vnf备份的资源部分来部署用户需要的sfc4。通过这种方式，对原始sfc的服务请求和需要sfc4
的服务请求都可以在边缘以较低的延迟完成，而不是前往远程具有较高延迟的云或相邻边缘环境。该场景实现sfc多样性和可用性之间的较好平衡。然后，可以通过更高的定价策略来提高服务质量，从而显著提高服务的经济价值，这也是在边缘部署sfc的初衷。
48.不同部署地点的影响：尽管有sfc部署方案，边缘服务器上vnf的分配方案也会影响服务请求的完成延迟。如图2(a)所示，任意两个节点之间边的值表示任意一对服务器之间的数据传输延迟。当两个功能在同一节点上顺序执行时，队列和启动延迟默认设置为1。例如，图2(a)中b及其箭头表示通过服务器的sfc任务的顺序，而c及其箭头表示图2(c)。暂时忽略动态带宽引起的值变化。现在分析了边缘环境中sfc1的几种部署方案。连接到节点1(边缘服务器1)的用户需要此sfc1。图2(b)和图2(c)分别显示了两种不同的分配，其中第n1行中的s1表示s1功能部署在边缘服务器1上。在图2中(b)，服务请求到达节点1并在其上完成sfc的第一个功能(延迟3)。然后，服务请求被传输到节点2(延迟1)并完成功能2(延迟3)。最后，服务请求依次到达节点3和节点4，以完成最后两个功能。总服务延迟为18。否则，在图2(c)所示的部署方案中，服务请求沿着sfc依次经过节点1、节点4、节点2和节点3，此过程中的延迟为21。显然，图2(b)所示方案在服务延迟方面优于图2(c)所示。说明不同的部署位置对完成相应功能的服务请求的延迟时间有不同的影响。
49.此外，还考虑了部署冗余vnf备份的情况。如图2(d)所示，当节点2的功能出现故障时，未完成此功能的服务请求将花费5个延迟到达节点3，节点3部署了冗余备份。在节点4上完成相应的功能后，可以发现总延迟为19。图2(e)和图2(d)所示的部署方案的不同之处在于，vnf备份部署在节点4。在图2中(e)的方案下，节点2失败后，服务请求将发送到节点4而不是节点3，这导致完成所有功能的延迟为18。可以发现，图2(d)中的方案的延迟比图2(d)中的要小得多。然而，当节点2的vnf失败时，还需要考虑已经在节点1节点2链路上或已经在节点2缓冲区中排队的服务请求去哪里。图2(f)和图2(g)所示的部署方案分别与图2(d)和图2(e)中所示的相同，二者考虑了从节点2到备份vnf所在边缘服务器的服务请求延迟。可以发现，在服务延迟方面，图2(f)所示的方案优于图2(g)所示方案。
50.通过以上分析，发现不同的地点和场景会影响服务请求的完成延迟。单边优化无法有效满足用户的sfc多样性和稳定性需求。此外，考虑到sfc部署方案对每个服务请求的影响不同，很难通过服务请求的完成时间来评估部署方案。因此，提出了一种考虑不同部署方案和位置的在线sfc部署方案，能综合优化服务请求的平均完成延迟。
51.如表1所示，为本技术后文中使用到的各参量符号对应的定义表：
52.表1
[0053][0054][0055]
下面将结合本发明实施例图中的附图，对本发明实施方式进行详细说明。
[0056]
请参阅图3，在一个实施例中，本技术实施例提供了一种网络边缘在线服务功能链部署方法，包括如下处理步骤s12至s18：
[0057]
s12，获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量；
[0058]
s14，调用构建的系统部署模型；系统部署模型包括资源延迟模型、放置延迟模型和最小化所有服务请求的平均完成延迟的优化目标；
[0059]
s16，根据计算资源容量和存储资源容量，利用基于dqn算法的服务功能链在线部
署法对系统部署模型进行优化处理，得到网络边缘的服务功能链在线部署方案；
[0060]
s18，根据服务功能链在线部署方案，在网络边缘上部署服务功能链。
[0061]
可以理解，将适当地理范围内的边缘网络视为一个整体。假设这个边缘网络中有k个边缘服务器，用ξ＝{e1,e2,
…
,ek}，ej(1≤j≤k)，表示第j个边缘服务器。这些边缘服务器可以放置在基站上以接收来自移动用户的服务请求，也可以放置在服务器室内以与用户进行有线互连。与云相比，这些边缘服务器可以提供延迟较低的服务，因为它们离用户更近。然而，每个边缘服务器的计算和存储容量都是有限的。如果想在边缘计算环境中制定sfc部署方案，需要知道每个边缘服务器的资源容量。将每个边缘服务器ej上的计算资源容量和存储资源容量分别定义为cj和sj。需要在资源有限的边缘服务器上合理部署vnf，以最大限度地提高其利用效率，同时在部署过程中考虑sfc的完整性。需要注意的是，如果只在某个sfc上部署一部分vnf，那么sfc将无法正常工作，用户的服务请求也无法正常满足。
[0062]
假设边缘网络中有m个用户，表示为v＝{u1，u2，
…
，um}。通常，用户可以通过网络与边缘服务器和云通信，边缘服务器可以与相邻边缘环境和云通信。服务请求通常通过多个链接发送到边缘服务器。为了便于计算，假设链路的最小带宽可以满足单个最大用户数据的传输。将可以部署在本地边缘环境中的一组sfc定义为fc＝{f1，f2，...，f
x
}。请注意，sfc不能仅部署链上的一部分vnf，这将使sfc不可用。然后，将用户的服务请求定义为其中表示用户um需要fi。
[0063]
在边缘环境中，用户对sfc的需求能否得到满足，将影响用户的服务请求完成延迟。当边缘无法满足用户对sfc的需求时，用户的服务请求将访问云或邻居边缘计算环境。因此，功能多样性越高，边缘服务器上可以完成的用户服务请求越多，服务请求的延迟越短。此外，功能可用性对服务请求完成延迟的影响也不容忽视。当sfc失败且没有冗余备份时，服务请求将需要转到云或相邻边缘环境。因此，为了最小化所有用户服务请求的平均完成延迟，将服务请求完成延迟分为两部分：资源延迟(由部署在边缘计算环境中的sfc的类型和数量引起的延迟)和放置延迟(由在边缘服务器上部署sfc的不同位置引起的时延)。可以预先分别对这两个延迟部分建模，并将其总延迟最小化作为优化目标。
[0064]
dqn算法也即deep q-network算法，是基于价值(value-based)而非策略(policy-based)的方法，学习的不是策略，而是一个评论家(critic)。基于价值网络，智能体通过遍历状态s下的所有动作的价值，选择最大的动作a作为输出。因此，本技术中采用基于dqn算法的服务功能链在线部署法最小化所有服务请求的平均延迟，得到基于当前网络边缘环境的服务功能链在线部署方案，以用于部署满足当前所有服务请求并且平均延迟最小的sfc。
[0065]
上述网络边缘在线服务功能链部署方法，通过首先获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量等在线数据后，调用构建的系统部署模型，利用基于dqn算法的服务功能链在线部署法进行优化处理，得到网络边缘的服务功能链在线部署方案，最后根据该方案进行在网络边缘上部署相应服务功能链。相比于传统方法，前述技术方案是一个深度服务功能链(deepsfc)在线自适应部署方案，在资源有限的网络边缘环境中平衡服务功能链多样性和稳定性之间的资源分配，实现这两个基本原理之间的完美平衡。我们采用深度强化学习方案，结合服务功能链的多样性和稳定性，提高整体用户服务质量。deepsfc可实时监控当前的网络链路利用率和服务器资源消耗率，并将服务平均完成延迟
作为对服务质量的奖励，并且deepsfc选择在边缘服务器上回报最大的服务功能链部署方案，以减少服务平均完成延迟，从而实现总体服务性能的有效提高。
[0066]
在一个实施例中，资源延迟模型为
[0067][0068]
其中，表示向第一边缘服务器发送服务请求的延迟，j
φ
为二进制数，表示边缘服务器对云或相邻边缘环境的服务请求的延迟，表示每个虚拟网络功能的故障率。
[0069]
具体的，资源延迟通常由边缘服务器上部署的sfc的类型和数量引起。将资源延迟分为两种情况：sfc正常工作和sfc工作失败。当sfc正常工作时，来自用户的服务请求首先到达连接的边缘服务器。要显示边缘服务器与用户un的服务请求之间的关系，1≤n≤m，定义：
[0070][0071]
其中，是一个二进制值，其中，表示服务请求将传输到边缘服务器ek，并且将在边缘服务器ek上确定服务请求是在边缘端完成，还是前往云或相邻边缘环境完成。否则因此，定义：
[0072]jφ
＝[j
i，1
，j
i，2
，
…
，j
i，m
]
ꢀꢀꢀ
(2)
[0073]
其中，j
i，m
是二进制数。当j
i，m
＝1时，表示服务请求将转到具有相应功能的云或相邻边缘环境，而j
i，m
＝0表示服务请求将在本地边缘计算环境中完成。
[0074]
考虑到传输到边缘服务器ek的服务请求的带宽实时变化，将时间t的带宽定义为：
[0075][0076]
其中，表示边缘服务器ek提供的带宽(以bit/s为单位)。将发送到第一台边缘服务器ek的服务请求的传播延迟定义为pk，因为连接到服务器ek上的用户通常非常接近它。然后，用户向第一边缘服务器发送服务请求的延迟可以表示为：
[0077][0078]
其中，符号表示内积的操作，表示服务请求的大小。
[0079]
然后，讨论了由第一台服务器上的不同目的地决策引起的延迟。如果j
φ
＝1，服务
请求需要转到云或相邻边缘环境才能完成。假设每个边缘服务器都连接到云，并且可以通过边缘网络间接连接到相邻边缘环境。考虑到相邻边缘环境通常有很大的延迟，将这部分延迟视为进入云。定义：
[0080][0081]
其中，表示时间t从服务器ek到云的网络带宽(以位为单位)，将传播延迟定义为那么，边缘服务器对云或相邻边缘环境的服务请求的延迟可以表示为：
[0082][0083]
当j
φ
＝0时，用户的服务请求可以在本地边缘计算环境中完成。此时，如果边缘服务器上的sfc工作正常，则用户的服务请求不需要转到云或相邻的边缘计算环境，因此dc＝0。
[0084]
当sfc工作失败时，讨论了其中一个sfc中一个或部分vnf失败的两种情况。i)本地边缘计算环境中没有故障vnf的备份。由于没有故障vnf的备份，等待故障vnf的修复对于服务请求来说通常是不可接受的。此时，服务请求需要转到云或相邻边缘环境才能完成。延迟的这一部分可以用等式(6)表示。ii)有故障vn的备份，在这种情况下，服务请求将从故障vnf所在的服务器发送到备份vnf所处的服务器。这部分延迟将在下文中详细讨论。此外，如果备份vnf没有失败，则服务请求可以正常完成并且可以继续下一步，例如转到sfc上下一个vnf所在的边缘服务器，或者完成所有任务并返回用户端。当备份vnf也失败时(通常很少发生)，如果仍有可用的vnf备份，服务请求将重复上述过程。如果没有更多备份可用，服务请求需要转到云或相邻边缘环境才能完成。
[0085]
在一个实施例中，进一步的，虚拟网络功能的故障率通过虚拟网络功能的维护日志确定。
[0086]
具体的，考虑vnf的失效概率。由于vnf故障通常是不可预测的，使用vnf的维护日志作为启发式项目，并将每个vnf故障率定义为：当最初在边缘计算环境中部署sfc时，没有历史维护日志来让知道vnf错误率是多少，因此，可以使用经验、参考其他边缘服务器的历史维护日志来定义vnf的初始故障率。之后，在工作过程中，故障将记录在维护日志中，因此在重新部署过程中，可以使用此边缘计算环境的维护日志作为启发式项来获得vnf故障率。最后，资源延迟模型可以表示为：
[0087][0088]
在一个实施例中，进一步的，资源延迟模型中，每个虚拟网络功能映射到一台边缘服务器，服务功能链上的所有虚拟网络功能均映射到边缘服务器。
[0089]
具体的，由于每个边缘服务器的资源有限，对于部署在边缘服务器上的vnf，应遵守以下限制：
[0090][0091]
其中，表示部署在服务器ej上的计算资源量，当未部署在服务器ej上时，
[0092][0093]
用表示部署在服务器ej上的存储资源量。为了保证vnf的功能完整性，每个vnf只能映射到一台服务器：
[0094][0095]
表示vnf部署在服务器ej上的ei上。为了确保sfc的完整性，sfc上的所有vnf必须映射到边缘服务器：
[0096][0097]
在一个实施例中，放置延迟模型为
[0098][0099]
其中，表示服务请求从服务功能链上第一个虚拟网络功能所在的边缘服务器开始，在正常工作条件下依次通过整个服务功能链所在的边缘服务器的延迟，表示有故障虚拟网络功能的备份时，服务请求到备份虚拟网络功能所在的边缘服务器完成任务的延迟，表示来自故障备份服务器的传输延迟。
[0100]
可以理解，在确定了部署在边缘的sfc的类型和数量后，还需要考虑sfc的放置位置方案造成的延迟，因为不同放置位置方案导致的延迟是不同的。使用放置延迟来判断放置位置方案的质量。将放置延迟分为两部分：i)服务请求从sfc上第一个vnf所在的服务器开始，并在正常工作条件下依次通过整个sfc所在的边缘服务器的延迟。ii)发生故障时，向边缘计算环境中备份vnf所在的边缘服务器发送服务请求所导致的延迟。在建模资源延迟
时，提到用户的服务请求将在到达第一个边缘服务器后进行判断。当j
φ
＝1时，用户的服务请求是在边缘计算环境中完成的，因此可以确定服务请求所需的sfc部署在边缘计算的环境中。根据边缘计算环境下vnf的部署方案，定义了：
[0101][0102]
是二进制值。对于表示服务请求将从服务器e1转到服务器ek。将时间t的这部分带宽定义为：
[0103][0104]
将传播延迟定义为：
[0105][0106]
因此，该部分的延迟可以表示为：
[0107][0108]
特别是对于表示第一个vnf所在的服务器是判断服务器，因此无需跨服务器传输。
[0109]
当sfc正常工作时，在服务请求完成sfc上第一个vnf的任务后，它们将转到边缘服务器，剩余的vnf根据路由规则位于sfc上，直到整个sfc完成。因此，将第i部分延迟定义为：
[0110][0111]
类似地，当sfc上以前的vnf与下一个vnf位于同一边缘服务器上时，认为此延迟等于0。由于一些不可控的原因，vnf的故障是不可避免的，会导致更严重的sfc故障，因为单个vnf故障会导致整个sfc不可用。在上面描述的工作案例中，让讨论一个特殊的案例：sfc因vnf而失败(很难在短时间内恢复)。当有故障vnf的备份时，根据预先制定的路由规则，服务请求需要到备份vnf所在的边缘服务器来完成任务。将这部分延误定义为：
[0112]
[0113]
特别是，如果故障vnf不是sfc上的最后一个vnf，则用户请求还需要从故障备份vnf所在的服务器发送到原始sfc上故障vnf的下一个vnf所在的服务器，以完成相应的任务。无法保证备份vnf和故障的原始vnf在同一台服务器上，因此它们到下一台服务器的延迟不一定相同。将来自故障备份服务器的传输延迟定义为：
[0114][0115]dl
＝0备份vnf所在的服务器与下一个vnf所处的服务器相同。如果sfc上的多个备份vnf同时发生故障，认为发生了重大故障，应在此时进行修复。因此，不会讨论多个备份vnf同时失败的延迟。放置延迟最终可表示为：
[0116][0117]
在一个实施例中，优化目标为：
[0118][0119]
其中，x表示服务功能链的数量，k表示网络边缘中边缘服务器的数量，表示放置延迟模型，表示资源延迟模型。
[0120]
可以理解，通过上述描述服务请求完成的整个过程可以表示为：用户在延迟后将服务请求发送到最合适的边缘服务器。然后，在边缘服务器上确定服务请求是否在本地边缘计算环境中完成，或者在延迟后转到云和相邻的边缘计算环境。
[0121]
如果服务请求在本地边缘计算环境中完成，则服务请求将在延迟后从决策服务器传输到sfc的第一个vnf所在的服务器1，并且sfc工作正常。那么，服务请求将通过sfc映射的所有服务器。如果sfc失败，则服务请求将从故障vnf所在的服务器或故障vnf的前一个vnf发送到延迟后备份vnf所处的服务器，然后再发送到延迟后下一个vnf所在的服务器，直到整个sfc完成。最后，当服务请求在云、相邻边缘环境或本地边缘环境中完成sfc任务后，它将转到下一个目的地(即返回客户端)。
[0122]
在资源有限的情况下，服务请求之间存在资源竞争。如果的目标是优化每个服务请求的延迟，那么将会有很多矛盾。因此，以以下优化目标最小化所有服务请求的平均完成延迟：
[0123]
[0124]
s.t.(8)～(11)
[0125]
在一个实施例中，如图4所示，基于dqn算法的服务功能链在线部署法所实现的过程包括如下步骤s161-s166：
[0126]
s161，初始化设置的回放缓冲区和内部权重参数；
[0127]
s162，在获得网络边缘环境的当前环境状态后，代理使用∈-贪婪法选择动作；当前环境状态包括边缘服务器剩余的计算资源容量和存储资源容量；∈-贪婪法为本领域现有方法。
[0128]
s163，执行选择的动作后，代理根据奖励方案获得奖励及下一个环境状态；
[0129]
s164，将获得的奖励及下一个环境状态以设定形式存储在回放缓冲区中；
[0130]
s165，在o个步骤后，代理从回放缓冲区中随机选择小批量的十分之一；其中，o表示向回放缓冲区放置选定数量经验的步骤数，通常设置为200；
[0131]
s166，在与网络边缘环境交互后，代理使用随机梯度下降法更新网络参数并在t步后，目标网络将复制评估网络的参数以更新参数；其中，t表示设置的更新网络参数值，t的取值可以通过历史经验获得。
[0132]
可以理解，组件和概念：sfc的部署方案由dqn算法生成。dqn通常由五部分组成：状态、代理、行动、奖励和策略，下面将详细描述。
[0133]
状态：是dqn的重要组成部分，是用于表示环境的数据。在agent(智能体)与环境的交互过程中，会产生不同的状态；换句话说，在执行一个操作之后，环境将转换为一个新状态。在部署sfc的过程中，s(t)＝{c1(t)，s1(t)，c2(t)，s2(t)，...，ck(t)，sk(t)表示状态集合，c1(t)，s1(t)分别表示边缘服务器e1剩余的计算和存储资源。
[0134]
代理：由一个内部计算参数系统和一个学习机制组成，它可以与环境交互以获取信息并反馈当前状态，可以根据反馈信息评估以前的行动对环境的影响，也可以选择当前奖励值最大的行动，根据当前状态对环境采取行动。在训练过程中，代理将反复循环上述过程，以提高其决策能力。本文中代理的目标是找到一个sfc部署方案，以最小化所有服务请求的延迟。
[0135]
行动：是主体基于参数信息和学习策略对当前与环境交互状态的响应。在本文中，行动是将sfc上的vnf部署到边缘服务器。为了提高算法的收敛速度，部署了多个vnf，而不是每次一个vnf。在本文中，行动可以用向量a(t)表示。选择要部署的操作与当前的资源和sfc限制密切相关。通常，选择能够带来更高长期回报的行动。如图5所示，是deepsfc的工作过程，environment为环境。
[0136]
dqn工作部件的设计：
[0137]
奖励：对于不同的状态，代理将选择不同的操作，作用于环境的操作将产生新的状态。每个行动的选择将直接或间接影响最终方案的结果。这里，的最终方案是部署sfc的解决方案。为了最小化所有服务请求的平均延迟时间，代理将评估每个状态选择的操作，评估的结果是奖励。当一个行为有利于最终目标时，代理会对该行为给予一定的奖励，如果是不利的，则会给予一定的惩罚。代理可以根据奖励更新部署方案，以便下次在同一状态下找到更好的动作。在这里，将奖励设置为：
[0138]rt
＝exp(-(d
all
+μd
s(t)，a(t)
))
ꢀꢀꢀ
(21)
[0139]
其中，0＜μ＜1是权重，exp是值函数，d
all
表示总体平均完成延迟。奖励设置表明了
长期的总体回报。如果部署者做出了一个好的决策，它可以生成适当的数量，以便所有服务请求的平均完成延迟都较低。d
s(t)，a(t)
表示当前行动的影响，这也意味着短期奖励。
[0140]
策略：不同的策略代表不同的部署sfc方案，其中包括不同的代理所做的一系列操作。在dqn中，策略将在学习过程中不断更新，策略的质量将直接影响所有服务请求的平均延迟。
[0141]
在传统的q学习中，在设计了上述组件之后，将初始化一个q表来记录状态动作对应的值。如果有m个状态和n个动作，则此q值表的大小为m*n，查询q表时，首先确定当前状态s，然后找到状态s所在的行，最后输出该行中q值最大的动作，这是一个完整的决策过程。然而，如果q学习用于确定sfc在具有许多状态和动作的场景中的部署计划，则需要建立一个巨大的q值表，这将带来大量空间开销。比例变大后，需要花费大量时间才能准确计算此表中的每个值。此外，在许多实际任务中，一些状态和动作永远不会出现，这使得精确计算值函数变得困难，并导致计算成本和精度问题。
[0142]
在训练神经网络时，假设训练数据是独立分布的。通过强化学习收集的数据之间总是存在相关性，这可能会导致学习值函数模型出现较大波动。此外，当使用梯度下降法更新模型时，模型训练往往需要经过多轮迭代才能收敛。每次迭代都需要使用一定数量的样本来计算梯度。如果每个计算的样本在计算一次梯度后都被丢弃，那么需要花费更多的时间与环境交互并收集样本。因此，使用经验回放来训练强化学习的学习过程，并为学习之前的经验设置回放缓冲区。因此，每次模型更新参数时，可以随机抽取一些以前的经验进行学习。随机提取数据会破坏数据之间的相关性，使神经网络更新更有效。设置的回放缓冲区将存储过去发生的转换，转换由(s(t)，a(t)，r(t+1)，s(t+1))组成。设置的回放缓冲区大小为rb＝2000。当存储的数据超过rb时，存储的转换将覆盖内存中最早存储的转换。在每次迭代中，使用小批量从内存中随机提取经验。
[0143]
此外，在q学习的迭代过程中，参数由当前时刻的奖励和下一时刻的估计奖励更新。由于数据的不稳定性，每次迭代都可能产生一些波动，这些波动将立即反映在下一次迭代的计算中，使很难获得稳定的模型。为了减轻相关问题的影响，将这两部分解耦并引入目标和评估网络，其目标是延迟目标网络的参数更新，从而中断相关性。因此，目标网络的结构与评估网络的结构完全相同。
[0144]
在一个实施例中，上述方法还包括步骤：
[0145]
若对当前服务功能链在线部署方案的满意度低于容差阈值，则利用基于dqn算法的服务功能链在线部署法制定新的服务功能链在线部署方案；其中，通过代理确定保留或迁移当前服务功能链在线部署方案中的虚拟网络功能到新的服务功能链在线部署方案中。
[0146]
可以理解，对于更一般的场景，当用户的服务需求发生变化或部署的服务器崩溃时，原先的静态sfc部署策略将导致性能下降。因此，应该为更新的需求重新生成部署方案。需要注意的是，任何轻微更改的重新生成都是昂贵的，因为重新部署需要大量vfc迁移。在这种情况下，本实施例进一步提供了一种成本敏感的重新部署解决方案。这种重新部署将sfc的迁移或重新部署成本作为重新部署指数，并尝试将这些成本最小化。
[0147]
使用a(t)表示用户和运营商对当前sfc部署方案的满意度，如下所示：
[0148]
a(t)＝σ(τd
all
+ιd
rate
)
ꢀꢀꢀꢀ
(22)
[0149]
其中，0＜σ＜1表示运营商权重，dall表示服务请求的平均完成延迟，drate表示边
缘完成的服务请求的百分比。在分别用两个归一化参数τ和l进行归一化和加权后，a(t)可以作为能力度量，以指示用户对sfc部署方案的满意度。
[0150]
为了避免过于频繁的重新部署，提出了一个容差阈值γ。只有当当前满意度a(t)低于此阈值γ时，才能触发sfc重新部署，代理将根据服务器状态和用户需求的变化制定新的sfc部署方案。新的sfc部署方案可以映射到边缘环境以获得更好的服务。
[0151]
代理与新环境交互以生成新的部署方案后，需要将新的sfc重新映射到边缘服务器。然而，在边缘环境中转换两个sfc部署方案需要很大的成本。如图6所示，图6左侧代表了最初的sfc部署方案，而图6右侧则说明了新的sfc配置方案。图6左侧中的1和3表示原始sfc部署方案和新生成的sfc部署计划的vnf重复部分。图6右侧中的4表示从旧部署方案中保留的vnf部分，图6右侧中的5表示从云中映射的vnf部分。通常，在两个sfc部署解决方案之间的转换期间，代理需要将vnf从云重新映射到边缘服务器。为了更容易理解，假设重新映射vnf的成本为1，图6右侧中所示的新部署方案的重新映射成本为6。
[0152]
然而，可以注意到，在图6中的这两个sfc部署场景中，vnf1和vnf2分别部署在同一台服务器上。因此，如果在重新映射过程中保留这部分vnf并从中重新映射其余的vnf，新部署方案的成本可以降低到4。此外，除了在转换过程中保留vnf外，相邻服务器之间的vnf迁移也可以降低重新部署成本，因为它避免了vnf从云端重新映射到边缘服务器。例如，图6中的标号为2的vnf2从服务器1迁移到服务器3。因此，保留或迁移旧部署方案中的vnf到新部署方案中。与云备份相比，这可以降低运营商的成本和部署延迟。在重新部署算法中考虑了成本问题。
[0153]
在一个实施例中，为了更便于直观说明与理解上述网络边缘在线服务功能链部署方法，提供了其中一个实验示例。需要说明的是，本实施例中提供的实验示例并非是对本技术上述方法的限定，而是用于辅助理解上述方法的有益效果的示例。
[0154]
模拟设置：根据商业服务器上vnf平台的基本设置，结合实际情况，认为每个边缘服务器只有一个六核cpu。由于边缘服务器上除了vnf之外可能还有其他任务，因此假设每个边缘服务器随机拥有1-6个内核。假设边缘环境中有10台边缘服务器；每台服务器都连接到云，可以通过边缘网络连接到相邻边缘环境中的服务器。在这个实验中，使用几台笔记本电脑作为边缘服务器(操作系统：64位ubuntu 16.04.7；内存：16gb ddr4 2666mhz；cpu：intel i7-9750h 2.6ghz)。在实际环境中选择sfc的基本设置来制定vnf的数量和连接顺序。由于用户的移动性，很难准确预测服务请求的到达。因此，假设用户统一且随机地连接到边缘服务器，并且每个用户每单位时间最多只能生成一个sfc服务请求。
[0155]
为了更好地评估deepsfc的性能，用以下两种基线算法进行了比较实验：
[0156]
部署方案基线：为了显示deepsfc方案的性能，将其与四个基线进行了比较。
[0157]
random：根据可部署的vnf集，根据资源限制，在边缘服务器上随机部署vnf。
[0158]
greedy：在资源受限的边缘环境中，根据用户需求在边缘服务器上部署尽可能多的vnf。它倾向于找到一种部署方案，在满足资源约束的同时，最大限度地减少服务器资源的浪费。
[0159]
greedy-backup：与greedy不同，它考虑了vnf的稳定性。因此，在部署过程中，会根据vnf的故障部署一些冗余备份。
[0160]
central-deploy：在部署过程中，central-deploy倾向于将sfc集中部署在离用户
更近的边缘服务器上，以尽可能减少用户请求的延迟。缺点是不考虑vnf备份。
[0161]
重新部署基线：为了显示的重新定位方案的性能，将其与cloud基线重新定位方案进行了比较。确定新的部署方案后，cloud方法从云中下载所有必需的vnf，将它们映射到服务器，然后将它们序列化到sfc。
[0162]
数值结果：在本节中，通过评估结果展示了的模型和基线在任务效率和边缘完成比例方面的性能。如图7所示，考虑到实际部署场景的多样性，选择了四个具有代表性的场景进行实验。lack意味着边缘服务器上的资源非常稀缺，部署人员无法部署当前用户需要的所有sfc。middle表示边缘服务器上的资源可以部署用户所需的sfc，但可能无法部署vnf备份。boundary表示边缘服务器上的资源可以部署当前用户所需的所有原始sfc和一些vnf备份。enough意味着边缘服务器上的资源足以部署用户所需的所有sfc和vnf备份。
[0163]
其中，图7中，(a)表示服务请求平均完成延迟，无vnf故障率。(b)表示当某些vnf的故障率增加时，服务请求平均完成延迟。(c)表示在所有vnf故障率增加的情况下，服务请求平均完成延迟。图8中，(a)表示边缘环境中的服务请求平均完成延迟，边缘环境中没有vnf故障率。(b)表示边缘环境中某些vnf的故障率增加时，服务请求平均完成延迟。(c)表示边缘环境中所有vnf故障率增加时的服务请求平均完成延迟
[0164]
总服务请求平均完成时间：图7(a)显示了vnf故障率为0时服务请求的总平均完成时间的评估结果。发现，deepsfc始终优于greedy、greedy-backup和random，这可以归因于deepsfc考虑优化放置延迟。从缺乏到足够，central-deploy和deepsfc的表现类似。出现这种现象的原因是，当vnf故障率为0时，deepsfc在vnf备份部署中的优势没有得到体现。图7(b)显示了一些vnf的故障率不为0的情况。与图7(a)相比，可以发现，在不同的部署场景中，由于一些vnfs可能会失败，服务请求需要转到备份vnf所在的边缘服务器，甚至到云或相邻的边缘计算环境。因此，每个算法的服务请求完成时间都有不同程度的增加。可以发现，deepsfc的变化率始终低于其他算法，并且性能优于其他算法。此外，随着边缘环境中的资源越来越丰富，greedy和central-deploy的性能没有显著变化，因为它们不考虑备份vnf来处理vnf故障。greedy-backup和random的性能随着资源的丰富而提高，但它们的性能不如deepsfc，因为它们不考虑放置延迟。
[0165]
图7(c)显示了总体vnf的故障率上升。与图7(a)和图7(b)相比，发现随着故障率的增加，deepsfc的性能相对更好。当资源缺乏时，deepsfc将丢弃一些收益较低的sfc(用户需求低、资源消耗高的sfc)，然后部署收益较高的sfc和vnf备份(用户需求高或资源消耗低的vnf)。随着资源的逐渐丰富，尽管greedy-backup和random没有考虑部署位置对完成延迟的影响，而deepsfc更喜欢选择部署延迟较低的服务器来部署vnf备份和sfc，但deepsfc的性能优于greedy-backup和random。此外，就变化率而言，deepsfc仍优于其他算法。
[0166]
边缘服务请求平均完成时间：图8(a)-图8(c)显示了不同边缘部署场景中服务请求的平均完成时间。由于deepsfc考虑了不同vnf部署位置的影响，因此deepsfc倾向于将vnf及其备份部署在延迟较小的位置上。因此，deepsfc的性能优于其他算法。
[0167]
bakeup vnf的比例：此外，考虑到vnf备份对sfc的长期可用性有很大影响，评估了不同算法在不同部署场景中生成的vnf备用比率。如图9所示，greedy和central-deploy不考虑备份vnf，因此它们的比率为0。与其他算法相比，当vnf故障率增加时，deepsfc生成更多的vnf备份，以确保sfc的可用性。此外，当vnf没有故障或故障率较低时，depesfc更倾向
于使用资源来延迟新的，而不是部署更多的。部署所有vnf后，deepsfc将使用剩余资源部署具有更高回报的vnf备份。图9中，(a)表示无vnf故障率的vnf备份比率。(b)表示当某些vnf的故障率增加时，vnf备份的比率。(c)表示在所有vnf故障率增加的情况下，vnf备份延迟的比率。
[0168]
边缘资源利用率和速率：图10显示了不同算法在不同部署场景下的资源利用率，可以发现，尽管deepsfc的资源利用度不是最高的，它以2-3％低于最优算法。但deepsfc在其他指标上表现优异。图11显示了边缘环境中完成的服务请求的比例，它直接反映了当总体vnf故障率增加时算法的性能。可以发现，deepsfc在不同的部署场景中表现良好，这表明了deepsfc的灵活性和通用性。
[0169]
重新部署成本：在实验中，探讨了新部署方案中旧vnf的比例对重新部署成本的影响。如图12所示，可以发现cloud算法的性能有一些波动。这可以归因于部署方案中vnf数量的变化。随着旧vnf比例的增加，cloud算法的性能没有显著提高。然而，由于deepsfc考虑从边缘环境迁移或保留vnf，因此deepsfc的表现越来越优于cloud，从而降低了成本。
[0170]
基于dqn的部署器的学习过程：如图13所示，展示了基于dqn的部署器学习过程，它根据奖励函数与环境交互。基于dqn的部署人员可以在迭代过程中学习。从图13中可以看出，当部署者开始学习时，奖励值随着学习次数的增加而逐渐增加。最后，它趋于稳定在250，这表明部署者已经逐渐形成了一个长期的奖励最优部署方案。理论分析和实验表明，deepsfc优于相关现有技术。
[0171]
应该理解的是，虽然图3和图4流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图3和图4的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0172]
请参阅图14，在一个实施例中，提供一种网络边缘在线服务功能链部署系统100，包括容量获取模块12、模型调用模块14、优化处理模块16和在线部署模块18。其中，容量获取模块12用于获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量。模型调用模块14用于调用构建的系统部署模型；系统部署模型包括资源延迟模型、放置延迟模型和最小化所有服务请求的平均完成延迟的优化目标。优化处理模块16用于根据计算资源容量和存储资源容量，利用基于dqn算法的服务功能链在线部署法对系统部署模型进行优化处理，得到网络边缘的服务功能链在线部署方案。在线部署模块18用于根据服务功能链在线部署方案，在网络边缘上部署服务功能链。
[0173]
上述网络边缘在线服务功能链部署系统100，通过首先获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量等在线数据后，调用构建的系统部署模型，利用基于dqn算法的服务功能链在线部署法进行优化处理，得到网络边缘的服务功能链在线部署方案，最后根据该方案进行在网络边缘上部署相应服务功能链。相比于传统方法，前述技术方案是一个深度服务功能链(deepsfc)在线自适应部署方案，在资源有限的网络边缘环境中平衡服务功能链多样性和稳定性之间的资源分配，实现这两个基本原理之间的完美平
衡。我们采用深度强化学习方案，结合服务功能链的多样性和稳定性，提高整体用户服务质量。deepsfc可实时监控当前的网络链路利用率和服务器资源消耗率，并将服务平均完成延迟作为对服务质量的奖励，并且deepsfc选择在边缘服务器上回报最大的服务功能链部署方案，以减少服务平均完成延迟，从而实现总体服务性能的有效提高。
[0174]
在一个实施例中，上述网络边缘在线服务功能链部署系统100还可以用于实现上述网络边缘在线服务功能链部署方法各实施例中增加的步骤或者子步骤对应的功能。
[0175]
关于网络边缘在线服务功能链部署系统100的具体限定，可以参见上文中网络边缘在线服务功能链部署方法的相应限定，在此不再赘述。
[0176]
在一个实施例中，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如下处理步骤：获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量；调用构建的系统部署模型；系统部署模型包括资源延迟模型、放置延迟模型和最小化所有服务请求的平均完成延迟的优化目标；根据计算资源容量和存储资源容量，利用基于dqn算法的服务功能链在线部署法对系统部署模型进行优化处理，得到网络边缘的服务功能链在线部署方案；根据服务功能链在线部署方案，在网络边缘上部署服务功能链。
[0177]
可以理解，上述计算机设备除上述述及的存储器和处理器外，还包括其他本说明书未列出的软硬件组成部分，具体可以根据不同应用场景下的具体服务器的型号确定，本说明书不再一一列出详述。
[0178]
在一个实施例中，处理器执行计算机程序时还可以实现上述网络边缘在线服务功能链部署方法各实施例中增加的步骤或者子步骤。
[0179]
在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下处理步骤：获取网络边缘中每个边缘服务器的计算资源容量和存储资源容量；调用构建的系统部署模型；系统部署模型包括资源延迟模型、放置延迟模型和最小化所有服务请求的平均完成延迟的优化目标；根据计算资源容量和存储资源容量，利用基于dqn算法的服务功能链在线部署法对系统部署模型进行优化处理，得到网络边缘的服务功能链在线部署方案；根据服务功能链在线部署方案，在网络边缘上部署服务功能链。
[0180]
在一个实施例中，计算机程序被处理器执行时，还可以实现上述网络边缘在线服务功能链部署方法各实施例中增加的步骤或者子步骤。
[0181]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线式动态随机存储器(rambus dram，简称rdram)以及接口动态随机存储器(drdram)等。
[0182]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。