一种兼顾公平性的计算任务卸载优化方法及系统与流程

1.本发明属于数据边缘计算技术领域，具体涉及一种兼顾公平性的计算任务卸载优化方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着移动网络和移动设备的快速发展，大量的计算密集型服务（如视频直播、人脸识别等）丰富了我们的生活，给我们带来便利的同时也导致了网络中需要计算处理数据的暴增，仅依靠远端云服务器中计算资源的云计算已难以应对如此大的计算压力。此外，在云计算模式中，用户只能从远端的云服务器中获取服务，而云服务器一般距离用户较远，这就会导致网络传输时延高、网络链路拥塞、用户体验质量差等一系列问题。为了应对上述问题，一种新的计算模式—边缘计算应运而生。在边缘计算中，如小基站等边缘节点都会配备有小型的服务器，当边缘节点接收到来自用户的服务请求时，不需要将该请求转发到远端的云服务器，而是直接在本地的边缘服务器上完成该请求并将结果直接返回给用户。由于边缘节点距离用户更近，边缘计算可以大幅降低服务的传输时延，而且边缘节点不需要将服务请求回传到远端云服务器，也就有效降低了核心网络链路中流量压力。但边缘服务器计算能力有限，难以满足所有的用户服务请求，因此进行计算卸载决策以确定哪些服务需要在边缘服务器执行、哪些服务需要卸载到远端服务器是边缘计算中亟需解决的重要问题。
4.目前，许多研究人员对该问题开展了研究工作，他们以最小化服务时延、网络能耗等方面为优化目标，以边缘节点中有限的计算资源、缓存资源等为约束条件，建立了计算卸载优化模型，并通过凸优化、随机优化等理论方法对模型进行了求解。但这些研究都存在一个问题，即忽略了计算卸载中的公平性问题。我们以拥有用户a和用户b两个用户的简单网络场景进行说明。用户a和用户b连接到边缘节点的带宽相同，但用户a连接到远端云服务器的带宽要高于用户b，此时如果仅以最小化用户时延为优化目标，则边缘节点将优先为来自用户b的请求进行服务。这是因为用户b连接远端云服务器的带宽低于用户a，将用户b的请求卸载到远端服务器执行会比用户a花费更多的时间，而若由边缘节点来为用户b的请求提供服务则可以节约更多时间。但这对于用户a而言是不公平的，用户a拥有更高的带宽却无法享受到边缘计算带来的好处，只能将更多的任务卸载到远端云服务器从而忍受更高的服务时延。因此，公平性是在进行计算卸载决策时需要考虑的一个重要因素。
5.综上所述，现有的对于计算任务卸载的优化往往忽略了公平性，从而导致对于计算任务卸载优化分配不均匀，达不到最优分配目标。


技术实现要素：

6.为了解决上述问题，本发明提出了一种兼顾公平性的计算任务卸载优化方法及系
统，本发明将α公平效应函数引入模型的优化目标中，通过对该问题中状态空间、动作空间、奖励函数等关键元素的定义，将问题建模成马尔科夫决策过程，并基于深度强化学习方法对问题进行了求解，从而在降低网络服务时延的同时兼顾用户的公平性，实现同时考虑服务时延和用户公平性两方面的计算卸载决策。
7.根据一些实施例，本发明的第一方案提供了一种兼顾公平性的计算任务卸载优化方法，采用如下技术方案：一种兼顾公平性的计算任务卸载优化方法，包括：根据用户服务传输到云和边缘节点的时延，确定服务传输时延；根据用户在云和边缘节点的计算时延，确定服务计算时延；基于服务传输时延和服务计算时延，结合α公平效应函数，构建兼顾公平性的计算卸载决策模型；利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解，得到最优的计算任务卸载决策。
8.进一步地，所述服务传输时延，包括：用户服务传输到远端云服务器的传输时延，是利用用户服务需要传输的数据量与用户服务传输到远端云服务器的传输效率的比值得到的；用户服务传输到边缘节点的传输时延，是利用用户服务需要传输的数据量与用户服务传输到边缘节点的传输效率的比值得到的。
9.进一步地，所述服务计算时延，包括：用户服务在远端云服务器执行的计算时延，是利用用户服务的总计算量与云服务器分配的计算能力的比值得到的；用户服务在边缘节点执行的计算时延，是利用用户服务的总计算量与边缘节点分配的计算能力的比值得到的。
10.进一步地，所述基于服务传输时延和服务计算时延，结合α公平效应函数，构建兼顾公平性的计算卸载决策模型，具体为：根据服务传输时延和服务计算时延，确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延；根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延，确定系统平均节省时间；以平均节省时间的α公平效应函数为优化目标，以边缘接节点自身的缓存空间和计算能力为约束条件，建立兼顾公平性的计算卸载决策模型；所述兼顾公平性的计算卸载决策模型，具体为：
其中，是系统平均节省时间，是平均节省时间的α公平效应函数，k代表所有服务的集合，为服务k需要的缓存空间，c为边缘节点总的缓存空间，为计算卸载决策变量，t代表时刻，为边缘节点为服务k提供的计算能力，f为边缘节点自身总的计算能力。
11.进一步地，所述根据服务传输时延和服务计算时延，确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延，具体为：根据服务传输时延中用户服务传输到远端云服务器的传输时延和服务计算时延中用户服务在远端云服务器执行的计算时延的和，确定用户服务在远端云服务器执行的服务时延；根据服务传输时延中用户服务传输到边缘节点的传输时延和服务计算时延中用户服务在边缘节点执行的计算时延的和，确定用户服务在边缘节点执行的服务时延。
12.进一步地，所述根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延，确定系统平均节省时间，包括：根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延的差值，确定服务边缘计算节省的时间；根据服务边缘计算节省的时间，确定系统平均节省时间；所述系统平均节省时间，具体为：其中，是系统平均节省时间，t为系统运行时间，为服务边缘计算节省的时间，为服务k在时刻t的请求数量，为计算卸载决策变量，则表示服务k需要卸载到远端云服务器执行，则表示服务k在边缘节点执行。
13.进一步地，所述利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解，得到最优的计算任务卸载决策，包括：将兼顾公平性的计算卸载模型的求解问题转化为马尔科夫决策过程，并定义问题的系统状态空间、动作空间和奖励函数；所述系统状态空间的定义为服务请求状态和边缘节点自身资源状态；所述动作空间定义为执行的动作即每个时刻需要进行的计算任务卸载决策；所述奖励函数定义评价一个动作是否能节省更多的时间来确定其奖励值高低；根据系统状态，利用预先训练好的深度强化学习算法确定动作，即计算卸载决策；并根据该动作的节省时间来确定其是否为最优计算任务卸载决策。
14.根据一些实施例，本发明的第二方案提供了一种兼顾公平性的计算任务卸载系统，采用如下技术方案：一种兼顾公平性的计算任务卸载优化系统，包括：
服务传输时延确定模块，被配置为根据用户服务传输到云和边缘节点的时延，确定服务传输时延；服务计算时延确定模块，被配置为根据用户在云和边缘节点的计算时延，确定服务计算时延；计算卸载决策模型确定模块，被配置为基于服务传输时延和服务计算时延，结合α公平效应函数，构建兼顾公平性的计算卸载决策模型；利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解，得到最优的计算任务卸载决策。
15.根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
16.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种兼顾公平性的计算任务卸载优化方法中的步骤。
17.根据一些实施例，本发明的第四方案提供了一种计算机设备。
18.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种兼顾公平性的计算任务卸载优化方法中的步骤。
19.与现有技术相比，本发明的有益效果为：本发明通过分析用户服务传输时延、计算时延等方面因素，建立用户服务时延模型，并将α公平效应函数引入到优化模型目标中，进而将模型构建成马尔科夫决策过程，并提出相应的深度强化学习方法对问题进行求解，从而在优化用户服务时延的同时兼顾用户间的公平性。本发明所述的方案可以同时兼顾服务时延和公平性两个方面，有效解决了只考虑用户服务时延而导致用户间体验质量失衡的问题，为计算卸载提供了一种新方法。
附图说明
20.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
21.图1是本发明实施例中一种兼顾公平性的计算任务卸载方法的流程图。
具体实施方式
22.下面结合附图与实施例对本发明作进一步说明。
23.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
24.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
25.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
26.考虑到现有计算卸载方法大多忽略了用户公平性这一因素，设计了一种兼顾公平性的计算卸载方法，对用户服务的传输时延和计算时延进行分析建模，并将α公平效应函数
引入到优化目标中，建立了兼顾公平性的计算卸载决策模型，进一步将问题转化为马尔科夫决策过程，根据深度强化学习理论提出了一种求解算法，可以在优化用户服务时延的同时保障服务的公平性。
27.实施例一如图1所示，本实施例提供了一种兼顾公平性的计算任务卸载优化方法，本实施例以该方法应用于服务器进行举例说明，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础计算服务的边缘服务器。本实施例中，该方法包括以下步骤：步骤s1：根据用户服务传输到云和边缘节点的时延，确定服务传输时延；步骤s2：根据用户在云和边缘节点的计算时延，确定服务计算时延；步骤s3：基于服务传输时延和服务计算时延，结合α公平效应函数，构建兼顾公平性的计算卸载决策模型；步骤s4：利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解，得到最优的计算任务卸载决策。
28.其中，步骤s1中，所述服务传输时延，包括：1）用户服务传输到远端云服务器的传输时延，是利用用户服务需要传输的数据量与用户服务传输到远端云服务器的传输效率的比值得到的。
29.若用户需要将服务卸载到远端云服务器，则其传输速率为：其中，为用户与云服务器间的信道带宽，为信号与干扰加噪声比（sinr，signal to interference plus noise ratio）。
30.则用户服务传输到远端云服务器的传输时延为：其中，为服务k需要传输的数据量。
31.2）用户服务传输到边缘节点的传输时延，是利用用户服务需要传输的数据量与用户服务传输到边缘节点的传输效率的比值得到的。
32.若用户服务传输到边缘节点，其传输速率为：其中，为传输到边缘节点的传输速率，为用户与边缘节点间的信道带宽，为传输功率，为信道增益，为信道噪音功率。
33.因此，用户服务传输到边缘节点的传输时延为：
其中，为服务k需要传输的数据量。
34.在步骤s2中，所述服务计算时延，包括：1）用户服务在远端云服务器执行的计算时延，是利用用户服务的总计算量与云服务器分配的计算能力的比值得到的。
35.若用户服务在远端云服务器进行计算，则计算时延为：其中，为服务k需要的总计算量，为云服务器为服务k分配的计算能力。
36.2）用户服务在边缘节点执行的计算时延，是利用用户服务的总计算量与边缘节点分配的计算能力的比值得到的。
37.若用户服务在边缘节点进行计算，则计算时延为：其中，为服务k需要的总计算量，为边缘节点为服务k分配的计算能力。
38.在步骤s3中，所述基于服务传输时延和服务计算时延，结合α公平效应函数，构建兼顾公平性的计算卸载决策模型，具体为：1）根据服务传输时延和服务计算时延，确定用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延，具体为：根据服务传输时延中用户服务传输到远端云服务器的传输时延和服务计算时延中用户服务在远端云服务器执行的计算时延的和，确定用户服务在远端云服务器执行的服务时延；若用户服务在远端云服务器执行，则用户服务在远端云服务器执行的服务时延为：其中，是用户服务传输到远端云服务器的传输时延，是用户服务在远端云服务器执行的计算时延；根据服务传输时延中用户服务传输到边缘节点的传输时延和服务计算时延中用户服务在边缘节点执行的计算时延的和，确定用户服务在边缘节点执行的服务时延；若用户服务在边缘节点执行，则用户服务在边缘节点执行的服务时延为：其中，是用户服务传输到边缘节点的传输时延，是用户服务在边缘节点
执行的计算时延。
39.2）根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延，确定系统平均节省时间，包括：根据用户服务在远端云服务器执行的服务时延和用户服务在边缘节点执行的服务时延的差值，确定服务边缘计算节省的时间；相比云计算，对于服务k而言边缘计算可以节省的时间为：其中，是用户服务在远端云服务器执行的服务时延，是用户服务在边缘节点执行的服务时延。
40.根据服务边缘计算节省的时间，确定系统平均节省时间；所述系统平均节省时间，具体为：其中，是系统平均节省时间，t为系统运行时间，为服务边缘计算节省的时间，为服务k在时刻t的请求数量，为计算卸载决策变量，则表示服务k需要卸载到远端云服务器执行，则表示服务k在边缘节点执行；3）以平均节省时间的α公平效应函数为优化目标，以边缘接节点自身的缓存空间和计算能力为约束条件，建立兼顾公平性的计算卸载决策模型；所述兼顾公平性的计算卸载决策模型，具体为：其中，是系统平均节省时间，是平均节省时间的α公平效应函数，k代表所有服务的集合，为服务k需要的缓存空间，c为边缘节点总的缓存空间，为计算卸载决策变量，t代表时刻，为边缘节点为服务k提供的计算能力，f为边缘节点自身总的计算能力。
41.在步骤s4中，所述利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解，得到最优的计算任务卸载决策，包括：
为了能保证用户服务间的公平性，我们将α公平效应函数引入到问题建模中，对于，α公平效应函数的定义如下：以平均节省时间的α公平效应函数为优化目标，以边缘节点自身的缓存空间和计算能力为约束条件，建立兼顾公平性的计算卸载决策模型如下：其中，为服务k需要的缓存空间，c为边缘节点总的缓存空间，为边缘节点为服务k提供的计算能力，f为边缘节点自身总的计算能力。
42.首先将问题转化为马尔科夫决策过程，需要定义问题的系统状态空间、动作空间和奖励函数。
43.系统状态空间：该问题中，系统状态空间包括两个方面，即服务请求状态和边缘节点自身资源状态。为了表示服务请求状态，我们定义了一个向量来代表时刻t时每个服务的用户请求量。边缘节点自身资源状态包括缓存空间和计算能力两个方面，因此系统状态在时刻t的状态就定义为。
44.动作空间：该问题中，执行的动作即每个时刻需要进行的计算卸载决策，定义为向量，其中代表在时刻t服务k在边缘节点执行，代表在时刻t服务k在远端服务器执行。
45.奖励函数：若不考虑公平性，一个动作如果能节省更多的时间，则其奖励值越高，我们分成三种情况对动作奖励值进行定义。首先如果动作是非法的，即不满足模型中边缘节点自身的缓存空间和计算能力的约束条件，这种情况是需要尽量避免的，因此将其定义为负数pu作为惩罚。在合法动作（即满足约束条件）中，奖励值的定义依赖于动作节省的时间，若，则任务在远端云服务器上完成，节省的时间为0，此时其奖励值也为0；若，则任务在边缘节点上完成，节省的时间为，此时奖励值为
。奖励函数总结如下：而在该问题中，我们不仅需要考虑服务时延，还需要考虑公平性，因此需要对奖励函数进行调整。由于公平性是跟历史决策状态有关，因此考虑公平性后的奖励函数定义为：其中，代表对公平效用函数进行求导，代表到时刻t-1为止对服务k的请求次数。
46.在定义了马尔科夫决策过程中状态空间、动作空间和奖励函数一系列要素后，就可以通过训练好的深度强化学习方法对问题进行求解，深度强化学习方法的训练流程的详细伪代码算法具体如下：算法1: 兼顾公平性的计算卸载方法input：学习速率，折扣因子；output：神经网络模型参数θ；初始化神经网络模型参数θ；for i=1,
…
,p do初始化系统状态s(1)；for t=1,
…
,t do根据当前状态s(t)通过贪心算法选择动作x(t)；执行动作x(t)，并获得下一个时刻的系统状态s(t+1)；根据定义的奖励函数获得当前动作的奖励值r(t)；计算考虑公平性后的奖励值；将四元组（s(t)，x(t)，，s(t+1)）存储到回放池中；从回放池中随机取出一个四元组（s(j)，x(j)，，s(j+1)）；计算该四元组的损失函数l(x(j))；根据损失函数采用梯度下降算法对神经网络模型参数θ进行更新；endend根据系统状态，利用预先训练好的深度强化学习算法确定动作，即计算卸载决策；并根据该动作的节省时间来确定其是否为最优计算任务卸载决策，也就是说利用奖励函数判断动作的节省时间的多少。
47.需要说明的是，此处的深度强化学习算法包括但不限于卷积神经网络（cnn），可以根据具体的需要选择合适的神经网络模型。
48.实施例二本实施例提供了一种兼顾公平性的计算任务卸载优化系统，包括：
服务传输时延确定模块，被配置为根据用户服务传输到云和边缘节点的时延，确定服务传输时延；服务计算时延确定模块，被配置为根据用户在云和边缘节点的计算时延，确定服务计算时延；计算卸载决策模型确定模块，被配置为基于服务传输时延和服务计算时延，结合α公平效应函数，构建兼顾公平性的计算卸载决策模型；利用马尔科夫决策对兼顾公平性的计算卸载决策模型进行求解，得到最优的计算任务卸载决策。
49.上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
50.上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
51.所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
52.实施例三本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种兼顾公平性的计算任务卸载方法中的步骤。
53.实施例四本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种兼顾公平性的计算任务卸载方法中的步骤。
54.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
55.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
56.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
57.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
58.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）或随机存储记忆体（random access memory，ram）等。
59.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。