一种考虑隐私约束的多数据中心协同调度方法及系统

本发明涉及任务调度领域，具体涉及一种考虑隐私约束的多数据中心协同调度方法及系统。

背景技术：

1、数据中心作为数字时代的主要基础设施，随着规模和数量的不断增长，其能耗也在显著增加。数据中心的能耗构成中，对用户提交的任务进行计算所产生的能耗占了绝大部分，这也是目前数据中心行业都在重点关注的问题。计算任务具有独特的运行属性，比如延时容忍性和计算需求可规范性。借助这些属性，我们可以在时间和空间维度进行计算任务调度，使得数据中心具有时空维度的用能灵活性。具体而言，借助规范化容器编排技术，不同的数据中心可以将本地用户提交的任务传输到其他地理位置的数据中心进行计算处理，也可以将时延容忍性高的任务延后一段时间进行计算。在保证用户服务质量的同时，数据中心可以灵活的安排任务计算的时间和地点，通过将任务策略性地调度到具有更低电价或更高服务器可用性的数据中心，可以优化协同任务处理，有效地响应电网的电价信号，实现算力和电力的协同，以充分利用数据中心的能源灵活性。

2、专利cn103107954a提出了一种基于绿色能源感知的调度方法，对于到达单体数据中心的计算任务进行了时序上的调度安排，使其更好地消纳太阳能。但其没有考虑空间上多个数据中心间的调度。为了解决以上问题，目前的主要技术方法是通过一个中央化的任务调度器，对任务进行集中式的管理调度。这个调度器具有全局的视野，即它可以观测到所有数据中心的资源状态和计算策略。在现实应用中具有很大的局限性，主要原因有两点：1.这种中央化的模式无法保证不同数据中心主体的运行隐私，比如公司利润、调度策略、用户群体等商业机密。这使得现实生活中数据中心进行协同合作十分困难。2.现实生活中的用户任务是高并发的，一小时10万个任务同时到达，在处理这种大规模计算任务调度的时候，中央化的调度方式要把多个数据中心的所有任务汇集到一起进行调度，计算量过大，可能出现求解困难或者求解时间太长的缺陷。本发明提出了一种基于联邦强化学习的分散式的协同调度框架，可以使得多个数据中心主体在保护个体隐私的情况下，进行协同合作调度，可以解决隐私和中央化计算规模过大的问题。专利cn104123182a提出了一种基于主从架构的mapreduce任务跨数据中心调度系统及方法，对mapreduce这类型的任务进行了跨地理位置的多数据中心间的调度，使得数据中心的计算资源被更充分地利用。但是其只针对于mapreduce这一类任务进行调度，并且没有考虑多个数据中心主体间隐私保护的问题。因此，目前仍然需要一种考虑隐私约束的多数据中心协同调度方法及系统，能够解决空间上多个数据中心间的调度时，多个数据中心主体间隐私保护的问题。

技术实现思路

1、本发明所要解决的技术问题是现有技术在空间上多个数据中心间的调度时，如何解决多个数据中心主体间隐私保护的问题，目的在于提供一种考虑隐私约束的多数据中心协同调度方法及系统，解决上述技术问题。

2、本发明通过下述技术方案实现：

3、一种考虑隐私约束的多数据中心协同调度方法，包括：多个数据中心分别构建多个任务的调度策略模型；上述调度策略模型的输入层包括各数据中心构建的多个任务的任务特征、该数据中心的计算资源特征，以及环境特征；上述调度策略模型的输出层包括多个任务的调度策略；将多个数据中心的上述调度策略模型构建无向图；多个数据中心的上述调度策略模型进行多轮训练后，每个数据中心与相邻数据中心的模型参数进行聚合，得到调度策略优化模型；利用上述调度策略优化模型得到多个数据中心的所有任务的上述调度策略。

4、上述调度策略包括任务位置放置动作和计算资源分配动作；上述任务位置放置动作用于判断任务为本地数据中心处理或其他数据中心处理；上述计算资源分配动作用于当任务判断为上述本地数据中心处理时分配计算资源。

5、上述任务特征包括任务执行阶段、当前任务计算进程，以及剩余待执行任务。

6、上述计算资源特征包括数据中心的总计算资源和当前可用计算资源；上述环境特征包括当前时间和当前电价。

7、上述调度策略模型的损失目标函数为：

8、；

9、其中，表示数据中心；表示数据中心的上述调度策略模型的参数；表示的损失目标值；表示下的上述调度策略；是由形成的轨迹；s表示上述调度策略模型输入层的状态变量；表示上述调度策略模型输出层的动作变量；表示在s状态下采取动作的概率；表示轨迹在s状态下采取动作累积的回报奖励。

10、上述回报奖励包括任务计算收入、能耗负成本、传输负成本以及超时罚款。

11、上述每个数据中心与相邻数据中心的模型参数进行聚合，包括：两个相邻的数据中心通过联邦聚合的方式进行参数聚合，聚合参数方程如下，

12、；

13、其中，是上述调度策略模型的随机参数；表示聚合后的；是数据中心的相邻邻居总数，。

14、上述聚合参数方程通过如下聚合目标函数更新：

15、；

16、其中，表示的聚合目标值；表示第个数据中心的聚合权重系数；表示的损失目标值。

17、一种考虑隐私约束的多数据中心协同调度系统，包括：调度训练模块：多个数据中心分别构建多个任务的调度策略模型；上述调度策略模型的输入层包括各数据中心构建的多个任务的任务特征、该数据中心的计算资源特征，以及环境特征；上述调度策略模型的输出层包括多个任务的调度策略；图构建模块：将多个数据中心的上述调度策略模型构建无向图；参数聚合模块：多个数据中心的上述调度策略模型进行多轮训练后，每个数据中心与相邻数据中心的模型参数进行聚合，得到调度策略优化模型；任务调度模块：利用上述调度策略优化模型得到多个数据中心的所有任务的上述调度策略。

18、本发明与现有技术相比，具有如下的优点和有益效果：

19、本发明提供了一种考虑隐私约束的多数据中心协同调度方法，其利用数据中心的任务特征、计算资源特征和环境特征训练得到多个任务的调度策略模型；在此基础上，利用多个数据中心的调度策略模型构建无向图，在对多个数据中心的调度策略模型进行多轮训练后，根据无向图得到相邻的数据中心，将相邻数据中心的模型参数进行聚合，从而利用优化后的模型得到多个数据中心的所有任务的调度策略。数据中心在聚合模型的基础上继续分散式的训练本地的策略，实现分散协同调度，同时，每个数据中心只需要上传自己的模型参数，然后获得一个聚合模型参数，并且，数据中心无法直接反推出其他数据中心的真实参数信息，但可以隐式的学习到其他数据中心的行为特征，以此实现了隐私信息保护情况下的协同任务调度。本发明能够实现多个数据中心主体之间的的任务协同调度，并且保证多个数据中心间隐私保护。

技术特征：

1.一种考虑隐私约束的多数据中心协同调度方法，其特征在于，包括：

2.根据权利要求1所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述调度策略包括任务位置放置动作和计算资源分配动作；所述任务位置放置动作用于判断任务为本地数据中心处理或其他数据中心处理；所述计算资源分配动作用于当任务判断为所述本地数据中心处理时分配计算资源。

3.根据权利要求1所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述任务特征包括任务执行阶段、当前任务计算进程，以及剩余待执行任务。

4.根据权利要求1所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述计算资源特征包括数据中心的总计算资源和当前可用计算资源；所述环境特征包括当前时间和当前电价。

5.根据权利要求1所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述调度策略模型的损失目标函数为：

6.根据权利要求5所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述回报奖励包括任务计算收入、能耗负成本、传输负成本以及超时罚款。

7.根据权利要求5所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述损失目标函数采用梯度下降法更新，其更新公式为：

8.根据权利要求1所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述每个数据中心与相邻数据中心的模型参数进行聚合，包括：

9.根据权利要求8所述的一种考虑隐私约束的多数据中心协同调度方法，其特征在于，所述聚合参数方程通过如下聚合目标函数更新：

10.一种考虑隐私约束的多数据中心协同调度系统，其特征在于，包括：

技术总结
本发明公开了一种考虑隐私约束的多数据中心协同调度方法及系统，涉及任务调度领域。包括：多个数据中心分别构建多个任务的调度策略模型；模型的输入层包括任务特征、计算资源特征以及环境特征；模型的输出层包括调度策略；将多个数据中心的调度策略模型构建无向图；调度策略模型进行多轮训练后，每个数据中心与相邻数据中心的模型参数进行聚合，得到调度策略优化模型；利用调度策略优化模型得到多个数据中心的任务调度策略。本发明解决了多个数据中心主体间隐私保护的问题。

技术研发人员：丁肇豪,孙逸萌,闫月君,王朝阳,王鹏
受保护的技术使用者：华北电力大学
技术研发日：
技术公布日：2024/3/12