跨计算中心数据迁移方法与流程

本发明涉及数据迁移，特别涉及一种跨计算中心数据迁移方法。

背景技术：

1、在当前的算力联盟中，作业调度器的作业分配机制主要依赖于作业所需的数据集和模型的分布。在进行作业调度时，调度器需要判断哪些计算中心同时存在这些数据集和模型，然后才能将作业调度到拥有这些资源的计算中心。然而，该调度方式存在以下主要问题：1.数据依赖问题：作业的调度和执行过程严重依赖于数据集和模型的分布情况，即只有那些拥有特定数据和模型的计算中心才能接收和执行作业。这不仅限制了作业调度的灵活性，也使得作业在多计算中心之间的调度和执行变得复杂和困难。2.数据迁移问题：在相关技术中，如果需要将作业调度到其他计算中心，通常需要手动迁移数据集和模型，该过程既耗时又容易出错，严重影响了算力联盟的工作效率。3.资源利用不均问题：由于作业的调度主要基于数据和模型的分布，可能导致一部分计算中心的资源被过度使用，而其他计算中心的资源被低度利用或闲置，导致资源利用率不均，从而影响算力联盟的整体性能。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提出一种跨计算中心数据迁移方法，以提高作业调度的效率。

2、为达到上述目的，本发明实施例提出了一种跨计算中心数据迁移方法，所述方法包括：响应于作业调度需求，根据所述作业调度需求中的资源要求对当前可迁移的计算中心进行筛选，得到候选计算中心；根据所述作业调度需求中的数据要求确定目标作业数据，并获取所述目标作业数据的元数据信息，其中，所述元数据信息包括数据的名称、id、已迁移的分中心和最后一次修改时间中的至少一者，所述元数据信息存储于迁移记录表中；根据所述元数据信息得到所述目标作业数据的历史迁移记录，并根据所述历史迁移记录对所述候选计算中心进行筛选，得到目标计算中心；根据所述目标计算中心及其存储数据的历史迁移记录、元数据信息，以及所述目标作业数据当前存储的计算中心对所述目标作业数据进行迁移。

3、另外，本发明实施例的跨计算中心数据迁移方法还可以具有如下附加技术特征：

4、根据本发明的一个实施例，将迁移至所述目标计算中心的目标作业数据记为已迁移数据，在将所述目标作业数据迁移至所述目标计算中心之后，所述方法还包括：根据所述已迁移数据，对所述迁移记录表进行更新，并返回所述已迁移数据在所述目标计算中心的访问地址。

5、根据本发明的一个实施例，对所述目标作业数据进行迁移，并对所述迁移记录表进行更新，包括：当所述目标计算中心已发生过数据迁移，且所述目标作业数据的元数据信息中的最后一次修改时间和所述目标计算中心中存储数据的最后一次修改时间相同时，不对所述迁移记录表进行更新；当所述目标计算中心已发生过数据迁移，且所述目标作业数据的元数据信息中的最后一次修改时间和所述目标计算中心中存储数据的最后一次修改时间不相同时，对所述目标作业数据的元数据信息和所述目标计算中心中存储数据的元数据信息进行比较，对不一致的元数据信息对应的目标作业数据进行重新传输，并根据传输结果，对所述迁移记录表进行更新；当所述目标计算中心未发生过数据迁移时，将所述目标作业数据同步至所述目标计算中心，并对所述迁移记录表进行更新。

6、根据本发明的一个实施例，所述对所述目标作业数据的元数据信息和所述目标计算中心中存储数据的元数据信息进行比较，对不一致的元数据信息对应的目标作业数据进行重新传输，并根据传输结果，对所述迁移记录表进行更新，包括：比较所述目标作业数据的元数据信息和所述目标计算中心中存储数据的元数据信息，确定不一致的数据；在存储所述目标作业数据的计算中心和所述目标计算中心之间建立增量同步，并传输所述不一致的数据至所述目标计算中心；校验所述目标计算中心中数据是否完整；若所述目标计算中心中数据不完整，则重新传输所述不一致的数据至所述目标计算中心，并返回所述校验所述目标计算中心中数据是否完整的步骤；若所述目标计算中心中数据完整，则根据所述传输结果，对所述迁移记录表进行更新。

7、根据本发明的一个实施例，所述在将所述目标作业数据同步至所述目标计算中心之后，所述方法还包括：校验所述目标计算中心中数据是否完整；若所述目标计算中心中数据不完整，则重新将所述目标作业数据同步至所述目标计算中心，并返回所述校验所述目标计算中心中数据是否完整的步骤。

8、根据本发明的一个实施例，所述根据所述历史迁移记录对所述候选计算中心进行筛选，得到目标计算中心，包括：对所述候选计算中心进行初始排序，并保留前f%的候选计算中心；根据所述历史迁移记录，对所述前f%的候选计算中心进行筛选排序，根据筛选排序结果，得到所述目标计算中心。

9、根据本发明的一个实施例，所述对所述候选计算中心进行初始排序，包括：

10、通过下式对第个候选计算中心进行打分：

11、

12、其中，表示第个候选计算中心的初始得分，表示第个候选计算中心的cpu利用率得分，表示第个候选计算中心的内存使用占比得分。

13、根据每个候选计算中心的初始得分，对候选计算中心从高到低进行排序。

14、所述对所述前f%的候选计算中心进行筛选排序，包括：

15、通过下式对第个候选计算中心进行打分：

16、

17、其中，表示第个候选计算中心的筛选得分，当所述历史迁移记录中存在第个候选计算中心的数据迁移记录时，为n，当所述历史迁移记录中不存在第个候选计算中心的数据迁移记录时，为0。

18、根据每个候选计算中心的筛选得分，对候选计算中心从高到低进行排序。

19、根据本发明的一个实施例，当所述筛选排序结果存在多个相同最高分的候选计算中心中时，选择多个相同最高分的候选计算中心中存储数据的最后一次修改时间与所述目标作业数据的元数据信息中最后一次修改时间相同的候选计算中心作为所述目标计算中心。

20、根据本发明的一个实施例，在所述根据所述已迁移数据，对所述迁移记录表进行更新之后，所述方法还包括：对所述目标计算中心中的数据进行作业，并在作业完成后，将所述迁移记录表中对应的已迁移数据的迁移状态修改为已完成；定时删除所述目标计算中心中迁移状态为已完成的已迁移数据。

21、根据本发明的一个实施例，所述定时删除所述目标计算中心中迁移状态为已完成的已迁移数据，包括：定时扫描所述迁移记录表，获取目标已迁移数据的id；根据所述目标已迁移数据的id，查询所述目标已迁移数据的作业是否完成；若完成，则判断所述目标已迁移数据的最后一个作业完成时间是否超过目标时间区间；若超过，则将所述目标已迁移数据从所述目标计算中心中删除。

22、本发明实施例的跨计算中心数据迁移方法，通过在当前可迁移的计算中心筛选出目标计算中心，能够提高作业调度的效率，降低出错率。通过当前可迁移的计算中心资源，筛选出候选计算中心，能够提高各计算中心的资源利用率，减少资源的闲置。同时，能够在不依赖特定计算中心的数据和模型的前提下进行调度，提高了作业调度的灵活性。