一种分布式集群的数据清理系统的制作方法

本发明涉及数据清理，特别是涉及一种分布式集群的数据清理系统。

背景技术：

1、在分布式集群中，数据被划分成若干个小集合分别存储在不同的数据块中，为了确保数据冗余，每个节点都存储有相同的数据，但是在集群扩容、缩容、电源或磁盘故障等情况下，数据可能会在不同的节点之间迁移，以实现数据的清理或修复，因此，每个节点既可能是部分小集合的迁入节点，也可能是另一部分小集合的迁出节点。由于各节点的修复进度不一致，迁出节点为保证数据安全，仅当集群所有节点备份全部完成后才开始数据清理工作，这会存在如下问题：

2、一方面，由于节点没有及时清理冗余的数据，磁盘空间会临时性短缺，导致迁入的数据无处存放，影响修复进度，若一边迁入数据，一边清理数据，则可能会导致数据丢失。

3、另一方面，如果每个节点每修复一个数据块，便向其他所有节点更新自己的修复进度，会形成广播风暴从而占用大量网络带宽，也会影响其他节点的运行性能。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为：

2、一种分布式集群的数据清理系统，所述系统包括：第一目标节点id、第一目标节点id对应的若干个备份节点id、预设数据块oid优先级列表、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：

3、s100，当接收到所述第一目标节点id对应的第一目标节点发送的修复指令时，从所述第一目标节点中获取第一数据块oid集b={b1，……，bj，……，bn}，bj为第j个第一数据块oid，j=1……n，n为第一数据块oid的数量；

4、s200，获取所述第一目标节点接收到的目标备份数据块oid，所述目标备份数据块oid为第一目标节点在当前时间点前/后最近一次接收到的备份数据块oid；

5、s300，根据所述预设数据块oid优先级列表，获取所述目标备份数据块oid对应的目标优先级；

6、s400，根据所述目标优先级，从b中获取第二数据块oid集c={c1，……，ce，……，cf}，ce为第e个第二数据块oid，e=1……f，f为第二数据块oid的数量；

7、s500，将c对应的第二数据块集从b对应的第一数据块集中清除，以使得所述第一目标节点在修复中完成数据清理。

8、本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的一种分布式集群的数据清理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

9、本发明提供了一种分布式集群的数据清理系统，所述系统包括：第一目标节点id、第一目标节点id对应的若干个备份节点id、预设数据块oid优先级列表、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：当接收到所述第一目标节点id对应的第一目标节点发送的修复指令时，从所述第一目标节点中获取第一数据块oid集b，获取所述第一目标节点接收到的目标备份数据块oid，所述目标备份数据块oid为第一目标节点在当前时间点前/后最近一次接收到的备份数据块oid，根据所述预设数据块oid优先级列表，获取所述目标备份数据块oid对应的目标优先级，根据所述目标优先级，从b中获取第二数据块oid集c，将c对应的第二数据块集从b对应的第一数据块集中清除，以使得所述第一目标节点在修复中完成数据清理。本发明提供了一种新的分布式集群的数据清理系统，一方面，根据预设数据块oid优先级列表，对分布式集群中的所有数据块按照oid的优先级排序，引入了虚拟时钟的原理，确定了修复顺序，并根据接收到的目标备份数据块oid，确定已经修复完成的若干个数据块，以实现冗余数据的安全清理，预留出更多的存储空间；另一方面，将正在修复的关键数据块oid随机发送至几个接收节点中，而不是向除自身以外的所有节点发送，这种信息发布机制能够节省大量网络带宽，减少对各个节点的资源占用，提高各个节点的运行性能。

技术特征：

1.一种分布式集群的数据清理系统，其特征在于，所述系统包括：第一目标节点id、第一目标节点id对应的若干个备份节点id、预设数据块oid优先级列表、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：

2.根据权利要求1所述的分布式集群的数据清理系统，其特征在于，所述第一数据块oid为所述第一数据块oid对应的第一数据块的唯一身份标识。

3.根据权利要求1所述的分布式集群的数据清理系统，其特征在于，在s100中还包括如下步骤：

4.根据权利要求3所述的分布式集群的数据清理系统，其特征在于，在s104之后还包括如下步骤：

5.根据权利要求1所述的分布式集群的数据清理系统，其特征在于，通过如下步骤获取所述预设数据块oid优先级列表：

6.根据权利要求4所述的分布式集群的数据清理系统，其特征在于，在s200中，所述第一目标节点还通过如下步骤获取目标备份数据块oid：

7.根据权利要求1所述的分布式集群的数据清理系统，其特征在于，在s200中，所述当前时间点为所述第一目标节点发出修复指令的时间点。

8.根据权利要求1所述的分布式集群的数据清理系统，其特征在于，在s400中通过如下步骤获取c：

9.根据权利要求1所述的分布式集群的数据清理系统，其特征在于，还用于实现以下步骤：

10.根据权利要求5所述的分布式集群的数据清理系统，其特征在于，在s2中通过如下步骤获取预设数据块oid优先级列表：

技术总结
本申请涉及数据清理技术领域，特别是涉及一种分布式集群的数据清理系统，所述系统包括：第一目标节点ID、预设数据块OID优先级列表、处理器和存储有计算机程序的存储器，计算机程序被处理器执行时，实现以下步骤：当接收到第一目标节点发送的修复指令时，从所述第一目标节点中获取第一数据块OID集，获取所述第一目标节点接收到的目标备份数据块OID，根据所述预设数据块OID优先级列表，获取目标备份数据块OID对应的目标优先级，然后从第一数据块OID集中获取第二数据块OID集，将第二数据块OID集对应的第二数据块集从第一数据块OID集对应的第一数据块集中清除，以使得所述第一目标节点在修复中完成数据清理。

技术研发人员：曹敬涛,丁晓杰
受保护的技术使用者：上海凯翔信息科技有限公司
技术研发日：
技术公布日：2024/1/15