数据同步方法、装置、设备及介质与流程

1.本发明涉及分布式文件存储集群技术领域，特别涉及数据同步方法、装置、设备及介质。


背景技术：

2.分布式存储集群在如今得到了越来越多的应用，随着数字化程度的推进，数据逐渐成为企事业单位的运营核心，例如银行、金融公司等，用户对承载数据的存储系统的稳定性要求也越来越高。容灾系统是指在相隔较远的异地，建立两套或多套功能相同的it(internet technology，即互联网技术)系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外停止工作时，如火灾、地震等，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作，容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个it节点的影响，提供节点级别的系统恢复功能为了保证数据存储的持续性、可恢复性、高可用性，远程容灾解决方案应运而生，而远程复制技术是远程容灾解决方案的关键技术之一，其核心思想就是将对应的数据同步复制多份到各地多处，从而在最大可能上避免自然灾害或者人为破坏导致的数据丢失。但是数据同步需要大量的计算资源，会使得其他业务运行速率降低，甚至会使得其他业务的停止进行。
3.综上可见，如何在进行数据同步的过程中不影响其他业务进行是本领域有待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种数据同步方法、装置、设备及介质，在进行数据同步的过程中不影响其他业务进行。其具体方案如下：
5.第一方面，本技术公开了一种数据同步方法，应用于本地集群，包括：
6.基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；
7.通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；
8.基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；
9.判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
10.可选的，所述基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系，包括：
11.获取待同步远端集群对应的秘钥，并校验所述密钥，若校验结果满足第一预设条件，则获取对应的监控进程绑定的互联网协议地址以及对应的校验值；
12.利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系。
13.可选的，所述利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系，包括：
14.利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口；
15.通过安全外壳协议在所述待同步远端集群调用所述接口和远程连接，以便在所述待同步远端集群中添加所述接口，建立所述本地集群与所述待同步远端集群之间的连接关系。
16.可选的，所述基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群，包括：
17.基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录；
18.比较所述本地目录与所述第一远端目录之间的差异，并利用所述差异创建第二远端目录以得到包含第一远端目录和第二远端目录的第三远端目录，然后基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群。
19.可选的，所述基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录，包括：
20.基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，并更新所述当前远端目录以得到当前第一远端目录。
21.可选的，所述基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，包括：
22.基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录在所述本地目录中是否存在，若不存在则删除所述当前远端目录；
23.或，基于所述复制关系、所述本地目录，判断当前远端目录中的文件名称是否与对应的所述本地目录的文件名称是否一致，若一致则判断所述当前远端目录的文件类型与对应的所述本地目录的文件类型是否一致，若不一致则删除所述当前远端目录。
24.可选的，所述基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群，包括：
25.修改当前第三远端目录的元数据，并判断所述当前第三远端目录是否满足预设数据同步条件，若满足则确定所述当前第三远端目录对应的预设数据同步类型；
26.基于所述复制关系、所述本地目录、所述本地目录中的数据资源以及所述预设数据同步类型，对所述当前第三远端目录进行目录快照级别的数据同步，以得到与所述本地
集群相对应的当前同步后远端集群，并修改所述当前同步后远端集群的元数据。
27.第二方面，本技术公开了一种数据同步装置，应用于本地集群，包括：
28.连接关系建立模块，用于基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；
29.复制关系获取模块，用于通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；
30.第一同步模块，用于基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；
31.第二同步模块，用于判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
32.第三方面，本技术公开了一种电子设备，包括：
33.存储器，用于保存计算机程序；
34.处理器，用于执行所述计算机程序，以实现前述公开的数据同步方法的步骤。
35.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据同步方法的步骤。
36.可见，基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。由此可见，本技术建立本地集群与待同步远端集群之间的连接关系，能够得到本地集群与待同步远端集群之间的复制关系，这样后续就可以进行目录快照级别的数据同步，因为目录快照是以时间点进行的备份映像，能够降低计算资源，进而不会影响其他业务运行。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
38.图1为本技术公开的一种数据同步方法流程图；
39.图2为本技术公开的一种具体的连接关系建立流程示意图；
40.图3为本技术公开的一种具体的数据同步示意图；
41.图4为本技术公开的一种具体的数据同步方法；
42.图5为本技术公开的一种具体的pair运行状态示意图；
43.图6为本技术公开的一种数据同步装置结构示意图；
44.图7为本技术公开的一种电子设备结构图。
具体实施方式
45.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.分布式存储集群在如今得到了越来越多的应用，随着数字化程度的推进，数据逐渐成为企事业单位的运营核心，例如银行、金融公司等，用户对承载数据的存储系统的稳定性要求也越来越高。容灾系统是指在相隔较远的异地，建立两套或多套功能相同的it系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外停止工作时，如火灾、地震等，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作，容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个it节点的影响，提供节点级别的系统恢复功能为了保证数据存储的持续性、可恢复性、高可用性，远程容灾解决方案应运而生，而远程复制技术是远程容灾解决方案的关键技术之一，其核心思想就是将对应的数据同步复制多份到各地多处，从而在最大可能上避免自然灾害或者人为破坏导致的数据丢失。但是数据同步需要大量的计算资源，会使得其他业务运行速率降低，甚至会使得其他业务的停止进行。
47.为此本技术相应的提供了一种数据同步方案，能够在进行数据同步的过程中不影响其他业务进行。
48.参见图1所示，本技术实施例公开了一种数据同步方法，应用于本地集群，包括：
49.步骤s11：基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系。
50.本实施例中，所述基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系，具体包括：获取待同步远端集群对应的秘钥，并校验所述密钥，若校验结果满足第一预设条件，则获取对应的监控进程绑定的互联网协议地址以及对应的校验值；利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系。
51.本实施例中，所述利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系，具体包括：利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口；通过安全外壳协议在所述待同步远端集群调用所述接口和远程连接，以便在所述待同步远端集群中添加所述接口，建立所述本地集群与所述待同步远端集群之间的连接关系。例如图2所示的一种具体的连接关系建立流程示意图，本地集群向待同步远端集群发送秘钥获取请求，以得到待同步远端集群返回的秘钥，并进行秘钥校验以保证本地集群安全，如果未通过校验则向目标服务器返回预设校验错误信息，以便得到下一步指示，如果通过校验则向待同步远端集群发送mon(monitor进程，即监控进程)绑定的ip(internet protocol，即互联网协议
地址)获取请求，待同步远端集群返回mon绑定的ip之后，本地集群再向待同步远端集群发送keyring(校验值)获取请求，以便待同步远端集群返回keyring；利用互联网协议地址以及校验值在本地集群添加与链接名称对应的接口，若是添加失败，则向目标服务器返回预设添加失败信息，以便得到下一步指示，若是添加成功则通过安全外壳协议(ssh，即secure shell)在待同步远端集群调用接口和远程连接，以便在待同步远端集群中添加所述接口，建立所述本地集群与所述待同步远端集群之间的连接关系，并向本地集群返回处理结果，本地集群接收该处理结果后，将该处理结果返回至目标服务器。
52.步骤s12：通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系。
53.本实施例中，pair是本地集群到待同步远端集群的链路，pair指定远程复制目录。创建pair，需要在主集群进行操作，需要选择远端集群、本地目录、远端目录。创建后，本地目录可以为主目录，远端目录为从目录，可以理解的是，数据由主目录向从目录进行同步数据。
54.步骤s13：基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群。
55.本实施例中，例如图3所示的一种具体的数据同步示意图，当主目录和从目录建立远程复制关系后，首先会启动同步，同步前创建主目录的快照，将该快照时间点的主目录数据snap1复制到从目录，以保证从目录数据snap2和主目录数据一致。例如主目录的快照时间点位2022年7月15日13:24分，那么从目录的数据被同步到2022年7月15日13:24分。
56.本实施例中，远程复制是基于目录级的快照技术，实现主端存储系统和从端存储系统间的数据异步复制。目录的快照是目录在某个时间点的备份映像。远程复制基于快照进行数据同步，不会影响业务运行。将快照数据异步复制到单个或多个从集群中，复制完成后创建与同步的快照同名的快照，保证当主集群发生故障时，可以正常使用从集群中的数据。
57.步骤s14：判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
58.本实施例中，可以理解的是，主目录和从目录会每隔一段时间就进行一次数据同步，如果当某次数据同步过程中出现异常断开，需将远程复制内部i/o(input/output，即输入/输出)故障消除或复制链路恢复，此时，pair进入“待恢复”状态，需要手动对远程复制pair进行同步操作，使主目录与从目录资源数据同步，从而实现基于海量分布式文件系统异步容灾时异常断开后数据同步功能。
59.可见，基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所
述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。由此可见，本技术建立本地集群与待同步远端集群之间的连接关系，能够得到本地集群与待同步远端集群之间的复制关系，这样后续就可以进行目录快照级别的数据同步，因为目录快照是以时间点进行的备份映像，能够降低计算资源，进而不会影响其他业务运行。
60.参见图4所示，本技术实施例公开了一种具体的数据同步方法，应用于本地集群，包括：
61.步骤s21：基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系。
62.本实施例中，容灾备份场景分为点对点容灾和几种灾备，其中点对点容灾：部署一个生产站点和一个灾备站点，灾备站点作为生产站点的数据备份。集中灾备：部署多个生产站点和一个灾备站点，不同生产站点内的主目录向灾备站点的不同从目录进行数据复制备份。数据分发场景：数据分发是指主站点的数据周期性地向不同的从站点进行复制，主要应用于类似总部机构定期向分支机构分发数据的场景。
63.步骤s22：通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系。
64.步骤s23：基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录。
65.本实施例中，所述基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录，具体包括：基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，并更新所述当前远端目录以得到当前第一远端目录。
66.本实施例中，所述基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，具体包括：基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录在所述本地目录中是否存在，若不存在则删除所述当前远端目录；或，基于所述复制关系、所述本地目录，判断当前远端目录中的文件名称是否与对应的所述本地目录的文件名称是否一致，若一致则判断所述当前远端目录的文件类型与对应的所述本地目录的文件类型是否一致，若不一致则删除所述当前远端目录。可以理解的是，将在远端目录中存在但是在本地目录中不存在的当前远端目录进行删除，将远端目录中文件名称与本地目录中文件名称一致，但是文件类型不一致的当前远端目录进行删除。
67.步骤s24：比较所述本地目录与所述第一远端目录之间的差异，并利用所述差异创建第二远端目录以得到包含第一远端目录和第二远端目录的第三远端目录，然后基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群。
68.本实施例中，所述基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群，具体包括：修改当前第三远端目录的元数据，并判断所述当前第三远端目录是否满足预设数据同步条件，若满足则确定所述当前第三远
端目录对应的预设数据同步类型；基于所述复制关系、所述本地目录、所述本地目录中的数据资源以及所述预设数据同步类型，对所述当前第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的当前同步后远端集群，并修改所述当前同步后远端集群的元数据。可以理解的是，当第三远端目录的元数据可以为目录的模式(mode)、目录的修改时间(mtime)和目录的访问时间(atime)。判断当前第三远端目录是否满足预设数据同步条件，其中预设数据同步条件例如为当前第三远端目录不存在对应的文件，则与该文件对应的数据和元数据都进行同步，文件类型不一致则对应的数据和元数据进行同步，对应的文件大小或者修改时间不一致则需要将对应的数据和元数据进行同步，改变权限属性时间不一致，需要同步元数据。数据进行同步时，需要基于当前第三远端目录对应的预设数据同步类型进行数据同步，例如当前第三远端目录对应的预设数据同步类型为普通文件或硬链接，则从源文件每次最多读取8*8m数据，写入目的文件，其中源文件为本地目录中的文件，目的文件为当前第三远端目录中对应的文件；当前第三远端目录对应的预设数据同步类型为软链接，则释放原链接，重新链接。其中在进行数据同步时，元数据也需要进行同步，例如元数据中的基础元数据mode、mtime、atime、uid(user identification，即用户身份证明)、gid(group identification，即群体身份)，还有元数据中的扩展属性acl(access control lists，即访问控制列表)、worm(目录数量限制)、目录配置。数据同步完成之后还可以在同步后远端集群中创建同名快照，并将本地目录中的快照id(identity document，身份标识号码)保存在快照的元数据中。
69.步骤s25：判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
70.本实施例中，在某一数据同步过程中出现异常断开，需将远程复制内部i/o故障消除或复制链路恢复，此时，pair进入“待恢复”状态，需要手动对远程复制pair进行数据同步操作，使主从资源数据同步，从而实现容灾异常断开功能，其中pair获取的命令可以为：icfs daemon client.mirror pair ls，以便基于该命令进行数据同步。其中pair运行状态如表一和图5所示：
71.表一
72.[0073][0074]
由此可见，本技术基于目录快照级别的数据同步，可以选择快照的时间点进行相应的数据同步，所需计算资源减少，对其他业务影响大大减小，也保证了当本地资源发生故障时，可以正常使用对应的同步后远端集群中远端目录对应的数据资源进行数据同步。
[0075]
参见图6所示，本技术实施例公开了一种数据同步装置，应用于本地集群，包括：
[0076]
连接关系建立模块11，用于基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；
[0077]
复制关系获取模块12，用于通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；
[0078]
第一同步模块13，用于基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；
[0079]
第二同步模块14，用于判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
[0080]
可见，基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。由此可见，本技术建立本地集群与待同步远端集群之间的连接关系，能够得到本地集群与待同步远端集群之间的复制关系，这样后续就可以进行目录快照级别的数据同步，因为
目录快照是以时间点进行的备份映像，能够降低计算资源，进而不会影响其他业务运行。
[0081]
在一些具体实施例中，所述连接关系建立模块11，包括：
[0082]
校验值获取单元，用于获取待同步远端集群对应的秘钥，并校验所述密钥，若校验结果满足第一预设条件，则获取对应的监控进程绑定的互联网协议地址以及对应的校验值；
[0083]
第一关系建立单元，用于利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系。
[0084]
在一些具体实施例中，所述第一关系建立单元，包括：
[0085]
接口添加单元，用于利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口；
[0086]
第二关系建立单元，用于通过安全外壳协议在所述待同步远端集群调用所述接口和远程连接，以便在所述待同步远端集群中添加所述接口，建立所述本地集群与所述待同步远端集群之间的连接关系。
[0087]
在一些具体实施例中，所述第一同步模块13，包括：
[0088]
第一远端目录获取单元，用于基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录；
[0089]
同步后远端集群获取单元，用于比较所述本地目录与所述第一远端目录之间的差异，并利用所述差异创建第二远端目录以得到包含第一远端目录和第二远端目录的第三远端目录，然后基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群。
[0090]
在一些具体实施例中，所述第一远端目录获取单元，包括：
[0091]
当前第一远端目录获取单元，用于基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，并更新所述当前远端目录以得到当前第一远端目录。
[0092]
在一些具体实施例中，所述当前第一远端目录获取单元，包括：
[0093]
第一删除单元，用于基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录在所述本地目录中是否存在，若不存在则删除所述当前远端目录；
[0094]
第二删除单元，用于基于所述复制关系、所述本地目录，判断当前远端目录中的文件名称是否与对应的所述本地目录的文件名称是否一致，若一致则判断所述当前远端目录的文件类型与对应的所述本地目录的文件类型是否一致，若不一致则删除所述当前远端目录。
[0095]
在一些具体实施例中，所述第一同步模块13，包括：
[0096]
元数据修改单元，用于修改当前第三远端目录的元数据，并判断所述当前第三远端目录是否满足预设数据同步条件，若满足则确定所述当前第三远端目录对应的预设数据同步类型；基于所述复制关系、所述本地目录、所述本地目录中的数据资源以及所述预设数据同步类型，对所述当前第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的当前同步后远端集群，并修改所述当前同步后远端集群的元数据。
[0097]
图7为本技术实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的数据同步方法中的相关步骤。
[0098]
本实施例中，电源23用于为电子设备上的各硬件设备提供工作电压；通信接口24能够为电子设备创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
[0099]
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0100]
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
[0101]
其中，操作系统221用于管理与控制电子设备上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备执行的数据同步方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
[0102]
进一步的，本技术实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由数据同步过程中执行的方法步骤。
[0103]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0104]
以上对本发明所提供的一种数据同步方法、装置、设备及介质进行了详细介绍，本
文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。