一种分布式存储系统中的数据同步方法、装置及系统的制作方法

文档序号:9436093阅读:503来源:国知局
一种分布式存储系统中的数据同步方法、装置及系统的制作方法
【技术领域】
[0001]本发明涉及云计算技术领域,尤其涉及一种分布式存储系统中的数据同步方法、装置及系统。
【背景技术】
[0002]云计算(CloudComputing)是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)网络存储(NetworkStorageTechnologies)、虚拟化(Virtualizat1n)、负载均衡(LoadBalance)等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的系统。分布式存储是云计算范畴中的一个领域,其作用是提供海量数据的分布式存储服务以及高速读写访问的能力。分布式存储系统是由若干服务器节点和客户端互相连接构成的;服务器节点负责数据的存储,客户端可以对服务器做数据的写入、读取、更新、删除等操作。
[0003]在分布式存储系统中,异地容灾是比较难以解决的关键问题,尤其是需要双向数据同步的异地容灾。异地容灾是指,将服务器节点分布式的部署于相隔较远的两地,至少有其中一地的分布式存储集群对外提供数据的读写服务。当某一地出现大范围故障或灾害时,可尽快将业务切换至另一地继续提供服务。所谓双向数据同步,是指当两地同时提供数据读写服务时,需要将发生变更的数据从本地集群同步到对方的集群。
[0004]现有技术中,异地容灾只有单向数据同步的机制。即两地的分布式存储服务集群,其中一地提供数据的读写服务,另外一地仅提供数据的读服务。这种技术的缺点在于:首先,无法充分利用所有的计算资源,不能在有限的计算资源基础上实现异地容灾;其次,如果只提供读服务的一地的业务应用需要对数据进行写操作,需要实时的访问异地的分布式存储服务集群,延迟会很高。

【发明内容】

[0005]针对相关技术中两地的分布式存储服务集群只有单向数据同步的问题,本发明提供了一种分布式存储系统中的数据同步方法、装置及系统,以至少解决上述问题。
[0006]根据本发明的一个方面,提供了一种分布式存储系统中的数据同步方法,包括:第一存储服务集群接收来自第一客户端的第一数据变更请求;所述第一存储服务集群根据所述第一数据变更请求,变更第一存储服务集群中的对应数据;所述第一存储服务集群将变更数作为据第一同步数据同步至第二存储服务集群;所述第一存储服务集群接收所述第二存储服务集群发送的第二同步数据;所述第一存储服务集群根据所述第二同步数据进行数据同步。
[0007]优选地,所述第一存储服务集群根据所述第一数据变更请求,变更第一存储服务集群中的对应数据,还包括:同时生成与所述变更数据对应的第一同步日志。所述第一存储服务集群将变更数据对应的第一同步数据同步至第二存储服务集群,包括:所述第一存储服务集群将所述第一同步日志对应的第一同步数据同步至第二存储服务集群。
[0008]优选地,所述第一存储服务集群将第一同步日志对应的第一同步数据同步至第二存储服务集群,包括:读取所述第一同步日志,根据所述第一同步日志读取对应的所述第一存储服务集群存储的数据,并将所述读取数据同步至所述第二存储服务集群。
[0009]优选地,所述读取第一同步日志,还包括:定时检查是否有新的第一同步日志生成。
[0010]优选地,所述第一同步日志包含所述变更数据的元数据。
[0011]优选地,第一存储服务集群根据所述第一数据变更请求,变更第一存储服务集群中的对应数据,还包括:将变更结果通知所述第一客户端。
[0012]根据本发明的另一个方面,还提供了一种分布式存储系统中的数据同步装置,位于第一存储服务集群中,包括:第一接收模块,用于接收来自第一客户端的第一数据变更请求;第一数据管理模块,用于根据所述第一数据变更请求,变更第一存储服务集群中对应的数据;同步模块,用于将变更数据作为第一同步数据同步至第二存储服务集群;第二接收模块,用于接收所述第二存储服务集群发送的第二同步数据;第二数据管理模块,用于根据所述第二同步数据进行数据同步。
[0013]优选地,所述第一数据管理模块,还包括:同时生成与所述变更数据对应的第一同步日志;所述同步模块,还包括:将所述第一同步日志对应的第一同步数据同步至第二存储服务集群。
[0014]优选地,所述同步模块包括:读取单元,用于读取所述第一同步日志,根据所述第一同步日志读取对应的所述第一存储服务集群存储的数据;同步单元,用于将所述读取的对应所述第一存储服务集群的数据同步至所述第二存储服务集群。
[0015]优选地,所述读取单元还包括:定时元件,用于定时检查是否有新的第一同步日志生成。
[0016]优选地,所述第一同步日志包含所述变更数据的元数据。
[0017]优选地,所述第一数据管理模块包括:反馈单元,用于将变更结果通知所述第一客户端。
[0018]根据本发明的再一个方面,提供了一种分布式存储系统中的数据同步系统,包括:至少两个存储服务集群和对应的客户端;所述客户端,用于向对应的存储服务集群发送数据变更请求;所述存储服务集群,用于接收所述客户端发送的数据变更请求,变更对应的数据,并同步所述对应数据至另一存储服务集群;所述存储服务集群,还用于接收所述另一存储服务集群发送的同步数据,并进行对应的数据同步。
[0019]优选地,如果所述存储服务集群和所述另一存储服务集群变更的数据分别针对同一数据的不同部分,双向同步后:所述存储服务集群和所述另一存储服务集群分别对应的客户端,还用于读取所述同一数据的不同部分,按照预先设定的逻辑整合。
[0020]通过本发明,第一存储服务集群接收来自第一客户端的第一数据变更请求;所述第一存储服务集群根据所述第一数据变更请求,变更第一存储服务集群中的对应数据;所述第一存储服务集群将变更数据作为第一同步数据同步至第二存储服务集群;所述第一存储服务集群接收所述第二存储服务集群发送的第二同步数据;所述第一存储服务集群根据所述第二同步数据进行数据同步。使得异地分布式存储服务集群之间实现数据双向同步,充分利用所有的计算资源,在有限的计算资源基础上实现异地容灾;其次,避免了业务应用进行数据的写操作需要实时访问异地分布式存储服务集群的问题,克服了异地访问网络延迟较高、带宽有限等问题。
【附图说明】
[0021]此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0022]图1是根据本发明实施例的数据同步方法的流程图;
[0023]图2是根据本发明实施例的数据同步方法的流程图二 ;
[0024]图3是根据本发明实施例的数据同步装置的结构框图;
[0025]图4是根据本发明实施例的数据同步装置同步模块的结构框图;
[0026]图5是根据本发明实施例的数据同步系统的结构框图。
【具体实施方式】
[0027]下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1