专利名称：一种维护分布式系统中副本一致性的方法
技术领域：
本发明涉及计算机存储领域，具体地说是在基于对象存储系统的维护副本一致性的方法。
背景技术：
随着信息化的发展，信息资源爆炸式的增长，存储技术在各个方面出现了前所未有的发展。随着存储容量的持续增长和存储设备成本的不断增加，存储系统逐渐成为提高计算机性能的关键。对象存储技术是充分利用对象存储设备(OSD)的功能和处理能力，对外提供对象接口。为了提高对象的可靠性、可用性和高效性，往往将对象存储成多个副本，存储在不同的OSD上，这样访问所需的对象时，只需访问其中一个副本，这种机制称为复制机制。OSD通常使用廉价的普通磁盘作为存储设备，磁盘故障及OSD本身的故障发生的概率较大。存储系统的日渐大型化，硬件规模的逐渐扩大，错误出现的次数也随之增大。在复制机制中，易造成多个副本间数据的不一致性。因此需要一种保证数据一致性的手段，维护多副本策略的正确性。
发明内容
本发明的目的在于提供一种能够在出现副本故障后，准确的记录与恢复不一致副本的方法。一种维护分布式系统中副本一致性的方法，存储系统中的元数据服务器记录索引和副本的状态，客户端仅修改主副本，从副本由主副本进行同步，同步过程中，副本记录内存日志，并依据操作结果将日志写入磁盘或丢弃。优选的，所述同步过程包括内存操作阶段和磁盘操作阶段。优选的，所述内存操作阶段过程为主副本接收到客户端的数据修改请求后，修改本地缓存，并同步从副本缓存，各副本缓存一致后，主副本应答客户端，表示此请求已被处理完成；各副本节点记录操作日志到内存中，将错误副本上报至元数据服务器。优选的，所述磁盘操作阶段过程为主副本根据前一阶段的日志，将缓存数据写入本地磁盘，并同步副本磁盘，主副本根据操作结果，将错误副本上报至元数据服务器，并通知从副本节点记录日志至磁盘或丢
弃日志。本发明能够在副本最小可用的情况下，保证数据一致，能够处理网络失效、服务器失效、磁盘失效等引发数据不一致的故障，能够以最小的代价，快速恢复副本。
图1为本发明的同步过程图2为本发明的副本同步过程图3为本发明的内存操作阶段图4为本发明的磁盘操作阶段
具体实施例方式存储系统中的元数据服务器(M0Q在记录索引之外，也记录副本的状态。客户端仅修改主副本，从副本由主副本进行同步(图幻。同步过程分为两步内存操作阶段与磁盘操作阶段。同步过程中，副本记录内存日志，并依据操作结果将日志写入磁盘或丢弃。1.内存操作阶段主副本接收到客户端的数据修改请求后，修改本地缓存，并同步从副本缓存。各副本缓存一致后，主副本应答客户端，表示此请求已被处理完成。此过程仅操作内存数据，不操作磁盘中的数据，各副本节点记录操作日志到内存中，将错误副本上报至M0S(图3)。2.磁盘操作阶段主副本根据前一阶段的日志，将缓存数据写入本地磁盘，并同步副本磁盘。主副本根据操作结果，将错误副本上报至M0S，并通知从副本节点记录日志至磁盘或丢弃日志(图 4)。两个阶段的同步，分别保证了内存与磁盘的一致性。在确定的状态下，各副本的内存与磁盘数据状态也是确定的，且在正确的情况的是一致的。这样就为出错副本错误时的数据修复提供了基础。数据修复时，查找M0S，可以准确的找到不一致副本。日志功能可以提供在不重建全部数据的情况下恢复副本。每个副本上均有日志，保证了仅需要一个正确副本，就可以进行副本恢复，提高系统的容错度。
权利要求
1.一种维护分布式系统中副本一致性的方法，其特征在于存储系统中的元数据服务器记录索引和副本的状态，客户端仅修改主副本，从副本由主副本进行同步，同步过程中，副本记录内存日志，并依据操作结果将日志写入磁盘或丢弃。
2.如权利要求1所述的方法，其特征在于所述同步过程包括内存操作阶段和磁盘操作阶段。
3.如权利要求1所述的方法，其特征在于所述内存操作阶段过程为主副本接收到客户端的数据修改请求后，修改本地缓存，并同步从副本缓存，各副本缓存一致后，主副本应答客户端，表示此请求已被处理完成；各副本节点记录操作日志到内存中，将错误副本上报至元数据服务器。
4.如权利要求1所述的方法，其特征在于所述磁盘操作阶段过程为主副本根据前一阶段的日志，将缓存数据写入本地磁盘，并同步副本磁盘，主副本根据操作结果，将错误副本上报至元数据服务器，并通知从副本节点记录日志至磁盘或丢弃日
全文摘要
本发明提供了一种维护分布式系统中副本一致性的方法，存储系统中的元数据服务器记录索引和副本的状态，客户端仅修改主副本，从副本由主副本进行同步，同步过程中，副本记录内存日志，并依据操作结果将日志写入磁盘或丢弃。本发明能够在副本最小可用的情况下，保证数据一致，能够处理网络失效、服务器失效、磁盘失效等引发数据不一致的故障，能够以最小的代价，快速恢复副本。
文档编号H04L29/08GK102368267SQ20111032604
公开日2012年3月7日 申请日期2011年10月25日 优先权日2011年10月25日
发明者付根希, 姜国梁, 彭成, 苗艳超 申请人:曙光信息产业(北京)有限公司