专利名称：一种集群文件系统数据一致性的方法
技术领域：
本发明是一种适用于分布式、并行文件系统中，能够最大化的保证数据不丢失，维护数据一致性的方法，具体地说是一种集群文件系统数据一致性的方法。
背景技术：
目前部分分布式集群文件系统的现状是，元数据集群(2)和数据存储集群(3 )通过分布式文件系统建立关联，然后客户端通过挂载或是在客户端内核打补丁方式来访问集群文件系统，此时在客户端模块(I)可能会存在一个问题，尤其是在写入小文件的时候，问题尤为突出。当客户端模块(I)写入数据后，接着强制中断客户端模块(I)与文件系统的链接，此时，由于数据首先写入了客户端缓存，没有及时写入到后端磁盘上，也就是数据存储集群上(3)，那么当重新建立客户端模块(I)和集群文件系统链接后，那么数据就可能会不 完整，不能保证数据的一致性，从而给用户带来影响。本发明就是针对该问题而提出的，能够有效的解决数据丢失问题，从而最大限度的保证数据一致性。
发明内容
本发明的目的是提供一种集群文件系统数据一致性的方法。本发明的目的是按以下方式实现的，系统包括客户端模块(I);元数据集群(2)；数据存储集群(3);日志管理模块(4)，其中
客户端模块(I)是访问文件系统的入口，负责用户的数据请求；
元数据集群(2)负责存储用户数据的元数据部分；
数据存储集群(3)提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；日志管理模块(4)用于检测客户端的状态；保证客户端在强制断开链接后，能够让写入的数据不丢失，以及保证客户端写入的数据在客户端与文件系统断开链接后，保证数据能够顺利写入后端存储上，以维护数据的一致性；
具体步骤如下
1)首先客户端模块(I)建立与集群文件系统的链接；
2)假设从客户端模块(I)写入的数据为dataFile文件分成8个条带块D0，…，D7，写入到三个存储单元LUN1，LUN2, LUN3中；
3)添加日志管理模(4)前，如果客户端强制断开链接，会导致dataFile文件不能正常写入到后端磁盘上，写入的条带数小于8 ；
4)添加日志管理模块(4)后，数据dataFile首先写入日志管理模块(4)，通过日志管理模块(4)写入后端磁盘上；同时日志管理模块(4)会实时检测客户端模块(I)的链接状态，保证即便是在客户端链接强制断开的时候，也能保证数据dataFile完整的写入后端磁盘上，保证数据不丢失，维护了数据一致性。本发明的有益效果是该方法主要创新是在客户端部署日志管理模块(4)，日志管理模块一方面能够检测客户端模块(I)与集群文件系统的链接状态；一方面能够保证用户写入数据时，首先通过日志管理模块(4)把数据进行缓存，然后再写入集群文件系统，这样即便是客户端模块(I)强制断开与集群文件系统的链接后，也能保证数据通过日志管理模块(4)写入到后端磁盘上，从而保证数据不丢失，维护数据一致性。
附图I为添加日志管理模块前数据写入；
附图2为添加日志管理模块后数据写入。
具体实施例方式参照说明书附图对本发明的方法作以下详细地说明。系统包括客户端模块(I);元数据集群(2);数据存储集群(3);日志管理模块(4)，其中
客户端模块(I)是访问文件系统的入口，负责用户的数据请求；
元数据集群(2)负责存储用户数据的元数据部分；
数据存储集群(3)提供数据存储单元，负责存储数据，包括去掉元数据之后的数据；日志管理模块(4)用于检测客户端的状态；保证客户端在强制断开链接后，能够让写入的数据不丢失，以及保证客户端写入的数据在客户端与文件系统断开链接后，保证数据能够顺利写入后端存储上，以维护数据的一致性；
具体步骤如下
(1)首先客户端模块(I)建立与集群文件系统的链接；
(2)假设从客户端模块(I)写入的数据为dataFile文件分成8个条带块(D0，…，D7)，写入到三个存储单元(LUN1，LUN2, LUN3)中；
(3)如果添加日志管理模(4)前，那么在客户端强制断开链接(例如杀进程)可能会导致dataFile文件不能正常写入到后端磁盘上，写入的条带数小于8 ；
(4)如果添加日志管理模块(4)后，数据dataFile首先写入日志管理模块(4);通过日志管理模块(4)写入后端磁盘上；同时日志管理模块(4)会时时检测客户端模块(I)的链接状态，保证即便是在客户端链接强制断开(例如杀进程)的时候，也能保证数据dataFile完整的写入后端磁盘上，数据不丢失，维护了数据一致性。除说明书所述的技术特征外，均为本专业技术人员的已知技术。权利要求
1.一种集群文件系统数据一致性的方法，其特征在于系统包括客户端模块(I);元数据集群(2);数据存储集群(3);日志管理模块(4)，其中 客户端模块(I)是访问文件系统的入口，负责用户的数据请求； 元数据集群(2)负责存储用户数据的元数据部分； 数据存储集群(3)提供数据存储单元，负责存储数据，包括去掉元数据之后的数据； 日志管理模块(4)用于检测客户端的状态；保证客户端在强制断开链接后，能够让写入的数据不丢失，以及保证客户端写入的数据在客户端与文件系统断开链接后，保证数据能够顺利写入后端存储上，以维护数据的一致性； 具体步骤如下 1)首先客户端模块(I)建立与集群文件系统的链接； 2)假设从客户端模块(I)写入的数据为dataFile文件分成8个条带块D0，…，D7，写入到三个存储单元LUNl，LUN2, LUN3中； 3)添加日志管理模(4)前，如果客户端强制断开链接，会导致dataFile文件不能正常写入到后端磁盘上，写入的条带数小于8 ； 4)添加日志管理模块(4)后，数据dataFile首先写入日志管理模块(4)，通过日志管理模块(4)写入后端磁盘上；同时日志管理模块(4)会实时检测客户端模块(I)的链接状态，保证即便是在客户端链接强制断开的时候，也能保证数据dataFile完整的写入后端磁盘上，保证数据不丢失，维护了数据一致性。
全文摘要
本发明提供一种集群文件系统数据一致性的方法，该方法主要创新是在客户端部署日志管理模块(4)，日志管理模块一方面能够检测客户端模块(1)与集群文件系统的链接状态；一方面能够保证用户写入数据时，首先通过日志管理模块(4)把数据进行缓存，然后再写入集群文件系统，这样即便是客户端模块(1)强制断开与集群文件系统的链接后，也能保证数据通过日志管理模块(4)写入到后端磁盘上，从而保证数据不丢失，维护数据一致性。
文档编号G06F17/30GK102750342SQ201210184929
公开日2012年10月24日 申请日期2012年6月7日 优先权日2012年6月7日
发明者胡振 申请人:浪潮电子信息产业股份有限公司