专利名称：一种数据存储的故障恢复方法及其适用的数据分布架构的制作方法
技术领域：
本发明涉及云计算领域，尤其是一种面向云操作系统的故障恢复方法及其适用的数据分布架构。
背景技术：
云操作系统能对包括处理器、存储、网络在内的硬件资源进行统一管理。在当前的云操作系统应用部署中，数据存储主要有两种用途(1)用户接口存储，即提供给用户所使用的存储；(2)系统所需存储，例如虚拟机镜像存储，当前，云操作系统的数据存储存在性能不高、扩展性不好、不稳定、安全性不够等问题。发明内容
本发明解决的技术问题之一在于提供一种面向云操作系统的数据存储的故障恢复方法，提高数据的可用性。
本发明解决的技术问题之二在于提供一种数据分布架构，可以解决元数据服务的可用性、可扩展性。
本发明解决上述技术问题之一的技术方案是
创建流水日志，在每台元数据服务器上记录其元数据的更改内容，并以日志的方式进行持久存储，并按如下步骤实施；
第1步，在元数据服务器中通过某种机制选举一台活动而且功能正常的元数据服务器作为故障恢复中心；
第2步，其他元数据服务器周期性地给中心点发送心跳消息，若在一段时间内，中心未收到某台元数据服务器的心跳消息，则中心判断该元数据服务器已经发生故障，该服务器将进行故障恢复；
第3步，恢复，读取流水日志，恢复元数据，并将部分元数据预读到高速缓存中进行缓存；重启元数据服务器进程；给中心和其他元数据服务器发送加入消息，重新加入元数据服务器集群。
本发明解决上述技术问题之二的技术方案是
采用分布式存储架构将元数据和数据进行分离，使用专门的元数据服务器存储元数据和处理客户端对元数据的请求；
当客户端欲获取某文件数据时，将首先和元数据服务器通信，获取描述该文件数据的元数据，即获取数据在数据服务器集群的存储位置以及其他信息；然后客户端和数据服务器集群通信，获取其想要的数据。
所述的元数据服务系统架构采用了多台元数据服务器。
所述的元数据指描述数据及其环境的数据，特指描述文件信息或文件目录信息的数据，这些信息包括文件大小、存放位置等。
元数据存储介质为固态硬盘、高速缓存。
本发明多元架构具有如下优点(1)无单点故障，当部分元数据服务器失效时，其他元数据服务器会接管元数据服务，保证元数据服务的高可用性；( 可扩展性好，存储规模需要不断扩展，可能扩展到PB甚至EB级存储量，当存储量扩充时，可相应增加元数据服务器数量，以适应元数据服务的速度要求。将元数据与数据进行分离的优点在于(1)功能划分清楚，逻辑简单；让数据服务器专门存储数据和处理数据请求，而将存储和处理元数据的任务交给专门的服务器，各司其职，让处理逻辑变的简单清晰。( 元数据服务占数据读写总量的30%到70%，而且元数据读写中绝大部分为小数据量随机读写，将占高比重的元数据服务与数据服务相分离，可以提高处理速度。
用固态硬盘和高速缓存的方式存储元数据虽然成本较传统SATA硬盘高，但是由于固态硬盘在读写数据时没有寻道时间和旋转时间，特别适合于进行频繁的小数据量的数据读写，而且，元数据的数据量不大，故在关键性能点采用适合应用场景的成本较高的固态硬盘是可取的。为进一步提高元数据读写速度，对热点较高的数据，采用高速缓存的方式进行缓存，从而进一步提高元数据服务的读取性能。
引入的故障恢复机制保证了元数据服务的高可用性。
下面结合附图对本发明进一步说明
图1是本发明元数据服务系统架构示意图2是本发明故障恢复架构示意图3是本发明故障恢复流程示意图。
具体实施方式
如图1所示，本发明引入了多元数据服务器架构，分布式存储架构将元数据和数据进行分离，使用专门的元数据服务器来存储元数据和处理客户端对元数据的请求。当客户端欲获取某文件数据时，将首先和元数据服务器通信，获取描述该文件数据的元数据，即获取数据在数据服务器集群的存储位置以及其他信息；然后客户端和数据服务器集群通信，获取其想要的数据。如图2所示，为进行快速故障恢复，本发明提出用流水日志来记录元数据的更改，即每台元数据服务器都会记录在本机上元数据的更改内容，并以日志的方式进行持久存储，使得即使在本机出现软硬件故障时均可从流水日志得到恢复。图3描述了故障恢复的流程，其具体步骤如下
第1步，在元数据服务器中通过某种机制选举一台活动而且功能正常的元数据服务器作为故障恢复中心；
第2步，其他元数据服务器周期性地给中心点发送心跳消息，若在一段时间内，中心未收到某台元数据服务器的心跳消息，则中心判断该元数据服务器已经发生故障，该服务器将进行故障恢复；
第3步，恢复流程如下读取流水日志，恢复元数据，并将部分元数据预读到高速缓存中进行缓存；重启元数据服务器进程；给中心和其他元数据服务器发送加入消息，重新加入元数据服务器集群。
元数据，指描述数据及其环境的数据；在本发明的数据存储背景下，特指描述文件信息或文件目录信息的数据，这些信息包括文件大小、存放位置等。
多元数据服务器，是云操作系统数据存储元数据服务的核心，负责响应元数据服务请求，进行相应的元数据响应，返回文件的元数据信息。
本发明针对关键数据，采用固态硬盘加高速缓存的方式进行存储，以提高热点数据的输入输出速度。
权利要求
1.一种面向云操作系统的数据存储的故障恢复方法，其特征在于创建流水日志，在每台元数据服务器上记录其元数据的更改内容，并以日志的方式进行持久存储，并按如下步骤实施；第1步，在元数据服务器中通过某种机制选举一台活动而且功能正常的元数据服务器作为故障恢复中心；第2步，其他元数据服务器周期性地给中心点发送心跳消息，若在一段时间内，中心未收到某台元数据服务器的心跳消息，则中心判断该元数据服务器已经发生故障，该服务器将进行故障恢复；第3步，恢复，读取流水日志，恢复元数据，并将部分元数据预读到高速缓存中进行缓存；重启元数据服务器进程；给中心和其他元数据服务器发送加入消息，重新加入元数据服务器集群。
2.—种权利要求1所述的故障恢复方法适用的数据存储架构，其特征在于采用分布式存储架构将元数据和数据进行分离，使用专门的元数据服务器存储元数据和处理客户端对元数据的请求；当客户端欲获取某文件数据时，将首先和元数据服务器通信，获取描述该文件数据的元数据，即获取数据在数据服务器集群的存储位置以及其他信息；然后客户端和数据服务器集群通信，获取其想要的数据。
3.根据权利要求2所述的数据存储架构，其特征在于所述的元数据服务系统架构采用多台元数据服务器。
4.根据权利要求2或3所述的数据存储架构，其特征在于所述的元数据指描述数据及其环境的数据，特指描述文件信息或文件目录信息的数据，这些信息包括文件大小、存放位置等。
5.根据权利要求2或3所述的数据存储架构，其特征在于元数据存储介质为固态硬盘、高速缓存。
6.根据权利要求5所述的数据存储架构，其特征在于元数据存储介质为固态硬盘、高速缓存。
全文摘要
本发明涉及云计算领域，尤其是一种面向云操作系统的故障恢复方法及其适用的数据分布架构。本发明用流水日志来记录元数据的更改，即每台元数据服务器都会记录在本机上元数据的更改内容，并以日志的方式进行持久存储，使得即使在本机出现软硬件故障时均可从流水日志得到恢复。本发明有效解决了云操作系统中数据的高可用性问题，可应用于云操作系统存储数据的恢复。
文档编号H04L12/24GK102523105SQ20111039119
公开日2012年6月27日 申请日期2011年11月30日 优先权日2011年11月30日
发明者刘祥涛, 季统凯, 岳强 申请人:广东电子工业研究院有限公司