一种基于磁盘存储系统的科学数据存储方法
【专利摘要】本发明公开了一种基于磁盘存储系统的科学数据存储方法，所述方法包括以下步骤：根据逻辑功能将磁盘存储系统划分为数据磁盘阵列、分析用磁盘、元数据磁盘、元数据备份磁盘和缓存磁盘；将文件系统模型划分为用户层、控制层和操作层；根据划分后的磁盘和文件系统模型进行存储数据和读取数据的操作。本发明针对数据的自动存储及工作人员进行分析两种工作模式设计相应的工作流程，使尽可能多的数据磁盘处于节能待机或关闭状态，从而实现存储系统的节能。本发明通过设计针对数据应用场景的专用文件系统模型、特有工作模式，实现数据存储系统的节能。
【专利说明】一种基于磁盘存储系统的科学数据存储方法
【技术领域】
[0001]本发明涉及磁盘存储系统领域，尤其涉及一种基于磁盘存储系统的科学数据存储方法。
【背景技术】
[0002]近年来数据呈现爆炸式增长，大型的设备在短期之内甚至可以产生PB级别的数据。随着存储量的不断攀升，所带来的由于存储硬件规模增大而造成的功耗增加以及数据检索、操作困难等问题将更为突出。对于大型的数据中心，磁盘存储设备所带来的能耗占到了相当的比重。
[0003]目前，磁盘存储方面，针对磁盘阵列节能的技术已经有多种，诸如:自动转速调整等。在软件方面，基于磁盘阵列的节能缓存技术、节能负载均衡技术均有所研究并有所成果，但是缺少面向科学数据的基于文件系统层次的节能方法。
【发明内容】
[0004]本发明提供了一种基于磁盘存储系统的科学数据存储方法，本发明利用磁盘阵列作为底层存储设备，设计存储系统的架构，并设计专用的节能文件系统模型，实现数据的节能存储与方便利用，详见下文描述:
[0005]一种基于磁盘存储系统的科学数据存储方法，所述方法包括以下步骤:
[0006]根据逻辑功能将磁盘存储系统划分为数据磁盘阵列、分析用磁盘、元数据磁盘、元数据备份磁盘和缓存磁盘；
[0007]将文件系统模型划分为用户层、控制层和操作层；
[0008]根据划分后的磁盘和文件系统模型进行存储数据和读取数据的操作。
[0009]进一步，所述数据磁盘阵列，用于存储实时产生的数据以及分析结果数据；
[0010]所述分析用磁盘，用于存储分析所需要数据以及经过计算后的中间结果数据；
[0011]所述元数据磁盘，用于存储元数据信息及系统日志；
[0012]所述元数据备份磁盘，用于存储元数据信息及系统日志的备份信息；
[0013]所述缓存磁盘，用来存储临时数据以及拷贝出的数据。
[0014]进一步，所述用户层，用于提供给用户基本的命令操作界面；
[0015]所述控制层，用于接受用户层的用户指令并且加以解析，对操作层进行控制；
[0016]所述操作层，用于执行控制层命令。
[0017]进一步，所述操作层还用于控制元数据管理、1管理、科学分析管理。
[0018]所述根据划分后的磁盘和文件系统模型进行存储数据的操作具体为:
[0019]数据产生后，管理进程与1管理进程交互，将数据写入缓存；
[0020]管理进程与元数据管理进程交互，由元数据管理进程获取磁盘阵列信息，根据预定义的数据存储布局策略选择目标磁盘，数据采用写延迟的策略，将数据自缓存批量写入所述数据磁盘阵列；[0021 ] 最后元数据管理进程更新元数据信息并记录日志。
[0022]写入到所述数据磁盘阵列的数据缺省设置为只读数据。
[0023]所述根据划分后的磁盘和文件系统模型进行读取数据的操作具体为:
[0024]用户通过网络远程登录远程数据中心存储系统，并发出相应指令；
[0025]管理进程接受用户搜索指令后进行解析，通过元数据管理进程查询元数据信息并获取搜索文件的详细信息；
[0026]通过管理进程返回用户相应信息；用户发出获取相应文件的指令；
[0027]管理进程解析指令后向1管理进程发出取数据指令；10管理进程取出数据并写入缓存，写入缓存的数据从缓存转移至工作区域。
[0028]本发明提供的技术方案的有益效果是:
[0029]1、本方法支持数据的自动存入及工作人员进行分析两种工作模式。
[0030]第一种工作模式下，存储系统自动将数据依据一定的数据布局策略写入后台磁盘内，同时记录元数据及日志，数据写入时依据节能调度方法，适时打开硬盘存入相应数据；第二种工作模式下，工作人员可远程控制存储系统，获取需要进行分析的数据并在本地数据中心进行数据分析。
[0031]2、本发明对磁盘进行了逻辑功能的划分分为:缓存磁盘、元数据磁盘、元数据备份磁盘、科学分析区域磁盘、数据磁盘阵列。
[0032]缓存磁盘、元数据磁盘和元数据备份磁盘处于一直活动的状态；数据磁盘阵列存储了海量的科学数据，在数据需要存入及用户访问时进入活动状态，当一定时间空闲则进入节能待机或关闭状态，从而实现节能效果；为保证一定的性能，系统设计缓存磁盘存储访问频率的数据来提高缓存访问的命中率，并可以设定阈值参数在合适的时机打开或关闭硬盘(需存储系统硬件支持)；为保证数据安全性，所有分析所需数据需从后台存储中拷贝到分析区域方可进行操作。
[0033]为满足节能及数据专有需求，本发明将文件系统定义为三个层次:用户层、控制层、操作层三层，用户层负责处理用户请求，控制层解析用户请求并向操作层发出具体指令，操作层具体执行控制层指令，操作层具体有元数据管理进程、1管理进程、派生工作进程进行工作。
[0034]本发明中设计了两种工作模式下存储系统各模块间的交互，并且定义了专用文件系统对于两种工作模式的支持。
【专利附图】
【附图说明】
[0035]图1为磁盘阵列逻辑功能的划分示意图；
[0036]图2为存储系统的架构设计图；
[0037]图3为自动存储数据工作模式下的工作流程图；
[0038]图4为分析工作模式下的工作流程图。
[0039]附图中，各标号所代表的部件列表如下:
[0040]1:数据磁盘阵列；2:科学分析用磁盘；
[0041]3:元数据磁盘； 4:元数据备份磁盘；
[0042]5:缓存磁盘。
【具体实施方式】
[0043]为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0044]本发明提出了基于磁盘阵列的数据存储系统的架构设计，并且针对数据应用，提出了专用的节能文件系统模型，支持数据自动归档和后期科学分析两种工作模式，简化了工作人员利用数据的难度并带来能耗上的经济效益，参见图1、图2、图3和图4，详见下文描述:
[0045]1、硬件层次磁盘阵列逻辑功能的划分
[0046]针对磁盘存储系统需要存储的关键数据，初步将磁盘分为数据磁盘阵列1、科学分析用磁盘2、元数据磁盘3、元数据备份磁盘4和缓存磁盘5。
[0047]其中，数据磁盘阵列I用于存储实时产生的数据以及分析结果数据。
[0048]分析用磁盘2用于存储分析所需要数据以及经过计算后的中间结果数据。
[0049]通过上述设置，从而可以达到预先拷贝所需数据，将大部分数据磁盘处于节能待机或关闭状态的效果，同时可以保证数据的安全，屏蔽对存储系统敏感数据不了解的科学分析用户的失误操作；
[0050]元数据磁盘3用于存储元数据信息及系统日志。
[0051]元数据备份磁盘4用于存储元数据及系统日志的备份信息。
[0052]由于元数据中记录了系统的关键数据，保证元数据的安全可以保证系统的高可靠性、高安全性。
[0053]缓存磁盘5用来存储临时数据以及分析模式下拷贝出的数据。
[0054]由于数据以及分析数据如果频繁的进行读写操作，会造成后台磁盘运转状态的频繁调整，因此数据在缓存中达到一定规模后才写入后台存储或者分析专用磁盘区域，这样可以保证尽量多的磁盘处于节能待机或关闭状态，从而达到节能的效果，同时缓存磁盘存储了底层各个磁盘中近期访问频率的数据，提高了数据访问的命中率，延长数据磁盘处在节能待机或关闭状态的时间。
[0055]2、专用文件系统模型的层次定义
[0056]文件系统模型分为三层:用户层、控制层、操作层。用户层提供给用户基本的命令操作界面，用户可以通过本地及远程连接等方式进行命令操作；控制层接受用户层的用户指令并且加以解析，对操作层进行控制。
[0057]其中，控制层为核心，肩负着整个存储系统的运行，为一个独立的后台进程/线程控制系统；操作层具体执行控制层命令，包括1操作、磁盘控制操作(可选)等，为了保证系统的服务质量，操作层由互相独立的三个进程分别控制元数据管理、1管理、科学分析管理。
[0058]3、自动存储数据工作模式及分析工作模式的支持
[0059]其中，自动存储科学数据工作模式下，系统工作流程如下:
[0060]101:系统开启后完成初始化任务，并由管理进程监听数据到来的任务；
[0061]102:新的数据产生后，管理进程与1管理进程交互，将数据写进写入缓存；管理进程与元数据管理进程交互，由元数据管理进程获取磁盘阵列信息，根据预定义的数据存储布局策略选择目标磁盘，将数据的写入位置返回管理进程；
[0062]103:数据采用写延迟的策略，将数据自缓存批量写入数据磁盘阵列I ;
[0063]其中，写入到数据磁盘阵列I的数据缺省设置为只读数据。
[0064]104:最后元数据管理进程更新元数据信息并记录日志。
[0065]此模式为全自动运行，依据关键算法策略等保证系统高效能高可靠的运行。
[0066]其中，分析模式下，系统工作流程如下:
[0067]201:用户通过网络远程登录远程数据中心存储系统，并发出相应指令；
[0068]该步骤还包括:系统开启后完成初始化，由管理进程监听远程用户请求。
[0069]202:管理进程接受用户搜索指令后进行解析，通过元数据管理进程查询元数据信息并获取搜索文件的详细信息；
[0070]203:通过管理进程返回用户相应信息；
[0071]204:用户发出获取相应文件的指令；
[0072]205:管理进程解析指令后向1管理进程发出取数据指令；
[0073]206:10管理进程取出数据，并依据缓存算法写入缓存，写入缓存的数据从缓存转移至工作区域。
[0074]例如:当用户获取数据进行分析时，用户还可以发出进行数据分析指令，相应地管理进程派生出工作管理进程专门处理用户分析的工作。
[0075]此模式下为了达到节能目的，缓存中以队列的形式存储了各磁盘的近期访问频繁的数据，每个时间窗口计算各磁盘的1负载，依据负载大小划分各磁盘的缓存大小，负载大的磁盘获得较大的缓存空间来减小负载同时增加进入节能待机或关闭状态的可能。
[0076]实际应用时，本申请中提到的方法特别适用于科学数据的处理中，目前科学数据呈现大量的增长，科学数据分析处理普遍遵循“82”原则，即80%的应用只使用20%的数据。科学数据多为只读数据，产生并存储之后不允许再修改。通过本方法可以很好的对科学数据进行存储、读取，减轻了科学工作人员的工作压力、提高了工作效率和精度，满足了实际应用中的需要。
[0077]除此之外，本申请还适用于和科学数据类似的其他数据的处理，同样可以提高工作效率和精度，本发明实施例对此不做赘述。
[0078]本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0079]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种基于磁盘存储系统的科学数据存储方法，其特征在于，所述方法包括以下步骤: 根据逻辑功能将磁盘存储系统划分为数据磁盘阵列、分析用磁盘、元数据磁盘、元数据备份磁盘和缓存磁盘； 将文件系统模型划分为用户层、控制层和操作层； 根据划分后的磁盘和文件系统模型进行存储数据和读取数据的操作。
2.根据权利要求1所述的一种基于磁盘存储系统的科学数据存储方法，其特征在于， 所述数据磁盘阵列，用于存储实时产生的数据以及分析结果数据； 所述分析用磁盘，用于存储分析所需要数据以及经过计算后的中间结果数据； 所述元数据磁盘，用于存储元数据信息及系统日志； 所述元数据备份磁盘，用于存储元数据信息及系统日志的备份信息； 所述缓存磁盘，用来存储临时数据以及拷贝出的数据。
3.根据权利要求1所述的一种基于磁盘存储系统的科学数据存储方法，其特征在于， 所述用户层，用于提供给用户基本的命令操作界面； 所述控制层，用于接受用户层的用户指令并且加以解析，对操作层进行控制； 所述操作层，用于执行控制层命令。
4.根据权利要求3所述的一种基于磁盘存储系统的科学数据存储方法，其特征在于，所述操作层还用于控制元数据管理、1管理、科学分析管理。
5.根据权利要求1所述的一种基于磁盘存储系统的科学数据存储方法，其特征在于，所述根据划分后的磁盘和文件系统模型进行存储数据的操作具体为: 数据产生后，管理进程与1管理进程交互，将数据写入缓存； 管理进程与元数据管理进程交互，由元数据管理进程获取磁盘阵列信息，根据预定义的数据存储布局策略选择目标磁盘，数据采用写延迟的策略，将数据自缓存批量写入所述数据磁盘阵列； 最后元数据管理进程更新元数据信息并记录日志。
6.根据权利要求5所述的一种基于磁盘存储系统的科学数据存储方法,其特征在于，写入到所述数据磁盘阵列的数据缺省设置为只读数据。
7.根据权利要求1所述的一种基于磁盘存储系统的科学数据存储方法，其特征在于，所述根据划分后的磁盘和文件系统模型进行读取数据的操作具体为: 用户通过网络远程登录远程数据中心存储系统，并发出相应指令； 管理进程接受用户搜索指令后进行解析，通过元数据管理进程查询元数据信息并获取搜索文件的详细信息； 通过管理进程返回用户相应信息；用户发出获取相应文件的指令； 管理进程解析指令后向1管理进程发出取数据指令；10管理进程取出数据并写入缓存，写入缓存的数据从缓存转移至工作区域。
【文档编号】G06F3/06GK104317526SQ201410499651
【公开日】2015年1月28日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】于策, 肖健, 孙济洲, 李佳骏, 李连盟 申请人:天津大学