一种存储系统的制作方法

文档序号:9471096阅读:253来源:国知局
一种存储系统的制作方法
【技术领域】
[0001]本发明涉及存储技术领域,更具体地说,涉及一种存储系统。
【背景技术】
[0002]人类对地球气候的探索已经进入全新时代,大数据正在帮助研究人员存储、分析和处理气候数据,上演“预见未来”的壮举。以海洋预报为例,对相关海域进行数值天气预报,实现精确的预测,减少海洋灾害带来经济损失是海洋预报的一项重要任务。但是由于数值预报净度受到诸多因素的影响,如实测资料、模式参数、计算速度、存储方式等,其复杂性对大规模数据管理工作提出了挑战,尤其是对存储方式的要求很高,需要满足气象行业大数据应用的特点。
[0003]FVCOM是无结构三角形网格架构、有限体积、自由表面、三维原始方程海洋数值模型。它包含了多种物理、水质、生态计算模块。FVCOM模型基于Fortran 90/95标准,且在MPI (Message Passing Interface)的框架下实现计算并行化,可以在共享内存及分布式内存多计算节点的高性能计算机上实现并行快速模拟。
[0004]而对于运行FVCOM模型的高性能计算中生成的计算日志信息的存储及读取是保证顺利运行FVCOM模型的高性能计算的一个重要因素,现有技术中通常使用的存储系统包括管理节点、存储节点及计算节点,管理节点将计算任务下发至计算节点,计算节点运行与计算任务对应的FVCOM模型的高性能计算,并将计算日志信息存储至副本机制的存储节点,在存储成功之后再进行后续操作。但是,将计算日志信息存储至副本机制的存储节点的过程需要耗费大量的时间及系统性能,这并不利于整个系统的执行效率。
[0005]综上所述,现有技术中对于计算日志信息的处理存在耗费时间及系统性能较严重的问题。

【发明内容】

[0006]本发明的目的是提供一种存储系统,以解决现有技术中对于计算日志信息的处理存在的耗费时间及系统性能较严重的问题。
[0007]为了实现上述目的,本发明提供如下技术方案:
[0008]—种存储系统,包括管理节点及至少一个计算节点,其中,所述管理节点包括共享目录,所述共享目录通过NFS共享给每个所述计算节点,每个所述计算节点内挂载有所述共早目录;
[0009]每个所述计算节点将运行FVCOM的高性能计算中生成的计算日志信息存储至所述共享目录,或者由所述共享目录中读取所需的计算日志信息。
[0010]优选的,所述存储系统包括多个存储节点,用于运行FVCOM的高性能计算的源数据以及利用所述源数据运行FVCOM的高性能计算得到的对应的目标数据均存储在副本机制的所述存储节点中。
[0011]优选的,所述存储系统还包括备用管理节点,所述备用管理节点用于在所述管理节点发生故障无法正常工作时,代替所述管理节点完成所述管理节点需完成的工作。
[0012]优选的,每个所述计算节点中均包括挂载模块,所述挂载模块用于通过扫描确定所述共享目录,将所述共享目录挂载到对应的计算节点中,并将运行FVCOM的高性能计算中的计算日志信息的生成路径指定为所述共享目录。
[0013]优选的,所述管理节点包括共享模块,所述共享模块用于建立指定文件,将确定所述管理节点中的一目录为共享目录的共享命令写入所述指定文件中,并将所述共享目录共享给每个所述计算节点。
[0014]优选的,所述管理节点包括自动激活模块,所述自动激活模块用于在所述管理节点开机时自动指示所述共享模块将所述共享目录共享给每个所述计算节点。
[0015]优选的,所述共享模块包括删除单元,所述删除单元用于当所述管理节点中存在所述指定文件时,将所述指定文件进行删除,并指示所述共享模块建立新的指定文件。
[0016]本发明提供的一种存储系统,包括管理节点及至少一个计算节点,其中,所述管理节点包括共享目录,所述共享目录通过NFS共享给每个所述计算节点,每个所述计算节点内挂载有所述共享目录;每个所述计算节点将运行FVCOM的高性能计算中生成的计算日志信息存储至所述共享目录,或者由所述共享目录中读取所需的计算日志信息。与现有技术相比,本申请无需将生成的计算日志信息存储至副本机制的存储节点中后再进行其他计算,而是直接将计算日志信息存储至通过NFS共享的共享目录下,同时能够从共享目录中读取所需的计算日志信息,对于计算日志信息的处理速度得到明显提高,进一步节省了时间并提升了系统性能。
【附图说明】
[0017]为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0018]图1为本发明实施例提供的一种存储系统的结构示意图。
【具体实施方式】
[0019]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0020]本发明实施例提供了一种存储系统,包括管理节点及至少一个计算节点,计算节点的数量可以根据实际需要进行确定,当计算节点的数量为I个时,存储系统的结构示意图如图1所示,包括管理节点11及计算节点12。其中,管理节点包括共享目录,共享目录通过NFS共享给每个计算节点,每个计算节点内挂载有共享目录;
[0021]每个计算节点将运行FVCOM的高性能计算中生成的计算日志信息存储至共享目录,或者由共享目录中读取所需的计算日志信息。
[0022]需要说明的是,NFS (Network File System,网络文件系统),是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。本申请中管理节点通过NFS将共享目录共享给每个计算节点,能够使得计算节点直接访问共享目录。
[0023]本申请无需将生成的计算日志信息存储至副本机制的存储节点中后再进行其他计算,而是直接将计算日志信息存储至通过NFS共享的共享目录下,同时能够从共享目录中读取所需的计算日志信息,由此,减少了高性能计算过程中计算日志信息的请求处理延时,对于计算日志信息的处理速度得到明显提高,节省了时间并提升了系统性能,达到提升整个系统的执行效率的目的。
[0024]上述实施例提供的一种存储系统中,可以包括多个存储节点,用于运行FVCOM的高性能计算的源数据以及利用所述源数据运行FVCOM的高性能计算得到的对应的目标数据均存储在副本机制的所述存储节点中。
[0025]存储节点的具体数量可以根据实际需要进行确定,其可以组成分布式存储系统。分布式存储系统将数据分布存储于不同的存储节点中,通过采用分布式存储的方式,能够提供数据传输的高带宽,以保证不同的存储节点间,或者存储节点与计算节点间,或者存储节点与管理节点间能够快速传输数据,提高了整个存储系统的执行效率。
[0026]需要说明的是,本发明实施例提供的一种存储系统中,仅仅通过NFS方式处理运行FVCOM的高性能运算过程中生成的计算日志信息,而不对其他任何数据进行处理。因此,将上述与运行FVCOM的高性能运算对应的源数据及目标数据均存储在副本机制的存储节点中,即将同样的源数据及目标数据存储在两个存储节点中,由此,当任一存储节点发生故障进而造成数据的丢失或者损坏时,能够由另一存储节点中获取丢失或者损坏的数据,以快速恢复数据,保证了数据
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1