一种新型高速缓存文件系统架构的制作方法

文档序号:15982417发布日期:2018-11-17 00:29阅读:518来源:国知局

本发明涉及计算机存储文件系统,特别涉及一种新型高速缓存文件系统架构。



背景技术:

文件系统,特别是分布式大型文件系统是目前主流的存储架构,它由通用的商用服务器和磁盘构成,提供大容量、高性能、高可靠性,在各行业中应用广泛。

目前有许多流行的分布式文件系统,特别是一些开源的文件系统,因其使用便宜的通用服务器,软件又是开源的,因此性价比很高。但存在一个严重的问题:这些文件系统在性能上都表现不佳。原因大概有2类:一是因为开源的软件,开发人员较分散,在架构、性能优化上不够;二是使用的是通用服务器,虽然配置很高,但没有针对性的优化适配开发,性能低,限制了此类文件系统的应用场景。

但这类文件系统具备丰富的接口、特性和功能,在归档、大容量冷存储上是具备优势的,但如果在高io场景,系统稳定性,及针对硬件的性能挖掘上不足,如即使配置了nvmessd性能也很难得到大幅提高。而如果要在此类文件系统进行架构优化或代码重构,工作量巨大,且风险巨大。



技术实现要素:

针对现有技术存在的问题,本发明提供一种新型高速缓存文件系统架构。

为实现上述目的,本发明的具体技术方案如下:

一种新型高速缓存文件系统架构,包括应用程序模块、底层文件系统,所述应用程序模块用于获取用户业务的数据,所述底层文件系统用于存储所述的用户业务的数据;该系统架构还包括一高性能缓存文件系统及一策略模块,所述高性能缓存文件系统配置在应用程序模块与底层文件系统之间,作为底层文件系统的缓冲层存储所述应用程序模块获取的用户业务的数据;所述策略模块用于协调底层文件系统与高性能缓存文件系统的数据存储。

较佳地,所述高性能缓存文件系统与底层文件系统相互独立,可动态的安装、卸载。

较佳地,所述底层文件系统配置为hdd机械盘加载执行,所述高性能缓存文件系统配置为高性能ssd盘或nvme盘加载执行。

较佳地,所述策略模块用于协调底层文件系统与高性能缓存文件系统的数据存储的控制因素包括:

(1)文件位置、名称、类型;

(2)文件大小;

(3)文件创建、访问时间;

(4)文件访问热度。

较佳地,所述策略模块还用于将高性能缓存文件系统新建的文件或修改的文件内容同步到底层文件系统中,该同步策略包括两种:

(1)定时任务同步;

(2)当高性能文件系统的容量达到上限时,同步文件并清理空间。

本发明的有益效果:

本发明单独设计开发一套高速缓存文件系统,这样既不会对原有的文件系统产生影响,也可快速提升整体系统的性能,在高性能场景中得到应用。高速缓存文件系统针对新的硬件进行专项优化,部署于底层文件系统与应用程序之间,并可动态的安装、卸载,作为底层文件系统的缓存层接入用户业务,在提供高性能高稳定性的同时,还可保留底层文件系统的丰富特性和性价比优势。

附图说明

图1为本发明的原理框架图。

具体实施方式

以下结合附图和具体实施例,对本发明进一步说明。

参照图1所示,本发明提供一种新型高速缓存文件系统架构,包括应用程序模块、底层文件系统,所述应用程序模块用于获取用户业务的数据,所述底层文件系统用于存储所述的用户业务的数据;该系统架构还包括一高性能缓存文件系统及一策略模块,所述高性能缓存文件系统配置在应用程序模块与底层文件系统之间,作为底层文件系统的缓冲层存储所述应用程序模块获取的用户业务的数据;所述策略模块用于协调底层文件系统与高性能缓存文件系统的数据存储。

其中,所述高性能缓存文件系统与底层文件系统相互独立,可动态的安装、卸载。

所述底层文件系统配置为hdd机械盘加载执行,所述高性能缓存文件系统配置为高性能ssd盘或nvme盘加载执行。

所述策略模块用于协调底层文件系统与高性能缓存文件系统的数据存储的控制因素包括:

(1)文件位置、名称、类型;

(2)文件大小;

(3)文件创建、访问时间;

(4)文件访问热度。

例如,可以设置某一位置的所有文件采用高性能缓存文件系统,也可以设置某些类型的文件、或大小的文件等采用高性能缓存文件系统进行存储。

本发明中,所述策略模块还用于将高性能缓存文件系统新建的文件或修改的文件内容同步到底层文件系统中,该同步策略包括两种:

(1)定时任务同步;

(2)当高性能文件系统的容量达到上限时,同步文件并清理空间。

本发明的上述系统架构,在具体数据读取的时候按如下模式进行:

(1)当客户端读取1个文件时,高性能文件系统中没有此文件的缓存,这时需要从底层文件系统将此文件提升上来,同时,将文件内容返回给客户端;

(2)当修改1个文件时,如果这个文件在高性能文件系统存在,将直接在高性能文件系统内部进行修改。如果文件不在,则直接将写请求转发到底层文件系统处理;

(3)当删除1个文件时,如果在高性能文件系统中,则直接删除,并将请求转发给底层文件系统进行同步删除;如果不在则转发到底层文件系统进行删除;

(4)当客户端新建1个文件时,可根据策略决定是在高性能文件系统中创建,还是在底层文件系统创建。可控制的因素与读取文件时一致。

本发明相当于将高速缓存文件系统部署于底层的性能较差的文件系统之上,可快速提高整体文件系统的处理性能,扩展文件系统的应用领域。同时缓存文件系统独立提供,可动态安装、卸载,对底层文件系统不产生影响。

另外,用户看到的是统一的目录视图。高性能缓存文件系统与底层文件系统目录融合成一个并集,部分文件在高级文件系统,部分文件在底层文件系统,给用户提供一个统一的目录视图。对底层的文件系统没有要求,支持基本的posix接口即可。

以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。



技术特征:

技术总结
本发明公开一种新型高速缓存文件系统架构,包括应用程序模块、底层文件系统,所述应用程序模块用于获取用户业务的数据,所述底层文件系统用于存储所述的用户业务的数据;该系统架构还包括一高性能缓存文件系统及一策略模块,所述高性能缓存文件系统配置在应用程序模块与底层文件系统之间,作为底层文件系统的缓冲层存储所述应用程序模块获取的用户业务的数据;所述策略模块用于协调底层文件系统与高性能缓存文件系统的数据存储。本发明单独设计开发一套高速缓存文件系统,这样既不会对原有的文件系统产生影响,也可快速提升整体系统的性能,在高性能场景中得到应用。

技术研发人员:刘凯;刘毅
受保护的技术使用者:深圳市瑞驰信息技术有限公司
技术研发日:2018.06.19
技术公布日:2018.11.16
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1