一种分布式集群系统的文件存储方法及装置的制造方法
【技术领域】
[0001]本发明涉及存储技术领域，特别是涉及一种分布式集群系统的文件存储方法及装置。
【背景技术】
[0002]目前分布式集群存储越来越流行，目的是通过高可扩展性来提供大容量和高性能。但是针对小文件(256K以下)，比如4K、8K、16K等小文件的存储，体现不出其性能的优势。
[0003]现有技术中针对分布式集群存储系统小文件提升的一种实现方案是:通过增加SSD硬盘把小文件存储在SSD硬盘上，利用SSD硬盘的高速度来提升小文件性能。但由于SSD硬盘成本高，因此这种方式是通过增加硬件成本来提高性能的。这与通过廉价硬件构建大规模集群存储系统的初衷相违背。
[0004]因此，怎样在不增加硬件成本的基础上提升分布式集群存储系统小文件存储的性能变得尤为重要。
【发明内容】
[0005]本发明的目的是提供一种分布式集群系统的文件存储方法及装置，目的在于在不增加硬件成本的基础上提升分布式集群存储系统小文件存储的性能。
[0006]为解决上述技术问题，本发明提供一种分布式集群系统的文件存储方法，包括:
[0007]接收客户端写入文件的请求；
[0008]获取待写入文件的大小，将所述待写入文件的大小值与预设阈值进行比较；
[0009]当所述待写入文件的大小小于所述预设阈值时，为所述待写入文件分配预设大小的缓存；
[0010]将所述待写入文件写入所述缓存。
[0011]可选地，所述将所述待写入文件写入所述缓存包括:
[0012]将所述待写入文件写入所述缓存，并给所述客户端返回写入成功的确认信息。
[0013]可选地，在将所述待写入文件写入所述缓存之后还包括:
[0014]当写入所述缓存的文件总量达到预设固定容量后，将写入所述缓存的文件写入到磁盘中。
[0015]可选地，还包括:
[0016]接收客户端发起读取文件的请求；
[0017]获取待读取文件的大小，将所述待读取文件的大小值与所述预设阈值进行比较；
[0018]当所述待读取文件的大小小于所述预设阈值时，为所述待读取文件分配读缓存空间；
[0019]将所述待读取文件从磁盘中读取至所述读缓存空间；
[0020]从所述读缓存空间中读取所述待读取文件。
[0021]可选地，在所述接收客户端发起文件读取的请求之后还包括:
[0022]检测所述读缓存空间中是否存在所述待读取文件；如果有，则直接从所述读缓存空间中进行读取；如果否，则执行后续操作。
[0023]本发明还提供了一种分布式集群系统的文件存储装置，包括:
[0024]接收模块，用于接收客户端写入文件的请求；
[0025]比较模块，用于获取待写入文件的大小，将所述待写入文件的大小值与预设阈值进行比较；
[0026]分配模块，用于当所述待写入文件的大小小于所述预设阈值时，为所述待写入文件分配预设大小的缓存；
[0027]写入模块，用于将所述待写入文件写入所述缓存。
[0028]可选地，所述写入模块具体用于:
[0029]将所述待写入文件写入所述缓存，并给所述客户端返回写入成功的确认信息。
[0030]可选地，还包括:
[0031]写入磁盘模块，用于在将所述待写入文件写入所述缓存之后，当写入所述缓存的文件总量达到预设固定容量后，将写入所述缓存的文件写入到磁盘中。
[0032]可选地，还包括:
[0033]读取模块，用于接收客户端发起读取文件的请求；获取待读取文件的大小，将所述待读取文件的大小值与所述预设阈值进行比较；当所述待读取文件的大小小于所述预设阈值时，为所述待读取文件分配读缓存空间；将所述待读取文件从磁盘中读取至所述读缓存空间；从所述读缓存空间中读取所述待读取文件。
[0034]可选地，所述读取模块还包括:
[0035]检测单元，用于在所述接收客户端发起文件读取的请求之后，检测所述读缓存空间中是否存在所述待读取文件；如果有，则直接从所述读缓存空间中进行读取；如果否，则执行后续操作。
[0036]本发明所提供的分布式集群系统的文件存储方法及装置，接收客户端写入文件的请求；并获取待写入文件的大小，将待写入文件的大小值与预设阈值进行比较；当待写入文件的大小小于预设阈值时，为待写入文件分配预设大小的缓存；将待写入文件写入所述缓存。本发明通过为小文件存储分配一定容量的缓存，而由于缓存由服务器内存空间构成，内存的访问速度较快，远远高于任何磁盘介质，包括SSD硬盘，因此通过该缓存机制，能够大幅提升小文件存储的性能。
【附图说明】
[0037]图1为本发明所提供的分布式集群系统的文件存储方法的一种【具体实施方式】的流程图；
[0038]图2为本发明所提供的分布式集群系统的文件存储方法的一种【具体实施方式】中文件读取的流程图；
[0039]图3为本发明所提供的分布式集群系统的文件存储装置的一种【具体实施方式】的结构框图。
【具体实施方式】
[0040]为了使本技术领域的人员更好地理解本发明方案，下面结合附图和【具体实施方式】对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]本发明所提供的分布式集群系统的文件存储方法的一种【具体实施方式】的流程图如图1所示，该方法包括:
[0042]步骤S101:接收客户端写入文件的请求；
[0043]步骤S102:获取待写入文件的大小，将所述待写入文件的大小值与预设阈值进行比较；
[0044]步骤S103:当所述待写入文件的大小小于所述预设阈值时，为所述待写入文件分配预设大小的缓存；
[0045]步骤S104:将所述待写入文件写入所述缓存。
[0046]具体地，可以在将待写入文件写入缓存之后，给客户端返回写入成功的确认信息。
[0047]进一步地，当写入缓存的文件总量达到预设固定容量后，将写入缓存的文件写入到磁盘中。
[0048]本发明所提供的分布式集群系统的文件存储方法，接收客户端写入文件的请求；并获取待写入文件的大小，将待写入文件的大小值与预设阈值进行比较；当待写入文件的大小小于预设阈值时，为待写入文件分配预设大小的缓存；将待写入文件写入所述缓存。本发明通过为小文件存储分配一定容量的缓存，而由于缓存由服务器内存空间构成，内存的访问速度较快，远远高于任何磁盘介质，包括SSD硬盘，因此通过该缓存机制，能够大幅提升小文件存储的性能。
[0049]与上述写入过程相对应的，还包括对小文件进行读取的过程。该过程的流程图如图2所以，其可以具体为:
[0050]步骤S201:接收客户端发起读取文件的请求；
[0051]步骤S202:获取待读取文件的大小，将所述待读取文件的大小值与所述预设阈值进行比较；
[0052]步骤S203:当所述待读取文件的大小小于所述预设阈值时，为所述待读取文件分配读缓存空间；
[0053]步骤S204:将所述待读取文件从磁盘中读取至所述读缓存空间；
[0054]步骤S205:从所述读缓存空间中读取所述待读取文件。
[0055]作为一种【具体实施方式】，在所述接收客户端发起文件读取的请求之后还可以进一步包括:
[0056]检测所述读缓存空间中是否存在所述待读取文件；如果有，则直接从所述读缓存空间中进行读取；如果否，则执行后续操作。
[0057]下面对