一种分布式文件系统磁盘文件读写方法、装置和系统的制作方法
【技术领域】
[0001]本发明涉及分布式文件系统数据传输技术领域，特别是涉及一种分布式文件系统磁盘文件读写方法、装置和系统。
【背景技术】
[0002]在分布式文件系统中，通常通过元数据处理模块来处理客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性数据，并在将客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性处理处理完成后，将客户端需要写入磁盘的文件传输给磁盘和/或将客户端需要从磁盘读取的文件传输给该客户端。
[0003]目前，在现有的分布式文件系统中，通常仅设置一个元数据处理模块，仅通过该元数据处理模块的一个元数据进程来对客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性数据进行处理并传输，导致该元数据处理模块的数据处理压力极大，数据处理负载过高，降低了该分布式文件系统中客户端写入和/或读取磁盘文件的速率，同时，也降低了该分布式文件系统中客户端写入和/或读取磁盘文件的可靠性。其中，当客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件以小文件为主时，上述现象将表现得尤为明显。
【发明内容】
[0004]有鉴于此，本发明实施例提供一种分布式文件系统磁盘文件读写方法、装置和系统，以解决现有技术中通常仅设置一个元数据处理模块，仅通过该元数据处理模块的一个元数据进程来对客户端需要写入磁盘的文件和/或客户端需要从磁盘读取的文件的属性数据进行处理并传输，导致该元数据处理模块的数据处理压力极大，数据处理负载过高，降低了该分布式文件系统中客户端写入和/或读取磁盘文件的速率，同时，也降低了该分布式文件系统中客户端写入和/或读取磁盘文件的可靠性的问题。
[0005]为实现上述目的，本发明实施例提供如下技术方案:
[0006]—种分布式文件系统磁盘文件写入方法，所述分布式文件系统包括客户端、元数据处理模块集群和磁盘，所述元数据处理模块集群包括至少2个元数据处理模块，所述分布式文件系统磁盘文件写入方法包括:
[0007]所述元数据处理模块集群接收所述客户端发送的文件写入请求；
[0008]根据所述文件写入请求确定需写入的磁盘文件，将所有所述需写入的磁盘文件分配给各所述元数据处理模块；
[0009]控制各所述元数据处理模块分别将分配的需写入的磁盘文件发送给所述磁盘进行存储。
[0010]其中，所述将所有所述需写入的磁盘文件分配给各所述元数据处理模块前还包括:客户端确定需写入的磁盘文件，将各所述需写入的磁盘文件分别与一元数据处理模块进行绑定，得到第一磁盘文件绑定策略；
[0011]其中，所述将所有所述需写入的磁盘文件分配给各所述元数据处理模块包括:确定所述第一磁盘文件绑定策略，根据所述第一磁盘文件绑定策略将各所述需写入的磁盘文件分配给与其绑定的元数据处理模块。
[0012]其中，述将所有所述需写入的磁盘文件分配给各所述元数据处理模块包括:
[0013]确定当前所有所述元数据处理模块的CPU利用率；
[0014]将当前待分配的需写入的磁盘文件分配给当前CPU利用率最低的元数据处理模块，直到所有所述需写入的磁盘文件全部被分配。
[0015]—种分布式文件系统磁盘文件写入装置，包括:第一接收模块、第一分配模块和第一发送模块；其中，
[0016]所述第一接收模块，用于接收客户端发送的文件写入请求；
[0017]所述第一分配模块，用于根据所述文件写入请求确定需写入的磁盘文件，将所有所述需写入的磁盘文件分配给各所述元数据处理模块；
[0018]所述第一发送模块，用于控制各所述元数据处理模块分别将分配的需写入的磁盘文件发送给磁盘进行存储。
[0019]—种分布式文件系统磁盘文件读取方法，所述分布式文件系统包括客户端、元数据处理模块集群和磁盘，所述元数据处理模块集群包括至少2个元数据处理模块，所述分布式文件系统磁盘文件读取方法包括:
[0020]所述元数据处理模块集群接收所述客户端发送的文件读取请求；
[0021]根据所述文件读取请求确定需读取的磁盘文件，将所有所述需读取的磁盘文件分配给各所述元数据处理模块；
[0022]控制各所述元数据处理模块分别将分配的需读取的磁盘文件发送给所述客户端。
[0023]其中，所述元数据处理模块集群接收所述客户端发送的文件读取请求前还包括:客户端确定需读取的磁盘文件，将各所述需读取的磁盘文件分别与一元数据处理模块进行绑定，得到第二磁盘文件绑定策略；
[0024]其中，所述将所有所述需读取的磁盘文件分配给各所述元数据处理模块包括:确定所述第二磁盘文件绑定策略，根据所述第二磁盘文件绑定策略将各所述需读取的磁盘文件分配给与其绑定的元数据处理模块。
[0025]其中，所述将所有所述需读取的磁盘文件分配给各所述元数据处理模块包括:
[0026]确定当前所有所述元数据处理模块的CPU利用率；
[0027]将当前待分配的需读取的磁盘文件分配给当前CPU利用率最低的元数据处理模块，直到所有所述需读取的磁盘文件全部被分配。
[0028]—种分布式文件系统磁盘文件读取装置，包括:第二接收模块、第二分配模块和第二发送模块；其中，
[0029]所述第二接收模块，用于接收客户端发送的文件读取请求；
[0030]所述第二分配模块，用于根据所述文件读取请求确定需读取的磁盘文件，将所有所述需读取的磁盘文件分配给各所述元数据处理模块；
[0031]所述第二发送模块，用于控制各所述元数据处理模块分别将分配的需读取的磁盘文件发送给所述客户端。
[0032]—种分布式文件系统磁盘文件读写系统，包括:客户端、元数据处理模块集群和磁盘，所述元数据处理模块集群包括至少2个元数据处理模块；其中，
[0033]所述客户端，用于向所述元数据处理模块集群发送文件写入请求或文件读取请求；
[0034]所述元数据处理模块集群，用于当接收所述客户端发送的文件写入请求时，根据所述文件写入请求确定需写入的磁盘文件，将所有所述需写入的磁盘文件分配给各所述元数据处理模块；控制各所述元数据处理模块分别将分配的需写入的磁盘文件发送给所述磁盘进行存储；
[0035]当接收所述客户端发送的文件读取请求时，根据所述文件读取请求确定需读取的磁盘文件，将所有所述需读取的磁盘文件分配给各所述元数据处理模块；控制各所述元数据处理模块分别将分配的需读取的磁盘文件发送给所述客户端；
[0036]所述磁盘，用于存储磁盘文件。
[0037]其中，所述客户端包括:第一发送模块和第二发送模块，其中，
[0038]所述第一发送模块，用于向所述元数据处理模块集群发送文件写入请求；
[0039]所述第二发送模块，用于向所述元数据处理模块集群发送文件读取请求；
[0040]其中，所述客户端还包括:第一绑定模块和第二绑定模块，其中，
[0041]所述第一绑定模块，用于确定需写入的磁盘文件，将各所述需写入的磁盘文件分别与一元数据处理模块进行绑定，得到第一磁盘文件绑定策略；
[0042]所述第二绑定模块，用于确定需读取的磁盘文件，将各所述需读取的磁盘文件分别与一元数据处理模块进行绑定，得到第二磁盘文件绑定策略。
[0043]基于上述技术方案，本发明实施例提供的分布式文件系统磁盘文件读写方法、装置和系统，元数据处理模块集群包括至少2个元数据处理模块，当元数据处理模块集群接收到客户端发送的文件写入请求时，根据该文件写入请求确定需写入的磁盘文件，将所有需写入的磁盘文件分配给各元数据处理模块，控制各元数据处理模块分别将分配的需写入的磁盘文件发送给磁盘进行存储；当元数据处理模块集群接收到客户端发送的文件读取请求时，根据该文件读取请求确定需读取的磁盘文件，将所有需读取的磁盘文件分配给各元数据处理模块，控制各元数据处理模块分别将分配的需读取的磁盘文件发送给所述客户端。无论客户端是向磁盘写入文件还是读取磁盘内文件，均将所有需要写入的磁盘文件或所有需要读取的磁盘文件分配给各个元数据处理模块，控制所有元数据处理模块共同对所有需要写入的磁盘文件或所有需要读取的磁盘文件进行处理，通过元数据处理模块集群加入元数据负载均衡的机制，将数据处理压力均衡分摊到多个元数据处理模块之上，降低了各单个元数据处理模块的数据处理负载压力，从而提高了分布式文件系统中客户端写入和/或读取磁盘文件的速率，同时，也提高了分布式文件系统中客户端写入和/或读取磁盘文件的可靠性。
【附图说明】
[0044]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0045]图1为本发明实施例提供的分布式文件系统磁盘文件写入方法的流程图；
[0046]图2为本发明实施例提供的分布式文件系统磁盘文件写入方法中得到第一磁盘文件绑定策略的方法流程图；
[004