一种集群存储系统的读写性能优化框架及方法
【技术领域】
[0001]本发明涉及数据存储技术领域，特别涉及一种集群存储系统的读写性能优化框架及方法。
【背景技术】
[0002]当前，服务器集群存储系统中通常包括元数据存储模块和数据存储模块。而服务器集群存储系统一般基于两种存储机制对外部请求进行响应，这两种存储机制分别为大型文件读写机制和小型文件读写机制。
[0003]在大型文件读写机制下，当接收到客户端发送的针对大型文件的文件写入请求时，需先将上述大型文件发送至元数据存储模块，通过元数据存储模块将上述大型文件中转至上述数据存储模块，以利用数据存储模块对大型文件进行存储；当接收到客户端发送的针对大型文件的文件读取请求时，则通过元数据存储模块将数据存储模块中存储的相应的大型文件中转至客户端。
[0004]在小型文件读写机制下，当接收到客户端发送的针对小型文件的文件写入请求时，是将客户端发送的小型文件直接存储至元数据存储模块；当接收到客户端发送的针对小型文件的文件读取请求时，元数据存储模块将自身存储的相应的小型文件直接发送至客户端。
[0005]然而，当服务器集群存储系统接收到客户端发送的文件读写请求时，均需要先对与该文件读写请求对应的文件进行文件大小判断，以确定究竟是采用哪种文件读写机制对该文件读写请求进行响应。这种每接收到一个文件读写请求均需进行文件大小判断的做法显然会加重系统的负担，尤其是当存在大量的客户端同时向服务器集群存储系统发起文件读写请求时，系统的负担将会变得异常巨大，从而降低了服务器集群存储系统的性能。
[0006]综上所述可以看出，如何避免每接收到一个文件读写请求均需进行文件大小判断的现象，以提高系统性能是目前亟待解决的问题。
【发明内容】
[0007]有鉴于此，本发明的目的在于提供一种集群存储系统的读写性能优化框架及方法，避免了每接收到一个文件读写请求均需进行文件大小判断的现象，从而提高了系统性能。其具体方案如下:
[0008]—种集群存储系统的读写性能优化框架，所述集群存储系统包括元数据存储模块和数据存储模块；所述优化框架包括:
[0009]配置符生成器，用于在客户端生成与应用场景对应的目标配置符；其中，所述目标配置符为与大型文件应用场景相对应的第一配置符，或与小型文件应用场景相对应的第二配置符；所述大型文件为文件大小大于预设值的文件；所述小型文件为文件大小小于或等于所述预设值的文件；
[0010]适配器，用于对所述配置符生成器发送的所述目标配置符进行存储；
[0011]配置符读取器，用于对所述集群存储系统的上电动作进行实时监测，当监测到所述集群存储系统上电时，对所述适配器中存储的所述目标配置符进行读取；
[0012]读写控制器，用于获取所述配置符读取器发送的所述目标配置符，当所述目标配置符为所述第一配置符时，采取大型文件读写机制对所述集群存储系统进行文件读写控制；当所述目标配置符为所述第二配置符时，则采取小型文件读写机制对所述集群存储系统进行文件读写控制。
[0013]优选的，所述集群存储系统为位于分布式存储系统或云存储系统中的子系统；所述配置符生成器位于所述客户端；所述适配器、所述配置符读取器和所述读写控制器均位于所述集群存储系统。
[0014]优选的，所述读写控制器包括:
[0015]配置符获取模块，用于获取所述配置符读取器发送的所述目标配置符；
[0016]文件读取控制模块，用于当所述配置符获取模块获取的所述目标配置符为所述第一配置符时，控制所述元数据存储模块将所述数据存储模块中存储的相应的大型文件中转至所述客户端；当所述配置符获取模块获取的所述目标配置符为所述第二配置符时，控制所述元数据存储模块将自身存储的相应的小型文件直接发送至所述客户端；
[0017]文件写入控制模块，用于当所述配置符获取模块获取的所述目标配置符为所述第一配置符时，控制所述元数据存储模块将所述客户端发送的大型文件中转至所述数据存储模块；当所述配置符获取模块获取的所述目标配置符为所述第二配置符时，控制所述元数据存储模块直接获取并存储所述客户端发送的小型文件。
[0018]优选的，所述配置符生成器包括:
[0019]配置符生成单元，用于提供配置信息输入接口，通过所述配置信息输入接口获取所述客户端的用户输入的与应用场景对应的配置信息，并根据该配置信息生成与应用场景对应的目标配置符；
[0020]配置符发送单元，用于将所述配置符生成单元生成的所述目标配置符发送至所述适配器。
[0021 ] 优选的，所述配置信息输入接口为客户端的命令行输入接口。
[0022]优选的，所述配置符生成器包括:
[0023]应用场景识别单元，用于对所述客户端的应用场景进行自动识别；
[0024]配置符生成单元，用于根据所述应用场景识别单元识别到的应用场景，生成相应的目标配置符；
[0025]配置符发送单元，用于将所述配置符生成单元生成的所述目标配置符发送至所述适配器。
[0026]本发明还公开了一种集群存储系统的读写性能优化方法，所述集群存储系统包括元数据存储模块和数据存储模块；所述优化方法包括:
[0027]在客户端生成与应用场景对应的目标配置符，并将所述目标配置符存储至适配器；其中，所述目标配置符为与大型文件应用场景相对应的第一配置符，或与小型文件应用场景相对应的第二配置符；所述大型文件为文件大小大于预设值的文件；所述小型文件为文件大小小于或等于所述预设值的文件；
[0028]对所述集群存储系统的上电动作进行实时监测，当监测到所述集群存储系统上电时，对所述适配器中存储的所述目标配置符进行读取，并当读取到的所述目标配置符为所述第一配置符时，采取大型文件读写机制对所述集群存储系统进行文件读写控制；当读取到的所述目标配置符为所述第二配置符时，则采取小型文件读写机制对所述集群存储系统进行文件读写控制。
[0029]优选的，所述采取大型文件读写机制对所述集群存储系统进行文件读写控制的过程，包括:
[0030]控制所述元数据存储模块将所述数据存储模块中存储的相应的大型文件中转至所述客户端，或者控制所述元数据存储模块将所述客户端发送的大型文件中转至所述数据存储模块；
[0031]所述采取小型文件读写机制对所述集群存储系统进行文件读写控制的过程，包括:
[0032]控制所述元数据存储模块将自身存储的相应的小型文件直接发送至所述客户端，或者控制所述元数据存储模块直接获取并存储所述客户端发送的小型文件。
[0033]优选的，所述在客户端生成与应用场景对应的目标配置符的过程，包括:
[0034]提供配置信息输入接口，通过所述配置信息输入接口获取所述客户端的用户输入的与应用场景对应的配置信息，并根据该配置信息，生成与应用场景对应的目标配置符。
[0035]优选的，所述在客户端生成与应用场景对应的目标配置符的过程，包括:
[0036]对所述客户端的应用场景进行自动识别，并根据识别到的应用场景，生成相应的目标配置符。
[0037]本发明中，读写性能优化框架包括:配置符生成器，用于在客户端生成与应用场景对应的目标配置符；适配器，用于对配置符生成器发送的目标配置符进行存储；配置符读取器，用于对集群存储系统的上电动作进行实时监测，当监测到集群存储系统上电时，对适配器中存储的目标配置符进行读取；读写控制器，用于获取配置符读取器发送的目标配置符，当目标配置符为第一配置符时，采取大型文件读写机制对集群存储系统进行文件读写控制；当目标配置符为第二配置符时，则采取小型文件读写机制对集群存储系统进行文件读写控制。可见，本发明中，可以在客户端上生成与应用场景相对应的目标配置符，并将该目标配置符存储至适配器中；当监测到集群存储系统上电时，配置符读取器便可对存储在适配器中的目标配置符进行读取，并根据读取到的目标配置符的类型，决定是采用大型文件读写机制还是小型文件读写机制对集群存储系统进行文件读写控制，这样，只要用户在集群存储系统上电之前，利用客户端生成与当前应用场景相对应的目标配置符，便可在集群存储系统上电之后，控制集群存储系统一直采用与目标配置符对应的文件读写机制来进行文件读写处理，而无需对文件大小进行反复地判断，也即避免了每接收到一个文件读写请求均