一种分布式文件系统元数据处理延时统计方法
【技术领域】
[0001]本发明涉及分布式文件系统技术领域，特别是涉及一种分布式文件系统元数据处理延时统计方法。
【背景技术】
[0002]目前，分布式文件系统已经普遍应用各种行业，从文件系统处理的文件来分，可以将应用分为大文件应用、小文件应用和混合应用，大文件应用主要考虑文件系统的吞吐量，主要是数据落盘操作，小文件应用主要会有大量的元数据操作，然后是落盘操作。
[0003]分布式文件系统分为元数据服务器、数据服务器和客户端。针对小文件应用，对元数据性能要求较高，目前还没有统计元数据处理延时的方法。
[0004]元数据的处理时间是小文件性能指标的主要部分，小文件性能指标一般用延时来衡量，即一个文件操作所需时间，则元数据处理时间也称为元数据处理延时。有了延时指标就能得出文件系统每秒处理的文件数，即OPS (operat1n per seconds，文件系统每秒处理的文件数)。
[0005]现在统计文件系统元数据延时的一般方法是获取多个文件的元数据操作总时间，将总时间除以文件数目，得到平均的元数据处理延时，这种方法只能获取元数据处理延时的平均值，并不能获取准确的真实的每个文件操作的元数据处理延时，所以获取的元数据处理延时的准确性不高。
【发明内容】
[0006]本发明的目的是提供一种分布式文件系统元数据处理延时统计方法，以实现提高元数据处理延时的准确性。
[0007]为解决上述技术问题，本发明提供一种分布式文件系统元数据处理延时统计方法，该方法包括:
[0008]当客户端需要进行文件操作时，客户端在文件操作指令的作用下触发元数据请求操作，检测到元数据请求操作；
[0009]客户端检测到元数据请求操作之时，记录检测到元数据请求操作的第一时间点tl，并向元数据服务器发送所述元数据请求操作；
[0010]所述元数据服务器接收所述元数据请求操作进行相应的操作处理，操作处理结束后向所述客户端返回请求响应消息；
[0011]所述客户端接收所述请求响应消息，并记录接收到所述请求响应消息的第二时间点t2 ;
[0012]所述客户端利用所述第一时间点tl和第二时间点t2，获取元数据处理延时T1 ;其中，所述元数据处理延时T1的计算公式为:T1 = t2-tlo
[0013]优选的，所述客户端利用所述第一时间点tl和第二时间点t2，获取元数据处理延时T1之后，还包括:
[0014]所述客户端将所述元数据处理延时T1输出到文件系统日志中。
[0015]优选的，所述客户端利用所述第一时间点tl和第二时间点t2，获取元数据处理延时T1之后，还包括:
[0016]所述客户端将所述请求响应消息输出到文件系统日志中。
[0017]优选的，所述客户端利用所述第一时间点tl和第二时间点t2，获取元数据处理延时T1之后，还包括:
[0018]在所述第二时间点t2，客户端对文件操作中需要读取的数据进行数据处理，数据处理结束后，记录数据处理结束的第三时间点t3 ;
[0019]客户端利用第一时间点tl和第三时间点t3，获取文件操作延时T2 ;其中，所述文件操作延时T2的计算公式为:T2 = t3-tl0
[0020]优选的，所述客户端利用第一时间点tl和第三时间点t3，获取文件操作延时T2之后，还包括:
[0021]所述客户端将所述文件操作延时T2输出到文件系统日志中。
[0022]优选的，所述在所述第二时间点t2，客户端对文件操作中需要读取的数据进行数据处理，数据处理结束后，记录数据处理结束的第三时间点t3，包括:
[0023]客户端向数据服务器发送数据请求操作；
[0024]所述数据服务器接收所述数据请求操作进行相应的操作处理，操作处理结束后向所述客户端返回数据请求响应消息；
[0025]所述客户端接收所述数据请求响应消息，并记录接收到所述数据请求响应消息的第三时间点t3。
[0026]优选的，所述客户端接收所述数据请求响应消息，并记录接收到所述数据请求响应消息的第三时间点t3之后，还包括:
[0027]所述客户端将所述数据请求响应消息输出到文件系统日志中。
[0028]优选的，所述客户端检测到元数据请求操作之时，记录检测到元数据请求操作的第一时间点tl之后，还包括:
[0029]所述客户端处理文件系统中多个文件操作，当所述多个文件操作的处理都结束时，记录所述多个文件操作的处理都结束的第四时间点t4 ;
[0030]所述客户端依据所述第一时间点tl、第四时间点t4及所述多个文件操作的数目n，获取文件系统每秒处理的文件数0PS，所述文件系统每秒处理的件数0PS的计算公式为:OPS = (t4_tl)/η。
[0031]本发明所提供的一种分布式文件系统元数据处理延时统计方法，当客户端需要进行文件操作时，客户端在文件操作指令的作用下触发元数据请求操作，检测到元数据请求操作；客户端检测到元数据请求操作之时，记录检测到元数据请求操作的第一时间点tl，并向元数据服务器发送所述元数据请求操作；所述元数据服务器接收所述元数据请求操作进行相应的操作处理，操作处理结束后向所述客户端返回请求响应消息；所述客户端接收所述请求响应消息，并记录接收到所述请求响应消息的第二时间点t2 ;所述客户端利用所述第一时间点tl和第二时间点t2，获取元数据处理延时T1 ;其中，所述元数据处理延时T1的计算公式为:T1 = t2-tlo可见，客户端通过检测到元数据请求操作之时，记录检测到元数据请求操作的第一时间点tl，并记录接收到请求响应消息的第二时间点t2，即记录了元数据处理过程的开始时间和结束时间，通过两个时间点的差值得到元数据处理延时，这样能够获取每次文件操作下元数据处理延时，得到真实的元数据处理延时，提高元数据处理延时的准确性。
【附图说明】
[0032]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]图1为本发明所提供的一种分布式文件系统元数据处理延时统计方法的流程图。
【具体实施方式】
[0034]本发明的核心是提供一种分布式文件系统元数据处理延时统计方法，以实现提高元数据处理延时的准确性。
[0035]为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]请参考图1，图1为本发明所提供的一种分布式文件系统元数据处理延时统计方法的流程图，该方法包括:
[0037]步骤S11:当客户端需要进行文件操作时，客户端在文件操作指令的作用下触发元数据请求操作，检测到元数据请求操作；
[0038]步骤S12:客户端检测到元数据请求操作之时，记录检测到元数据请求操作的第一时间点tl，并向元数据服务器发送元数据请求操作；
[0039]步骤S13:元数据服务器接收元数据请求操作进行相应的操作处理，操作处理结束后向客户端返回请求响应消息；
[0040]步骤S14:客户端接收请求响应消息，并记录接收到请求响应消息的第二时间点t2 ；
[0041]步骤S15:客户端利用第一时间点tl和第二时间点t2，获取元数据处理延时T1。
[0042]其中，元数据处理延时T1的计算公式为:T1 = t2-tlo
[0043]其中，客户端在利用第一时间点tl和第二时间点t2，获取元数据处理延时T1之后，客户端将元数据处理延时T1输出到文件系统日志中。当然，客户端在利用第一时间点tl和第二时间点t2，获取元数据处理延时T1之后，客户端也能将请求响应消息输出到文件系统日志中。
[0044]该方法主要是在分布式文件系统的客户端，即在客户端有元数据操作请求时记录元数据操作开始时间，当客户端收到请求回复时记录本次元数据操作结束时间，之间的差值就为本次元数据操作用时，即元数据处理延时。该方法提供了统计元数据处理延时的方法，通过该方法也可以得出每次元数据处理延时、一个文件操作延时和文件系统OPS，0PS即文件系统每秒处理的文件数。
[0045]该方法实现主要模块为分布式文件系统客户端，该模块的特征为:在客户端的所有元数据请求中记录请求开始时间，然后在请求相应同时记录请求结束时间，最后再日志中输出每个请求的处理时间。若将一个文件操作算作一个元数据操作的话，将这个文件的所有元数据操作延时加起来就是这个文件的操作延时。
[0046]客户端也能够获取文件操作延时。首先，客户端在利用所述第一时间点tl和第二时间