一种分布式文件系统元数据热度统计方法
【专利摘要】一种数据热度统计方法，包括：接收客户端发送的元数据信息访问请求；根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。能维护整个文件系统下各个目录或文件的热度值，以便后续的负载计算、元数据集群和动态子树分区开发。
【专利说明】一种分布式文件系统元数据热度统计方法
【技术领域】
[0001]本发明涉及数据存储领域，尤其涉及一种分布式文件系统元数据热度统计方法。
【背景技术】
[0002]目前，分布式文件系统已经得到广泛应用，特别是在集群嫩3文件系统、大型海量存储系统等应用中显得尤其突出。分布式文件系统分为元数据服务器、数据服务器和客户端。客户在客户端写入数据后首先将数据的元数据信息保存到元数据服务器上，元数据服务器中指定了数据的存放位置，就可以将数据写入到对应的数据服务器端。当客户在客户端存取大量小文件时对元数据服务器压力很大，为了解决元数据的压力，提高元数据服务器端吞吐量，可以通过元数据集群解决这一问题。而开发元数据集群功能必不可少的工作就是有效地统计元数据的热度值，依据元数据的热度值将元数据压力分配到每个元数据进程，从而大大提升分布式文件系统小文件10性能。
【发明内容】
[0003]本发明要解决的技术问题是提供一种分布式文件系统元数据热度统计方法，能维护整个文件系统下各个目录或文件的热度值，以便后续的负载计算、元数据集群和动态子树分区开发。
[0004]一种数据热度统计方法，包括:
[0005]接收客户端发送的元数据信息访问请求；
[0006]根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
[0007]可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括:所述目录或者文件被访问一次，所述目录或者文件的热度值加一。
[0008]可选地，还包括:当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。
[0009]可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括:当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。
[0010]可选地，所述预定阈值为2秒。
[0011]一种数据热度统计装置，包括接收模块，用于接收客户端发送的元数据信息访问请求；更新模块，用于根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
[0012]可选地，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括:所述目录或者文件被访问一次，所述目录或者文件的热度值加一。
[0013]可选地，所述更新模块，还用于当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件的当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。
[0014]可选地，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括:当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。
[0015]可选地，所述预定阀值为2秒。
[0016]本发明的创新点之一是将热度衰减时间阈值I。设为28，如果I。设置较小会带来频繁的热度衰减计算；如果^设置太长会导致热度衰减不明显，整个文件系统下的热度值维护比较繁琐。经过多次测试证明I。设置为28比较合理。
[0017]本发明的另一个创新点是父目录热度值为其子目录和/或其下文件热度值之和，这样能依据热度值的大小来实现整个元数据进程负载统计和元数据集群动态子树分区。
【专利附图】
【附图说明】
[0018]附图1为方法流程图；
[0019]附图2为本发明中分布式文件系统整个目录热度值简单维护模型；
[0020]附图3是一个实施例的目录被访问后整个目录热度值的变化模型。
【具体实施方式】
[0021]下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
[0022]需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0023]—种数据热度统计方法，包括:
[0024]接收客户端发送的元数据信息访问请求；
[0025]根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
[0026]图1为方法的流程图。
[0027]步骤1:接收客户端发送的元数据信息访问请求；
[0028]步骤2:根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
[0029]可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括:所述目录或者文件被访问一次，所述目录或者文件的热度值加一。
[0030]可选地，还包括:当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。
[0031]可选地，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括:当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。
[0032]可选地，所述预定阈值为2秒。
[0033]一种数据热度统计装置，包括接收模块，用于接收客户端发送的元数据信息访问请求；更新模块，用于根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
[0034]可选地，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括:所述目录或者文件被访问一次，所述目录或者文件的热度值加一。
[0035]可选地，所述更新模块，还用于当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件的当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。
[0036]可选地，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括:当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。
[0037]可选地，所述预定阀值为2秒。
[0038]该方法主要在软件层面实现，具体流程如下:
[0039](1)每次客户端发送元数据信息访问后，在原热度值的基础上更新一次元数据热度值。
[0040](2)元数据热度更新完后，判断两次更新热度间隔时间是否?28，如果?28，执行热度衰减；否则不执行。
[0041〕 (3)文件热度值更新完后，再更新父目录以及更高祖先目录的热度值，通过直接累加其下目录或文件热度值进行更新
[0042]如图2所示:
[0043]系统包括根目录，
[0044]第一级子目录，包括第一级子目录1、第一级子目录2 ；
[0045]第二级子目录，包括第二级子目录1、第二级子目录2、第二级子目录3 ；
[0046]第三级子目录，包括第三级子目录1、第三级文件2、第三级文件3、第三级文件4、第三级文件5 ；
[0047]上文所述的阿拉伯数字“3” “4” “5”等，只是表示区分，并不表示先后顺序。
[0048]根目录的热度值为51，
[0049]其下包括:
[0050]第一级子目录1，热度值为10 ；
[0051]第一级子目录2，热度值为41 ；
[0052]第一级子目录下面为第二级子目录；
[0053]第一级子目录1，其下包括:第二级子目录1，热度值为10 ；
[0054]第一级子目录2，其下包括:
[0055]第二级子目录2，热度值为20 ；
[0056]第二级子目录3，热度值为21 ；
[0057]第二级子目录下面为第三级子目录
[0058]第二级子目录1、其下包括:
[0059]第三级子目录1，热度值为0 ；
[0060]第三级文件1，热度值为10 ；
[0061]第二级子目录2、其下包括:
[0062]第三级文件2，热度值为20 ；
[0063]第二级子目录3、其下包括:
[0064]第三级文件3，热度值为15 ；
[0065]第三级文件4，热度值为0 ；
[0066]第三级文件5，热度值为6。
[0067]其中，某一个第化1级子目录，可以看成是与其相连的第~级子目录或第~级文件的根目录#大于等于1；
[0068]比如图中，第二级子目录1，可以看成是第三级子目录1的根目录，
[0069]第二级子目录3，可以看成是第三级文件3、第三级文件4、第三级文件5的根目录；
[0070]系统还可以扩展，还可以包括第四级子目录，第五级子目录，以此类推，等等，本申请不做限制。
[0071]结合图3举例说明，
[0072]比如，当第三级子目录1，被访问一次，热度值加1，从0变为了 1，
[0073]相应地，第二级子目录1，热度值加1，从10变为11 ；
[0074]相应地，第一级子目录1，热度值加1，从10变为11 ；
[0075]相应地，根目录的热度值加1，从51变为52。
[0076]本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
[0077]当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
【权利要求】
1.一种数据热度统计方法，其特征在于，包括: 接收客户端发送的元数据信息访问请求； 根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
2.如权利要求1所述的方法，其特征在于，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括:所述目录或者文件被访问一次，所述目录或者文件的热度值加一。
3.如权利要求1所述的方法，其特征在于，还包括: 当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。
4.如权利要求2所述的方法，其特征在于，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括:当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。
5.如权利要求4所述的方法，其特征在于，所述预定阈值为2秒。
6.一种数据热度统计装置，其特征在于，包括接收模块，用于接收客户端发送的元数据信息访问请求；更新模块，用于根据所述元数据信息访问请求，对作为所述元数据访问请求对象的目录或者文件的热度值进行更新。
7.如权利要求6所述的装置，其特征在于，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新，包括:所述目录或者文件被访问一次，所述目录或者文件的热度值加一。
8.如权利要求6所述的装置，其特征在于，所述更新模块，还用于当文件或目录的热度值变化后，累加变化的目录或者文件的上一级目录下的各个目录或者文件的当前的热度值，将累加值作为所述目录或者文件的上一级目录新的热度值。
9.如权利要求7所述的装置，其特征在于，所述更新模块，用于对作为所述元数据访问请求对象的目录或者文件的热度值进行更新还包括:当两次相邻的访问的时间间隔超过预定阀值，对作为所述元数据访问请求对象的热度值减一。
10.如权利要求9所述的装置，其特征在于，所述预定阀值为2秒。
【文档编号】G06F17/30GK104484460SQ201410838584
【公开日】2015年4月1日 申请日期:2014年12月29日 优先权日:2014年12月29日
【发明者】张延良, 张在贵, 程瑶 申请人:浪潮(北京)电子信息产业有限公司