分布式文件系统命名空间管理方法、装置和设备与流程

本技术涉及分布式存储，特别是涉及一种分布式文件系统命名空间管理方法、装置和设备。

背景技术：

1、目前，数据中心面临非结构化数据的爆发式增长的挑战，通常基于分布式文件系统存储非结构化数据。典型的使用模式为：建设一套分布式文件系统，并在其上运行多种计算应用。其中，元数据是分布式文件系统的重要组成部分，现今海量非结构化数据场景下文件系统中对元数据的访问操作占据了系统大半的工作负载，而当前文件系统又是通过建立元数据集群来分布式地管理元数据并提升并发访问能力的，因此，高效地管理元数据是提升文件系统性能的关键。

2、现有的元数据管理方法主要采用哈希等简单的算法进行文件系统子树分区的分配。当应用程序访问数据时，该方法会存在跨元数据服务的锁竞争协调、子树分区的动态调整频繁等问题，导致分布式文件系统性能的降低。

技术实现思路

1、基于此，本技术提供了一种分布式文件系统命名空间管理方法、装置和设备，以提升分布式文件系统性能。

2、第一方面，提供一种分布式文件系统命名空间管理方法，该方法应用于分布式文件系统命名空间管理系统，该分布式文件系统命名空间管理系统包括至少一个服务端和至少一个客户端，服务端通过交换网络与客户端连接，其中，服务端设置有命名空间管理服务单元，命名空间管理服务单元包括命名空间访问特征分析模块、命名空间授权管理模块和元数据服务模块，客户端运行有应用程序且设置有命名空间访问特征统计模块，分布式文件系统包括命名空间管理服务单元和命名空间访问特征统计模块，客户端的应用程序通过分布式文件系统访问服务端上的数据资源；该方法包括：

3、响应于应用程序访问分布式文件系统的命名空间，命名空间访问特征统计模块获取应用程序访问命名空间的特征信息；

4、客户端向目标服务端的命名空间访问特征分析模块发送特征信息，其中，目标服务端为对应用程序的访问请求进行应答的服务端；

5、命名空间访问特征分析模块根据特征信息确定应用程序访问的目标目录/文件；

6、命名空间授权管理模块设置应用程序对目标目录/文件的访问权限，并根据目标目录/文件创建应用程序的虚拟视图；

7、元数据服务模块获取虚拟视图的元数据，并向客户端发送虚拟视图的元数据，以使用户端根据虚拟视图的元数据管理应用程序对分布式文件系统中命名空间的访问请求。

8、根据本技术实施例中一种可实现的方式，命名空间访问特征分析模块根据特征信息确定应用程序访问的目标目录/文件，包括：

9、根据特征信息，获取应用程序访问命名空间中目录/文件的操作频次；

10、将预设时间内操作频次超过预设次数的目录/文件确定为应用程序访问的目标目录/文件。

11、根据本技术实施例中一种可实现的方式，客户端还设置有虚拟视图构建模块；该方法还包括：

12、在命名空间授权管理模块设置应用程序对目标目录/文件的访问权限之后，生成应用程序访问目标目录/文件的授权指令，并向虚拟视图构建模块发送授权指令；

13、虚拟视图构建模块根据授权指令，构建应用程序的虚拟视图。

14、根据本技术实施例中一种可实现的方式，命名空间授权管理模块根据目标目录/文件创建应用程序的虚拟视图，包括：

15、向分布式文件系统的命名空间申请目标目录/文件的操作权限；

16、在分布式文件系统的命名空间授权命名空间授权管理模块后，获取目标目录/文件对应的数据；

17、根据应用程序的访问请求，确定应用程序所在客户端的终端信息和授权等级；

18、根据目标目录/文件对应的数据、应用程序所在客户端的终端信息和授权等级，创建应用程序的虚拟视图。

19、根据本技术实施例中一种可实现的方式，授权指令包括应用程序所在客户端的授权等级；虚拟视图构建模块根据授权指令，构建应用程序的虚拟视图，包括：

20、虚拟视图构建模块接收到授权指令后，向分布式文件系统的命名空间申请目标目录/文件的操作权限；

21、在分布式文件系统的命名空间授权虚拟视图构建模块后，获取目标目录/文件对应的数据；

22、根据目标目录/文件对应的数据和应用程序所在客户端的授权等级，构建应用程序的虚拟视图。

23、根据本技术实施例中一种可实现的方式，命名空间授权管理模块设置应用程序对目标目录/文件的访问权限，包括：

24、获取至少一个客户端对分布式文件系统的命名空间的访问信息；

25、根据访问信息，判断目标目录/文件是否被其他应用程序访问，得到判断结果；

26、根据判断结果，设置应用程序对目标目录/文件的访问权限。

27、根据本技术实施例中一种可实现的方式，访问信息包括目标目录/文件的访问对象；根据访问信息，判断目标目录/文件是否被其他应用程序访问，包括：

28、当目标目录/文件的访问对象为应用程序且无其他访问对象时，判断目标目录/文件未被其他应用程序访问；

29、当目标目录/文件的访问对象为多个应用程序时，判断目标目录/文件被其他应用程序访问。

30、根据本技术实施例中一种可实现的方式，根据判断结果，设置应用程序对目标目录/文件的访问权限，包括：

31、若目标目录/文件未被其他应用程序访问，设置应用程序对目标目录/文件的访问权限。

32、根据本技术实施例中一种可实现的方式，根据判断结果，设置应用程序对目标目录/文件的访问权限，包括：

33、若目标目录/文件已被其他应用程序访问，应用程序进入访问目标目录/文件的等待队列；

34、基于预设租约机制，确定目标目录/文件被其他应用程序访问的限制时间；

35、当目标目录/文件的实际访问时间超过限制时间时，基于等待队列继续判断目标目录/文件是否被其他应用程序访问；

36、直至当目标目录/文件被应用程序访问，设置应用程序对目标目录/文件的访问权限。

37、根据本技术实施例中一种可实现的方式，根据判断结果，设置应用程序对目标目录/文件的访问权限，包括：

38、若目标目录/文件已被其他应用程序访问，应用程序进入访问目标目录/文件的等待队列；

39、获取等待队列中应用程序的优先级顺序；

40、基于优先级顺序，当应用程序有权访问目标目录/文件时，设置应用程序对目标目录/文件的访问权限。

41、根据本技术实施例中一种可实现的方式，用户端根据虚拟视图的元数据管理应用程序对分布式文件系统中命名空间的访问请求，包括：

42、响应于应用程序对所述分布式文件系统的命名空间发起访问请求，确定访问请求对应的当前目录/文件的访问权限；

43、判断当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限是否具有一致性；

44、当当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限具有一致性时，基于应用程序的虚拟视图的元数据，处理应用程序对所述分布式文件系统中命名空间的访问请求。

45、根据本技术实施例中一种可实现的方式，确定当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限是否具有一致性，包括：

46、当虚拟视图中存在目标目录/文件的访问权限存在与当前目录/文件的访问权限相同时，确定当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限具有一致性。

47、根据本技术实施例中一种可实现的方式，该方法还包括：

48、当当前目录/文件的访问权限存在与虚拟视图中目标目录/文件的访问权限不同时，确定当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限不具有一致性。

49、根据本技术实施例中一种可实现的方式，该方法还包括：

50、当当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限不具有一致性时，向元数据服务获取差异目录/文件的访问权限，差异目录/文件为目标目录/文件中与当前目录/文件的访问权限不同的目录/文件；

51、接收元数据服务对差异目录/文件的授权指令，以保证当前目录/文件的访问权限和虚拟视图中目标目录/文件的访问权限的一致性。

52、根据本技术实施例中一种可实现的方式，用户端根据虚拟视图的元数据管理应用程序对所述分布式文件系统中命名空间的访问请求，包括：

53、响应于多个用户同时使用应用程序对所述分布式文件系统的命名空间发起访问请求，获取多个用户中每个用户的访问请求对应的特征信息；

54、根据每个用户的访问请求对应的特征信息，分割应用程序的虚拟视图；

55、根据分割后的虚拟视图对应的元数据管理应用程序对所述分布式文件系统中命名空间的访问请求。

56、根据本技术实施例中一种可实现的方式，元数据服务模块向客户端发送虚拟视图的元数据，包括：

57、获取运行有应用程序的多个可用客户端的终端信息；

58、根据多个可用客户端的终端信息，确定为多个可用客户端中应用程序提供元数据的多个可用服务端；

59、汇总多个可用服务端为应用程序提供元数据中共有的元数据，得到公共元数据；

60、将公共元数据添加至应用程序的虚拟视图，以更新应用程序的虚拟视图的元数据；

61、向多个可用客户端中的任一可用客户端发送虚拟视图更新后的元数据。

62、根据本技术实施例中一种可实现的方式，元数据服务模块向客户端发送虚拟视图的元数据，包括：

63、元数据服务模块向命名空间授权管理模块获取虚拟视图的控制权限；

64、响应于命名空间授权管理模块授权元数据服务模块，元数据服务向客户端发送虚拟视图的元数据。

65、第二方面，提供了一种分布式文件系统命名空间管理装置，该装置于分布式文件系统命名空间管理系统，该分布式文件系统命名空间管理系统包括至少一个服务端和至少一个客户端，服务端通过交换网络与客户端连接，其中，服务端设置有命名空间管理服务单元，命名空间管理服务单元包括命名空间访问特征分析模块、命名空间授权模块和元数据服务模块，客户端运行有应用程序且设置有命名空间访问特征统计模块，分布式文件系统包括命名空间管理服务单元和命名空间访问特征统计模块，客户端的应用程序通过分布式文件系统访问服务端上的数据资源；该装置包括：

66、获取单元，用于响应于应用程序访问分布式文件系统的命名空间，命名空间访问特征统计模块获取应用程序访问命名空间的特征信息；

67、发送单元，用于客户端向目标服务端的命名空间访问特征分析模块发送特征信息，其中，目标服务端为对应用程序的访问请求进行应答的服务端；

68、确定单元，用于命名空间访问特征分析模块根据特征信息确定应用程序访问的目标目录/文件；

69、设置单元，用于命名空间授权管理模块设置应用程序对目标目录/文件的访问权限，并根据目标目录/文件创建应用程序的虚拟视图；

70、发送单元，还用于元数据服务模块获取虚拟视图的元数据，并向客户端发送虚拟视图的元数据，以使用户端根据虚拟视图的元数据管理应用程序对分布式文件系统中命名空间的访问请求。

71、 第三方面，提供了一种计算机设备，包括：

72、至少一个处理器；以及

73、与所述至少一个处理器通信连接的存储器；其中，

74、所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面中涉及的方法。

75、第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令用于使计算机执行上述第一方面中涉及的方法。

76、根据本技术实施例所提供的技术内容，通过响应于应用程序访问分布式文件系统的命名空间，命名空间访问特征统计模块获取应用程序访问命名空间的访问特征信息，客户端向目标服务端的命名空间访问特征分析模块发送特征信息，其中，目标服务端为对应用程序的访问请求进行应答的服务端，命名空间访问特征分析模块根据特征信息确定应用程序访问的目标目录/文件，命名空间授权管理模块设置应用程序对目标目录/文件的访问权限，并根据目标目录/文件创建应用程序的虚拟视图，元数据服务模块获取虚拟视图的元数据，并向客户端发送虚拟视图的元数据，以使用户端根据虚拟视图的元数据管理应用程序对分布式文件系统中命名空间的访问请求，能够高效地处理访问请求，减少分布式文件系统的工作负载，提升分布式文件系统性能。