一种元数据服务器的访问限流方法、装置及设备与流程

本申请涉及计算机，具体涉及一种元数据服务器的访问限流方法、装置及设备。

背景技术：

1、随着互联网技术的发展，大数据存储的数据量越来越大。为了尽可能从海量数据中挖掘更多价值，数据分析任务越来越复杂，对大数据服务的稳定性提出了挑战。

2、数据湖元数据服务作为大数据场景下的在线大数据服务被普遍使用，例如hive元数据服务。数据湖元数据服务可用于获取元数据。当数据分析任务较为复杂时，通常会对数据湖元数据服务发起多种访问。这时，使得元数据存储的负载压力较大。

3、基于此，急需一种访问限流方法来有效限制一些访问，以提高数据湖元数据服务稳定性，降低元数据存储的负载压力。

技术实现思路

1、有鉴于此，本申请提供一种元数据服务器的访问限流方法、装置及设备，用于对提供元数据服务的数据湖元数据服务器的元数据访问请求进行限流处理。

2、为解决上述问题，本申请提供的技术方案如下：

3、第一方面，本申请提供一种元数据服务器的访问限流方法，所述方法应用于数据湖元数据服务器中，包括：

4、接收客户端发送的元数据访问请求，所述元数据访问请求用于获取存储服务器存储的用于描述目标数据的元数据；所述目标数据为目标表格中的数据；

5、根据所述元数据访问请求确定所述数据湖元数据服务器使用的元数据服务接口；

6、当所述元数据服务接口满足预设条件时，获取所述元数据访问请求的请求参数；所述请求参数包括所述目标表格的表分区数和分区层级数；

7、根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数；

8、当所述申请令牌数大于所述客户端对应的剩余令牌数时，对所述元数据访问请求进行限流处理。

9、第二方面，本申请提供一种元数据服务器的访问限流装置，所述装置应用于数据湖元数据服务器中，包括：

10、接收单元，用于接收客户端发送的元数据访问请求，所述元数据访问请求用于获取存储服务器存储的用于描述目标数据的元数据；所述目标数据为目标表格中的数据；

11、第一确定单元，用于根据所述元数据访问请求确定所述数据湖元数据服务器使用的元数据服务接口；

12、第一获取单元，用于当所述元数据服务接口满足预设条件时，获取所述元数据访问请求的请求参数；所述请求参数包括所述目标表格的表分区数和分区层级数；

13、第二获取单元，用于根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数；

14、处理单元，用于当所述申请令牌数大于所述客户端对应的剩余令牌数时，对所述元数据访问请求进行限流处理。

15、第三方面，本申请提供一种电子设备，包括：

16、一个或多个处理器；

17、存储装置，其上存储有一个或多个程序，

18、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一所述的元数据服务器的访问限流方法。

19、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的元数据服务器的访问限流方法。

20、由此可见，本申请具有如下有益效果：

21、本申请提供了一种元数据服务器的访问限流方法、装置及设备，该方法应用于提供元数据服务的数据湖元数据服务器中。数据湖元数据服务器接收客户端发送的元数据访问请求，该请求用于获取存储服务器存储的用于描述目标数据的元数据，目标数据为目标表格中的数据。接收到访问请求后开启对该元数据访问请求的限流处理流程。具体地，先根据获取的元数据访问请求确定数据湖元数据服务器使用的元数据服务接口。当元数据服务接口满足预设条件时，获取元数据访问请求的请求参数，即目标表格的表分区数和分区层级数。目标表格的表分区数和分区层级数用于实现元数据访问请求的限流处理判断。即，先根据目标表格的表分区数和分区层级数，确定元数据访问请求对应的申请令牌数。当元数据访问请求对应的申请令牌数大于客户端对应的剩余令牌数时，对元数据访问请求进行限流处理。

22、可知，满足预设条件的元数据服务接口接收到的请求中的不同表格或者不同时间的同一张表格所对应的请求参数均可能不同，对应的申请令牌数会不同。因此，本申请能够通过元数据服务接口以及元数据访问请求的请求参数自适应地确定元数据访问请求对应的申请令牌数，以基于申请令牌数确定是否对元数据访问请求进行限流处理。如此，能够提高数据湖元数据服务器的服务稳定性，降低存储服务器的负载压力。

技术特征：

1.一种元数据服务器的访问限流方法，其特征在于，所述方法应用于数据湖元数据服务器中，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述表分区数和所述分区层级数，获取所述元数据访问请求对应的申请令牌数，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述请求参数中的表分区数、分区层级数以及所述实际表分区数，获取所述元数据访问请求的实际使用令牌数，包括：

5.根据权利要求1所述的方法，其特征在于，所述获取所述元数据访问请求的请求参数，包括：

6.根据权利要求1所述的方法，其特征在于，所述客户端对应有最大令牌数；所述客户端对应的最大令牌数的获取过程，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种元数据服务器的访问限流装置，其特征在于，所述装置应用于数据湖元数据服务器中，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的元数据服务器的访问限流方法。

技术总结
本申请公开一种元数据服务器的访问限流方法、装置及设备，该方法应用于数据湖元数据服务器中，接收客户端发送的元数据访问请求，该请求用于获取存储服务器存储的用于描述目标数据的元数据，目标数据为目标表格中的数据。根据元数据访问请求确定数据湖元数据服务器使用的元数据服务接口。当元数据服务接口满足预设条件时，根据获取的目标表格的表分区数和分区层级数，确定元数据访问请求对应的申请令牌数。即，本申请通过元数据服务接口以及元数据访问请求的请求参数自适应地确定元数据访问请求对应的申请令牌数。进而，基于申请令牌数判断是否对元数据访问请求限流处理，可提高数据湖元数据服务器的服务稳定性，降低存储服务器的负载压力。

技术研发人员：李蒙军,徐庆,孙科,郭俊,罗旋
受保护的技术使用者：北京火山引擎科技有限公司
技术研发日：
技术公布日：2024/1/16