一种分布式数据库动态分区表统计信息收集方法与流程

本公开的实施例涉及计算机，具体涉及一种分布式数据库动态分区表统计信息收集方法、装置、电子设备和计算机可读介质。

背景技术：

1、数据库在将用户的查询语句转化为具体的执行计划的过程中，会生成很多种执行计划，数据库会估算每个计划的代价，找出最优解，从而大大提高执行效率。估算的依据就是统计数据，如最大最小值、数据分布信息等。

2、postgresql关系型数据库管理系统通过元数据表pg_statistic记录静态分区表统计数据，这种技术要求每个子表有一个唯一的标识objectid，因此通常是先建表再导入数据。动态分区表是插入数据时动态创建子分区，执行时并不能分配objectoid，故pg_statisitic无法支持动态分区表。spark则只有表级别的列统计数据，没有分区级别的统计数据，会导致生成的计划不是最优，从而导致性能下降。

3、postgres关系型数据库管理系统支持自动收集统计数据，但是收集时都是基于全表扫描，收集表的修改信息时，是通过objectid区分不同的表，因此也无法适用于动态分区表，这会导致对大表的统计数据收集耗时达到数分钟甚至数十分钟，消耗大量内存，影响数据库正常业务。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了一种分布式数据库动态分区表统计信息收集方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了一种分布式数据库动态分区表统计信息收集方法，该方法包括：响应于确定目标数据库存在增量数据，确定上述增量数据是否满足预设条件；响应于确定上述增量数据满足上述预设条件，确定是否存在目标数据库的统计数据；响应于确定存在上述目标数据库的统计数据，根据增量数据收集上述目标数据库的目标分区的统计数据作为增量统计数据；利用上述增量统计数据对上述统计数据进行增量维护。

4、第二方面，本公开的一些实施例提供了一种分布式数据库动态分区表统计信息收集装置，装置包括：第一确定单元，被配置成响应于确定目标数据库存在增量数据，确定上述增量数据是否满足预设条件；第二确定单元，被配置成响应于确定上述增量数据满足上述预设条件，确定是否存在目标数据库的统计数据；收集单元，被配置成响应于确定存在上述目标数据库的统计数据，根据增量数据收集上述目标数据库的目标分区的统计数据作为增量统计数据；第一维护单元，被配置成利用上述增量统计数据对上述统计数据进行增量维护。

5、第三方面，本申请实施例提供了一种电子设备，该网络设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例中的一个实施例具有如下有益效果：首先，确定上述增量数据是否满足预设条件，之后确定是否存在目标数据库的统计数据，再根据增量数据收集上述目标数据库的目标分区的统计数据作为增量统计数据，接着利用上述增量统计数据对上述统计数据进行增量维护。从而实现了支持增量统计数据收集，降低了对数据库性能影响，同时能够加速统计数据刷新的速度。

技术特征：

1.一种分布式数据库动态分区表统计信息收集方法，包括：

2.根据权利要求1所述的方法，其中，所述方法还包括：

3.根据权利要求2所述的方法，其中，所述方法还包括：

4.根据权利要求1所述的方法，其中，所述方法还包括：

5.根据权利要求4所述的方法，其中，所述从所述目标数据库中确定最大分区，包括：

6.一种分布式数据库动态分区表统计信息收集装置，包括：

7.根据权利要求6所述的装置，其中，所述装置还包括第二维护单元，被配置成：

8.根据权利要求7所述的装置，其中，所述装置还包括执行单元，被配置成：

9.一种电子设备，包括：

10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

技术总结
本公开的实施例公开了一种分布式数据库动态分区表统计信息收集方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：响应于确定目标数据库存在增量数据，确定增量数据是否满足预设条件；响应于确定增量数据满足预设条件，确定是否存在目标数据库的统计数据；响应于确定存在目标数据库的统计数据，根据增量数据收集目标数据库的目标分区的统计数据作为增量统计数据；利用增量统计数据对统计数据进行增量维护。该实施方式实现了支持增量统计数据收集，降低了对数据库性能影响，同时能够加速统计数据刷新的速度。

技术研发人员：冯思涵,陶征霖,常雷,姚佳丽,霍瑞龙,刘大伟,宋宜旭
受保护的技术使用者：北京偶数科技有限公司
技术研发日：
技术公布日：2024/1/25