数据库集群中数据块检测调优方法、装置、设备及介质与流程

本发明涉及大数据，尤其涉及一种数据库集群中数据块检测调优方法、装置、设备及介质。

背景技术：

1、随着大数据时代的到来，如何可靠保存和高效访问海量数据是当今各行各业面临的一大难题。hbase作为非结构化领域中最常用的分布式数据库，拥有着易扩展、高效访问和高可靠性等诸多优点。

2、数据库hbase集群中存在一个主节点master和多个从节点region server，每个region server拥有多个数据块region，每个数据块region拥有多个store，每个store拥有一个memstore和多个storefile，storefile以hfile形式持久化存储。

3、通常在满足一定的条件时自动触发region的调优任务，hbase会自动执行调优任务。现有的满足一定条件自动触发的region处理策略没办法控制region管理任务的执行时间，处理时间具有随机性，在region管理任务执行时会占用服务器资源，会对正常的hbase读取和写入业务产生性能影响。

技术实现思路

1、本发明提供了一种数据库集群中数据块检测调优方法、装置、设备及介质，通过实时检测数据库的数据块性能指标信息，进行分析处理的数据块自动生成调优任务，并可以按照配置的执行时间进行执行，避免了自动触发数据库调优任务时影响数据库的读取和写入，优化数据库集群性能。

2、根据本发明的一方面，提供了一种数据库集群中数据块检测调优方法，包括：

3、响应数据库集群中数据块的检测请求，获取所述数据块的性能指标信息；

4、对所述性能指标信息进行分析处理，得到所述数据块的预警信息；

5、根据所述数据块预警信息生成目标调优任务列表；

6、按照设定时间执行所述目标调优任务列表；

7、基于所述目标调优任务列表中各调优任务的执行状态更新所述目标调优任务列表；其中，所述执行状态包括已执行和未执行。

8、可选的，所述数据块的性能指标信息包括数据块中底层文件的数量信息、数据块容量信息以及数据块的热点信息。

9、可选的，对所述性能指标信息进行分析处理，得到所述数据块的预警信息，包括：

10、判断所述数据块中底层文件数量信息是否大于第一阈值；

11、在所述数据块中底层文件数量信息大于所述第一阈值的情况下，将所述数据块中底层文件数量信息作为数据块的预警信息；

12、在所述数据块中底层文件数量信息小于等于所述第一阈值的情况下，判断所述数据块容量信息是否大于第二阈值或者小于第三阈值；

13、在所述数据块容量信息大于所述第二阈值或者小于所述第三阈值的情况下，将所述数据块容量信息作为数据块的预警信息；

14、在所述数据块容量信息小于等于所述第二阈值或者大于等于所述第三阈值的情况下，判断所述数据块热点信息是否大于第四阈值；

15、在所述数据块热点信息大于所述第四阈值的情况下，将所述数据块热点信息作为数据块的预警信息。

16、可选的，根据所述数据块预警信息生成目标调优任务列表，包括：

17、获取所述数据块的白名单；

18、判断所述数据块预警信息对应的各个数据块是否在白名单中；

19、若所述数据块预警信息对应的数据块未在白名单中，则基于所述数据块预警信息确定调优任务类型，以得到原始调优任务列表；

20、基于设定优先级对所述原始调优任务列表进行调整，得到目标调优任务列表。

21、可选的，所述调优任务类型包括压缩任务、切分任务、合并任务以及迁移任务；

22、基于所述数据块预警信息确定调优任务类型，包括：

23、基于所述数据块中底层文件数量信息的预警信息，对所述数据块生成数据块压缩任务；

24、基于所述数据块容量信息的预警信息，若所述数据块容量信息大于第二阈值，则对所述数据块生成切分任务；若所述数据块容量信息小于第三阈值，则对所述数据块生成合并任务；

25、基于所述数据块热点信息的预警信息，对所述数据块生成数据块迁移任务。

26、可选的，基于设定优先级对所述原始调优任务列表进行调整，得到目标调优任务列表，包括：

27、获取任务类型对应的第一优先级顺序；

28、根据所述第一优先级顺序对所述原始调优任务列表进行调整，得到第一调优任务列表；

29、对于所述第一调优任务列表中相同任务类型的调优任务，按照第二优先级顺序进行调整，以得到目标调优任务列表。

30、可选的，基于所述目标调优任务列表中各调优任务的执行状态更新所述目标调优任务列表，包括：

31、将所述目标调优任务列表中各调优任务的执行状态为已执行的调优任务从所述目标调优任务列表中移除，以更新所述目标调优任务列表。

32、根据本发明的另一方面，提供了一种数据库集群中数据块检测调优装置，包括：

33、信息获取模块，用于响应数据库集群中数据块的检测请求，获取所述数据块的性能指标信息；

34、信息分析处理模块，用于对所述性能指标信息进行分析处理，得到所述数据块的预警信息；

35、调优任务生成模块，用于根据所述数据块预警信息生成目标调优任务列表；

36、调优任务执行模块，用于按照设定时间执行所述目标调优任务列表；

37、列表更新模块，用于基于所述目标调优任务列表中各调优任务的执行状态更新所述目标调优任务列表；其中，所述执行状态包括已执行和未执行。

38、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

39、至少一个处理器；以及

40、与所述至少一个处理器通信连接的存储器；其中，

41、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据库集群中数据块检测调优方法。

42、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据库集群中数据块检测调优方法。

43、本发明实施例的技术方案，通过响应数据库集群中数据块的检测请求，获取所述数据块的性能指标信息；对所述性能指标信息进行分析处理，得到所述数据块的预警信息；根据所述数据块预警信息生成目标调优任务列表；按照设定时间执行所述目标调优任务列表；基于所述目标调优任务列表中各调优任务的执行状态更新所述目标调优任务列表。本技术方案，通过实时检测数据库的数据块性能指标信息，进行分析处理的数据块自动生成调优任务，并可以按照配置的执行时间进行执行，避免了自动触发数据库调优任务时影响数据库的读取和写入，优化数据库集群性能。

44、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。