一种数据库异常根因sql分析系统的制作方法

本申请涉及异常分析系统领域，尤其是一种数据库异常根因sql分析系统。

背景技术：

1、近年来aiops在运维异常检测场景中得到了广泛的运用,帮助运维人员从海量的监控指标和报警中迅速定位异常根因；但随着运维环境的容器化发展，运维对象、指标和阈值都呈现出动态化的趋势，导致很多基于预定义特征的方法无法使用，在数据库环境的根因sql分析场景中也表现出大量的动态特性，比如sql是由终端用户的操作动态生成的，sql间互相影响的关系路径也是动态的，同时因为聚合类和查找类sql对性能要求不同，对其异常的衡量阈值也是动态的；这种动态特征分析的场景可以借鉴微服务节点异常根因诊断的方法，比较接近的主要有以下几种；1、层级式pki，通过异常核心指标的层级下钻定位该kpi异常的具体节点,但该方法只能定位问题点，但不能定位原因及提供可行的解决办法；2、automap动态构建，该方法动态构建节点关系图，通过随机游走的排序方法定位根因，需要对节点的异常有预定义和度量，把数据库sql类比云服务结点，数据库异常只能定位到一个sql的集合，无法直接定位到单一sql。单一sql的异常无法统一度量，每个sql的异常阈值是不同的，比如返回时间，统计类sql预期比键值查询的sql慢。

2、数据库的异常sql定位的难点在于sql是动态生成的，sql间互相影响的关系路径也是动态的，同时对其异常的衡量阈值也是动态的(不同sql对执行性能要求不同)；用于微服务节点异常根因诊断的方法引入了动态构建关系图的思路，能比较好的适配数据库查询异常场景，但是仍需要对节点的异常定义有前置的度量和阈值，把数据库sql类比为微服务结点的话，单一sql的异常无法进行标准化指标的异常度量，每个sql的异常阈值是不同的，比如返回时间，统计类sql预期比键值查询的sql慢，同理，其他常见性能指标(比如iops，cpu消耗)高的sql也不一定是异常的；所以一般数据库异常只能定位到一个sql的集合，即性能异常发生时所有在运行状态的sql集合，集合中每个sql都是潜在的导致问题的根因，但无法直接通过单一的性能指标定位单一sql的异常。因此，针对上述问题提出一种数据库异常根因sql分析系统。

技术实现思路

1、在本实施例中提供了一种数据库异常根因sql分析系统用于解决现有技术中的无法直接通过单一的性能指标定位单一sql的异常的问题。

2、根据本申请的一个方面，提供了一种数据库异常根因sql分析系统，包括sql聚类模块、sql模版形成模块、hash指纹模块、权重参数量化模块、初始值量化模块、词频加权统计分析模块、数据库、异常时间预定义模块、捕获阈值预定义模块、正样本合集模块、系统快照模块、执行计划解析模块、logcluster方法模块、sql聚类模块、提取模块、tf-idf算法模块、负样本模块和idf统计模块；

3、所述sql聚类模块和sql模版形成模块之间相互连接，所述sql模版形成模块和hash指纹模块之间相互连接。

4、进一步地，所述hash指纹模块和词频加权统计分析模块之间相互连接，所述权重参数量化模块和初始值量化模块之间相互连接，所述初始值量化模块和词频加权统计分析模块之间相互连接。

5、进一步地，所述sql聚类模块和数据库之间相互连接，所述数据库和执行计划解析模块之间相互连接。

6、进一步地，所述数据库和异常时间预定义模块之间相互连接，所述异常时间预定义模块和捕获阈值预定义模块之间相互连接。

7、进一步地，所述数据库和正样本合集模块之间相互连接，所述正样本合集模块和系统快照模块之间相互连接。

8、进一步地，所述执行计划解析模块和logcluster方法模块之间相互连接，所述logcluster方法模块和sql聚类模块之间相互连接。

9、进一步地，所述sql聚类模块和提取模块之间相互连接。

10、进一步地，所述提取模块和tf-idf算法模块之间相互连接。

11、进一步地，所述tf-idf算法模块和负样本模块之间相互连接。

12、进一步地，所述负样本模块和idf统计模块之间相互连接。

13、通过本申请上述实施例，通过正负样本的采集来匹配tf和idf的统计思路，有效的排除了背噪sql的影响，提高了模型的准确性，提出的技术方法部署到了公司数千个数据库节点，实现了异常事件的自动分析，极大地降低了人力成本，部署到了公司数千个数据库节点，根因定位准确率>90％；因为模型监督数据较少，很容易泛化到更多的数据库节点，并且支持按业务特征的定制化模型参数。

技术特征：

1.一种数据库异常根因sql分析系统，其特征在于：包括sql聚类模块(1)、sql模版形成模块(2)、hash指纹模块(3)、权重参数量化模块(4)、初始值量化模块(5)、词频加权统计分析模块(6)、数据库(7)、异常时间预定义模块(8)、捕获阈值预定义模块(9)、正样本合集模块(10)、系统快照模块(11)、执行计划解析模块(12)、logcluster方法模块(13)、sql聚类模块(14)、提取模块(15)、tf-idf算法模块(16)、负样本模块(17)和idf统计模块(18)；

2.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述hash指纹模块(3)和词频加权统计分析模块(6)之间相互连接，所述权重参数量化模块(4)和初始值量化模块(5)之间相互连接，所述初始值量化模块(5)和词频加权统计分析模块(6)之间相互连接。

3.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述sql聚类模块(1)和数据库(7)之间相互连接，所述数据库(7)和执行计划解析模块(12)之间相互连接。

4.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述数据库(7)和异常时间预定义模块(8)之间相互连接，所述异常时间预定义模块(8)和捕获阈值预定义模块(9)之间相互连接。

5.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述数据库(7)和正样本合集模块(10)之间相互连接，所述正样本合集模块(10)和系统快照模块(11)之间相互连接。

6.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述执行计划解析模块(12)和logcluster方法模块(13)之间相互连接，所述logcluster方法模块(13)和sql聚类模块(14)之间相互连接。

7.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述sql聚类模块(14)和提取模块(15)之间相互连接。

8.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述提取模块(15)和tf-idf算法模块(16)之间相互连接。

9.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述tf-idf算法模块(16)和负样本模块(17)之间相互连接。

10.根据权利要求1所述的一种数据库异常根因sql分析系统，其特征在于：所述负样本模块(17)和idf统计模块(18)之间相互连接。

技术总结
本申请公开了一种数据库异常根因sql分析系统，包括sql聚类模块、sql模版形成模块、hash指纹模块、权重参数量化模块、初始值量化模块、词频加权统计分析模块、数据库、异常时间预定义模块、捕获阈值预定义模块、正样本合集模块、系统快照模块、执行计划解析模块、logcluster方法模块、sql聚类模块、提取模块、tf‑idf算法模块、负样本模块和idf统计模块；所述sql聚类模块和sql模版形成模块之间相互连接，所述sql模版形成模块和hash指纹模块之间相互连接，本申请通过正负样本的采集来匹配tf和idf的统计思路，有效的排除了背噪sql的影响，提高了模型的准确性，本申请提出的技术方法部署到了公司数千个数据库节点，实现了异常事件的自动分析，极大地降低了人力成本。

技术研发人员：田震,张源,白雪,杨赞
受保护的技术使用者：北京比特易湃信息技术有限公司
技术研发日：
技术公布日：2024/1/15