一种旁路的数据库监控方法及系统与流程

文档序号:26584845发布日期:2021-09-10 18:48阅读:来源:国知局

技术特征:
1.一种旁路的数据库监控方法,其特征在于,包括:步骤s1:在数据链路层增加旁路处理,在数据库服务器与客户端交互时,服务器发送和接收的数据包通过linux内核做过滤和缓冲处理,并将处理后的数据包传递给上层应用程序;步骤s2:上层应用程序解析旁路获取的数据包帧结构以及数据包负载,获得客户端与数据库服务器每次交互的详细内容;步骤s3:依据不同数据库相对应的交易模型,将解析出来的数据记录关联汇聚,形成对客户端与数据库服务器一次操作的完整交互记录,定义为一次交易;步骤s4:对交易记录中预设字段进行提取汇聚,形成不同的报表,依据相对应预设的告警规则生成告警记录;步骤s5:对提取的指标进行分析处理,挖掘性能相关信息;所述交易模型将解析的数据记录关联汇聚形成完整的交易记录。2.根据权利要求1所述的旁路的数据库监控方法,其特征在于,所述步骤s1中旁路技术包括:网络镜像、采用物理交换机采集以及虚拟交换机设备采集;所述网络镜像包括:通过libpcap或dpdk对通过数据链路层的数据包进行拷贝或者缓冲,获得网络数据流量的镜像;所述采用物理交换机采集包括:通过tap设备对通过物理交换机的数据流量进行实时捕获,并适用内置的流量复制/汇聚引擎进行复制或汇聚,获得网络数据流量;所述虚拟交换机设备采集包括:通过控制器软件对经过虚拟交换机设备的数据流量进行复制与转发。3.根据权利要求1所述的旁路的数据库监控方法,其特征在于,所述步骤s2包括:步骤s2.1:数据库登陆session,解析客户端访问数据库服务器的登陆过程,获取数据库的相关信息与当前session的内容,数据库服务器版本、登入模式以及是否加密;步骤s2.2:通过解析数据包将复用的语句与使用的游标建立联系,从而在语句复用的调用中获得实际执行的语句内容;步骤s2.3:对sql语句的执行结果进行解析,获得语句是否执行成功以及执行结果信息。4.根据权利要求1所述的旁路的数据库监控方法,其特征在于,所述步骤s3中依据不同数据库相对应的交易模型包括:同步模型、异步模型以及数据驱动状态转移模型;所述同步模型包括请求

响应模式下的交易关联模型,用于sql语句的调用,在客户端发出的请求流量被数据库服务器处理后,将执行结果返回给客户端;所述异步模型包括总线模式下的交易关联模型,客户端在发送请求流量给数据库服务器后,通过主动查询或被动通知的方式得到执行结果;所述数据驱动状态转移模型包括数据库服务器对sql语句的执行涉及在多个执行状态上的转移,通过不同执行状态之间的转移条件将多次交互的数据记录关联起来的交易模型。5.根据权利要求1所述的旁路的数据库监控方法,其特征在于,所述步骤s4包括:对交易记录中预设字段通过高离散度sql动态基线告警方法进行特征提取汇聚,形成不同的报表,依据相对应预设的告警规则生成告警记录。
6.一种旁路的数据库监控系统,其特征在于,包括:模块m1:在数据链路层增加旁路处理,在数据库服务器与客户端交互时,服务器发送和接收的数据包通过linux内核做过滤和缓冲处理,并将处理后的数据包传递给上层应用程序;模块m2:上层应用程序解析旁路获取的数据包帧结构以及数据包负载,获得客户端与数据库服务器每次交互的详细内容;模块m3:依据不同数据库相对应的交易模型,将解析出来的数据记录关联汇聚,形成对客户端与数据库服务器一次操作的完整交互记录,定义为一次交易;模块m4:对交易记录中预设字段进行提取汇聚,形成不同的报表,依据相对应预设的告警规则生成告警记录;模块m5:对提取的指标进行分析处理,挖掘性能相关信息;所述交易模型将解析的数据记录关联汇聚形成完整的交易记录。7.根据权利要求6所述的旁路的数据库监控系统,其特征在于,所述模块m1中旁路技术包括:网络镜像、采用物理交换机采集以及虚拟交换机设备采集;所述网络镜像包括:通过libpcap或dpdk对通过数据链路层的数据包进行拷贝或者缓冲,获得网络数据流量的镜像;所述采用物理交换机采集包括:通过tap设备对通过物理交换机的数据流量进行实时捕获,并适用内置的流量复制/汇聚引擎进行复制或汇聚,获得网络数据流量;所述虚拟交换机设备采集包括:通过控制器软件对经过虚拟交换机设备的数据流量进行复制与转发。8.根据权利要求6所述的旁路的数据库监控系统,其特征在于,所述模块m2包括:模块m2.1:数据库登陆session,解析客户端访问数据库服务器的登陆过程,获取数据库的相关信息与当前session的内容,数据库服务器版本、登入模式以及是否加密;模块m2.2:通过解析数据包将复用的语句与使用的游标建立联系,从而在语句复用的调用中获得实际执行的语句内容;模块m2.3:对sql语句的执行结果进行解析,获得语句是否执行成功以及执行结果信息。9.根据权利要求6所述的旁路的数据库监控系统,其特征在于,所述模块m3中依据不同数据库相对应的交易模型包括:同步模型、异步模型以及数据驱动状态转移模型;所述同步模型包括请求

响应模式下的交易关联模型,用于sql语句的调用,在客户端发出的请求流量被数据库服务器处理后,将执行结果返回给客户端;所述异步模型包括总线模式下的交易关联模型,客户端在发送请求流量给数据库服务器后,通过主动查询或被动通知的方式得到执行结果;所述数据驱动状态转移模型包括数据库服务器对sql语句的执行涉及在多个执行状态上的转移,通过不同执行状态之间的转移条件将多次交互的数据记录关联起来的交易模型。10.根据权利要求6所述的旁路的数据库监控系统,其特征在于,所述模块m4包括:对交易记录中预设字段通过高离散度sql动态基线告警方法进行特征提取汇聚,形成不同的报表,依据相对应预设的告警规则生成告警记录。

技术总结
本发明提供了一种旁路的数据库监控方法及系统,包括:步骤S1:在数据链路层增加旁路处理,在数据库服务器与客户端交互时,服务器发送和接收的数据包通过Linux内核做过滤和缓冲处理,并将处理后的数据包传递给上层应用程序;步骤S2:上层应用程序解析旁路获取的数据包帧结构以及数据包负载,获得客户端与数据库服务器每次交互的详细内容;步骤S3:依据不同数据库相对应的交易模型,将解析出来的数据记录关联汇聚,形成对客户端与数据库服务器一次操作的完整交互记录,定义为一次交易;步骤S4:对交易记录中预设字段进行提取汇聚,形成不同的报表,依据相对应预设的告警规则生成告警记录;步骤S5:对提取的指标进行分析处理,挖掘性能相关信息。能相关信息。能相关信息。


技术研发人员:朱宇 徐龙 田世新 蔡晓华
受保护的技术使用者:上海天旦网络科技发展有限公司
技术研发日:2021.06.08
技术公布日:2021/9/9
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1