数据异常检测方法、装置、计算机设备和存储介质与流程

文档序号:36730322发布日期:2024-01-16 12:40阅读:16来源:国知局
数据异常检测方法、装置、计算机设备和存储介质与流程

本技术涉及数据处理,特别是涉及一种数据异常检测方法、装置、计算机设备和存储介质。


背景技术:

1、图神经网络已经在多个领域有了显著的表现,如医疗领域、生物领域以及社交网络分析,图神经网络可以在节点、边、还有子图的水平上进行预测和相似度匹配,同时也可以进行多种类似的搜索和预测任务。

2、目前,在安全领域,图相关的技术已经用在了异常检测、apt检测、攻击溯源等领域,其中,在异常检测领域中扮演着重要的检测和防御作用,相较于主要基于签名和规则的waf和ids系统,异常检测为基础的方案在发现新变种攻击、0day漏洞的方面有显著的优势,但现有技术仍受限于大数据量和大量警告导致的审查疲劳,导致异常检测的系统在响应速度和准确性上都低于前两种系统,进一步地,目前的异常检测系统也高度依赖于分析人员的专业水平和知识去排除可能的误报,因此多个方面都有可能导致有偏差的结论输出。

3、目前,针对数据异常检测的效率和准确性较低的问题,尚未提出有效地解决方案。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种数据异常检测方法、装置、计算机设备和存储介质。

2、第一方面,本技术提供了一种数据异常检测方法。该方法包括:

3、获取待检测数据;

4、基于待检测数据构建待检测图模型,将待检测图模型输入至训练完备的目标数据预测模型中,根据目标数据预测模型对待检测图模型的拓扑结构以及序列结构进行预测,得到针对待检测数据的预测结果;其中,目标数据预测模型是基于正常图模型数据集对预设的初始数据预测模型进行训练处理得到的;

5、基于预测结果与待检测数据之间的比对结果得到异常检测结果。

6、在一个实施例中,待检测数据包括系统数据和地址通信数据,目标数据预测模型包括系统数据预测模型和通信数据预测模型;基于预测结果与待检测数据之间的比对结果得到异常检测结果,包括:

7、基于系统数据中的系统行为构建系统瞬时图;将系统瞬时图输入至系统数据预测模型中,得到系统行为预测结果;基于系统行为预测结果与系统行为进行对比,得到第一异常检测结果;

8、基于地址通信数据中的实体因子得到地址图模型,将地址图模型输入至通信数据预测模型中,得到针对实体因子类型的类别预测结果,将类别预测结果与实体因子类型进行对比,得到第二异常检测结果;

9、基于第一异常检测结果以及第二异常检测结果得到异常检测结果。

10、在一个实施例中,基于第一异常检测结果以及第二异常检测结果得到异常检测结果,包括:

11、获取分别对应于第一异常检测结果以及第二异常检测结果的预设权重值;

12、基于预设权重值,对第一异常检测结果、第二异常检测结果进行加权计算,得到针对待检测数据的异常检测结果。

13、在一个实施例中,目标数据预测模型包括图神经网络和序列神经网络;将待检测图模型输入至训练完备的目标数据预测模型中,根据目标数据预测模型对待检测图模型的拓扑结构以及序列结构进行预测,得到针对待检测数据的预测结果,包括:

14、将待检测图模型输入至图神经网络中,根据图神经网络对待检测图模型进行编码并预测,得到拓扑特征结果;

15、将拓扑特征结果输入至序列神经网络中,根据序列神经网络对拓扑特征结果进行编码并预测,得到预测结果。

16、在一个实施例中,待检测数据还包括头部通信数据以及流量数据;方法还包括:

17、对头部通信数据进行筛选得到目标通信数据,并基于预设的过滤检测模型对目标通信数据进行检测,得到异常概率结果,基于异常概率结果得到针对头部通信数据的第三异常检测结果;

18、基于获取到的历史路径集以及对应于历史路径集的评价结果,对流量数据进行评分,基于流量数据评分结果得到针对流量数据的第四异常检测结果;

19、基于第三异常检测结果以及第四异常检测结果得到目标异常检测结果。

20、在一个实施例中,对头部通信数据进行筛选得到目标通信数据,并基于预设的过滤检测模型对目标通信数据进行检测,得到异常概率结果,包括:

21、基于头部通信数据建立地址请求图,并根据地址请求图得到剩余通信数据;其中,地址请求图包括正常通信数据;

22、对比正常通信数据与剩余通信数据之间的相似度,从剩余通信数据中获取目标通信数据,将目标通信数据输入至训练完备的过滤检测模型中,得到针对目标通信数据的异常概率结果;其中,过滤检测模型是基于预设的正常流量训练集完成训练的。

23、在一个实施例中,基于获取到的历史路径集以及对应于历史路径集的评价结果,对流量数据进行评分,包括:

24、建立历史路径集;

25、基于历史路径集中的历史登录信息以及历史登录路径,对历史路径集进行评价,得到评价结果,基于历史路径集以及评价结果完成对于流量数据的评分。

26、第二方面,本技术还提供了一种数据异常检测装置。所述装置包括:

27、获取模块,用于获取待检测数据;

28、计算模块,用于基于待检测数据构建待检测图模型,将待检测图模型输入至训练完备的目标数据预测模型中,根据目标数据预测模型对待检测图模型的拓扑结构以及序列结构进行预测,得到针对待检测数据的预测结果;其中,目标数据预测模型是基于正常图模型数据集对预设的初始数据预测模型进行训练处理得到的;

29、生成模块,用于基于预测结果与待检测数据之间的比对结果得到异常检测结果。

30、第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

31、获取待检测数据;

32、基于待检测数据构建待检测图模型,将待检测图模型输入至训练完备的目标数据预测模型中,根据目标数据预测模型对待检测图模型的拓扑结构以及序列结构进行预测,得到针对待检测数据的预测结果;其中,目标数据预测模型是基于正常图模型数据集对预设的初始数据预测模型进行训练处理得到的;

33、基于预测结果与待检测数据之间的比对结果得到异常检测结果。

34、第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

35、获取待检测数据;

36、基于待检测数据构建待检测图模型,将待检测图模型输入至训练完备的目标数据预测模型中,根据目标数据预测模型对待检测图模型的拓扑结构以及序列结构进行预测,得到针对待检测数据的预测结果;其中,目标数据预测模型是基于正常图模型数据集对预设的初始数据预测模型进行训练处理得到的;

37、基于预测结果与待检测数据之间的比对结果得到异常检测结果。

38、上述数据异常检测方法、装置、计算机设备和存储介质,一方面,基于训练完备的预测模型实现对待检测图模型的拓扑结构以及序列结构的预测,针对图模型的预测可以更为全面高效的反映待检测数据信息;另一方面,本技术还基于多种方法对待检测数据进行异常检测,形成对一个事件所产生的数据的多维度分析,从而得到更为准确的检测结果。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1