一种基于主机数据流特征提取的网络数据流异常检测方法与流程

文档序号:24643059发布日期:2021-04-13 14:04阅读:79来源:国知局

1.本发明涉及网络数据流异常检测领域,尤其涉及一种基于主机数据流特征提取的网络数据流异常检测方法。


背景技术:

2.网络流量异常是指网络流量行为偏离其正常行为的情形。随着网络规模不断扩大,复杂性不断增加,网络流量异常对网络性能的影响越来越大。如何快速、准确的检测出网络数据流的异常,成为一个备受关注的问题。
3.为解决上述问题,本申请中提出一种基于主机数据流特征提取的网络数据流异常检测方法。


技术实现要素:

4.(一)发明目的
5.为解决背景技术中存在的技术问题,本发明提出一种基于主机数据流特征提取的网络数据流异常检测方法,本发明对待检测主机的数据流进行特征提取,并对其映射,获得分离性好的新的特征合集,并通过取平均值,带入模型,得到偏离阈值,最后根据实时网络数据流偏离情况,判断网络异常情况;检测速度快,准确性好。
6.(二)技术方案
7.为解决上述问题,本发明提供了一种基于主机数据流特征提取的网络数据流异常检测方法,方法步骤如下:
8.s1、获取待检测主机的历史流量数据集;
9.s2、对历史流量数据集进行预处理;预处理内容包括缺失值处理、格式与内容处理、去除重复的数据和噪音数据的处理;
10.s3、对预处理后的历史流量数据集进行数据流特征提取:从n维度对历史流量数据集中的流量特征属性进行选取,并定义,再将定义后的特征属性一一对应映射到k维上,获得新的数据流量特征;
11.s4、对上述的新的数据流量特征取平均值;
12.s5、以s4中的平均值为基础,建立偏差计算模型;
13.s6、将所有新的数据流量特征带入偏差计算模型,计算出所有新的数据流量特征的偏差;
14.s7、进行偏差汇总,得到偏离集合,设定偏离阈值;
15.s8、进行流量异常检测时,获取实时的数据流特征;
16.s9、将实时的数据流特征带入偏差计算模型,得到实时偏差;
17.s10、根据偏离阈值判断实时偏差的偏离情况,超出阈值时,判断为网络数据流异常,在阈值范围内,判断为网络数据流量正常。
18.优选的,s1中的历史流量数据集包括多个特定时间段内,所有时间窗口的报文传
输类型、报文传输数量、报文传输速度和报文传输内容。
19.优选的,在s2中,缺失值处理需要根据缺失率和重要性,去除字段、填充缺失值、重新取数据。
20.优选的,检测后,将异常网络数据流存入数据库,并对偏差计算模型进行优化。
21.本发明的上述技术方案具有如下有益的技术效果:
22.本发明对待检测主机的数据流进行特征提取,并对其映射,获得分离性好的新的特征合集,并通过取平均值,带入模型,得到偏离阈值,最后根据实时网络数据流偏离情况,判断网络异常情况;检测速度快,准确性好。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
24.本发明提出的一种基于主机数据流特征提取的网络数据流异常检测方法,方法步骤如下:
25.s1、获取待检测主机的历史流量数据集;
26.s2、对历史流量数据集进行预处理;预处理内容包括缺失值处理、格式与内容处理、去除重复的数据和噪音数据的处理;
27.s3、对预处理后的历史流量数据集进行数据流特征提取:从n维度对历史流量数据集中的流量特征属性进行选取,并定义,再将定义后的特征属性一一对应映射到k维上,获得新的数据流量特征;
28.s4、对上述的新的数据流量特征取平均值;
29.s5、以s4中的平均值为基础,建立偏差计算模型;
30.s6、将所有新的数据流量特征带入偏差计算模型,计算出所有新的数据流量特征的偏差;
31.s7、进行偏差汇总,得到偏离集合,设定偏离阈值;
32.s8、进行流量异常检测时,获取实时的数据流特征;
33.s9、将实时的数据流特征带入偏差计算模型,得到实时偏差;
34.s10、根据偏离阈值判断实时偏差的偏离情况,超出阈值时,判断为网络数据流异常,在阈值范围内,判断为网络数据流量正常。
35.在一个可选的实施例中,s1中的历史流量数据集包括多个特定时间段内,所有时间窗口的报文传输类型、报文传输数量、报文传输速度和报文传输内容。
36.在一个可选的实施例中,在s2中,缺失值处理需要根据缺失率和重要性,去除字段、填充缺失值、重新取数据。
37.在一个可选的实施例中,检测后,将异常网络数据流存入数据库,并对偏差计算模型进行优化。
38.本发明中,对待检测主机的数据流进行特征提取,并对其映射,获得分离性好的新的特征合集,并通过取平均值,带入模型,得到偏离阈值,最后根据实时网络数据流偏离情况,判断网络异常情况;检测速度快,准确性好。
39.应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1