本发明涉及视频监控,尤其是涉及一种加密流量网络的异常行为检测方法、装置、计算设备及存储介质。
背景技术:
1、视频监控设备作为安防系统的核心组成部分,已经广泛应用于城市交通、公共场所、商业区域等。随着加密技术的进步与用户隐私保护意识的提升,在视频监控领域,网络流量通常采用https进行加密通讯,传统基于非加密流量网络的异常行为检测方法、端口分析和流量包头分析逐渐失效,识别潜在威胁和异常行为变得愈发复杂。
2、目前,针对加密流量网络的异常行为检测方法主要包括:基于统计特征的方法、基于行为分析的方法、基于机器学习的方法、基于加密协议分析的方法等。例如,公开号cn113765846a的中国专利文件公开了“一种网络异常行为智能检测与响应方法、装置及电子设备”,该方法包括:通过交换机采集会话层的镜像流量,并从镜像流量中提取流量特征;基于流量特征训练校检规则,其中,校检规则包括内外网校检规则、存活主机校检规则、已有网络服务校检规则以及已有操作系统网络指纹生成规则;根据校验规则对每一个网络请求进行标记,形成请求日志;根据请求日志对每一个网络请求做出基础应答。该方案检测的准确性依赖于预先定义的规则,在复杂网络环境中易出现误报或漏报。公开号为cn115314268a的中国专利文件公开了“基于流量指纹和行为的恶意加密流量检测方法和系统”,该方法包括:接收采集终端发送的数据流;从报文载荷部分提取加密套件和数字证书,将标识符与加密套件和数字证书一起生成流量指纹向量;根据加密套件对数据流进行解密,按照时域连续性采样数据流,得到降维后的离散数据流;通过调用句法模型和语义分析模型,完成数据流的断句和冗余过滤,实现了特征提取的自动化;通过卷积神经网络和随机森林分类,根据分类结果判断采集终端发送的数据流是否包括攻击向量。该方案严重依赖解密数据流的能力,如果加密协议或密钥管理机制发生变化,或者使用了强加密算法,解密过程可能会变得不可行或不准确。模型训练数据不能覆盖所有可能的攻击向量和加密流量类型,模型的泛化能力可能会受到限制。公开号为cn109495513a的中国专利文件公开了“无监督的加密恶意流量检测方法、装置、设备及介质”,该方法包括:基于网络流量采集所需的数据特征集;利用采集的数据特征集建立客户端与服务端之间的二分图;通过图切分方法对客户端和服务端节点进行初次聚类;对初次聚类当中较大联通子图的客户端和服务端节点进行向量化处理;对向量化后的数据利用dbscan算法再次聚类;利用再次聚类后的聚类结果判定恶意流量和节点。该方法依赖于基于网络流量的特征集进行分析,如果特征选择不准确,或者所选特征无法有效区分正常流量和恶意流量,聚类结果的准确性将受到严重影响。
3、因此,加密流量异常检测面临流量可见性降低、特征提取难度增加、高误报率、低检出率、协议演变、隐私保护以及攻击对抗技术等多方面的挑战。
技术实现思路
1、基于现有技术中存在的问题,本方案提出了一种加密流量网络的异常行为检测方法、装置、计算设备及存储介质,针对已知种类的异常行为和未知种类的异常行为进行不同的检测技术,根据流量特征的不同来构建不同的特征指纹模型,通过在传统聚类算法中引入自适应密度估计方法和基于平衡kd树的方法,能够克服了传统方法中对合适阈值和规则的准确性的依赖;通过动态计算多指纹模型系数,克服了泛化能力不足、在不同的区域和不同的时间难以进行区分计算的问题;基于强化学习对图注意力神经网络的注意力权重进行优化,克服了注意力权重单一、节点关系关联度不高的问题,能够提高加密流量网络异常行为识别的效率和准确率。
2、根据本发明的第一方面,提供了一种加密流量网络的异常行为检测方法,包括:采集加密流量数据;对采集的加密流量数据进行多维度特征提取,将多维度特征整合为json格式的数据;基于json格式的数据中不同特征,构建加密流量数据的多指纹模型,并对多指纹模型进行动态计算,得到已知种类的异常行为数据;基于已知种类的异常行为数据构建图注意力网络,基于强化学习对图注意力网络的注意力权重进行优化,得到训练好的图神经网络模型;将待预测的加密流量数据输入训练好的图神经网络模型,得到异常行为识别结果。
3、通过采用上述技术方案,通过将多特征进行分开构建,基于流量特征构建多指纹模型,构建的多指纹模型系数能够根据不同流量特征进行动态调整使得在复杂网络环境中减少出现误报或漏报。在图注意力网络模型中采取强化学习对注意力权重进行优化,结合策略网络与策略梯度方法,能够在训练过程中不断调整注意力机制,直至模型收敛,基于图的特性结合所关联的信息实现了对未知异常流量的预测。
4、可选地,在本发明提供的加密流量网络的异常行为检测方法中,通过交换机的端口镜像将视频监控设备的流量镜像到指定的监控端口,基于网络流量分析工具捕获监控端口的原始流量数据;对捕获的原始流量数据进行初步过滤,基于流量协议识别出不同类型的流量数据;基于不同类型的流量数据中的端口号、流量模式和数据包内容,提取加密流量数据。
5、通过采用上述技术方案,端口镜像可以在不干扰网络正常运行的情况下捕获流量数据,保证了监控的隐蔽性和网络的稳定性。通过分析端口号、流量模式和数据包内容,可以有效提取出加密流量数据,便于对特定流量的深入分析。
6、可选地,在本发明提供的加密流量网络的异常行为检测方法中,通过ndpi深度包检测模块提取加密流量数据的统计特征、协议特征、时间特征和频率特征,统计特征包括五元组和包长,协议特征包括协议类型和首部长度,时间特征包括生存时间和时间戳,频率特征包括确认号和连接频率连接频率;以目的ip地址为键值,将提取的统计特征、协议特征、时间特征和频率特征整合成json格式的数据。
7、通过采用上述技术方案,通过统计特征、协议特征、时间特征和频率特征的提取,可以全面捕获流量的多方面信息。这种多维度特征的整合有助于更好地理解流量模式,提高异常行为检测的准确性。
8、可选地,在本发明提供的加密流量网络的异常行为检测方法中,对json格式的数据标准化处理,得到标准化流量数据;基于自适应密度估计的dbscan聚类算法对标准化流量数据进行特征分类,分别得到多个流量特征的指纹模型;对构建的多个流量特征的指纹模型进行动态计算,得到异常行为数据。
9、通过采用上述技术方案,通过在传统聚类算法中引入自适应密度估计方法和基于平衡kd树的方法,能够克服传统方法中对合适阈值和规则的准确性的依赖;通过动态计算多指纹模型系数,克服了泛化能力不足、在不同的区域和不同的时间难以进行区分计算的问题。
10、可选地,在本发明提供的加密流量网络的异常行为检测方法中,构建数据集,选择某一维度对数据集进行排序得到排序结果,将排序结果的中位数作为分割点;
11、维护一个优先队列q,对于数据集中的每个查询点,递归遍历kd树,记录当前最近邻距离,为当前已知最近邻的距离,是在优先队列 q 中的最小距离,当遍历到某个子树时,计算该子树的分割平面距离,如果当前子树的分割平面距离小于,则优先探索该子树将其信息加入优先队列q,否则直接跳过该子树;
12、通过下述公式估计每个数据点的密度:,
13、其中,n 是数据集x中数据点的数量,,k()是核函数,是带宽;
14、根据密度估计值调节带宽的大小,带宽通过下述公式计算:,是全局初始带宽,是数据点的初步密度估计值,g是所有初步密度估计值的几何平均,是调节参数。
15、可选地,在本发明提供的加密流量网络的异常行为检测方法中,通过下述公式动态计算多个流量特征的指纹模型,得到动态计算结果 y:
16、,为不同流量特征对应的指纹模型,动态系数,随时间的变化而变化,动态系数计算公式为:,,,,,其中,a是波动的幅度,n是基线值,分别为不同的时间点;
17、基于动态计算结果、ip之间的通信关系和共同访问的资源、请求频率、数据包大小、响应时间,得到已知种类的异常行为数据。
18、可选地,在本发明提供的加密流量网络的异常行为检测方法中,根据ip之间的通信关系和共同访问的资源构建边,基于请求频率、数据包大小、响应时间确定边的权重,构建一个图注意力网络;通过下述公式计算所述图注意力网络中每个节点i对其邻居节点j的注意力权重为:,其中,w是线性变换矩阵,a是学习得到的注意力参数,和是节点i和j的特征向量,||表示向量连接操作,是激活函数;
19、对所述注意力权重进行归一化处理:,其中,n(i)表示节点i的邻居节点集合;
20、通过下述公式计算节点i的新特征:,其中:为节点i的新特征,σ为激活函数,w为线性变换矩阵,为节点 i与邻居节点j的注意力权重, n( i)是节点 i的邻居节点集合;
21、随机初始化策略网络参数,基于预测的准确率定义一个奖励函数r,最大化累积奖励r,采取reinforce算法优化策略网络参数,计算损失函数,通过反向传播来更新策略网络参数:,为学习率,重复上述步骤,直到模型收敛,得到训练好的图神经网络模型。
22、通过上述技术方案,基于强化学习对注意力权重进行优化的方法,通过结合策略网络与策略梯度方法,能够在训练过程中不断调整注意力机制,使得网络更好地适应下游任务的需求。
23、根据本发明的第二方面,提供了一种加密流量网络的异常行为检测装置,包括:数据采集模块、特征提取模块、指纹模型构建模块、图神经网络构建模块和预测模块。
24、其中,数据采集模块,用于采集加密流量数据;特征提取模块,用于对采集的加密流量数据进行多维度特征提取,将多维度特征整合为json格式的数据;指纹模型构建模块,用于基于json格式的数据中不同特征,构建加密流量数据的多指纹模型,并对多指纹模型进行动态计算,得到已知种类的异常行为数据;图神经网络构建模块,用于基于已知种类的异常行为数据构建图注意力网络,基于强化学习对图注意力网络的注意力权重进行优化,得到训练好的图神经网络模型;预测模块,用于将待预测的加密流量数据输入训练好的图神经网络模型,得到异常行为识别结果。
25、根据本发明的第三方面,提供一种计算设备,包括:至少一个处理器;和存储有程序指令的存储器,其中,程序指令被配置为适于由至少一个处理器执行,程序指令包括用于执行上述加密流量网络的异常行为检测方法的指令。
26、根据本发明的第四方面,提供一种存储有程序指令的可读存储介质,当程序指令被计算设备读取并执行时,使得计算设备执行上述的加密流量网络的异常行为检测方法。
27、综上所述,根据本发明提供的加密流量网络的异常行为检测方法和装置,至少可以达到以下技术效果:
28、1. 根据特征的不同来构建不同的特征指纹模型,通过在传统聚类算法中引入自适应密度估计方法和基于平衡kd树的方法,能够克服了传统方法中对合适阈值和规则的准确性的依赖;通过动态计算多指纹模型系数,克服了泛化能力不足、在不同的区域和不同的时间难以进行区分计算的问题,实现了对已知种类的异常行为的识别;
29、2.基于强化学习对图注意力神经网络的注意力权重进行优化,克服了注意力权重单一、节点关系关联度不高的问题,能够提高加密流量网络异常行为识别的效率和准确率;
30、3.将流量的行为等信息构建成图来进行异常行为的识别,根据构建好的图,来进行前向推理,基于待预测的关联关系来推断该流量是否为异常行为,实现了视频监控等网络安全领域对未知异常流量的预测;
31、4.针对已知种类的异常行为和未知种类的异常行为进行不同的检测技术,在双重检测技术下使异常流量检测精度更高、误报率更少、检测范围更广。
32、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。