一种网络入侵检测方法、装置及设备

文档序号:26057042发布日期:2021-07-27 15:35阅读:来源:国知局

技术特征:

1.一种网络入侵检测方法,其特征在于,包括:

获取待检测网络流量数据;

将待检测网络流量数据输入至基于多智能体深度确定性策略梯度的神经网络模型中,检测异常网络流量;其中,

所述基于多智能体深度确定性策略梯度的神经网络模型的确定,包括:

获取网络流量训练样本;

采用多智能体深度确定性策略梯度,通过网络流量训练样本,对actor网络和critic网络进行训练;

采用策略梯度,对actor网络参数进行更新;

采用损失函数,对critic网络参数进行更新。

2.如权利要求1所述的网络入侵检测方法,其特征在于,所述网络流量训练样本,包括:

当前流量特征集合s=(st,st+1,…st+n)、当前流量特征标签集合和下一阶段流量特征集合s‘=(st+n+1,st+n+2,…st+2n)。

3.如权利要求2所述的网络入侵检测方法,其特征在于,所述对actor网络和critic网络进行训练,具体包括:

将当前流量特征集合s=(st,st+1,…st+n)输入到actor当前网络中,通过策略函数提供在给定状态下的动作概率分布,确定当前最佳流量特征标签a=(at,at+1,…at+n);

将下一阶段流量特征集合s‘=(st+n+1,st+n+2,…st+2n)输入到actor目标网络中,通过策略函数提供在给定状态下的动作概率分布,确定下一阶段最佳流量特征标签a'=(a't+n+1,a't+n+2,…,a't+2n);

将当前最佳流量特征标签a=(at,at+1,…at+n)和当前流量特征标签集合进行匹配,如果一致,奖励值为1;如果不一致,奖励值为0,奖励集合为r=(r1,r2,…,rn);

将当前流量特征集合s=(st,st+1,…st+n)和当前最佳流量特征标签a=(at,at+1,…at+n)输入到critic当前网络中,计算所有当前q函数值集合;

将下一阶段流量特征集合s‘=(st+n+1,st+n+2,…st+2n)和下一阶段最佳流量标签a'=(a't+n+1,a't+n+2,…,a't+2n)输入到critic目标网络中,计算所有目标q函数值集合。

4.如权利要求3所述的网络入侵检测方法,其特征在于,所述策略梯度为:

其中,n个智能体且策略为θ={θ1,θ2,…θn}参数化的博弈,当前多智能体确定性策略为μ={μ1,μ2,…μn};qiμ=(s,a)是所有critic当前网络的值函数集合。

5.如权利要求4所述的网络入侵检测方法,其特征在于,所述损失函数为:

其中,γ为衰减因子;μ‘=(μ'1,μ'2,…,μ'n)是具有延迟参数θi'的actor目标策略集合,是所有critic目标网络集的值函数集合。

6.如权利要求4所述的网络入侵检测方法,其特征在于,还包括:

采用软更新方式,通过下式,对actor目标网络和critic目标网络的参数进行更新;

θi'←τθi+(1-τ)θi'

其中,τ为为软更新系数。

7.一种网络入侵检测装置,其特征在于,包括:

流量获取模块,用于获取待检测网络流量数据;

异常流量检测模块,用于将待检测网络流量数据输入至基于多智能体深度确定性策略梯度的神经网络模型中,检测异常网络流量;其中,

所述基于多智能体深度确定性策略梯度的神经网络模型,包括:

训练样本获取单元,用于获取网络流量训练样本;

网络训练单元,用于采用多智能体深度确定性策略梯度,通过网络流量训练样本,对actor网络和critic网络进行训练;

actor当前网络参数更新单元,用于采用策略梯度,对actor当前网络的参数进行更新;

critic当前网络参数更新单元,用于采用损失函数,对critic当前网络的参数进行更新。

8.一种计算机设备,包括存储器和处理器,所述存储器内存储有程序,其特征在于,所述处理器执行程序时实现权利要求1~6任一项所述方法的步骤。


技术总结
本发明公开了一种基于多智能体深度确定性策略梯度模型的网络入侵检测方法,涉及计算机网络安全技术领域。包括:获取待检测网络流量数据;将待检测网络流量数据输入至基于多智能体深度确定性策略梯度的神经网络模型中,检测异常网络流量;基于多智能体深度确定性策略梯度的神经网络模型的确定包括:获取网络流量训练样本;采用多智能体深度确定性策略梯度,通过网络流量训练样本,对Actor网络和Critic网络进行训练;采用策略梯度对Actor网络参数进行更新;采用损失函数对Critic网络参数进行更新。本发明的多智能体深度确定性策略梯度,采用简单快速的神经网络,更易部署在苛刻的网络环境中;也能以对抗性学习方式提高数量较少流量样本的检测准确率。

技术研发人员:董仕;夏元俊
受保护的技术使用者:周口师范学院
技术研发日:2021.04.25
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1