一种网络攻击下多域无人系统的分布式状态估计方法

1.本发明涉及多域无人系统在网络攻击下的安全估计，涉及多域无人系统的分布式状态估计器设计以及基于智能算法的最优攻击抑制控制策略设计。


背景技术：

2.本发明所针对的多域无人系统是指发挥陆域上的无人车、水域中的无人艇和空域中无人机等多区域无人系统在各区域的功能与优势，通过协同调配，完成搜救、作战和探测等任务，具有自主性强、适应性强和长时间值守等优势。但是随着信息通信技术的发展，黑客技术不断升级逐渐兴起，使无人系统协同通信暴露与开放的网络环境中，对网络攻击下无人系统安全状态估计引发了国内外学者大量关注。研究具有网络通信拓扑的多个无人系统安全估计方法，文献[l.petnga,h.xu.security of unmanned aerial vehicles:dynamic state estimation under cyber-physical attacks.2016international conference on unmanned aircraft systems(icuas),2016:811-819.]提出了一种基于卡尔曼滤波器的安全状态估计方法，考虑了无人机系统网络拓扑结构，基于图论的基本理论，设计了一种分布式的安全状态估计方法。同样，文献[m.noor-a-rahim,m.o.khyam,g.g.m.n.ali,z.liu,d.pesch,p.h.j.chong.reliable state estimation of an unmanned aerial vehicle over a distributed wireless iot network.ieee transactions on reliability,2019,68(3):1061-1069.]研究了针对于分布式无人系统无线物联网结构，提出了一种编码状态估计方法，进而提高无人系统通信的可靠性与安全。为了能够实现无人系统对网络攻击的主动防御，从而尽可能地避免网络攻击发生。多域无人系统的状态信息可信性是保证系统正常运行的关键，通过分布式状态估计的方法对系统状态的恢复具有重要意义。


技术实现要素：

[0003]
本发明要解决的网络攻击下多域无人系统测量信息的不完整性、异步性和虚假性影响的无人系统多传感器协同感知的状态估计的完整性、快速性和准确性等问题。
[0004]
本发明解决上述问题所采用的方法是多域无人系统的分布式状态估计器设计以及基于智能算法的最优攻击抑制控制策略设计。通过基于多传感器数据信息的分布式状态估计器设计，融合智能算法下的攻击抑制控制策略，实现拟态多域无人系统的分布式融合安全状态估计，提高多域无人系统的分布式安全。本发明能够有效解决网络攻击下无人系统协同感知、智能理解、精准决策、高效控制问题。
[0005]
网络攻击下多域无人系统的分布式状态估计方法包括多域无人系统分布式状态估计方法设计和基于深度强化学习的最优控制策略设计。
[0006]
首先，根据多域无人系统各个节点攻击检测信息集kn＝{[κ
1,1
,κ
1,2
,
…
,κ
1,n
],[κ
2,1
,κ
2,2
,
…
,κ
2,n
],
…
,[κ
s,1
,κ
s,2
,
…
,κ
s,n
]}和多传感器协同感知信息集yn＝{[y
1,1
,y
1,2
,
…
,y
1,n
],[y
2,1
,y
2,2
,
…
,y
2,n
],
…
,[y
s,1
,y
s,2
,
…
,y
s,n
]}，其中κ
s,n
，y
s,n
分别表示第s域第n
个节点的攻击检测信息和传感器节点数据信息，建立多域无人系统的分布式模型，进而设计基于分布式状态估计器；其次，建立分布式状态估计器的状态估计误差二次型，设计网络攻击优化策略从而实现对多域无人系统所遭受的网络攻击的估计；进一步考虑分布式状态估计器的估计误差函数，设计分布式状态估计器的参数优化方法，从而获取分布式状态估计器的增益；最后，获取估计状态与系统参考模型状态的误差指标函数，设计多域无人系统的优化目标值函数和交互函数系统间交互函数从而得到基于哈密尔顿-雅克比-贝尔曼方程的评价函数和执行函数，基于并行工作神经网络方法，设计评价网络和执行网络，通过策略迭代至算法收敛。进一步地，利用新型凸优化理论和lasalle不变集理论对状态估计的最优性、收敛性、稳定性进行分析。
附图说明
[0007]
图1为本发明多域无人系统分布式安全估计系统结构示意图；
[0008]
图2为本发明基于深度强化学习的分布式融合状态方法算法结构图；
具体实施方式
[0009]
下面以包含区域1、区域2、区域3的多域无人系统为例，结合附图详细描述本发明的技术方案。
[0010]
如图2所示，本发明所设计的网络攻击下多域无人系统的分布式状态估计方法，主要包括攻击信息检测与系统协同信息融合、分布式状态估计器设计、网络攻击策略优化估计、估计器增益优化设计和基于深度强化学习的攻击抑制最优控制策略设计。实施过程主要是从网络攻击下多域无人系统的分布式状态估计方法设计和基于强化学习的多域无人系统攻击抑制最优控制策略设计两个方面展开。
[0011]
首先，开展网络攻击下多域无人系统的分布式状态估计方法设计，如图2，所示的多域无人系统状态估计算法结构图，首先，针对于多域无人系统，利用多域无人系统各个节点攻击检测信息集kn＝{[κ
1,1
,κ
1,2
,
…
,κ
1,n
],[κ
2,1
,κ
2,2
,
…
,κ
2,n
],
…
,[κ
s,1
,κ
s,2
,
…
,κ
s,n
]}和多域传感器协同感知信息集yn＝{[y
1,1
,y
1,2
,
…
,y
1,n
],[y
2,1
,y
2,2
,
…
,y
2,n
],
…
,[y
s,1
,y
s,2
,
…
,y
s,n
]}，其中κ
s,n
，y
s,n
分别表示第s域第n个无人系统节点的攻击检测信息和传感器节点数据信息，建立相应的分布式网络通信拓扑模型为gs＝(vs,es,is)，其中vs表示第s域的节点状态信息vs＝{x
s,1
,
…
,x
s,i
,
…
}，es表示s域无人系统的通信拓扑边缘，如果(x
s,i
,x
s,j
)∈es，则表示s域节点x
s,i
与x
s,j
存在通信连接，is表示s域的通信节点分布式交互信息is(xi,xj)∈is。令a
s,i
(x
s,i
,t)∈as表示第s域第i个无人系统所遭受的网络攻击，从而可得网络攻击下的分布式多域无人系统模型为g
sa
＝(vs+as,es,is)。基于分布式最优估计器理论，设计如下的多域无人系统分布式状态估计器其中表示最优状态信息估计器，其方程为其中表示被估计状态和测量值估计值，l
s,i
为分布式状态估计器的测量误差增益，k
s,i
为分布式状态估计器的交互误差增益。通过将式(2)的估计状态与参考模型(1)状态真实值输出结果的比较，定义估计
状态与系统参考模型状态的误差其中γ(
·
)为估计误差指标函数且γ(0)＝0，τ(t)为时变且正定的，x
s,ik
为第s域第i域无人系统的第k个状态。考虑到攻击者能够通过窃取系统状态信息，对网络攻击测量进行设计，从而破坏分布式状态估计器的状态估计性能，导致多域无人系统的状态估计信息可信。基于此，可以从攻击者的立场对网络攻击策略进行估计，设计攻击策略的有约束优化问题为其中表示分布式状态估计器的测量误差绝对大小，pm为正定对称矩阵，约束条件表示攻击所带来的交互估计误差绝对大小小于一定阈值δ＞0，其中pi为正定对称矩阵，该约束能够使得网络攻击策略在对多域无人系统状态估计效果产生较大破坏，同时保证攻击的隐蔽性。基于拉格朗日乘子法，可以对(4)所表示的优化问题，设计如下网络攻击策略估计方法其中λ为拉格朗日乘子，通过上述优化策略，实现对网络攻击策略的估计，为进一步的多域无人系统分布式状态估计器的参数优化设计奠定基础。当攻击者采用上述的攻击策略时，设计分布式状态估计器的状态观测性能目标函数为其中p
m1
，p
i1
均为相应维度的正定对称矩阵，为了使得分布式状态估计器的估计误差渐进收敛至零，还需满足因此，可以得出如下的多域无人系统分布式状态估计器增益矩阵有约束优化问题同样采用拉格朗日乘子法，从而可以获取如下的分布式状态估计器增益的优化求解方法：其中δe＞0且令为柔性因子。
[0012]
进一步地，考虑到分布式多域无人系统为异构的通信网络，由于受到网络攻击、通信能量、拓扑结构等的影响，存在一定量的不匹配节点，需要对这类节点进行控制器设计，有效抑制网络攻击的影响，采用基于智能算法的多域无人系统攻击抑制最优控制策略设计，对多域无人系统分布式安全状态估计的性能进行。因此，建立每个多域无人系统无人系统的状态估计优化目标值函数以及各个无人系统之间的信息交互特性函数基于无人系统之间的异构信息。基于最优控制理论，从而得到基于哈密尔顿-雅克比-贝尔曼方程其中表示s越第i个无人系统优化目标单元，j∈n
s,i
表示第s域第i个无人系统节点的邻接节点。设计基于策略迭代的深度强化学习算法如下：
[0013]
初始化参数控制输入参数
[0014]
评价函数迭代：
[0015]
建立并行工作神经网络下的评价网络：其中w
s,i
表示第s域第i个无人系统的评价函数逼近权重，表示交互信息权重值，第s域i个无人系统神经网络逼近输入参数向量，b
s,i
为神经网络偏置，σ(
·
)为激励函数。
[0016]
执行函数迭代过程：
[0017]
并行工作神经网络下的执行网络建立：
[0018]
其中m
s,i
和θ
s,j
为神经网络并行工作权重，为控制输入耦合，l为迭代因子，l
s,i
(
·
)≥0为优化目标优化单元。
[0019]
令值函数为建立s域第i个无人系统贝尔曼方程：
[0020][0021]
从而设计神经网络的损失函数为：
[0022]
则神经网络未知参数的更新率为：
[0023][0024]
其中为学习率。
[0025]
通过策略迭代至算法收敛获取最优控制输入u*。上述算法的迭代收敛特性可以表示为：
[0026][0027]
其中，如果r
l
≤a,a＞0，则算法为q-p次收敛。
[0028]
最后，根据控制的稳定性指标李雅普诺夫函数为其中q(
·
)＞0表示整个多域无人系统的状态估计误差函数，多域无人系统系统攻击策略估计集合为e
t
表示相应的估计误差集合。由式(9)可得则系统的稳定性满足v(e
t+1
)-v(e
t
)＝-l(e
t
,yn,an)≤0，在区域ω
l
内有v(e
t
)＜l(l＞0)，那么在该区域内的令v(e
t+1
)-v(e
t
)＝0的点集组成的区域定义为r，令m∈ω
l
为r的最大子集。通过选取一个初始点，令q(e
t
,u0)∈m，根据lasalle不变集理论，就可以令系统收敛于m域中的某一点。