一种威胁评估算法性能动态仿真验证方法与流程

本发明涉及系统仿真，具体而言，涉及一种威胁评估算法性能动态仿真验证方法。

背景技术：

1、广域意义上的威胁评估是根据当前博弈场景信息评估目标的威胁程度，进而明确敌方意图的一种手段。威胁评估概念来源于于美国军方提出的数据融合模型，在模型中处于第三级，建模难度远高于一、二级。威胁评估算法应用于博弈场景中，支撑指挥人员准确判断危险、正确决策与部署全局资源，具有无可替代的地位。当前博弈场景信息空间急速扩张，信息要素的量化方式日益复杂，加速了威胁评估算法的更新迭代。

2、传统的威胁评估方法有多属性决策方法、模糊推理、灰色关联、贝叶斯推断等。这类方法大多在场景空间内构建威胁评估指标体系，采用定量、定性的方法进行威胁度量化。这类方法通常需要大量专家经验与实验统计数据，以此形成合理的威胁因子隶属度函数与权重系数，但威胁因子隶属度函数的建立依然难以涵盖全部场景要素，且权重系数的设定也难以验证其数据一致性。随着技术发展，研究人员开始将神经网络、深度学习等新技术应用到威胁评估中，希望通过样本学习等方法，训练得到合理的网络系统权重，意在解决人为因素参与导致的不确定影响。

3、不难发现，两类算法在核心问题上都属于数据驱动的多属性决策问题，在算法验证过程中，同样要考虑对其数据一致性与算法可解释性的验证。传统的威胁评估算法检验方法仅使用少数样本对静态场景下威胁评估算法的正确性进行验证，而缺乏在真实博弈场景下的动态威胁评估过程。

技术实现思路

1、本发明旨在至少解决现有技术中存在仅使用少数样本对静态场景下威胁评估算法的正确性进行验证，而缺乏在真实博弈场景下的动态威胁评估过程的技术问题之一。

2、为此，本发明针对当前威胁评估算法可解释性和可信性匮乏问题，提出一种威胁评估算法性能动态仿真验证方法，通过抽样误差分析、变化误差分析、综合评价与分析，实现以真实对抗博弈场景全要素全过程复盘推演为基础的威胁评估算法性能动态仿真验证，为全过程数据跟踪与分析、找寻威胁评估优化与改进方向、探寻威胁评估算法性能提升提供支持，进而为未来高强度博弈环境下高价值目标威胁程度的准确、稳定评估奠定技术基础。

3、本发明提出的一种威胁评估算法性能动态仿真验证方法，包括：

4、仿真与数据采集：以真实博弈对抗场景数据为基础设计仿真实体和想定场景，对想定场景下威胁评估算法的威胁评估要素项进行概括；利用仿真实体和想定场景进行复盘推演，以固定周期对推演全过程数据进行采集，得到推演全过程数据集，所述推演全过程数据集包括输入数据、威胁评估各要素项计算值及其权重值、威胁评估结果输出值；

5、抽样误差分析：从推演全过程数据集中随机抽取多个样本数据，对每个样本数据中的威胁评估要素计算值与基准值进行对比计算，结合威胁评估要素的权值得到基准对比误差，对多个样本数据的基准对比误差求平均，得到基准对比平均误差值，从而衡量威胁评估算法的准确性；

6、变化误差分析：计算推演全过程数据集中相邻两时刻的威胁评估算法结果输出值的变化量从而得到威胁评估算法结果变化值，利用威胁评估算法结果变化值与专家打分结果进行对比计算，将多次对比计算结果求平均，得到平均偏差值，从而衡量威胁评估算法的可信性；

7、综合评价与分析：对抽样误差分析和变化误差分析的计算结果进行综合计算，得到威胁评估算法综合评价值，从而综合衡量威胁评估算法的准确性和稳定性。

8、根据本发明上述技术方案的一种威胁评估算法性能动态仿真验证方法，还可以具有以下附加技术特征：

9、在上述技术方案中，所述仿真与数据采集包括：

10、设计仿真实体和想定场景：基于真实博弈对抗场景数据对仿真实体和想定场景进行设计，将设计结果分别保存到目标模型库和想定场景库；

11、配置威胁评估指标体系：以真实博弈对抗场景数据和设计的仿真实体与想定场景为基础，利用专家知识，对想定场景下威胁评估算法的威胁评估要素项进行多层次、多角度概括，形成层次化的威胁评估指标体系，将结果保存到威胁评估要素库；

12、利用仿真实体和想定场景进行复盘推演，根据设定好的数据采集周期对推演全过程数据进行采集，得到推演全过程数据集，将推演全过程数据集保存到数据库中。

13、在上述技术方案中，所述仿真与数据采集还包括：

14、根据真实博弈对抗数据对威胁评估各要素项进行专家打分，对专家打分结果采用正态分布法确定第层第个威胁评估要素的基准值的置信区间。

15、在上述技术方案中，所述抽样误差分析包括：

16、从推演全过程数据集中随机抽取个样本数据构成样本数据集，根据威胁评估要素基准值的置信区间计算威胁评估要素计算值的偏离值，偏离值计算方法如下：

17、

18、其中，表示第层第个威胁评估要素基准值的置信区间的下确界，表示第层第个评估要素基准值置信区间的上确界，表示第个样本数据中对应第层第个威胁评估要素的计算值；

19、根据威胁评估要素的权值和威胁评估要素计算值的偏离值计算第个样本数据的基准对比误差，计算方法如下：

20、

21、其中，表示第 k个样本数据的基准对比误差，表示威胁评估要素集的层数，表示第层内威胁评估要素项的数量；表示第层第个威胁评估要素的权值；

22、对多个样本数据的基准对比误差求平均，得到基准对比平均误差值，计算方法如下：

23、

24、其中，表示基准对比平均误差值，表示抽取的样本数据个数。

25、在上述技术方案中，所述基准对比平均误差值越小，威胁评估算法的准确性越高。

26、在上述技术方案中，所述仿真与数据采集还包括：

27、根据真实博弈对抗数据对各个时刻的威胁评估算法结果进行专家打分，并以此为基础，确定相邻两时刻威胁评估算法结果的变化量，通过正态分布方法确定威胁评估算法结果变化值的置信区间。

28、在上述技术方案中，所述变化误差分析包括：

29、计算推演全过程数据集中相邻两时刻的威胁评估结果输出值的变化量，计算方法如下：

30、

31、其中，表示时刻与时刻之间的威胁评估算法结果变化值，表示时刻的威胁评估算法结果输出值，表示时刻的威胁评估算法结果输出值；

32、根据威胁评估结果变化值的置信区间计算威胁评估算法结果变化值的偏离值，偏离值计算方法如下：

33、

34、其中，表示时刻与时刻威胁评估结果变化值置信区间的下确界，表示时刻与时刻威胁评估结果变化值置信区间的上确界，表示时刻与时刻之间威胁评估结果变化值的偏离值；

35、对多次对比得出的威胁评估算法结果变化值的偏离值求取平均值，得到平均偏差值：

36、

37、其中，表示平均偏差值，用于对时刻进行计数，时表示时刻；表示数据采集时刻总数。

38、在上述技术方案中，所述平均偏差值越小，威胁评估算法的稳定性越高。

39、在上述技术方案中，所述威胁评估算法综合评价值的计算方法如下：

40、

41、其中，表示基准对比平均误差值；表示平均偏差值；表示评价系数，用于平衡算法准确性和稳定性的权重。

42、在上述技术方案中，所述威胁评估算法综合评价值取值在0到1之间，的值越趋近于0，表明威胁评估算法的性能越好，的值越趋近于1，表明威胁评估算法的性能越差。

43、综上所述，由于采用了上述技术特征，本发明的有益效果是：

44、以真实博弈对抗数据为基础，利用复盘推演，通过周期采集，可以获得更加丰富的、大量的过程数据，为威胁评估算法性能验证提供数据支持；

45、通过抽样误差分析、变化误差分析、综合评价与分析，可以对威胁评估算法在真实博弈对抗场景下的算法准确性和稳定性进行评价，为用户优化改进算法、提升算法性能提供了参考和方向。

46、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。