基于信息空间度量的目标识别模型性能评估方法和装置

本申请涉及深度学习，特别是涉及一种基于信息空间度量的目标识别模型性能评估方法和装置。

背景技术：

1、近年来随着深度学习技术的发展，目标识别技术被广泛地应用到多个领域，对社会经济发展和生产生活带来巨大改变，随着技术的日益成熟，深度学习技术在泛图像识别领域的应用也取得显著进步，雷达时频数据作为一种泛图像信号，其与深度学习技术的深入结合将是未来发展的重要趋势。为突破复杂电磁环境下多源混合干扰的雷达图像目标识别难题，大量研究学者致力于使用机器学习或深度学习技术提升识别模型性能，相关方面的研究与应用层出不穷。为了说明所提模型的性能优劣，识别性能评估指标为模型性能提升量提供了一个自然直观的度量。例如，识别准确率，它定义为正确识别的测试样本数占所有测试样本数的比例，但该指标在样本极度不平衡的情况下存在较大的偏颇。因此，查准率、查全率、f1分数等准确性指标也被相继提出应用于不同场景及不同特点的数据集。涉及识别模型的实时性和复杂性评估指标还比较欠缺，一般具体表现为模型时间或空间复杂度以及模型的参数量等。上述基于单评估指标的性能评估方法均仅适用于在给定某一数据集时，即在单一识别任务参照下可进行模型间性能直接对比的情况。

2、然而雷达时频数据集中所包含的是关于目标及目标所处环境所形成的有机体的信息，模型由于目标所处环境的多样复杂性与动态变化特点，所采集到的有限的雷达时频数据集往往无法覆盖所有可能出现的目标识别场景，真实的目标识别场景不再对应于单一的雷达时频数据集，而应该是所采集到的有限雷达时频数据集的各种变体所组成的多任务识别环境。在多任务识别场景下，需要一种跨任务的识别模型智能化水平的定量分析评估方法，模型的智能化具体表现为模型适应多变的识别场景的能力。为了实现对识别模型智能化水平的评估，一些基于多评估指标的性能评估方法被提出。具体地，构建关于多个识别任务的识别准确率指标集，为每个任务赋予特定的权重，则识别模型性能的评分结果为识别准确率与对应任务权重之间的加权求和。该方法可以得出较为一致的模型性能对比结果，但由于权重的设置严重依赖于专家的评判标准，这使得评估的过程既耗损人力又有失客观，有时权重设置的微小变化就可能带来截然不同的模型评判结果，因此应当为权重的设置提供更为科学的依据。

3、传统单评估指标性能评估方法无法评估由真实识别环境模拟的多任务识别场景，而多评估指标性能评估方法任务权重设置缺乏科学客观性，因此，如何解决在特定雷达目标识别任务难度条件下跨任务的智能目标识别性能评估成为亟待解决的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于信息空间度量的目标识别模型性能评估方法和装置。

2、一种基于信息空间度量的目标识别模型性能评估方法，所述方法包括：

3、解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

4、基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

5、根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

6、以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

7、一种基于信息空间度量的目标识别模型性能评估装置，所述装置包括：

8、任务解析模块，用于解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

9、测度计算模块，用于基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

10、指标获取模块，用于根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

11、性能评估模块，用于以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

12、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

13、解析预先设置的目标识别任务，得到待评估目标识别模型、当前任务场景下的识别任务集以及对所述识别任务集进行系列加噪后的多个加噪任务集；所述识别任务集包括待识别目标的多个雷达回波信号；

14、基于信息空间理论计算预设精度下对每一所述加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到每一所述加噪任务集对应的数据可分性测度，基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度；

15、根据所述待评估目标识别模型在每一所述加噪任务集上进行目标识别的识别准确率，得到待评估目标识别模型对应的性能评估指标；

16、以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型，根据所述映射模型对待评估目标识别模型进行识别能力评估，得到识别能力值。

17、上述基于信息空间度量的目标识别模型性能评估方法和装置，通过信息空间度量的率失真理论及最大均值差异理论，分别得到数据可分性测度和模板相似性测度，以在多任务识别场景下衡量识别任务难度，在特定的任务难度条件下，以数据可分性测度和模板相似性测度为参数，由简单的函数曲线拟合工具，构建模型识别准确率到识别能力的映射模型，从而得到待评估目标识别模型的识别能力值，该能力值不随着识别场景的变化而变化，可以作为识别模型的固有属性。本发明实施例，能够实现跨任务的模型识别能力对比分析过程，更为客观地衡量了目标识别模型适应多变的雷达目标识别场景的能力，为进行识别模型的模型选择与优化提供了科学的评判依据，具有重要的工程价值。

技术特征：

1.一种基于信息空间度量的目标识别模型性能评估方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述以每一所述加噪任务集对应的数据可分性测度和模板相似性测度为参数，构建由所述性能评估指标到模型识别能力的映射模型的步骤，包括：

3.根据权利要求1或2任一项所述的方法，其特征在于，所述基于信息空间理论计算每一所述加噪任务集相对于所述识别任务集的最大均值差异，得到每一所述加噪任务集对应的模板相似性测度包括：

4.根据权利要求1所述的方法，其特征在于，对所述识别任务集进行系列加噪后的多个加噪任务集的步骤，包括：

5.根据权利要求2或4任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求2或4任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，在根据每一模型参数下待评估目标识别模型在每一所述加噪任务集上对应的性能评估指标和所述映射模型，得到每一模型参数下待评估目标识别模型的识别能力值之后，包括：

9.根据权利要求1所述的方法，其特征在于，所述待评估目标识别模型包括k-近邻、带高斯核支持向量机、线性支持向量机和线性回归方法。

10.一种基于信息空间度量的目标识别模型性能评估装置，其特征在于，所述装置包括：

技术总结
本申请涉及一种基于信息空间度量的目标识别模型性能评估方法和装置。方法包括获取待评估目标识别模型、识别任务集以及对识别任务集进行系列加噪后的多个加噪任务集；计算预设精度下对每一加噪任务集中各雷达回波信号进行编码的最小二进制比特数，得到数据可分性测度，计算每一加噪任务集相对于识别任务集的最大均值差异，得到模板相似性测度；计算待评估目标识别模型在每一加噪任务集上进行目标识别的识别准确率，得到性能评估指标；由数据可分性测度和模板相似性测度，构建由性能评估指标到模型识别能力的映射模型，根据映射模型对待评估目标识别模型进行识别能力评估。采用本方法能实现跨任务的模型识别能力评估。

技术研发人员：张新禹,薛玲艳,姜卫东,霍凯,张双辉,夏靖远,刘永祥,黎湘
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：
技术公布日：2024/1/12