一种目标检测模型的决策风险评估方法及系统

本发明涉及人工智能，尤其涉及一种目标检测模型的决策风险评估方法及系统。

背景技术：

1、传统的对目标检测模型的评价，当模型训练完成后，只能从基于数据集的map指标的高低，推算模型的性能。近年来，深度学习目标检测领域算法迭代更新较快，同时也涌现出了许多评估方法。智能识别模型的评估，主要是评估模型的两个方面，即识别准确性和识别鲁棒性。

2、目标检测模型准确性要求模型能够对陌生环境的未知样本数据也能够推理得到识别正确的检测结果。模型准确性不高的主要原因为：模型真实环境因素多变，训练数据集数量有限，无法完备地表征客观环境的所有模式，致使训练得到的目标检测模型泛化能力不足，在真实使用的过程中表现不够稳定。

3、目标检测模型鲁棒性要求模型对于存在较小扰动的输入样本，能够保持输出准确的预测结果。模型鲁棒性缺乏的主要原因为：目标检测模型可解释性不足，目前ai技术中广泛使用的深度学习模型是由多层神经网络模块连接组合而成，模型参数数量巨大、体系结构复杂，是一个结构复杂、难以使用清晰解析式来表达的非凸函数。

4、近年来，考虑到ai安全问题，目标检测模型在决策过程中很可能出现预期之外的决策风险隐患。在没有任何干扰的情况下，目标检测模型的准确率甚至能超过人类，然而在模型测试阶段，目标检测模型容易受到测试样本的欺骗从而输出不可预计的结果，甚至被攻击者操纵，本质上，这类威胁可用来测试ai模型的决策正确性。目标检测模型自身识别准确率存在瑕疵和外部对抗攻击扰动欺骗构成了误导决策的风险源，亟需建立对模型的决策风险评估方法，确保决策的一致性和可靠性。

5、现有技术在对诸如基于卷积神经网络算法的目标检测模型进行评估时，大多是从模型的识别准确性、安全性或鲁棒性等单一角度，对模型进行评估，未能从模型的综合可靠性，即从模型的识别准确性、鲁棒性和安全性等多个角度同时综合进行多维度的评估。然而，对模型进行决策风险评估，尤其是在军事领域，恰恰需要对模型进行综合评估，需全面测试模型在陌生环境、恶劣环境以及在人工智能对抗攻击环境下的表现性能，这正是本发明需研究解决的问题。

技术实现思路

1、本发明提供一种目标检测模型的决策风险评估方法及系统，用以解决现有技术中的缺陷，实现从不同的维度对目标检测模型进行评估，确定所述目标检测模型的精确性、鲁棒性或安全性等性能，完善可靠性保障机制。。

2、第一方面，本发明提供一种目标检测模型的决策风险评估方法，包括：将每种测试样本输入至待评估的目标检测模型，输出对应的目标检测结果；根据每种测试样本的目标检测结果，获取对应的预测标注文件；对每种测试样本的预测标注文件和正确标注文件中的关键有效信息进行比对分析，确定每种测试样本下目标检测模型的评估结果；其中，预测标注文件和正确标注文件均属于目标标注文件，目标标注文件中的关键有效信息包括：每个目标的所在图像的图像名称信息、每个目标的类别名称信息以及每个目标的标注框位置信息；根据每种测试样本下的目标检测模型的评估结果，对所述目标检测模型进行综合评估。

3、根据本发明提供的一种目标检测模型的决策风险评估方法，测试样本的类型包括：陌生样本、变换样本和对抗样本。

4、根据本发明提供的一种目标检测模型的决策风险评估方法，对当前测试样本的预测标注文件和正确标注文件中的关键有效信息进行比对分析，确定当前测试样本下目标检测模型的评估结果，包括：分别提取所述预测标注文件和所述正确标注文件中的关键有效信息，生成对应的第一比对文件和第二比对文件；基于所述第一比对文件和所述第二比对文件，遍历比对获取当前测试样本中每个目标的检测结果；根据每个目标的检测结果，确定所述目标检测模型的识别正确率、误检率以及漏检率；根据所述识别正确率和所述漏检率，确定每种测试样本下目标检测模型的评估结果。

5、根据本发明提供的一种目标检测模型的决策风险评估方法，获取当前测试样本中任一目标的检测结果，包括：确定所述任一目标分别在第一比对文件和第二比对文件中的标注框位置信息；根据所述任一目标分别在第一比对文件和第二比对文件中的标注框位置信息，计算所述任一目标的标注框并交比；在所述标注框并交比大于等于预设交并比阈值的情况下，判断所述任一目标分别在第一比对文件和第二比对文件中的类别名称信息是否一致；在确定所述类别名称信息一致的情况下，确定所述任一目标被识别正确。

6、根据本发明提供的一种目标检测模型的决策风险评估方法，还包括：在所述标注框并交比小于预设交并比阈值的情况下，确定所述任一目标被漏检；以及，在确定所述类别名称信息不一致的情况下，确定所述任一目标被识别错误。

7、根据本发明提供的一种目标检测模型的决策风险评估方法，所述预测标注文件和所述正确标注文件的文件类型均为xml文件；所述第一比对文件和所述第二比对文件的文件类型为excel文件。

8、根据本发明提供的一种目标检测模型的决策风险评估方法，所述根据每种测试样本下的目标检测模型的评估结果，对所述目标检测模型进行综合评估，包括：获取所述目标检测模型的历史检测记录；基于所述历史检测记录对所述目标检测模型的应用场景进行分析，确定出每种评估结果对应的评估权重；根据每种评估结果和每种评估结果对应的评估权重，确定出最终的综合评价结果。

9、第二方面，本发明还提供一种目标检测模型的决策风险评估装置，包括：

10、第一处理模块，用于将每种测试样本输入至待评估的目标检测模型，输出对应的目标检测结果；

11、第二处理模块，用于根据每种测试样本的目标检测结果，获取对应的预测标注文件；

12、第三处理模块，用于对每种测试样本的预测标注文件和正确标注文件中的关键有效信息进行比对分析，确定每种测试样本下目标检测模型的评估结果；其中，预测标注文件和正确标注文件均属于目标标注文件，目标标注文件包括：每个目标的所在图像的图像名称信息、每个目标的类别名称信息以及每个目标的标注框位置信息；

13、第四处理模块，用于根据每种测试样本下的目标检测模型的评估结果，对所述目标检测模型进行综合评估。

14、第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测模型的决策风险评估方法的步骤。

15、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测模型的决策风险评估方法的步骤。

16、本发明提供的目标检测模型的决策风险评估方法及系统，具有以下有益效果：

17、(1)本发明提供的目标检测模型的决策风险评估方法及系统，将基于不同类型测试样本、不同无人平台采集数据、不同训练收敛情况的目标检测模型，形成的评估结果统计汇总，能够较为全面、直观的反映出待评估的目标检测模型在面对不同的工作环境和数据样本下的决策风险评估能力。

18、(2)本发明提供的目标检测模型的决策风险评估方法及系统，能够从模型的输入端数据入手，以陌生数据、变换数据、对抗数据3个维度，对无人平台识别模型进行可靠性评估，并根据3个维度的分项评估结果，综合给出模型整体的包含不及格、及格、良好、优秀4类分级档次的决策风险评估结果。

19、(3)本发明提供的目标检测模型的决策风险评估方法及系统，在基于智能识别系统的基础上，只需简单的编程，便可自动化实现对模型的评估测试，且可以按照实际需求灵活修改iou交并比、正确率、漏检率等阈值。