针对图像数据的目标检测深度学习网络评估系统

本发明属于深度学习技术与检测，具体涉及一种图像数据的单目标检测深度学习网络的评估系统。

背景技术：

1、在21世纪的今天，人们获取到的信息80％都来源于图像，因此对图像和视频的处理显得尤为重要。在我们的日常生活与工作中，每天都会产生大量的视频和图像数据，如行车记录仪、监控视频、健康体检等，这些大量亟需处理的数据如果仅靠人工处理，并不能满足我们的需求，我们可以通过计算机改善这一情况，目标检测就是其中一项不可或缺的技术。

2、目标检测技术对于对人力资本的消耗、安全信息的防护、智能化的生活体验，都具有重要的现实意义。目标检测技术如此广泛应用的同时，其引发的事故会对人类生活产生极大的影响，可能会导致巨大损失。例如：2016年，一司机因驾驶自动驾驶汽车出现意外导致车毁人亡；同年弗罗里达州一男子驾驶自动驾驶汽车与火车相撞，导致当场丧生；2018年亚利桑那州自动驾驶汽车与行人相撞，导致行人不治身亡。由此可见，对目标检测技术的可信性、可行性以及安全性的测试与评估至关重要且势在必行。

3、但是目前对深度学习目标检测网络可信性评估的方法比较单一。在研究过程中也缺少统一的可信性评估技术规范和标准。一般情况下，只简单的采用准确率、精确率等作为检测结果的评估依据，或是仅仅研究网络内部神经元的覆盖率，指标单一，无法作为可信性评估的完备指标，且在研究目标检测网络时，给出的指标结果也仅仅是在理想情况下或经典场景下得到的。在非理想情况或其他场景下，网络的表现情况无法得到保证；若受到攻击或者干扰，网络的表现情况也无法保证。因此，依托于原有的评估方法不能够全面的对目标检测网络进行可信性评估。而未经完备评估的目标检测网络，其泛化性能与鲁棒性能未知，内部神经元的结构与利用率也未知，也就无法从根本上保证目标检测网络的可信性，导致在实际应用过程中存在安全性隐患，甚至产生重大事故问题。更为重要的是，目前的对于虚警、漏检率评估的评估中，如果仅用交并比来确定目标框是否匹配是不可靠的。

技术实现思路

1、本发明为了解决现有的针对图像数据的目标检测深度学习网络评估存在对仅用交并比来确定目标框是否匹配不可靠问题，以及无法得到在非理想情况下网络的表现情况的问题。

2、针对图像数据的目标检测深度学习网络评估系统，包括一个虚警、漏检率判断子系统和一个可选指标评估子系统；其中，虚警、漏检率判断子系统用于确定虚警和漏检情况，可选指标评估子系统用于根据用户输入评估指标的选项进行对应的指标计算并反馈给用户；

3、所述虚警、漏检率判断子系统确定虚警和漏检情况的过程包括以下步骤：

4、基于目标检测网络的预测或识别结果，获取标签文件；目标检测网络针对每张图像都能导出两个txt标签文件，一个原始标签文件，一个预测标签文件；基于设置的交并比两个阈值进行如下处理：

5、交并比的两个阈值中加大的阈值记为第一阈值，较小的阈值记为第二阈值；

6、(a)、当原始标签目标框多于预测标签目标框时：按行取出原始标签txt中的一个框，与预测标签文件中的每个框都进行对比，计算交并比；

7、当两个框的iou大于第一阈值时，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；

8、若原始框和预测标签txt中的每个框的iou均小于第二阈值时，判定其为漏检；计算漏检框个数与总框个数，最终计算漏检率；

9、若原始框和预测标签txt文件中的每个框的iou在第二阈值至第一阈值之间时，计算交小比；交小比：两个目标框相交的面积/两个框中面积较小的目标框；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；

10、(b)、当原始标签目标框少于预测标签目标框时：按行取出原始标签txt文件中的一个框，与原始标签文件中的每个框都进行对比，计算交并比；

11、当两个框的iou大于第一阈值时，说明两个框匹配；匹配后，将原始标签和预测标签分别读到两个新的txt中；

12、若预测框和原始标签txt中的每个框计算后的iou均小于第二阈值时，判定其为虚警，计算虚警框个数与总框个数，最终计算虚警率；

13、若预测框和原始标签txt中的每个框的iou在第二阈值至-第一阈值之间时，计算交小比；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；

14、当上述操作完成后，将得到两个标签匹配之后的txt文件以及虚警、漏检率两个指标；两个文件中的标签值是一一对应的。

15、进一步地，所述的可选指标评估子系统包括一个泛化性评估模块；用户选择输入泛化性评估中的一个或者多个指标，可选指标评估子系统根据对应的指标进行相应指标的评估：

16、所述的泛化性评估模块包括分类正确性评估单元和定位精准度评估单元；

17、a、分类正确性评估单元：

18、分类正确性评估单元用于对分类标签的泛化性进行评估，分类标签的泛化性评估指标包括准确率acc、精确率p、召回率r、混淆矩阵、平均ap值、f1值、roc曲线、auc面积、kappa系数、海明距离、杰卡德相似系数中的一个或多个；

19、所述平均ap值即对多个测试集个体求平均ap值；

20、b、定位精准度评估单元：

21、定位精准度评估单元用于对目标框标签的泛化性进行评估，目标框标签的泛化性指标包括iou、giou、diou、ciou、eiou、均方根误差、均方误差、平均绝对误差、平均绝对误差百分比中的一个或多个。

22、进一步地，所述的可选指标评估子系统还包括一个鲁棒性评估模块；用户选择输入鲁棒性评估中的一个或者多个指标，可选指标评估子系统根据对应的指标进行相应指标的评估：

23、所述的鲁棒性评估模块，用于评价检测网络在数据集受到一系列干扰之后的表现情况，鲁棒性评估模块包括分类正确性鲁棒评估单元和定位精准度鲁棒评估单元；

24、a、分类正确性鲁棒评估单元：

25、分类正确性鲁棒评估单元针对在不同噪声攻击下网络的正确性评估指标的变化情况进行评估，分类正确性鲁棒评估单元对应的正确性评估指标包括准确率变化情况指标、精确率变化情况指标和召回率变化指标；

26、b、定位精准度鲁棒评估单元：

27、定位精准度鲁棒评估单元针对不同噪声攻击下网络的泛化性评估指标进行评估，定位精准度鲁棒评估单元对应的泛化性评估指标包括iou变化指标、giou变化指标、diou变化指标、ciou变化指标、eiou变化指标。

28、进一步地，针对在不同噪声攻击下网络的正确性评估指标的变化情况进行评估的过程如下：

29、在对网络进行测试前，对测试数据集进行加噪处理，并且使用不同的加噪强度，记录随着噪声强度的变化，记录正确性评估指标的变化情况。

30、进一步地，所述的噪声包括高斯噪声、椒盐噪声、随机遮挡。

31、进一步地，所述鲁棒性评估模块还包括一个其他鲁棒性指标评估单元；所述其他鲁棒性指标评估单元对应的估指标包括：噪声容量估计、对图像压缩鲁棒性、对高斯模糊鲁棒性、最大边界距离、平均置信度、正确类别平均置信度、对抗攻击失真度、平均结构相似性、抗动敏感距离、经验噪声敏感性中的一个或多个指标；

32、(1)噪声容量估计nte：

33、

34、其中，n表示所有对抗攻击成功样本个数，表示第i个样本被分类为a类，为第i个样本被分类为a类的概率；

35、(2)对图像压缩鲁棒性ric：

36、

37、

38、式中，ua表示非定向攻击，ta表示定向攻击，ic(·)表示图像压缩处理；式中为第i个样本被分为a的概率分布，yi表示第i个样本被正确分类，表示经过定向攻击后的第i个样本被正确分类；

39、(3)对高斯模糊鲁棒性rgb：

40、

41、

42、式中ua表示非定向攻击，ta表示定向攻击，gb(·)表示高斯模糊处理；

43、(4)最大边界距离bd：

44、

45、式中，v表示一个随机生成的集合，φi(v)表示到模型决策边界的rms距离，di表示到决策边界距离的最大值；

46、(5)平均置信度acac：

47、

48、(6)正确类别平均置信度actc：

49、

50、式中，为第i个样本被分类为对应类的概率，yi表示第i个样本被正确分类为yi类；

51、(7)对抗攻击失真度aldp：

52、

53、(8)平均结构相似性ass：

54、

55、(9)扰动敏感距离psd：

56、

57、式中，m为像素点总数，δi,j表示第i个样例的第j个像素点，r(xi,j)表示xi,j附近平方区域，std表示标准偏差函数；

58、(10)经验噪声敏感性eni：

59、经验噪声敏感性表示综合对抗攻击和自然噪音的一个测试集。

60、一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并运行以实现所述针对图像数据的目标检测深度学习网络评估系统。

61、一种针对图像数据的目标检测深度学习网络评估设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并运行以实现项所述针对图像数据的目标检测深度学习网络评估系统。

62、针对图像数据的目标检测深度学习网络的漏检率及虚警率确定方法，包括以下步骤：

63、基于目标检测网络的预测或识别结果，获取标签文件；目标检测网络针对每张图像都能导出两个txt标签文件，一个原始标签文件，一个预测标签文件；基于设置的交并比两个阈值进行如下处理：

64、交并比的两个阈值中加大的阈值记为第一阈值，较小的阈值记为第二阈值；

65、(a)、当原始标签目标框多于预测标签目标框时：按行取出原始标签txt中的一个框，与预测标签文件中的每个框都进行对比，计算交并比；

66、当两个框的iou大于第一阈值时，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；

67、若原始框和预测标签txt中的每个框的iou均小于第二阈值时，判定其为漏检；计算漏检框个数与总框个数，最终计算漏检率；

68、若原始框和预测标签txt文件中的每个框的iou在第二阈值至第一阈值之间时，计算交小比；交小比：两个目标框相交的面积/两个框中面积较小的目标框；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；

69、(b)、当原始标签目标框少于预测标签目标框时：按行取出原始标签txt文件中的一个框，与原始标签文件中的每个框都进行对比，计算交并比；

70、当两个框的iou大于第一阈值时，说明两个框匹配；匹配后，将原始标签和预测标签分别读到两个新的txt中；

71、若预测框和原始标签txt中的每个框计算后的iou均小于第二阈值时，判定其为虚警，计算虚警框个数与总框个数，最终计算虚警率；

72、若预测框和原始标签txt中的每个框的iou在第二阈值至-第一阈值之间时，计算交小比；选择交小比最大的一个，说明两个框匹配；匹配后，将原始标签值和预测标签值分别读到两个新的txt中；

73、当上述操作完成后，将得到两个标签匹配之后的txt文件以及虚警、漏检率两个指标；两个文件中的标签值是一一对应的。

74、一种针对图像数据的目标检测深度学习网络的漏检率及虚警率确定设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的针对图像数据的目标检测深度学习网络的漏检率及虚警率确定方法。

75、有益效果：

76、本发明引入交并比和交小比两个指标来确定目标框是否匹配，可以有效的解决如果只用交并比存在的当两个目标框有一个特别大、一个特别小的情况下，会把交并比数值稀释变小，无法达到阈值，则会导致结果不准确的问题，因此本发明有效的提高虚警和漏检的效果。同时本发明对目标检测深度学习网络的评估效果更加全面，能够全面的对目标检测网络进行可信性评估，而且本发明还将不同噪声攻击下网络的正确性评估指标的变化情况进行了评估，从泛化性能和鲁棒性能做出全面评价，也能够使得本发明可以有效的对非理想情况下网络的表现情况进行平湖，使得网络的表现情况能够得到有效保证。