目标检测框的后处理方法、装置、电子设备及存储介质与流程

文档序号:32099836发布日期:2022-11-08 23:12阅读:83来源:国知局
目标检测框的后处理方法、装置、电子设备及存储介质与流程

1.本发明涉及目标检测技术领域,尤其涉及一种目标检测框的后处理方法、装置、电子设备及存储介质。


背景技术:

2.目前,目标检测领域中广泛使用的后处理方法是非极大值抑制算法(non-maximum suppression,简称nms)。非极大值抑制算法可以用于消除多余的检测框,其通过对检测框置信度进行排序并且计算两个同类别检测框之间的区域交并比(intersection over union,简称iou)来删去其中置信度偏低并且与同类别的其它检测框重合度较高的一部分检测框。但是,此方法对检测框的尺寸没有约束,仍然会保留不少尺寸明显不当的误检框。


技术实现要素:

3.本发明解决的技术问题是,消除目标检测结果中的误检框。
4.为解决上述技术问题,本发明提供一种目标检测框的后处理方法,包括:获取待处理图像的目标检测结果,目标检测结果包括待处理图像中目标物体的类别及其对应的目标检测框;获取类别对应的误检类别及其误检类别检测框;确定目标检测框和误检类别检测框的重合度;基于重合度处理目标检测框。
5.可选地,类别为需要进行后处理的类别;后处理方法包括:获取类别的误检率,判断误检率是否大于或者等于误检阈值,若是,则确定类别需要进行后处理。
6.可选地,该后处理方法包括:选取不包括目标物体的类别的第一测试图像构成第一测试集;利用预设的检测网络模型对第一测试集中的每个第一测试图像进行目标检测而得到分别与每个第一测试图像对应的第一检测结果;获取第一检测结果中包括目标物体的测试检测框;将测试检测框所在第一测试图像的数量与第一测试集中所有第一测试图像的总数量之比确定为误检率。
7.可选地,获取类别对应的误检类别及其误检类别检测框包括:获取类别对应的误检类别;判断目标检测结果中是否包括误检类别,若是,则获取误检类别对应的误检类别检测框。
8.可选地,重合度包括第一重合度,第一重合度为目标检测框和误检类别检测框二者交集的面积与并集的面积的比值。
9.可选地,该后处理方法包括:预设不同的重合度级别及其对应的判断标准,不同的重合度级别对应于不同的判断标准;基于重合度处理目标检测框包括:获取第一重合度对应的重合度级别及其相应的判断标准,基于判断标准处理目标检测框。
10.可选地,该后处理方法包括:预设不同的重合度阈值范围,不同的重合度阈值范围对应于不同的重合度级别;获取第一重合度对应的重合度级别及其相应的判断标准包括:将第一重合度与不同的重合度阈值范围进行比较,以获取第一重合度所属的重合度阈值范围,获取重合度阈值范围对应的重合度级别及其对应的判断标准。
11.可选地,判断标准包括第一重合度判断阈值;基于判断标准处理目标检测框包括:判断第一重合度是否大于或者等于第一重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
12.可选地,重合度包括第二重合度或者第三重合度,第二重合度包括目标检测框和误检类别检测框二者交集的面积与目标检测框的面积的比值,第三重合度包括目标检测框和误检类别检测框二者交集的面积与误检类别检测框的面积的比值;判断标准包括第二重合度判断阈值或者第三重合度判断阈值;基于判断标准处理目标检测框包括:判断第二重合度是否大于或者等于第二重合度判断阈值、或者判断第三重合度是否大于或者等于第三重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
13.可选地,该后处理方法包括:确定目标检测框和误检类别检测框的面积比;判断标准包括面积比阈值范围;基于判断标准处理目标检测框包括:判断面积比是否位于面积比阈值范围内,若是,则消除目标检测框,若否,则保留目标检测框。
14.可选地,重合度包括第二重合度和第三重合度,第二重合度包括目标检测框和误检类别检测框二者交集的面积与目标检测框的面积的比值,第三重合度包括目标检测框和误检类别检测框二者交集的面积与误检类别检测框的面积的比值;判断标准包括第二重合度判断阈值和第三重合度判断阈值;基于判断标准处理目标检测框包括:判断第二重合度是否大于或者等于第二重合度判断阈值、以及判断第三重合度是否大于或者等于第三重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
15.可选地,重合度级别包括高度重合;后处理方法还包括:预设目标检测框或者误检类别检测框的置信度阈值,获取目标检测框或者误检类别检测框的置信度,判断目标检测框的置信度是否大于或者等于目标检测框的置信度阈值、或者判断误检类别检测框的置信度是否小于或者等于误检类别检测框的置信度阈值,若是,则保留目标检测框,若否,则消除目标检测框。
16.可选地,重合度级别包括中度重合;后处理方法还包括:获取目标检测框和误检类别检测框的置信度,判断目标检测框的置信度是否大于或者等于误检类别检测框的置信度,若是,则保留目标检测框,若否,则消除目标检测框。
17.可选地,重合度级别包括中度重合;后处理方法还包括:预设置信度差值阈值,获取目标检测框和误检类别检测框的置信度,判断误检类别检测框的置信度减去目标检测框的置信度的差值是否小于或者等于置信度差值阈值,若是,则保留目标检测框,若否,则消除目标检测框。
18.本发明实施例还提供一种目标检测框的后处理装置,包括:第一获取模块,用以获取待处理图像的目标检测结果,目标检测结果包括待处理图像中目标物体的类别及其对应的目标检测框;第二获取模块,用以获取类别对应的误检类别及其误检类别检测框;第一处理模块,用以确定目标检测框和误检类别检测框的重合度;第二处理模块,用以基于重合度处理目标检测框。
19.本发明实施例还提供一种电子设备,包括:处理器;存储器,存储有可在处理器上运行的计算机程序;其中,计算机程序被处理器执行时实现上述的目标检测框的后处理方法。
20.本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算
机程序,计算机程序被执行时实现上述的目标检测框的后处理方法。
21.与现有技术相比,本发明实施例的技术方案具有有益效果。
22.例如,基于待处理图像中目标物体对应类别的目标检测框与其相应的误报类别检测框的重合度来判断目标检测框是否为误检,可以有效降低目标检测框的误检率。
23.又例如,目标检测框既可以基于第一重合度判断是否消除,也可以基于第二重合度或者第三重合度判断是否消除,还可以基于第二重合度和第三重合度判断是否消除,选择多样灵活,易于操作。
24.又例如,对于目标检测框和误检类别检测框在高度重合和中度重合的情形下,还可以结合重合度和置信度判断目标检测框是否消除,以有效提高误检判断的准确率,从而可以有效消除待处理图像中目标物体的误检框。
25.又例如,对于目标检测框和误检类别检测框在低度重合的情形下,仅基于重合度处理目标检测框,也可以具有较高的误检判断准确性,从而可以有效消除待处理图像中目标物体的误检框。
附图说明
26.图1是本发明实施例中目标检测框的后处理方法的流程示意图;
27.图2是本发明实施例中待处理图像的目标检测结果的示意图;
28.图3是本发明实施例中目标检测框和误检类别检测框的重合示意图;
29.图4是本发明实施例中目标检测框的后处理装置的原理框图。
具体实施方式
30.现有技术中,目标检测结果中的误检框无法有效消除。
31.为解决上述技术问题,本发明实施例提供一种目标检测框的后处理方法,包括:获取待处理图像的目标检测结果,包括待处理图像中目标物体的类别及其对应的目标检测框;获取类别对应的误检类别及其误检类别检测框;确定目标检测框和误检类别检测框的重合度;基于重合度处理目标检测框。
32.与现有技术相比,本发明实施例的技术方案具有有益效果。
33.例如,基于待处理图像中目标物体对应类别的目标检测框与其相应的误报类别检测框的重合度来判断目标检测框是否为误检,可以有效降低目标检测框的误检率。
34.为使本发明实施例的目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例进行详细说明。可以理解的是,以下所描述的具体实施例仅仅用于解释本发明,而非是对本发明的限定。此外,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
35.图1是本发明实施例中目标检测框的后处理方法的流程示意图。
36.参照图1,本发明实施例提供的一种目标检测框的后处理方法,包括:
37.s1,获取待处理图像的目标检测结果,包括待处理图像中目标物体的类别及其对应的目标检测框;
38.s2,获取该类别对应的误检类别及其误检类别检测框;
39.s3,确定目标检测框和误检类别检测框的重合度;
40.s4,基于重合度处理目标检测框。
41.在本发明实施例中,目标检测结果基于利用预设的检测网络模型对待处理图像进行目标检测而得到。
42.在具体实施中,预设的检测网络模型可以采用本领域中任意已知的常规技术手段实现。
43.在具体实施中,目标检测结果包括待处理图像中目标物体的类别及其对应的目标检测框。
44.图2是本发明实施例中待处理图像的目标检测结果的示意图。
45.参照图2,该待处理图像100包括三个目标检测结果,分别为第一目标检测结果101、第二目标检测结果102和第三目标检测结果103。
46.具体而言,第一目标检测结果101包括金属(即目标物体的类别)及其对应的目标检测框。第二目标检测结果102包括玻璃(即目标物体的类别)及其对应的目标检测框。第三目标检测结果103包括雨伞(即目标物体的类别)及其对应的目标检测框。
47.在一些实施例中,可以基于目标物体的类别判断其对应的目标检测框是否需要进行后处理,即通过判断目标物体对应的类别是否为需要进行后处理的类别来筛选出进行后处理的目标检测框。
48.例如,可以通过分别判断金属、玻璃和雨伞是否为需要进行后处理的类别来筛选出金属、玻璃和雨伞中的哪个或者哪些类别对应的目标检测框需要进行后处理。
49.具体而言,可以获取目标物体对应类别的误检率,并且判断误检率是否大于或者等于误检阈值,若是,则确定目标物体对应的类别需要进行后处理。
50.在一些实施例中,该目标检测框的后处理方法还可以包括:
51.s11,获取目标物体对应类别的误检率;
52.s12,判断该误检率是否大于或者等于误检阈值,若是,则确定目标物体对应的类别需要进行后处理,若否,则确定目标物体对应的类别不需要进行后处理。
53.在一些实施例中,步骤s11所述的获取目标物体对应类别的误检率可以包括:
54.s111,选取不包括目标物体对应类别的第一测试图像构成第一测试集;
55.s112,利用预设的检测网络模型对该第一测试集中的每个第一测试图像进行目标检测而得到分别与每个第一测试图像对应的第一检测结果;
56.s113,获取第一检测结果中包括目标物体对应类别的测试检测框;
57.s114,将测试检测框所在第一测试图像的数量与第一测试集中所有第一测试图像的总数量之比确定为目标物体对应类别的误检率。
58.通常,在利用检测网络模型对图像进行目标检测时,会出现一定概率的误检。例如,在对不包括目标物体对应类别的图像,即所述第一测试图像,进行目标检测时,会出现包括目标物体对应类别的检测结果。具体而言,该检测结果包括目标物体对应类别以及与该类别对应的测试检测框。
59.例如,在对不包括水果刀(即目标物体)对应类别刀具的第一测试图像构成的第一测试集进行目标检测时,其中一些第一测试图像的检测结果会包括刀具(即目标物体对应的类别)的测试检测框。
60.具体实施中,可以统计目标物体对应类别的测试检测框所在第一测试图像的数
量,并且将该数量与第一测试集中所有第一测试图像的总数量之比作为目标物体对应类别的误检率。
61.例如,可以统计出现刀具的测试检测框所在第一测试图像的数量,并且将该数量与第一测试集中所有第一测试图像的总数量之比作为刀具的误检率。
62.在目标物体对应类别的误检率大于或者等于误检阈值时,则可以确定目标物体对应类别为需要进行后处理的类别,该类别对应的目标检测框需要进行后处理。
63.例如,当刀具的误检率大于或者等于误检阈值时,可以确定刀具对应的目标检测框需要进行后处理。
64.在一些实施例中,误检阈值包括5


65.在一些实施例中,步骤s2所述的获取该类别对应的误检类别及其误检类别检测框可以包括:
66.s21,获取该类别对应的误检类别;
67.s22,判断目标检测结果中是否包括误检类别,若是,则获取误检类别对应的误检类别检测框。
68.通常,在利用检测网络模型对包括目标物体的图像进行目标检测时,会出现将目标物体误检为其他类别的情形。由此,可以基于目标检测结果确定目标物体的误检类别。
69.在具体实施中,目标物体的误检类别既可以包括一个,也可以包括二个以上。
70.在具体实施中,步骤s21所述的获取该类别对应的误检类别可以包括:
71.s211,选取包括目标物体对应类别的第二测试图像构成第二测试集;
72.s212,利用预设的检测网络模型对该第二测试集中的每个第二测试图像进行目标检测而得到分别与每个第二测试图像对应的第二检测结果;
73.s213,基于第二检测结果确定目标物体的误检类别。
74.例如,可以选取包括水果刀的第二测试图像构成第二测试集,并且基于预设的检测网络模型对该第二测试集中的每个第二测试图像进行目标检测而得到分别与每个第二测试图像对应的第二检测结果。
75.在具体实施中,第二检测结果既包括水果刀的正确类别,即刀具,也包括水果刀的误检类别,例如,金属条、瓶底等。由此,可以基于第二检测结果确定刀具的误检类别包括金属条、瓶底等。
76.在步骤s22的具体实施中,可以判断目标检测结果中是否包括目标物体对应类别的误检类别,在包括的情形下,可以确定目标物体对应的目标检测框需要进行后处理,并且获取误检类别对应的误检类别检测框,在不包括的情形下,可以直接确定对目标检测框进行保留处理。
77.在本发明实施例中,步骤s2所述的该类别为具有误检类别、并且在步骤s1所述的目标检测结果中包括其误检类别的类别。
78.例如,对包括水果刀(其具有误检类别,例如,金属条、或者瓶底等。)的待处理图像进行目标检测而得到的目标检测结果中既包括刀具(即目标物体的类别)及其对应的目标检测框,也包括刀具对应的误检类别(例如,金属条、或者瓶底等。)及其对应的误检类别检测框。
79.在本发明实施例中,误检类别检测框为误检类别对应的目标检测框。
80.在本发明实施例中,可以基于目标物体对应类别的目标检测框、以及该类别对应的误检类别的误检类别检测框的重合度来判断如何处理目标检测框。
81.例如,可以基于水果刀对应的目标检测框以及其类别刀具对应的误检类别金属条的误检类别检测框的重合度来判断刀具的目标检测框如何处理。
82.在具体实施中,处理目标检测框包括保留目标检测框、或者消除目标检测框。
83.具体而言,当目标物体对应类别的目标检测框与其误检类别检测框的重合度较高时,可以认为该目标检测框应该对应于误检类别,该目标检测框作为目标物体的对应类别来说是误检框、需要消除。
84.当目标物体对应类别的目标检测框与其误检类别检测框的重合度较低时,可以认为该目标检测框对应于误检类别的可能性很小,其作为目标物体对应类别的目标检测框为正确检出、应该保留。
85.在一些实施例中,步骤s3所述的确定目标检测框和误检类别检测框的重合度可以包括:判断目标检测框和误检类别检测框二者之间是否重合,在二者重合的情形下,确定二者的重合度,在二者不重合的情形下,可以确定检测框应该保留。
86.在具体实施中,对于目标物体对应类别的误检类别包括二个以上的情形,可以分别判断每个误检类别的误检类别检测框是否与目标检测框重合。
87.例如,目标物体对应类别为刀具,并且刀具具有二个误检类别,分别为金属条和瓶底。对于金属条和瓶底的误检类别检测框,需要分别判断其与目标检测框是否重合。
88.在一些实施例中,对于同一误检类别,可以具有二个以上与其对应的误检类别检测框。对于每个误检类别检测框,可以分别判断其是否与目标检测框是否重合。
89.图3是本发明实施例中目标检测框和误检类别检测框的重合示意图。
90.如图3所示,目标物体对应类别的目标检测框201与其一个误检类别检测框202之间具有重合区域203。
91.在具体实施中,目标检测框201和误检类别检测框202之间的重合度包括第一重合度。第一重合度为目标检测框201和误检类别检测框202二者交集的面积与并集的面积的比值。
92.具体而言,第一重合度可以采用如下公式(1)表示:
93.iou=si/(s1+s2+si)
ꢀꢀꢀꢀꢀꢀ
(1)
94.其中,iou表示第一重合度,si表示目标检测框和误检类别检测框二者交集的面积,s1表示目标检测框的面积,s2表示误检类别检测框的面积,s1+s2+si表示目标检测框和误检类别检测框二者并集的面积。
95.在一些实施例中,该目标检测框的后处理方法还可以包括:预设不同的重合度级别及其对应的判断标准,不同的重合度级别对应于不同的判断标准。
96.在具体实施中,可以预设三个不同的重合度级别,分别为高度重合、中度重合和低度重合。对应于不同的重合度级别可以预设不同的判断标准,分别为高度重合判断标准、中度重合判断标准和低度重合判断标准。
97.在具体实施中,基于不同的重合度级别,选取相应的重合度判断标准来确定目标检测框是否需要消除。
98.在具体实施中,重合度级别可以基于重合度阈值范围确定。
99.在一些实施例中,该目标检测框的后处理方法还可以包括:预设不同的重合度阈值范围,不同的重合度阈值范围对应于不同的重合度级别。
100.在一些实施例中,可以将重合度划分为三个不同的重合度阈值范围,分别为高重合度阈值范围(0.5,1]、中重合度阈值范围(0.3,0.5]和低重合度阈值范围(0,0.3]。并且,使高重合度阈值范围对应的重合度级别为高度重合,使中重合度阈值范围对应的重合度级别为中度重合,使低重合度阈值范围对应的重合度级别为低度重合。
101.由此,就可以基于重合度阈值范围得到相应的重合度级别,并且基于相应的重合度级别得到相应的判断标准,进而基于相应的判断标准来确定目标检测框是否需要消除。
102.在具体实施中,可以基于第一重合度来判断目标检测框和误检类别检测框的重合度级别。
103.相应地,步骤s4所述的基于重合度处理目标检测框可以包括:
104.s41,获取第一重合度对应的重合度级别及其相应的判断标准,
105.s42,基于该判断标准处理目标检测框。
106.在具体实施中,可以将第一重合度与不同的重合度阈值范围进行比较,以确定第一重合度位于哪个重合度阈值范围内,并且基于该重合度阈值范围确定第一重合度对应的级别及其相应的判断标准。
107.具体而言,步骤s41所述的获取第一重合度对应的重合度级别及其相应的判断标准可以包括:
108.s411,将第一重合度与不同的重合度阈值范围进行比较,以获取第一重合度所属的重合度阈值范围;
109.s412,获取该重合度阈值范围对应的重合度级别及其对应的判断标准。
110.例如,可以假设第一重合度iou为0.6,将0.6分别与高重合度阈值范围(0.5,1]、中重合度阈值范围(0.3,0.5]和低重合度阈值范围(0,0.3]进行比较,可以确定0.6位于高重合度阈值范围(0.5,1]内。由于,高重合度阈值范围对应于高度重合。因此,可以确定第一重合度iou为0.6时,目标检测框和误检类别检测框的重合度级别为高度重合。在此情形下,可以基于高度重合判断标准处理目标检测框。
111.又例如,还可以假设第一重合度iou为0.4,将0.4分别与高重合度阈值范围(0.5,1]、中重合度阈值范围(0.3,0.5]和低重合度阈值范围(0,0.3]进行比较,可以确定0.4位于中重合度阈值范围(0.3,0.5]内。由于,中重合度阈值范围对应于中度重合。因此,可以确定第一重合度iou为0.4时,目标检测框和误检类别检测框的重合度级别为中度重合。在此情形下,可以基于中度重合判断标准处理目标检测框。
112.再例如,还可以假设第一重合度iou为0.2,将0.2分别与高重合度阈值范围(0.5,1]、中重合度阈值范围(0.3,0.5]和低重合度阈值范围(0,0.3]进行比较,可以确定0.2位于低重合度阈值范围(0,0.3]内。由于,低重合度阈值范围对应于低度重合。因此,可以确定第一重合度iou为0.2时,目标检测框和误检类别检测框的重合度级别为低度重合。在此情形下,可以基于低度重合判断标准处理目标检测框。
113.在一些实施例中,目标检测框和误检类别检测框的重合度还可以包括第二重合度或者第三重合度。
114.在具体实施中,第二重合度包括目标检测框和误检类别检测框二者交集的面积与
目标检测框的面积的比值。
115.具体而言,第二重合度可以采用如下公式(2)表示:
116.iocj=si/s1ꢀꢀꢀꢀꢀꢀ
(2)
117.其中,cj表示目标物体对应的类别,iocj表示第二重合度,si表示目标检测框和误检类别检测框二者交集的面积,s1表示目标检测框的面积。
118.在具体实施中,第三重合度包括目标检测框和误检类别检测框二者交集的面积与误检类别检测框的面积的比值
119.具体而言,第三重合度可以采用如下公式(3)表示:
[0120][0121]
其中,表示目标物体对应的类别cj的误检类别,表示第三重合度,si表示目标检测框和误检类别检测框二者交集的面积,s2表示误检类别检测框的面积。
[0122]
在一些实施例中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以基于第一重合度而设定。相应地,目标检测框可以基于第一重合度判断是否消除。
[0123]
在另一些实施例中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以基于第二重合度或者第三重合度而设定。相应地,目标检测框可以基于第二重合度或者第三重合度判断是否消除。
[0124]
在再一些实施例中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以基于第二重合度和第三重合度而设定。相应地,目标检测框可以基于第二重合度和第三重合度判断是否消除。
[0125]
下面以目标检测框基于第一重合度判断是否消除为例进行说明。
[0126]
在具体实施中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以包括第一重合度判断阈值,并且对应于不同的重合度判断标准,第一重合度判断阈值也不同。
[0127]
在具体实施中,高度重合判断标准对应的第一重合度判断阈值位于高重合度阈值范围内,中度重合判断标准对应的第一重合度判断阈值位于中重合度阈值范围内,低度重合判断标准对应的第一重合度判断阈值位于低重合度阈值范围内。
[0128]
相应地,步骤s42所述的基于该判断标准处理目标检测框可以包括:
[0129]
s421,判断第一重合度是否大于或者等于第一重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
[0130]
例如,对于高度重合判断标准,其对应的第一重合度判断阈值可以为0.7。在具体实施中,可以判断第一重合度是否大于该第一重合度判断阈值0.7,若是,则消除目标检测框,若否,则保留目标检测框。假设,第一重合度为0.6,由于0.6不大于0.7,则可以确定该目标检测框为正确检出而作保留处理。
[0131]
又例如,对于中度重合判断标准,其对应的第一重合度判断阈值可以为0.4。在具体实施中,可以判断第一重合度是否大于该第一重合度判断阈值0.4,若是,则消除目标检测框,若否,则保留目标检测框。假设,第一重合度为0.5,由于0.5大于0.4,则可以确定该目标检测框为误检而作消除处理。
[0132]
再例如,对于低度重合判断标准,其对应的第一重合度判断阈值可以为0.2。在具
体实施中,可以判断第一重合度是否大于该第一重合度判断阈值0.2,若是,则消除目标检测框,若否,则保留目标检测框。假设,第一重合度为0.1,由于0.1不大于0.2,则可以确定该目标检测框为正确检出而作保留处理。
[0133]
下面以目标检测框基于第二重合度或者第三重合度判断是否消除为例进行说明。
[0134]
在具体实施中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以包括第二重合度判断阈值,并且对应于不同的重合度判断标准,第二重合度判断阈值也不同。
[0135]
在具体实施中,高度重合判断标准对应的第二重合度判断阈值位于高重合度阈值范围内,中度重合判断标准对应的第二重合度判断阈值位于中重合度阈值范围内,低度重合判断标准对应的第二重合度判断阈值位于低重合度阈值范围内。
[0136]
相应地,步骤s42所述的基于该判断标准处理目标检测框可以包括:
[0137]
s422,判断第二重合度是否大于或者等于第二重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
[0138]
在具体实施中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以包括第三重合度判断阈值,并且对应于不同的重合度判断标准,第三重合度判断阈值也不同。
[0139]
在具体实施中,高度重合判断标准对应的第三重合度判断阈值位于高重合度阈值范围内,中度重合判断标准对应的第三重合度判断阈值位于中重合度阈值范围内,低度重合判断标准对应的第三重合度判断阈值位于低重合度阈值范围内。
[0140]
相应地,步骤s42所述的基于该判断标准处理目标检测框可以包括:
[0141]
s423,判断第三重合度是否大于或者等于第三重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
[0142]
在具体实施中,步骤s422和步骤s423均可以采用步骤s421实施过程所提供的技术手段实现,此处不再赘述。
[0143]
在一些实施例中,在以目标检测框基于第二重合度或者第三重合度进行判断的基础上,还可以结合目标检测框和误检类别检测框的面积比来进一步判断目标检测框是否消除。
[0144]
具体而言,该目标检测框的后处理方法还可以包括:确定目标检测框和误检类别检测框的面积比s1/s2。
[0145]
相应地,判断标准还可以包括面积比阈值范围。步骤s42所述的基于该判断标准处理目标检测框可以包括:判断面积比s1/s2是否位于面积比阈值范围内,若是,则消除目标检测框,若否,则保留目标检测框。
[0146]
例如,可以判断第二重合度是否大于或者等于第二重合度判断阈值、以及判断目标检测框和误检类别检测框的面积比s1/s2是否位于面积比阈值范围内,若是,则消除目标检测框,若否,则保留目标检测框。
[0147]
又例如,还可以判断第三重合度是否大于或者等于第三重合度判断阈值、以及判断目标检测框和误检类别检测框的面积比s1/s2是否位于面积比阈值范围内,若是,则消除目标检测框,若否,则保留目标检测框。
[0148]
在一些实施例中,面积比阈值范围包括[0.75,1.3]。
[0149]
下面以目标检测框基于第二重合度和第三重合度判断是否消除为例进行说明。
[0150]
在具体实施中,高度重合判断标准、中度重合判断标准和低度重合判断标准均可以包括第二重合度判断阈值和第三重合度判断阈值;并且对应于不同的重合度判断标准,第二重合度判断阈值也不同,第三重合度判断阈值也不同;而对应于同一重合度判断标准,第二重合度判断阈值和第三重合度判断阈值既可以相同,也可以不同。
[0151]
相应地,步骤s42所述的基于该判断标准处理目标检测框可以包括:
[0152]
s424,判断第二重合度是否大于或者等于第二重合度判断阈值、以及判断第三重合度是否大于或者等于第三重合度判断阈值,若是,则消除目标检测框,若否,则保留目标检测框。
[0153]
例如,对于高度重合判断标准,其对应的第二重合度判断阈值和第三重合度判断阈值均为0.6。在具体实施中,可以判断第二重合度是否大于或者等于第二重合度判断阈值0.6、以及判断第三重合度是否大于或者等于第三重合度判断阈值0.6,若是,则消除目标检测框,若否,则保留目标检测框。假设,第二重合度为0.65,第三重合度为0.55,由于0.65大于0.6并且0.55不大于0.6,则可以确定该目标检测框为正确检出而作保留处理。
[0154]
又例如,对于中度重合判断标准,其对应的第二重合度判断阈值和第三重合度判断阈值均为0.4。在具体实施中,可以判断第二重合度是否大于或者等于第二重合度判断阈值0.4、以及判断第三重合度是否大于或者等于第三重合度判断阈值0.4,若是,则消除目标检测框,若否,则保留目标检测框。假设,第二重合度为0.42,第三重合度为0.47,由于0.42大于0.4并且0.47也大于0.4,则可以确定该目标检测框为误检而作消除处理。
[0155]
再例如,对于低度重合判断标准,其对应的第二重合度判断阈值和第三重合度判断阈值均为0.2。在具体实施中,可以判断第二重合度是否大于或者等于第二重合度判断阈值0.2、以及判断第三重合度是否大于或者等于第三重合度判断阈值0.2,若是,则消除目标检测框,若否,则保留目标检测框。假设,第二重合度为0.23,第三重合度为0.17,由于0.23大于0.2并且0.17不大于0.2,则可以确定该目标检测框为正确检出而作保留处理。
[0156]
在一些实施例中,对于高度重合和中度重合的情形,在采用本发明实施例前述提供的基于重合度处理目标检测框的基础上,还可以结合目标检测框和误检类别检测框二者的置信度来处理检测框。即,可以基于重合度的和置信度共同处理目标检测框。
[0157]
具体而言,可以在基于重合度确定目标检测框作保留处理时,直接确定目标检测框保留,而在基于重合度确定目标检测框作消除处理时,可以进一步基于置信度判断目标检测框最终是否消除。
[0158]
如此,可以在高度重合和中度重合的情形下,更加准确地处理目标检测框,以提高误检判断的准确率,从而有效消除待处理图像中目标物体的误检框。
[0159]
下面以高度重合为例说明如何基于置信度判断目标检测框是否消除。
[0160]
在一些实施例中,该目标检测框的后处理方法还可以包括:
[0161]
s51,预设目标检测框或者误检类别检测框的置信度阈值;
[0162]
s52,获取目标检测框或者误检类别检测框的置信度;
[0163]
s53,判断目标检测框的置信度是否大于或者等于目标检测框的置信度阈值、或者判断误检类别检测框的置信度是否小于或者等于误检类别检测框的置信度阈值,若是,则保留目标检测框,若否,则消除目标检测框。
[0164]
具体而言,在目标检测框和误检类别检测框为高度重合时,可以基于目标检测框的置信度或者误检类别检测框的置信度判断目标检测框是否消除。
[0165]
在具体实施中,可以将目标检测框的置信度阈值设置为较高值,例如,大于或者等于0.8。
[0166]
在具体实施中,可以将误检类别检测框的置信度阈值设置为较低值,例如,小于或者等于0.1。
[0167]
在具体实施中,目标检测框的置信度或者误检类别检测框的置信度均可以基于目标检测结果获得。
[0168]
在具体实施中,可以将置信度大于或者等于目标检测框的置信度阈值的目标检测框确定为正确检出而作保留处理,而将置信度小于目标检测框的置信度阈值的目标检测框确定为误检而作消除处理。
[0169]
在具体实施中,也可以在误检类别检测框的置信度小于或者等于误检类别检测框的置信度阈值时,确定误检类别检测框的可靠性较低,并且基于此将目标检测框确定为正确检出而作保留处理;而在误检类别检测框的置信度大于误检类别检测框的置信度阈值时,确定误检类别检测框的可靠性较高,并且基于此将目标检测框确定为误检而作消除处理。
[0170]
例如,对于高度重合的情形,可以预设目标检测框的置信度阈值为0.8、并且预设误检类别检测框的置信度阈值为0.1,由此可以判断目标检测框的置信度是否大于或者等于目标检测框的置信度阈值0.8、或者判断误检类别检测框的置信度是否小于或者等于误检类别检测框的置信度阈值0.1,若是,则保留目标检测框,若否,则消除目标检测框。
[0171]
下面以中度重合为例说明如何基于置信度判断目标检测框是否消除。
[0172]
在一些实施例中,该目标检测框的后处理方法还可以包括:
[0173]
s61,获取目标检测框和误检类别检测框的置信度;
[0174]
s62,判断目标检测框的置信度是否大于或者等于误检类别检测框的置信度,若是,则保留目标检测框,若否,则消除目标检测框。
[0175]
具体而言,在目标检测框和误检类别检测框为中度重合时,可以基于目标检测框的置信度和误检类别检测框的置信度二者的大小关系判断目标检测框是否消除。
[0176]
在具体实施中,目标检测框的置信度或者误检类别检测框的置信度均可以基于目标检测结果获得。
[0177]
在具体实施中,可以判断目标检测框的置信度是否大于或者等于误检类别检测框的置信度,若是,则保留目标检测框,若否,则消除目标检测框。
[0178]
例如,当目标检测框的置信度大于或者等于误检类别检测框的置信度时,可以确定目标检测框的可靠性较高,从而确定目标检测框为正确检出而作保留处理。
[0179]
又例如,当目标检测框的置信度小于误检类别检测框的置信度时,可以确定误检类别检测框的可靠性较高,而目标检测框的可靠性较低,从而确定目标检测框为误检而作消除处理。
[0180]
在另一些实施例中,该目标检测框的后处理方法还可以包括:
[0181]
s71,预设置信度差值阈值;
[0182]
s72,获取目标检测框和误检类别检测框的置信度;
[0183]
s73,判断误检类别检测框的置信度减去目标检测框的置信度的差值是否小于或者等于置信度差值阈值,若是,则保留目标检测框,若否,则消除目标检测框。
[0184]
具体而言,在目标检测框和误检类别检测框为中度重合时,还可以基于误检类别检测框的置信度减去目标检测框的置信度的差值判断目标检测框是否消除。
[0185]
在具体实施中,目标检测框的置信度或者误检类别检测框的置信度均可以基于目标检测结果获得。
[0186]
在具体实施中,可以判断误检类别检测框的置信度减去目标检测框的置信度的差值是否小于或者等于置信度差值阈值,若是,则保留目标检测框,若否,则消除目标检测框。
[0187]
例如,当误检类别检测框的置信度减去目标检测框的置信度的差值小于或者等于置信度差值阈值时,目标检测框与误检类别检测框相比仍有较高的正确检出可能性,从而可以确定目标检测框为正确检出而作保留处理。
[0188]
又例如,当误检类别检测框的置信度减去目标检测框的置信度的差值大于置信度差值阈值时,目标检测框与误检类别检测框相比具有较低的正确检出可能性,从而可以确定目标检测框为误检而作消除处理。
[0189]
在具体实施中,置信度差值阈值可以大于或者等于0.2。
[0190]
可以理解的是,在另一些实施例中,对于高度重合和中度重合的情形,也可以先基于置信度判断目标检测框是否消除,在确定目标检测框作保留处理时,直接确定目标检测框保留,而在确定目标检测框作消除处理时,进一步基于前述提供的基于重合度处理目标检测框的技术方案判断目标检测框最终是否消除。
[0191]
在本发明实施例中,对于低度重合的情形,由于目标检测框和误检类别检测框的重合度很低,即使仅基于重合度处理目标检测框,也可以具有较高的误检判断准确性,从而有效消除待处理图像中目标物体的误检框。
[0192]
在本发明实施例中,待处理图像的目标检测结果中可以包括多个目标物体及其对应的类别,对于不同类别的目标物体可以分别对其相应类别的目标检测框进行后处理。
[0193]
对于同一类别的目标物体,在同一待处理图像中可以包括多个与其对应的目标检测框,对于每个目标检测框可以分别进行后处理。
[0194]
本发明实施例中的有关阈值均可以基于目标检测验证集中的相关数据确定。
[0195]
本发明实施例还提供一种目标检测框的后处理装置。
[0196]
图4是本发明实施例中目标检测框的后处理装置的原理框图。
[0197]
参照图4,该目标检测框的后处理装置300包括第一获取模块301、第二获取模块302、第一处理模块303和第二处理模块304。
[0198]
具体而言,第一获取模块301用以获取待处理图像的目标检测结果,包括待处理图像中目标物体的类别及其对应的目标检测框;第二获取模块302用以获取类别对应的误检类别及其误检类别检测框;第一处理模块303用以确定目标检测框和误检类别检测框的重合度;第二处理模块304用以基于重合度处理目标检测框。
[0199]
在具体实施中,第一获取模块301、第二获取模块302、第一处理模块303和第二处理模块304可以基于本发明实施例公开的目标检测框的后处理方法的技术方案而实施。
[0200]
本发明实施例还提供一种电子设备。
[0201]
该电子设备包括处理器和存储器。其中,存储器中存储有可在处理器上运行的计
算机程序;该计算机程序被处理器执行时实现本发明实施例公开的目标检测框的后处理方法。
[0202]
本发明实施例还提供一种计算机可读存储介质。
[0203]
该计算机可读存储介质存储有计算机程序,该计算机程序被执行时实现本发明实施例公开的目标检测框的后处理方法。
[0204]
在具体实施中,该计算机可读存储介质可以包括rom、ram、磁盘或光盘等。
[0205]
尽管上文已经描述了具体实施方案,但这些实施方案并非要限制本发明公开的范围,即使仅相对于特定特征描述单个实施方案的情况下也是如此。本发明公开中提供的特征示例意在进行例示,而非限制,除非做出不同表述。在具体实施中,可根据实际需求,在技术上可行的情况下,将一项或者多项从属权利要求的技术特征与独立权利要求的技术特征进行组合,并可通过任何适当的方式而不是仅通过权利要求书中所列举的特定组合来组合来自相应独立权利要求的技术特征。
[0206]
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1