目标检测框的生成方法、装置、存储介质和电子设备与流程

1.本公开涉及图像处理技术，尤其是一种目标检测框的生成方法、装置、存储介质和电子设备。


背景技术：

2.物体检测技术是指利用计算机对图像进行处理、分析和理解，以检测图像中各种不同模式的目标物体的技术。当图像中的目标物体被检测到后，需要用候选框框选出目标物体。通常每一目标物体会具有多个候选框，此时就需去除冗余的候选框，以得到目标物体的物体检测结果。因此，如何高效和准确的去除冗余的候选框，得到目标物体的检测结果是一个亟待解决的问题。


技术实现要素：

3.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种目标检测框的生成方法、装置、存储介质和电子设备。
4.根据本公开实施例的一个方面，提供了一种目标检测框的生成方法，包括：对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个所述第一候选框中各第一候选框的置信度；检测至少一个所述第一候选框的数量；响应于至少一个所述第一候选框的数量大于第一预设数量，基于各所述第一候选框分别对应的置信度，确定参考检测框；获取至少一个第二候选框中各所述第二候选框分别与所述参考检测框之间的周长交并比，其中，至少一个所述第二候选框为至少一个所述第一候选框中除所述参考检测框外的所述第一候选框；基于各所述第二候选框分别对应的周长交并比与第一预设阈值的大小关系，得到至少一个第三候选框；响应于至少一个所述第三候选框满足第一预设条件，将至少一个所述第三候选框和所述参考检测框确定为目标检测框。
5.根据本公开实施例的另一个方面，提供了一种目标检测框的生成装置，包括：图像处理模块，用于对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个所述第一候选框中各第一候选框的置信度；检测模块，用于检测至少一个所述第一候选框的数量；第一响应模块，用于响应于至少一个所述第一候选框的数量大于第一预设数量，基于各所述第一候选框分别对应的置信度，确定参考检测框；第一获取模块，用于获取至少一个第二候选框中各所述第二候选框分别与所述参考检测框之间的周长交并比，其中，至少一个所述第二候选框为至少一个所述第一候选框中除所述参考检测框外的所述第一候选框；第一比较模块，用于基于各所述第二候选框分别对应的周长交并比与第一预设阈值的大小关系，得到至少一个第三候选框；第二响应模块，用于响应于至少一个所述第三候选框满足第一预设条件，将至少一个所述第三候选框和所述参考检测框确定为目标检测框。
6.根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述所述的目标检测框的生成方法。
7.根据本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：处理
器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述所述的目标检测框的生成方法。
8.基于本公开上述实施例提供的目标检测框的生成方法、装置、存储介质和电子设备，通过对待处理图像进行物体检测，得到至少一个第一候选框以及各第一候选框的置信度后，检测该至少一个第一候选框的数量，响应于该至少一个第一候选框的数量大于第一预设数量，基于各第一候选框分别对应的置信度确定参考检测框，并获取至少一个第二候选框(至少一个第一候选框中除参考检测框外的第一候选框)中各第二候选框分别与参考检测框之间的周长交并比，进而，基于各第二候选框分别对应的周长交并比与第一预设阈值的大小关系，得到至少一个第三候选框，响应于该至少一个第三候选框满足第一预设条件，将该至少一个第三候选框和参考检测框确定为目标检测框。由此，本公开实施例，通过使用第一候选框中除参考检测框外的第二候选框与参考检测框之间的周长交并比确定第三候选框，并根据第三候选框是否满足第一预设条件确定目标检测框，实现了对图像中物体的冗余候选框的删除，从而实现了对物体目标检测框的高效确定。
9.另外，本公开实施例还创造性的使用周长交并比确定目标检测框，减少了乘法运算量，降低了运算难度，从而降低了对处理器算力的要求，提升了处理器的运算速度，进而缩短了处理器的处理时间，进而有效的提高了目标检测框的确定效率，进而提高了目标检测效率。
10.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
11.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
12.图1是本公开提供的目标检测框的生成方法的一个示例性的应用场景。
13.图2是本公开一示例性实施例提供的目标检测框的生成方法的流程示意图。
14.图3是本公开另一示例性实施例提供的目标检测框的生成方法的流程示意图。
15.图4是本公开一示例性实施例提供的待处理图像的初步物体检测结果的示意图。
16.图5是本公开一示例性实施例提供的待处理图像的物体检测结果的示意图。
17.图6是本公开一示例性实施例提供的步骤s230的流程示意图。
18.图7是本公开一示例性实施例提供的第二候选框与参考检测框的示意图。
19.图8是本公开另一示例性实施例提供的步骤s230的流程示意图。
20.图9是本公开另一示例性实施例提供的目标检测框的生成方法的流程示意图。
21.图10是本公开一示例性实施例提供的目标检测框的生成方法的一种整体流程图。
22.图11是本公开另一示例性实施例提供的目标检测框的生成方法的一种整体流程图。
23.图12是本公开一示例性实施例提供的目标检测框的生成装置的结构示意图。
24.图13是本公开另一示例性实施例提供的目标检测框的生成装置的结构示意图。
25.图14是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
26.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
27.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
28.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
29.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
30.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
31.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
32.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
33.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
34.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
35.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
36.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
37.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
38.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
39.申请概述
40.在实现本公开的过程中，发明人发现目前在物体检测中，通常每一目标物体会被多个候选框所框选，出现一个或多个冗余的候选框，此时需要去除冗余的候选框才能得到目标物体准确的物体检测结果。
41.示例性系统
42.本公开可以应用于任意领域、应用场景的物体检测。例如，可以应用于自动驾驶中的对路面标识、动态障碍物(例如，车辆或行人等)等的检测过程中，去除冗余候选框确定目标检测框。
43.图1示出了本公开的一个适用场景。该适用场景包括图像采集装置、处理装置和显示装置。图像采集装置用于采集待处理图像，并将采集的待处理图像传输给处理装置，处理装置可以根据预先训练好的用于物体检测的神经网络等对待处理图像进行物体检测，得到待处理图像中的初步物体检测结果，该初步物体检测结果包括物体的所有第一候选框，当第一候选框的数量大于第一预设数量时，根据第一候选框的置信度确定参考检测框，确定参考检测框和第二候选框(除参考检测框以外的第一候选框)之间的周长交并比，通过周长交并比与第一预设阈值的大小关系，得到第三候选框，判断第三候选框是否满足第一预设条件，并当满足第一预设条件时，将第三候选框和参考检测框确定为目标检测框，输出待处理图像的物体检测结果，物体检测结果包括待处理图像和目标检测框。其中，图像采集装置可以为单目摄像头、双目摄像头或tof(time of flight，飞行时间)摄像头等，处理装置可以为具有运算功能的处理器，例如，服务器、计算终端等，显示装置可以为显示屏等。
44.本公开通过使用第二候选框与参考检测框之间的周长交并比确定第三候选框，并根据第三候选框是否满足第一预设条件，确定目标检测框，实现了对图像中物体的冗余的候选框的删除，从而实现了高效的对物体的目标检测框的确定。
45.示例性方法
46.图2是本公开一示例性实施例提供的目标检测框的生成方法的流程示意图。本实施例可应用在电子设备、车辆、计算终端上等，如图2所示，包括如下步骤：
47.步骤s200，对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个第一候选框中各第一候选框的置信度。
48.其中，可以通过图像采集装置采集待处理图像，待处理图像可以为灰度图像、rgb(red green blue，红绿蓝)图像、深度图像等。可以通过物体检测(object detection)技术对待处理图像进行物体检测，得到物体检测的初步检测结果，该初步检测结果包括至少一个第一候选框和每一第一候选框的置信度。其中，第一候选框的置信度表示第一候选框所框选的物体属于某一分类的概率。在具体实现中，可以将对处理图像进行物体检测后得到的用于框选物体的检测框作为第一候选框。
49.示例性的，可以将待处理图像输入预先训练的用于物体检测的神经网络，经该神经网络输出待处理图像的物体检测的初步检测结果，该神经网络可以为yolo(you only look once，只看一次)、cnn(convolutional neural networks,卷积神经网络)、r-cnn(region convolutional neural networks，区域卷积神经网络)等。
50.步骤s210，检测至少一个第一候选框的数量。
51.其中，计算待处理图像上的第一候选框的候选框数量。
52.步骤s220，响应于至少一个第一候选框的数量大于第一预设数量，基于各第一候
选框分别对应的置信度，确定参考检测框。
53.其中，第一预设数量可以根据实际需求设定，例如，第一预设数量可以为1。可以基于置信度预先设置参考检测框的筛选条件，根据各第一候选框的置信度，从各第一候选框中筛选出满足预先设置的参考检测框的筛选条件的第一候选框作为参考检测框。
54.示例性的，参考检测框的筛选条件可以为将置信度最高的候选框确定为参考检测框。将第一候选框的数量与第一预设数量比较，当第一候选框的数量大于第一预设数量时，根据每一候选框的置信度，从第一候选框中筛选出置信度最高的第一候选框作为参考检测框。
55.步骤s230，获取至少一个第二候选框中各第二候选框分别与参考检测框之间的周长交并比。
56.其中，至少一个第二候选框为至少一个第一候选框中除参考检测框外的第一候选框。周长交并比可以为第二候选框的周长与参考检测框的周长的交叠率。即周长交并比可以为参考检测框与第二候选框交叠部分的周长与第二候选框与参考检测框除交叠部分的周长以外的周长之和的比值。
57.示例性的，对于任意一个第二候选框，可以分别获取该第二候选框和参考检测框的任意三个顶点的坐标值，该坐标值可以为平面坐标值，也可以为空间坐标值，根据该第二候选框的三个顶点的坐标值和参考检测框的三个顶点的坐标值，计算该第二候选框与参考检测框之间的周长交并比。
58.步骤s240，基于各第二候选框分别对应的周长交并比与第一预设阈值的大小关系，得到至少一个第三候选框。
59.其中，第一预设阈值可以根据实际情况设置。可以将根据第二候选框与参考检测框之间的周长交并比与第一预设阈值大小关系，从第二候选框中筛选出的候选框称为第三候选框。
60.示例性的，可以将各第二候选框与参考检测框之间的周长交并比与第一预设阈值比较，去除周长交并比大于第一预设阈值的第二候选框，得到第三候选框。
61.步骤s250，响应于至少一个第三候选框满足第一预设条件，将至少一个第三候选框和参考检测框确定为目标检测框。
62.其中，第一预设条件可以包括第二预设数量，示例性的，当第三候选框的数量小于或等于第二预设数量时，确定第三候选框满足第一预设条件，确定第三候选框和参考检测框为目标检测框，目标检测框为待处理图像中物体的最终的检测框。当确定目标检测框后，可以输出对待处理图像的物体检测结果，该物体检测结果包括目标检测框和待处理图像。
63.需要说明是的当待处理图像中包括的物体数量为1个时，最终得到的第三候选框和参考检测框为同一检测框。
64.本公开实施例，通过使用第一候选框中除参考检测框外的第二候选框与参考检测框之间的周长交并比确定第三候选框，并根据第三候选框是否满足第一预设条件确定目标检测框，实现了对图像中物体的冗余候选框的删除，从而实现了对物体目标检测框的高效确定。另外，本公开实施例还创造性的使用周长交并比确定目标检测框，相较于相关技术中使用面积交并比确定目标检测框的方法，可明显减少运算量，降低运算难度，从而降低对处理器算力的要求，提升处理器的运算速度，进而缩短处理器的处理时间，有效的提高目标检
测框的确定效率，进而提高目标检测效率。
65.在一个可选实施例中，本公开实施例还包括：响应于至少一个第三候选框不满足第一预设条件，将至少一个第三候选框作为至少一个第一候选框，执行基于各第一候选框分别对应的置信度，确定参考检测框的操作。
66.其中，当第三候选框不满足第一预设条件时，执行步骤s220以及步骤s220之后的步骤，直至第三候选框满足第一预设条件为止。
67.示例性的，响应于第三候选框的数量大于第二预设数量，确定第三候选框不满足第一预设条件，将第三候选框作为第一候选框，在新确定的第一候选框中，根据新确定的第一候选框的置信度重新确定参考检测框，分别获取各新确定的第二候选框与新确定的参考检测框之间的周长交并比，其中，新确定的第二候选框为新确定的第一候选框中除新确定的检测参考框以外的候选框；根据各新确定的第二候选框与新确定的参考检测框之间的周长交并比与第一预设阈值的大小关系，确定新的第三候选框，当新的第三候选框满足第一预设条件时，确定新的第三候选框和所有参考检测框为目标检测框，当新的第三候选框不满足第一预设条件时，将新的第三候选框作为第一候选框，继续执行步骤s220以及步骤s220之后的步骤直至第三候选框满足第一预设条件。
68.本公开实施例，在第三候选框不满足第一预设条件时，将第三候选框作为第一候选框重新执行基于各第一候选框分别对应的置信度确定参考检测框的操作以及该操作以后的操作，直至第三候选框满足第一预设条件，实现了对图像中多个物体的冗余的候选框一次性删除。
69.在一种实施方式中，如图3所示，本公开实施例中的目标检测框的生成方法可以包括如下步骤：
70.步骤s300，对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个候选框中各第一候选框的置信度。
71.步骤s310，确定至少一个第一候选框中的置信度最高的候选框作为参考检测框。
72.步骤s320，响应于第二候选框的候选框数量数大于1，分别获取各第二候选框与最近一次确定的参考检测框之间的周长交并比，其中，第二候选框为至少一个第一候选框中除参考检测框之外的候选框。
73.步骤s330，去除周长交并比大于第一预设阈值的第二候选框，得到第三候选框。
74.步骤s340，响应于第三候选框的数量大于1，以第三候选框作为至少一个第一候选框，执行确定至少一个第一候选框中的置信度最高的候选框作为参考检测框的操作；
75.步骤s350，响应于第三候选框的数量等于1，确定第三候选框和所有参考检测框为目标检测框。
76.在一个可选实施例中，待处理图像中可以包括一个或多个物体。在待处理图像中包括多个物体时，例如，图4示出了待处理图像的初步物体检测结果，如图4所示，图4中具有三个物体(杯子)和多个第一候选框。此时，检测第一候选框的数量，当第一候选框的数量大于第一预设数量时，将置信度最高的第一候选框确定为参考检测框，确定第二候选框(待处理图像中除参考检测框以外的所有第一候选框)与参考检测框之间的周长交并比，删除周长交并比大于第一预设阈值的第二候选框，得到第三候选框，当第三候选框数量小于或等于第二预设数量时，将第三候选框和参考检测框确定为目标检测框，输出待处理图像的物
体检测结果，例如，图5示出了待处理图像的物体检测结果，如图5所示待处理图像的物体检测结果中包括：三个物体(杯子)，每个物体具有一个目标检测框。当第三候选框数量大于第二预设数量，将全部第三候选框作为第一候选框执行将置信度最高的第一候选框确定为参考检测框的操作，并且执行该操作之后的操作，直至第三候选框的数量小于或等于第二预设数量为止。
77.在一个可选实施例中，如图6所示，本公开实施例的步骤s230可以包括如下步骤：
78.步骤s231，获取至少一个第二候选框中各第二候选框的四个顶点的坐标值，以及获取参考检测框的四个顶点的坐标值。
79.其中，每一第二候选框和参考检测框位于同一坐标系中，该坐标系可以为平面坐标系，也可以为空间直角坐标系，获取每一第二候选框的四个顶点的坐标值和参考检测框的四个顶点的坐标值。
80.步骤s232，针对至少一个第二候选框中每个第二候选框，基于该第二候选框和参考检测框的四个顶点的坐标值，确定该第二候选框与参考检测框之间的周长交并比。
81.其中，针对每个第二候选框，根据该第二候选框的四个顶点的坐标值和参考检测框的四个顶点的坐标值，计算参考检测框与第二候选框交叠部分的周长与第二候选框与参考检测框除交叠部分的周长以外的周长之和的比值(周长交并比)。
82.示例性的，图示7示出了第二候选框和参考检测框的关系示意图。如图7所示，参考检测框的四个顶点的坐标值分别是(a1,b1)、(a2,b1)、(a1,b2)、(a2,b2)；第二候选框的四个顶点的坐标值分别是(c1,d1)、(c2,d1)、(c1,d2)、(c2,d2)；根据公式(1)计算第二候选框和参考检测框之间的周长交并比。
[0083][0084]
本公开实施例中，通过根据第二候选框和参考检测框的四个顶点的坐标值，分别计算参考检测框与第二候选框交叠部分的周长与第二候选框与参考检测框除交叠部分的周长以外的周长之和，并通过上述数据计算出第二候选框和参考检测框之间的周长交并比，实现了对周长交并比快速准确的确定，为后续根据周长交并比确定目标检测框提供可靠数据基础。
[0085]
在一个可选实施例中，如图8所示，本公开实施例的步骤s230可以包括如下步骤：
[0086]
步骤s233，获取至少一个第二候选框中各第二候选框的中心点的坐标值与任意一个顶点的坐标值，以及获取参考检测框的中心点的坐标值与任意一个顶点的坐标值；
[0087]
其中，可以分别根据第二候选框和参考检测框的轮廓数据确定第二候选框和参考检测框的中心点的坐标值。
[0088]
步骤s234，针对至少一个第二候选框中每个第二候选框，基于该第二候选框的中心点的坐标值与任意一个顶点的坐标值、以及参考检测框的中心点的坐标值与任意一个顶点的坐标值，确定该第二候选框与参考检测框之间的周长交并比。
[0089]
其中，针对每个第二候选框，根据该第二候选框的一个顶点的坐标值以及中心点的坐标值，与参考检测框的一个顶点的坐标值以及中心点的坐标值，计算参考检测框与第二候选框交叠部分的周长与第二候选框与参考检测框除交叠部分的周长以外的周长之和的比值(周长交并比)。
[0090]
示例性的，可以根据第二候选框的一个顶点的坐标值和中心点的坐标值，计算第二候选框的周长，可以根据参考检测框的一个顶点的坐标值和中心点的坐标值，计算参考检测框的周长，可以根据二候选框的一个顶点的坐标值和中心点的坐标值，以及参考检测框的一个顶点的坐标值和中心点的坐标值，计算第二候选框与参考检测框交叠部分的周长，根据参考检测框与第二候选框交叠部分的周长与第二候选框与参考检测框除交叠部分的周长以外的周长之和，计算周长交并比。
[0091]
本公开实施例中，通过根据第二候选框和参考检测框的一个顶点的坐标值以及中心点的坐标值，实现了对第二候选框与参考候选框之间的周长交并比的准确确定，有效的提高了后续利用周长交并比确定目标检测框的准确性。
[0092]
在一个可选实施例中，本公开实施例在步骤s210之后还包括：响应于至少一个第一候选框的数量小于或等于第一预设数量，确定至少一个第一候选框为目标检测框。
[0093]
其中，当对待处理图像进行物体检测后，将待处理图像上的第一候选框的数量与第一预设数量比较，当第一候选框的数量小于或等于第一预设数量，将第一候选框确定为目标检测框，即此时第一候选框为待处理图像中物体的目标检测框。
[0094]
在一个可选实施例中，本公开实施例步骤s250可以包括：响应于至少一个第三候选框的数量小于或等于第二预设数量，确定至少一个第三候选框满足第一预设条件，并将至少一个第三候选框和参考检测框确定为目标检测框。
[0095]
其中，第二预设数量可以根据实际需求设定，第二预设数量与第一预设数量可以相同也可以不相同。
[0096]
示例性的，以第二预设数量是1为例，统计第三候选框的数量，将第三候选框的数量与第二预设数量比较，当第三候选框的数量等于第二预设数量时，确定第三候选框满足第一预设条件，将第三候选框和参考检测框确定为目标检测框。
[0097]
在一个可选实施例中，如图9所示，本公开实施例还包括如下步骤：
[0098]
步骤s400，获取各第一候选框的长宽比。
[0099]
其中，当第一候选框的数量大于第一预设数量时，基于各第一候选框分别对应的置信度，确定参考检测框之后，确定每一第一候选框的长宽比。第一候选框的长宽比可以为第一候选框的长和宽的比值。
[0100]
示例性的，可以根据第一候选框的四个顶点的坐标值确定第一候选框的长和宽，根据第一候选框的长和宽，计算第一候选框体的长宽比。
[0101]
步骤s410，响应于各第一候选框的长宽比均在预设范围内，执行获取至少一个第二候选框中各第二候选框分别与参考检测框之间的周长交并比的操作。
[0102]
其中，预设范围可以根据实际情况设定，例如，预设范围可以0.5～1.5。当所有第一候选框的长宽比均在预设范围内时，执行步骤s230以及步骤s230以后的步骤，即当所有第一候选框的长宽比均在预设范围内时，可以根据第二候选框与参考检测框之间的周长交并比确定目标检测框。
[0103]
步骤s420，响应于各第一候选框的长宽比存在不在预设范围内的第一候选框，分别获取各第二候选框与参考检测框之间的面积交并比。
[0104]
其中，当检测到各第一候选框的长宽比中存在有不在预设范围内的第一候选框，计算各第二候选框与参考检测框之间的面积交并比。第二候选框与参考检测框的面积交并
比可以为第二候选框与参考检测框的交叠区域的面积与第二候选框与参考检测框的面积之和的比值。
[0105]
示例性的，对于每一个第二候选框，可以获取第二候选框四个顶点的坐标值和参考检测框四个顶点的坐标值，根据第二候选框四个顶点的坐标值和参考检测框四个顶点的坐标值，确定第二候选框与参考检测框之间的面积交并比。
[0106]
步骤s430，基于各第二候选框分别对应的面积交并比与第二预设阈值的大小关系，得到至少一个第四候选框。
[0107]
其中，第二预设阈值可以根据实际需求设定。第二预设阈值与第一预设阈值可以相同也可以不同。
[0108]
示例性的，可以根据每一个第二候选框对应的面积交并比与第二预设阈值，去除面积交并比大于第二预设阈值的第二候选框，得到第四候选框。去除面积交并比大于第二预设阈值的第二候选框后剩余的第二候选框为第四候选框。
[0109]
步骤s440，响应于至少一个第四候选框满足第二预设条件，将至少一个第四候选框和参考检测框确定为目标检测框。
[0110]
其中，第二预设条件可以包括第三预设数量，示例性的，统计第四候选框的数量，当第四候选框的数量小于或等于第三预设数量，确定第四候选框满足第二预设条件，将第四候选框和参考检测框确定为目标检测框。
[0111]
本公开实施例中，通过各第一候选框的长宽比，选取周长交并比或面积交并比的方法剔除冗余候选框，确定目标检测框。实现了可以根据物体检测的实际情况选取剔除冗余候选框确定目标检测框的方法，有效的提高了物体检测中删除冗余候选框的准确性，从而提高了确定目标检测框的准确性。
[0112]
在一个可选实施例中，如图9所示，本公开实施例还包括如下步骤：
[0113]
步骤s450，响应于至少一个第四候选框不满足第二预设条件，将至少一个第四候选框作为至少一个第一候选框，执行基于各第一候选框分别对应的置信度，确定参考检测框的操作。
[0114]
其中，响应于至少一个第四候选框不满足第二预设条件，将至少一个第四候选框作为至少一个第一候选框，执行基于各第一候选框分别对应的置信度，确定参考检测框的操作。
[0115]
其中，当第四候选框不满足第二预设条件时，执行步骤s220以及步骤s220之后的步骤，直至第四候选框满足第二预设条件或者第三候选框满足第一预设条件为止。
[0116]
示例性的，响应于第四候选框的数量数大于第三预设数量，确定第四候选框不满足第二预设条件，将第四候选框作为第一候选框，在新确定的第一候选框中，根据新确定的第一候选框的置信度重新确定参考检测框，确定新确定的第一候选框的长宽比是否存均在预设范围内，当各新确定的第一候选框的长宽比均在预设范围内，根据第二候选框与参考检测框之间的周长交并比确定目标检测框；当新确定的第一候选框的长宽比存在不在预设范围内的第一候选框，根据各新确定的第二候选框的面积交并比确定目标检测框。循环上述操作直至第三候选框满足第一预设条件或第四候选框满足第二预设条件为止。
[0117]
本公开实施例，在第四候选框不满足第二预设条件时，将第四候选框作为第一候选框重新执行基于各第一候选框分别对应的置信度确定参考检测框的操作以及该操作以
后的操作，直至第三候选框满足第一预设条件或第四候选框满足第二预设条件为止，实现了可以根据实际物体检测情况，选取适合的方法一次性对多个物体去除冗余候选框，确定目标检测框，提高了物体检测效率。
[0118]
在一个可选实施例中，本公开实施例中的步骤s440包括：响应于至少一个第四候选框的数量小于或等于第三预设数量，确定至少一个第四候选框满足第二预设条件，并将至少一个第四候选框和参考检测框确定为目标检测框。
[0119]
其中，第三预设数量可以根据实际需求设定，第三预设数量与第一预设数量、第二预设数量可以相同也可以不相同。
[0120]
示例性的，以第三预设数量是1为例，统计第四候选框的数量，将第四候选框的数量与第三预设数量比较，当第四候选框的数量等于第三预设数量时，确定第四候选框满足第二预设条件，将第四候选框和参考检测框确定为目标检测框。
[0121]
在一个可选实施例中，图10公开了本公开一示例性实施例提供的目标检测框的生成方法的一种整体流程图。其中，各步骤具体操作已在前述内容中进行了详细描述，在此处不再赘述。
[0122]
a1，对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个第一候选框中各第一候选框的置信度。
[0123]
a2，检测第一候选框的数量。
[0124]
a3，第一候选框的数量是否小于或等于第一预设数量(第一预设数量例如为1)，当第一候选框的数量小于或等于第一预设数量，执行步骤a4，当第一候选框的数量大于第一预设数量，执行步骤a5。
[0125]
a4，确定第一候选框为目标检测框，之后不在执行本实施例的后续流程。
[0126]
a5，基于各第一候选框分别对应的置信度，将置信度最高的第一候选框确定为参考检测框。
[0127]
a6，获取各第二候选框分别与参考检测框之间的周长交并比，其中，第二候选框为第一候选框中除参考检测框外的第一候选框。
[0128]
a7，基于各第二候选框分别对应的周长交并比与第一预设阈值的大小关系，去除周长交并比大于第一预设阈值的第二候选框，得到至少一个第三候选框。
[0129]
a8，确定第三候选框的数量是否小于或等于第二预设数量，当第三候选框的数量小于或等于第二预设数量，确定第三候选框满足第一预设条件，执行步骤a9，当第三候选框的数量大于第二预设数量，确定第三候选框不满足第一预设条件，执行步骤a10。
[0130]
a9，将第三候选框和所有参考检测框确定为目标检测框，之后不在执行本实施例后续的操作。
[0131]
a10，将所有第三候选框作为第一候选框，之后执行步骤a5。
[0132]
在一个可选实施例中，图11公开了本公开一示例性实施例提供的目标检测框的生成方法的一种整体流程图。其中，各步骤具体操作已在前述内容中进行了详细描述，在此处不再赘述
[0133]
b1，对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个第一候选框中各第一候选框的置信度。
[0134]
b2，检测第一候选框的数量。
[0135]
b3，第一候选框的数量是否小于或等于第一预设数量，当第一候选框的数量小于或等于第一预设数量，执行步骤b4，当第一候选框的数量大于第一预设数量，执行步骤b5。
[0136]
b4，确定第一候选框为目标检测框，之后不在执行本实施例的后续流程。
[0137]
b5，基于各第一候选框分别对应的置信度，将置信度最高的第一候选框确定为参考检测框。
[0138]
b6，获取各第一候选框的长宽比。
[0139]
b7，确定各第一候选框的长宽比是否均在预设范围内，当各第一候选框的长宽比均在预设范围内，执行步骤b8，当确定第一候选框的长宽比存在不在预设范围内的第一候选框，执行步骤b13。
[0140]
b8，获取各第二候选框分别与参考检测框之间的周长交并比，其中，第二候选框为第一候选框中除参考检测框外的第一候选框。
[0141]
b9，基于各第二候选框分别对应的周长交并比与第一预设阈值的大小关系，去除周长交并比大于第一预设阈值的第二候选框，得到至少一个第三候选框。
[0142]
b10，确定第三候选框的数量是否小于或等于第二预设数量，当第三候选框的数量小于或等于第二预设数量，确定第三候选框满足第一预设条件，执行步骤b11，当第三候选框的数量大于第二预设数量，确定第三候选框不满足第一预设条件，执行步骤b12。
[0143]
b11，将第三候选框和所有参考检测框确定为目标检测框，之后不在执行本实施例后续的操作。
[0144]
b12，将所有第三候选框作为第一候选框，之后执行步骤b5。
[0145]
b13，分别获取各第二候选框与参考检测框之间的面积交并比。
[0146]
b14，基于各第二候选框分别对应的面积交并比与第二预设阈值的大小关系，去除面积交并比大于第二预设阈值的第二候选框，得到第四候选框。
[0147]
b15，确定第四候选框的数量是否小于或等于第三预设数量，当第四候选框的数量小于或等于第三预设数量，确定第四候选框满足第二预设条件，执行步骤b16，当第四候选框的数量大于第三预设数量，确定第四候选框不满足第二预设条件执行步骤b17。
[0148]
b16，将第四候选框和所有参考检测框确定为目标检测框，之后不在执行本实施例后续的操作。
[0149]
b17，将所有第四候选框作为第一候选框，之后执行步骤b5。
[0150]
本公开实施例提供的任一种目标检测框的生成方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种目标检测框的生成方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种目标检测框的生成方法。下文不再赘述。
[0151]
示例性装置
[0152]
图12是本公开一示例性实施例提供的目标检测框的生成装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图12所示的装置包括：图像处理模块500、检测模块510、第一响应模块520、第一获取模块530、第一比较模块540和第二响应模块550。
[0153]
图像处理模块500，用于对待处理图像进行物体检测，得到至少一个第一候选框以及至少一个所述第一候选框中各第一候选框的置信度；
[0154]
检测模块510，用于检测至少一个所述第一候选框的数量；
[0155]
第一响应模块520，用于响应于至少一个所述第一候选框的数量大于第一预设数量，基于各所述第一候选框分别对应的置信度，确定参考检测框；
[0156]
第一获取模块530，用于获取至少一个第二候选框中各所述第二候选框分别与所述参考检测框之间的周长交并比，其中，至少一个所述第二候选框为至少一个所述第一候选框中除所述参考检测框外的所述第一候选框；
[0157]
第一比较模块540，用于基于各所述第二候选框分别对应的周长交并比与第一预设阈值的大小关系，得到至少一个第三候选框；
[0158]
第二响应模块550，用于响应于至少一个所述第三候选框满足第一预设条件，将至少一个所述第三候选框和所述参考检测框确定为目标检测框。
[0159]
在一个可选示例中，如图13所示，本公开实施例的装置还包括：
[0160]
第三响应模块560，用于响应于至少一个所述第三候选框不满足第一预设条件，将至少一个所述第三候选框作为至少一个所述第一候选框，执行所述基于各所述第一候选框分别对应的置信度，确定参考检测框的操作。
[0161]
在一个可选示例中，如图13所示，本公开实施例的第一获取模块530可以包括：
[0162]
第一获取子模块531，用于获取至少一个所述第二候选框中各所述第二候选框的四个顶点的坐标值，以及获取所述参考检测框的四个顶点的坐标值；
[0163]
第一确定子模块532，用于针对至少一个所述第二候选框中每个所述第二候选框，基于该第二候选框和所述参考检测框的四个顶点的坐标值，确定该第二候选框与所述参考检测框之间的周长交并比。
[0164]
在一个可选示例中，如图13所示，本公开实施例的第一获取模块530还可以包括：
[0165]
第二获取子模块533，用于获取至少一个所述第二候选框中各所述第二候选框的中心点的坐标值与任意一个顶点的坐标值，以及获取所述参考检测框的中心点的坐标值与任意一个顶点的坐标值；
[0166]
第二确定子模块534，用于针对至少一个所述第二候选框中每个所述第二候选框，基于该第二候选框的中心点的坐标值与任意一个顶点的坐标值、以及所述参考检测框的中心点的坐标值与任意一个顶点的坐标值，确定该第二候选框与所述参考检测框之间的周长交并比。
[0167]
在一个可选示例中，本公开实施例的第一响应模块520还用于响应于至少一个所述第一候选框的数量小于或等于第一预设数量，确定至少一个所述第一候选框为所述目标检测框。
[0168]
在一个可选示例中，本公开实施例的第二响应模块550还用于响应于至少一个所述第三候选框的数量小于或等于第二预设数量，确定至少一个所述第三候选框满足所述第一预设条件，并将至少一个所述第三候选框和所述参考检测框确定为目标检测框。
[0169]
在一个可选示例中，如图13所示，本公开实施例的装置还包括：
[0170]
第二获取模块570，用于获取各所述第一候选框的长宽比；
[0171]
第四响应模块580，用于响应于各所述第一候选框的长宽比均在预设范围内，执行所述获取至少一个第二候选框中各第二候选框分别与所述参考检测框之间的周长交并比的操作。
[0172]
在一个可选示例中，如图13所示，本公开实施例的装置还包括：
[0173]
第五响应模块590，用于响应于各所述第一候选框的长宽比存在不在所述预设范围内的第一候选框，分别获取各所述第二候选框与所述参考检测框之间的面积交并比；
[0174]
第二比较模块600，用于基于各所述第二候选框分别对应的面积交并比与第二预设阈值的大小关系，得到至少一个第四候选框；
[0175]
第六响应模块610，响应于至少一个所述第四候选框满足第二预设条件，将至少一个所述第四候选框和所述参考检测框确定为目标检测框。
[0176]
在一个可选示例中，如图13所示，本公开实施例的装置还包括：
[0177]
第七响应模块620，用于响应于至少一个所述第四候选框不满足第二预设条件，将至少一个所述第四候选框作为至少一个所述第一候选框，执行所述基于各所述第一候选框分别对应的置信度，确定参考检测框的操作。
[0178]
在一个可选示例中，如图13所示，本公开实施例的第六响应模块610还用于响应于至少一个所述第四候选框的数量小于或等于第三预设数量，确定至少一个所述第四候选框满足所述第二预设条件，并将至少一个所述第四候选框和所述参考检测框确定为目标检测框。
[0179]
示例性电子设备
[0180]
下面，参考图14来描述根据本公开实施例的电子设备。图14图示了根据本公开实施例的电子设备的框图。
[0181]
如图14所示，电子设备包括一个或多个处理器700和存储器710。
[0182]
处理器700可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
[0183]
存储器710可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器710可以运行所述程序指令，以实现上文所述的本公开的各个实施例的目标检测框的生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0184]
在一个示例中，电子设备还可以包括：输入装置720和输出装置730，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0185]
该输入装置720可以是麦克风或麦克风阵列，用于捕捉声源的输入信号。此外，该输入设备720还可以包括例如键盘、鼠标等等。
[0186]
该输出装置730可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备730可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0187]
当然，为了简化，图14中仅示出了该电子设备14中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
[0188]
示例性计算机程序产品和计算机可读存储介质
[0189]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的目标检测框的生成方法中的步骤。
[0190]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0191]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的目标检测框的生成方法中的步骤。
[0192]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0193]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0194]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0195]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0196]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0197]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解
和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0198]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0199]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。