图像中的目标检测方法、装置及计算机可读存储介质与流程

1.本公开涉及图像技术领域，尤其涉及一种图像中的目标检测方法、装置及计算机可读存储介质。


背景技术：

2.神经网络(例如卷积神经网络)被广泛应用于图像的目标检测中，其在自动驾驶和高级驾驶辅助系统(advanced driving assistance system，adas)中的应用具有重要意义。
3.需要指出的是，目前基于神经网络的目标检测方案中往往存在着冗余运算，这样会导致目标检测效率较低，难以满足实际应用的需求。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像中的目标检测方法、装置及计算机可读存储介质。
5.根据本公开实施例的一个方面，提供了一种图像中的目标检测方法，包括：
6.通过目标检测神经网络对图像采集装置采集的图像进行处理，得到第一中心点热力图和三维信息特征图；
7.基于所述第一中心点热力图的池化结果，生成目标特征图；
8.确定所述目标特征图中的有效目标中心点位置；
9.基于所述有效目标中心点位置和所述三维信息特征图，得到所述图像的三维目标检测结果。
10.根据本公开实施例的另一个方面，提供了一种图像中的目标检测装置，包括：
11.第一获取模块，用于通过目标检测神经网络对图像采集装置采集的图像进行处理，得到第一中心点热力图和三维信息特征图；
12.生成模块，用于基于所述第一获取模块得到的所述第一中心点热力图的池化结果，生成目标特征图；
13.确定模块，用于确定所述生成模块生成的所述目标特征图中的有效目标中心点位置；
14.第二获取模块，用于基于所述确定模块确定的所述有效目标中心点位置和所述第一获取模块生成的所述三维信息特征图，得到所述图像的三维目标检测结果。
15.根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述图像中的目标检测方法。
16.根据本公开实施例的又一个方面，提供了一种电子设备，包括：
17.处理器；
18.用于存储所述处理器可执行指令的存储器；
19.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现
上述图像中的目标检测方法。
20.基于本公开上述实施例提供的一种图像中的目标检测方法、装置、计算机可读存储介质及电子设备，结合目标检测神经网络对图像采集装置采集的图像的处理，第一中心点热力图的池化处理，以及目标特征图的生成处理，可以基于目标特征图中的有效目标中心点位置和三维信息特征图来获取图像的三维目标检测结果，以实现基于神经网络的目标检测，并且，通过对目标特征图中的有效目标中心点位置的筛选，目标检测过程无需利用目标特征图中所有目标中心点的位置信息，这样有利于减少冗余运算，以提高目标检测效率，克服效率瓶颈，从而满足实际应用的需求。
21.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
22.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
23.图1是本公开所适用的场景示意图。
24.图2是本公开一示例性实施例提供的图像中的目标检测方法的流程示意图。
25.图3是本公开另一示例性实施例提供的图像中的目标检测方法的流程示意图。
26.图4是本公开再一示例性实施例提供的图像中的目标检测方法的流程示意图。
27.图5是本公开又一示例性实施例提供的图像中的目标检测方法的流程示意图。
28.图6是本公开又一示例性实施例提供的图像中的目标检测方法的流程示意图。
29.图7是本公开又一示例性实施例提供的图像中的目标检测方法的流程示意图。
30.图8是本公开的实施例中目标检测神经网络的工作原理图。
31.图9是本公开的实施例中多摄像头采集的图像和经投影后的鸟瞰图的示意图。
32.图10是本公开一示例性实施例提供的图像中的目标检测装置的结构示意图。
33.图11是本公开另一示例性实施例提供的图像中的目标检测装置的结构示意图。
34.图12是本公开再一示例性实施例提供的图像中的目标检测装置的结构示意图。
35.图13是本公开又一示例性实施例提供的图像中的目标检测装置的结构示意图。
36.图14是本公开又一示例性实施例提供的图像中的目标检测装置的结构示意图。
37.图15是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
38.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
39.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
40.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺
序。
41.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
42.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
43.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
44.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
45.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
46.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
47.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
48.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
49.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
50.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
51.申请概述
52.神经网络被广泛应用于图像的目标检测中，其在自动驾驶和adas中的应用具有重要意义，随着目标检测算法的发展，神经网络的大小和复杂度快速增加，这对自动驾驶和adas的硬件系统(尤其是嵌入式系统)提出了极大的挑战。
53.目前基于神经网络的目标检测方案主要分为两类，分别是单阶段检测模型和两阶段检测模型，单阶段检测模型主要包括yolo v1
‑
v3、retinanet、ssd、densebox，centernet等，两阶段检测模型主要包括faster rcnn等，其中，yolo v3、faster rcnn是常见的高精度目标检测方案。
54.在实现本公开的过程中，发明人发现，目前基于神经网络的目标检测方案中往往
存在着冗余运算，在硬件系统算力、内存和带宽有限的条件下，目前基于神经网络的目标检测方案存在着效率瓶颈，难以满足实际应用的需求。
55.示例性系统
56.如图1所示，本公开所适用的场景示意图中可以包括车辆11和电子设备13；其中，车辆11上可以设置有多个图像采集装置，图像采集装置采集的图像可以提供给电子设备13；电子设备13上可以部署有用于供专门应用的集成电路(application specific integrated circuit，asic)芯片，asic芯片可以基于图像采集装置采集的图像，执行本公共的如下方法流程，以提高基于神经网络的目标检测方案的目标检测效率，从而满足实际应用的需求。
57.可选地，电子设备13上部署的asci芯片的数量可以为两个，这样，基于两个asci芯片可以进行多线程异步并行处理，从而进一步提高基于神经网络的目标检测方案的目标检测效率。
58.示例性方法
59.图2是本公开一示例性实施例提供的图像中的目标检测方法的流程示意图。图2所示的方法包括步骤201、步骤202、步骤203和步骤204，下面分别对各步骤进行说明。
60.步骤201，通过目标检测神经网络对图像采集装置采集的图像进行处理，得到第一中心点热力图和三维信息特征图。
61.这里，目标检测神经网络可以为预先训练好的、用于目标检测的神经网络。可选地，图1中的电子设备13上部署的asci芯片中可以包括神经网络加速器，例如可以包括大脑处理器(brain processing unit，bpu)，目标检测神经网络可以通过神经网络加速器执行相应的指令来实现；和/或，目标检测神经网络可以为无锚框的目标检测卷积神经网络；和/或，目标检测神经网络可以采用8位定点数运算。
62.这里，图像采集装置可以为设置于图1中的车辆11上的摄像头，这时，图像采集装置也可以称为车载摄像头。
63.在步骤201中，可以调用图像采集装置进行图像采集，从i/o(即输入/输出)通道读取图像采集装置采集的图像，并基于图像采集装置采集的图像，进行神经网络推理，以在神经网络加速度上，基于目标检测神经网络得到第一中心点热力图和三维信息特征图。
64.需要说明的是，第一中心点热力图可以通过目标中心点来呈现目标，第一中心点热力图可以包括至少两层特征图，第一中心点热力图中的不同特征图可以对应不同目标类别(也即，第一中心点热力图可以具有所对应目标类别互异的至少两个通道)，目标类别包括但不限于小型车、大巴、卡车、行人、交通信号灯、路牌等，并且，第一中心点热力图中的任一特征图中的任一位置可以具有一类别分数，该类别分数可以用于表征该特征图中的该位置属于相应目标类别的概率。
65.另外，三维信息特征图可以体现目标的三维信息，三维信息包括但不限于3d位置信息(即x轴、y轴、z轴的坐标信息)、尺寸信息(即长、宽、高信息)、朝向角信息等。
66.步骤202，基于第一中心点热力图的池化结果，生成目标特征图。
67.在步骤202中，可以针对第一中心点热力图进行最大池化处理或者平均池化处理或者其它类型的池化处理，以得到第一中心点热力图的池化结果，以便据此生成目标特征图，目标特征图也可以通过目标中心点来呈现目标。
68.步骤203，确定目标特征图中的有效目标中心点位置。
69.需要说明的是，目标特征图中可能通过多个目标中心点呈现了多个目标，但是，在这些目标中心点中，可能仅部分目标中心点对于目标检测有实际的参考价值，能够保证后续的目标检测的检测准确性。有鉴于此，在步骤203中，可以从目标特征图中，筛选出对于目标检测有实际的参考价值的目标中心点，并将筛选出的每个目标中心点所在的位置均作为有效目标中心点位置。
70.步骤204，基于有效目标中心点位置和三维信息特征图，得到图像的三维目标检测结果。
71.在步骤204中，可以结合有效目标中心点位置和三维信息特征图，得到图像的三维目标检测结果，三维目标检测结果中包括但不限于图像中目标的角点位置信息(例如8个角点位置的信息)、图像中目标的具体目标类别、图像中目标属于该目标类别的类别分数等。可选地，在得到三维目标检测结果之后，可以在客户端上展示三维目标检测结果，以通过可视化的方式呈现三维目标检测结果。
72.本公开的实施例中，结合目标检测神经网络对图像采集装置采集的图像的处理，第一中心点热力图的池化处理，以及目标特征图的生成处理，可以基于目标特征图中的有效目标中心点位置和三维信息特征图来获取图像的三维目标检测结果，以实现基于神经网络的目标检测，并且，通过对目标特征图中的有效目标中心点位置的筛选，目标检测过程无需利用目标特征图中所有目标中心点的位置信息，这样有利于减少冗余运算，以提高目标检测效率，克服效率瓶颈，从而满足实际应用的需求。
73.在图2所示实施例的基础上，如图3所示，步骤202，包括：
74.步骤2021，对第一中心点热力图中的每一层特征图进行池化处理，得到至少一个池化结果。
75.由于第一中心点热力图包括至少两层特征图，在步骤2021中，可以针对第一中心点热力图中的每一层特征图，分别进行步长为1，滤波器尺寸为3*3的最大池化处理，这样，第一中心点热力图中的每一层特征图中的每一位置均可以具有相应的池化结果，从而可以得到至少一个池化结果。
76.步骤2022，针对第一中心点热力图中的每一层特征图，确定该层特征图中的任一位置的类别分数与该层特征图中相应位置的池化结果之间的大小关系。
77.在步骤2021中的池化处理为步长为1，滤波器尺寸为3*3的最大池化处理的情况下，在步骤2022中，针对第一中心点热力图中的每一层特征图，可以将该层特征图中的任一位置的类别分数与该层特征图中该位置的池化结果进行大小比较，以确定该类别分数对应的大小关系。这里，任一类别分数对应的大小关系可以有两种可能的情况，一种情况下，任一类别分数对应的大小关系表征该类别分数与相应池化结果相同，另一种情况下，任一类别分数对应的大小关系表征该类别分数与相应池化结果不相同。
78.步骤2023，在任一类别分数对应的大小关系满足第一预设条件的情况下，保留该类别分数，否则将该类别分数更新为指定分数，以由第一中心点热力图得到第二中心点热力图。
79.这里，指定分数可以为零或者其它预先设定好的固定分数。
80.在步骤2023中，在任一类别分数对应的大小关系表征该类别分数与相应池化结果
相同的情况下，可以确定该类别分数对应的大小关系满足第一预设条件，这时，可以保留该类别分数；否则，可以确定该类别分数对应的大小关系不满足第一预设条件，这时，可以将该类别分数更新为零。
81.需要说明的是，在针对第一中心点热力图的每一层特征图中的每一位置，均进行类别分数的保留或更新处理后，即可由第一中心点热力图得到第二中心点热力图，与第一中心点热力图相同，第二中心点热力图也可以包括至少两层特征图，第二中心点热力图的不同特征图可以对应不同目标类别。
82.步骤2024，基于第二中心点热力图，生成目标特征图。
83.在步骤2024中，可以将第二中心点热力图包括的至少两层特征图合并为一层特征图以作为目标特征图。在一种具体实施方式中，目标特征图的图像尺寸与第二中心点热力图相同，目标特征图的任一位置的类别分数为第二中心点热力图的、与该位置对应的至少两个类别分数中数值最大的类别分数，并且，目标特征图还记载有目标特征图中的各个位置的类别分数所对应的目标类别。
84.假设第二中心点热力图包括3层特征图，分别是第一层特征图z1、第二层特征图z2和第三层特征图z3，位于第一层特征图z1左上角位置的类别分数为s1，位于第二层特征图z2左上角位置的类别分数为s2，位于第三层特征图z3左上角位置的类别分数为s3，则可以将s1至s3三者两两进行比较，以筛选出s1至s3三者中数值最大的类别分数，假设筛选出的类别分数为s1，则可以将s1作为目标特征图的左上角位置的类别分数，并且，还可以在目标特征图中记载s1所对应的目标类别。按照类似的方式，可以针对目标特征图中除了左上角位置之外的各个位置，分别确定类别分数以及记载相应的目标类别，这样能够得到最终的目标特征图。
85.本实施方式中，通过沿通道方向取类别分数的最大值，并保留最大值对应的通道位置信息，能够高效可靠地基于第二中心点热力图得到目标特征图。
86.可见，本公开的实施例中，通过对第一中心点热力图中的每一层特征图进行池化处理，并将第一中心点热力图中的每一层特征图中原本记载的类别分数以及得到的池化结果进行简单的大小比较，可以基于所得到的大小关系，进行类别分数的保留或更新处理，以高效可靠地由第一中心点热力图得到第二中心点热力图，以便据此生成目标特征图用于后续的处理过程。
87.在图3所示实施例的基础上，如图4所示，步骤204，包括：
88.步骤2041，确定目标特征图中类别分数不同于指定分数的位置。
89.在步骤2041，可以对目标特征图中的各个位置进行遍历，以确定目标特征图中类别分数不同于指定分数的位置。可以理解的是，在指定分数为零的情况下，步骤2041具体为确定目标特征图中类别分数非零值的位置。
90.步骤2042，基于所确定的位置，确定有效目标中心点位置。
91.在步骤2042中，可以直接将所确定的位置中的每个位置均作为一有效目标中心点位置，或者，可以对所确定的位置进行进一步筛选，并将进一步筛选出的位置中的每个位置均作为一有效目标中心点位置。
92.可见，本公开的实施例中，通过比较目标特征图中各个位置的类别分数与指定分数是否相同，能够非常高效可靠地确定出有效目标中心点位置。
93.在图2所示实施例的基础上，如图5所示，步骤201，包括：
94.步骤2011，将图像采集装置采集的图像输入目标检测神经网络，以由目标检测神经网络生成第三中心点热力图和三维信息特征图。
95.这里，目标检测神经网络可以为预先训练好的，能够根据输入的图像，生成相应中心点热力图和相应三维信息特征图的神经网络。这样，在步骤2011中，在从i/o通道读取图像采集装置采集的图像之后，只需将图像采集装置采集的图像作为输入图像提供给目标检测神经网络，目标检测神经网络即可自行进行运算处理，以生成第三中心点热力图和三维信息特征图。
96.需要说明的是，第三中心点热力图可以通过目标中心点来呈现目标，第三中心点热力图可以包括至少两层特征图，第三中心点热力图中的不同特征图可以对应不同目标类别，并且，第三中心点热力图中的任一特征图中的任一位置可以记载有一类别分数，该类别分数用于表征该特征图中的该位置属于相应目标类别的概率。
97.步骤2012，基于第三中心点热力图和预设类别分数阈值，生成第一中心点热力图。
98.在一种具体实施方式中，步骤2012，包括：
99.针对第三中心点热力图中的每一层特征图，确定该层特征图中的任一位置的类别分数与该层特征图对应的目标类别所对应的预设类别分数阈值的大小关系；
100.在任一类别分数对应的大小关系满足第二预设条件的情况下，保留该类别分数，否则将该类别分数更新为指定分数，以由第三中心点热力图得到第一中心点热力图。
101.这里，可以针对第三中心点热力图中的每一层特征图对应的目标类别，分别设定相应的预设类别分数阈值，不同目标类别对应的预设类别分数可以相同，也可以不同。
102.这里，指定分数可以为零或者其它预先设定好的固定分数。
103.本实施方式中，针对第三中心点热力图中的每一层特征图，可以将该层特征图中的任一位置的类别分数与该层特征图对应的目标类别所对应的预设类别分数阈值进行大小比较，以确定该类别分数对应的大小关系。这里，任一类别分数对应的大小关系可以有两种可能的情况，一种情况下，任一类别分数对应的大小关系表征该类别分数大于相应预设类别分数阈值，另一种情况下，任一类别分数对应的大小关系表征该类别分数小于或等于预设类别分数阈值。
104.在任一类别分数对应的大小关系表征该类别分数大于相应预设类别分数阈值的情况下，可以确定该类别分数对应的大小关系满足第二预设条件，这时，可以保留该类别分数；否则，可以确定该类别分数对应的大小关系不满足第二预设条件，这时，可以将该类别分数更新为零。
105.需要说明的是，在针对第三中心点热力图中的每一层特征图中的每一位置，均进行类别分数的保留或更新处理后，即可由第三中心点热力图得到第一中心点热力图。
106.本实施方式中，通过将第三中心点热力图中的每一层特征图中原本记载的类别分数与相应预设类别分数阈值进行简单的大小比较，可以基于所得到的大小关系，进行类别分数的保留或更新处理，以高效可靠地由第三中心点热力图得到第一中心点热力图。
107.需要指出的是，步骤2012的实施方式并不局限于此，例如，也可以不单独针对第三中心点热力图中的每一层特征图对应的目标类别，分别设定相应的预设类别分数阈值，而是预先固定设置一预设类别分数阈值，第三中心点热力图中的每一层特征图中的每一位置
的类别分数可以均与固定设置的这个预设类别分数阈值进行大小比较。
108.本公开的实施例中，通过将图像采集装置采集的图像作为输入图像提供给目标检测神经网络，能够基于目标检测神经网络高效可靠地生成第三中心点热力图和三维信息特征图，之后，结合第三中心点热力图和预设类别分数阈值，通过类别分数的保留或更新处理，能够高效可靠地生成第一中心点热力图。
109.需要说明的是，图5所示实施例中是直接将图像采集装置采集的图像作为输入图像，具体实施时，也可以不直接将图像采集装置采集的图像作为输入图像，而可以基于图像采集装置采集的图像，生成图像金字塔(即image pyramid)，从图像金字塔中，选取与神经网络加速器的指定输入尺寸(例如704*1280)最接近的图像，之后将所选取的图像作为输入图像传输至神经网络加速器，由于神经网络加速器可以通过执行相应的指令实现目标检测神经网络，基于传输至神经网络加速器的图像，能够实现第三中心点热力图和三维信息特征图的生成。
110.在图2所示实施例的基础上，如图6所示，步骤204，包括：
111.步骤2041，从目标特征图中，获取有效目标中心点位置对应的检测类别数据。
112.这里，目标特征图可以仅包括一层特征图，目标特征图中的每个位置均具有类别分数，目标特征图还记载有目标特征图中的各个位置的类别分数所对应的目标类别。在步骤2041中，可以从目标特征图中获取有效目标中心点位置的类别分数和该类别分数所对应的目标类别，所获取的类别分数和目标类别可以组成有效目标中心点位置对应的检测类别数据。
113.步骤2042，从三维信息特征图中，获取有效目标中心点位置对应的检测三维信息。
114.在步骤2042中，可以从三维信息特征图中，获取通过有效目标中心点位置处的目标中心点所呈现的目标的三维信息，所获取的三维信息即可作为有效目标中心点位置对应的检测三维信息。
115.步骤2043，将有效目标中心点位置和检测三维信息均投影至基于图像获得的鸟瞰图上。
116.需要说明的是，图1中的车辆11上设置的图像采集装置的数量可以为多个(例如为六个)，基于多个图像采集装置采集的多路图像，可以生成鸟瞰图(即bird’s eye view)。另外，还可以获取目标特征图和三维信息特征图分别与鸟瞰图之间的投影转换关系，投影转换关系具体可以通过投影转换矩阵的形式进行表征，这样，基于投影转换矩阵，可以高效可靠地将有效目标中心点位置和检测三维信息均投影至鸟瞰图上。
117.步骤2044，基于经投影后的鸟瞰图以及多目标轨迹预测和跟踪处理，获取校正目标中心点位置和校正三维信息。
118.在步骤2044中，可以在经投影后的鸟瞰图上，利用卡尔曼滤波器进行多目标轨迹预测和跟踪处理，并基于处理结果，获取校正目标中心点位置和校正三维信息。
119.在一种具体实施方式中，步骤2044，包括：
120.基于当前时间点之前的至少两个时间点对应的经投影后的鸟瞰图，进行多目标轨迹预测和跟踪处理，以得到各个目标在当前时间点的预测目标中心点位置和预测三维信息；
121.将所得到的预测目标中心点位置与投影在当前时间点对应的鸟瞰图上的有效目
标中心点位置进行融合处理，以得到校正目标中心点位置，并将所得到的预测三维信息与投影在当前时间点对应的鸟瞰图上的检测三维信息进行融合处理，以得到校正三维信息。
122.这里，在已知当前时间点之前的至少两个时间点对应的经投影后的鸟瞰图的情况下，可以将投影于这些鸟瞰图上的有效目标中心点位置和检测三维信息作为卡尔曼滤波器的输入数据，卡尔曼滤波器可以据此进行多目标轨迹预测和跟踪处理，以对多目标中的各个目标在当前时间点的目标中心点位置和三维信息进行预测，从而得到预测目标中心点位置和预测三维信息。
123.接下来，可以利用第一预设融合算法，将所得到的预测目标中心点位置与投影在当前时间点对应的鸟瞰图上的有效目标中心点位置进行融合处理，以得到校正目标中心点位置，校正目标中心点位置可以认为是将预测出的目标中心点位置和实际检测到的目标中心点位置进行融合处理得到的。可选地，利用第一预设融合算法，将所得到的预测目标中心点位置与投影在当前时间点对应的鸟瞰图上的有效目标中心点位置进行融合处理，以得到校正目标中心点位置，可以包括：获取预先为预测位置设置的第一权重以及为实际检测位置设置的第二权重，利用第一权重和第二权重，对所得到的预测目标中心点位置与投影在当前时间点对应的鸟瞰图上的有效目标中心点位置进行加权融合处理(例如加权平均、加权求和等处理)，并将加权融合处理结果作为校正目标中心点位置。
124.类似地，还可以利用第二预设融合算法，将所得到的预测三维信息与投影在当前时间点对应的鸟瞰图上的有效目标中心点位置进行融合处理，以得到校正目标中心点位置，校正目标中心点位置可以认为是将预测出的三维信息和实际检测到的三维信息进行融合处理得到的。需要说明的是，第二预设融合算法和第一预设融合算法可以是类似的算法，即基于第二预设融合算法，可以通过加权融合处理，得到校正目标中心点位置。
125.本实施方式中，通过多目标轨迹预测和跟踪处理，能够高效可靠地实现目标中心点位置和三维信息的预测，通过对预测结果与实际检测到的结果进行融合处理，能够高效地获取校正目标中心点位置和校正三维信息，校正目标中心点位置相比于有效目标中心点位置能够更为准确可靠，校正三维信息相比于检测三维信息能够更为准确可靠。
126.步骤2045，将校正目标中心点位置和校正三维信息均投影至图像上，并基于投影结果和检测类别数据，获取图像的三维目标检测结果。
127.这里，可以获取图像采集装置采集的图像与鸟瞰图之间的投影转换关系，投影转换关系具体可以通过投影转换矩阵的形式进行表征，这样，基于投影转换矩阵，可以高效可靠地将校正目标中心点位置和校正三维信息均投影至图像采集装置采集的图像上，以得到投影结果，投影结果中可以包括各个目标的8个角点位置信息，投影结果中的角点位置信息以及检测类别数据中的类别分数和目标类别可以共同组成图像的三维目标检测结果。
128.本公开的实施例中，从目标特征图中，可以高效可靠地获取到有效目标中心点位置对应的检测类别数据，从三维信息特征图中，可以高效可靠地获取有效目标中心点位置对应的检测三维信息，之后，通过将有效目标中心点位置和检测三维信息均投影至鸟瞰图上，可以在鸟瞰图上进行目标轨迹预测和跟踪处理，这样能够有效地利用全局检测信息，减少检测结果之间的遮挡，从而较好地保证基于目标轨迹预测和跟踪处理获取的校正目标中心点位置和校正三维信息的准确可靠性，之后，通过将校正目标中心点位置和校正三维信息均投影至图像上，结合投影结果和检测类别数据，能够获取准确可靠的三维目标检测结
果。
129.在一个可选示例中，图1中的车辆11上可以设置有图7中的摄像头1至摄像头6这六个摄像头，图1中的电子设备13上部署的asci芯片的数量可以为两个，每个asci芯片中均可以包括bpu(其作为神经网络加速器)、arm(其是一种微处理器)和图像信号处理(image signal processing，isp)单元。如图7所示，本公开的实施例中的图像中的目标检测方法主要可以包括如下步骤：
130.(1)数据读取和预处理：从i/o通道读取多个摄像头采集的多路图像，针对每个摄像头采集的图像，利用isp单元生成相应的图像金字塔，并从所生成的图像金字塔中选取最接近bpu的指定输入尺寸的图像输入至bpu；
131.(2)神经网络推理：在bpu上，通过图8所示的无锚框的目标检测卷积神经网络，生成第三中心点热力图(其对应图8中的heat map)和三维信息特征图(其对应图8中的dimension、location、orientation三者的组合)，目标检测卷积神经网络可以采用8位定点运算，并且，此步骤可以为双线程异步并行(例如通过线程1和线程2实现异步并行)；
132.(3)结果提取：从bpu中提取图像信息(其具体为输入至bpu的图像)及推理结果(其具体为第三中心点热力图和三维信息特征图)并送入arm进行后处理，并且，此步骤可以为双线程异步并行(例如通过线程1和线程2实现异步并行)；
133.(4)后处理：
134.a：由于bpu输出的数据格式是特定的数据格式，这里可以通过在arm上对原始热力图(即第三中心点热力图)进行数据格式转换，以将第三中心点热力图转换成常用的数据格式；之后可以对转换结果(其尺寸可以表示为h*w*c)按照类别分数进行筛选，仅保留大于预设类别分数阈值的类别分数，其余类别分数归零(对应上文中由第三中心点热力图得到第一中心点热力图的方式)；
135.b：对第一中心点热力图中的每一层特征图(其尺寸可以表示为h*w)进行池化处理，例如进行步长为1，滤波器尺寸为3*3的最大池化处理；若某一层特征图中某一位置的类别分数与该位置的池化结果相同，则保留该类别分数，否则将该类别分数归零，以得到h*w*c的新特征图(对应上文中由第一中心点热力图得到第二中心点热力图的方式)；
136.c：针对第二中心点热力图，沿通道方向取类别分数的最大值，并保留最大值对应的通道位置信息，以得到h*w的新特征图(对应上文中由第二中心点热力图得到目标特征图的方式)；
137.d：将目标特征图中非零值的位置作为有效目标中心点位置，并从三维信息特征图中提取对应的信息(其可以包括尺寸信息等)；
138.e：对提取的信息进行解码，以得到检测三维信息(其可以包括长、宽、高、深度、旋转角等信息)；
139.f：将有效目标中心点位置和解码得到的检测三维信息均投影至鸟瞰图上，这里还可以根据摄像头空间位置先验，将对应不同摄像头采集的图像的投影结果进行融合，这样，经投影后的鸟瞰图上能够体现检测框的中心位置、尺寸、角度、朝向等信息；假设图9中位于第一行的3张图像依次是前向的左中右3个摄像头采集的图像，图9中位于第三行的3张图像依次是后向的左中右3个摄像头采集的图像，则经投影后的鸟瞰图具体可以参见图9中位于中间一行的鸟瞰图；
140.g：在鸟瞰图上，可以根据检测框的中心位置、尺寸、角度、朝向等信息，利用卡尔曼滤波器进行多目标轨迹预测和跟踪处理，以得到上文中的校正目标中心点位置和校正三维信息；
141.h：将鸟瞰图追踪结果对应的3d检测框(其体现的是校正目标中心点位置和校正三维信息)分别投影至各个摄像头采集的图像上，这样可以获得每个目标的8个角点位置；
142.i：输出三维目标检测结果，其包括角点位置信息、目标类别、类别分数等信息；
143.需要说明的是，后处理这个步骤可以为双线程异步并行(例如通过线程1和线程2实现异步并行)。
144.(5)将三维目标检测结果在客户端上展示。
145.可见，本公开的实施例中的图像中的目标检测方法主要分为3个部分，分别是多摄像头图像的预处理、通过无锚框的目标检测神经网络实现图像推理，以及对推理结果进行后处理，在鸟瞰图上进行多摄像头的目标融合、目标追踪和可视化，本公开的实施例可以具有如下有益效果：
146.(1)通过采用多线程异步并行处理，有效地利用了双核bpu和双核arm的特性，极大地减小了系统延迟，提升了检测帧率，极大地减少arm的计算压力；
147.(2)通过采用无锚框的3d目标检测卷积神经网络，无需手动设计锚框，极大减少了后处理的运算量，对硬件十分友好，并且，后处理无需进行非极大值抑制，提高了处理速度；
148.(3)通过采用使用8位定点运算的神经网络，减少了模型计算量，并保持了高准确率，从而得以在asic芯片上实现多摄像头高帧率的检测；
149.(4)后处理过程中对神经网络加速器输出的特征图进行了数据格式转换，通过预设类别分数阈值筛选有效目标中心点位置，仅提取对应的三维信息，减少了冗余运算；
150.(5)后处理过程融合了基于阈值的筛选处理操作、最大池化处理操作与布尔张量索引(boolean mask indexing)操作(其是指索引特征图上非零值的位置的操作)，无需在特征图每个位置均计算最大池化结果(仅计算类别分数大于预设类别分数阈值的位置即可)，最大池化和布尔张量索引只需一次遍历，进一步提高了运算效率；
151.(6)在鸟瞰图上实现多目标追踪，其利用了全局检测信息，极大地减少了检测结果之间的遮挡，可提供更准确更稳定的目标追踪方案。
152.综上，本公开的实施例中，通过基于asic芯片来进行多摄像头3d目标检测，能够进行多线程异步并行运算，且能够提供实时的高精度3d检测和轨迹追踪结果，适用于多摄像头环境感知的场景，例如辅助驾驶、自动驾驶等场景。
153.本公开实施例提供的任一种图像中的目标检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种图像中的目标检测方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种图像中的目标检测方法。下文不再赘述。
154.示例性装置
155.图10是本公开一示例性实施例提供的图像中的目标检测装置的结构示意图。图10所示的装置包括第一获取模块1001、生成模块1002、确定模块1003和第二获取模块1004。
156.第一获取模块1001，用于通过目标检测神经网络对图像采集装置采集的图像进行处理，得到第一中心点热力图和三维信息特征图；
157.生成模块1002，用于基于第一获取模块1001得到的第一中心点热力图的池化结果，生成目标特征图；
158.确定模块1003，用于确定生成模块1002生成的目标特征图中的有效目标中心点位置；
159.第二获取模块1004，用于基于确定模块1003确定的有效目标中心点位置和第一获取模块1001生成的三维信息特征图，得到图像的三维目标检测结果。
160.在一个可选示例中，如图11所示，生成模块1002，包括：
161.第一处理子模块10021，用于对第一获取模块1001得到的第一中心点热力图中的每一层特征图进行池化处理，得到至少一个池化结果；
162.第一确定子模块10022，用于针对第一中心点热力图中的每一层特征图，确定该层特征图中的任一位置的类别分数与第一处理子模块10021得到的该层特征图中相应位置的池化结果之间的大小关系；
163.第二处理子模块10023，用于在第一确定子模块10022确定的任一类别分数对应的大小关系满足第一预设条件的情况下，保留该类别分数，否则将该类别分数更新为指定分数，以由第一中心点热力图得到第二中心点热力图；
164.第一生成子模块10024，用于基于第二处理子模块10023得到的第二中心点热力图，生成目标特征图。
165.在一个可选示例中，目标特征图的图像尺寸与第二中心点热力图相同，目标特征图的任一位置的类别分数为第二中心点热力图的、与该位置对应的至少两个类别分数中数值最大的类别分数，并且，目标特征图还记载有目标特征图中的各个位置的类别分数所对应的目标类别。
166.在一个可选示例中，如图12所示，确定模块1003，包括：
167.第二确定子模块10031，用于确定生成模块1002生成的目标特征图中类别分数不同于指定分数的位置；
168.第三确定子模块10032，用于基于第二确定子模块10031所确定的位置，确定有效目标中心点位置。
169.在一个可选示例中，如图13所示，第一获取模块1001，包括：
170.第三处理子模块10011，用于将图像采集装置采集的图像输入目标检测神经网络，以由目标检测神经网络生成第三中心点热力图和三维信息特征图；
171.第二生成子模块10012，用于基于第三处理子模块10011生成的第三中心点热力图和预设类别分数阈值，生成第一中心点热力图。
172.在一个可选示例中，第二生成子模块10012，包括：
173.确定单元，用于针对第三中心点热力图中的每一层特征图，确定该层特征图中的任一位置的类别分数与该层特征图对应的目标类别所对应的预设类别分数阈值的大小关系；
174.处理单元，用于在确定模块确定的任一类别分数对应的大小关系满足第二预设条件的情况下，保留该类别分数，否则将该类别分数更新为指定分数，以由第三中心点热力图得到第一中心点热力图。
175.在一个可选示例中，如图14所示，第二获取模块1004，包括：
176.第一获取子模块10041，用于从生成模块1002生成的目标特征图中，获取有效目标中心点位置对应的检测类别数据；
177.第二获取子模块10042，用于从第一获取模块1001得到的三维信息特征图中，获取有效目标中心点位置对应的检测三维信息；
178.投影子模块10043，用于将确定模块1003确定的有效目标中心点位置和第二获取子模块10042获取的检测三维信息均投影至基于图像获得的鸟瞰图上；
179.第三获取子模块10044，用于基于投影子模块10043得到的经投影后的鸟瞰图以及多目标轨迹预测和跟踪处理，获取校正目标中心点位置和校正三维信息；
180.第四获取子模块10045，用于将第三获取子模块10044获取的校正目标中心点位置和校正三维信息均投影至图像上，并基于投影结果和检测类别数据，获取图像的三维目标检测结果。
181.在一个可选示例，第三获取子模块10044，包括：
182.第一获取单元，用于基于当前时间点之前的至少两个时间点对应的经投影后的鸟瞰图，进行多目标轨迹预测和跟踪处理，以得到各个目标在当前时间点的预测目标中心点位置和预测三维信息；
183.第二获取单元，用于将第一获取单元所得到的预测目标中心点位置与投影在当前时间点对应的鸟瞰图上的有效目标中心点位置进行融合处理，以得到校正目标中心点位置，并将第一获取单元所得到的预测三维信息与投影在当前时间点对应的鸟瞰图上的检测三维信息进行融合处理，以得到校正三维信息。
184.示例性电子设备
185.下面，参考图15来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
186.图15图示了根据本公开实施例的电子设备的框图。
187.如图15所示，电子设备1500包括一个或多个处理器1501和存储器1502。
188.处理器1501可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1500中的其他组件以执行期望的功能。
189.存储器1502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1501可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像中的目标检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
190.在一个示例中，电子设备1500还可以包括：输入装置1503和输出装置1504，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
191.例如，在该电子设备是第一设备或第二设备时，该输入装置1503可以是麦克风或麦克风阵列。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
192.此外，该输入装置1503还可以包括例如键盘、鼠标等等。
193.该输出装置1504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置1504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
194.当然，为了简化，图15中仅示出了该电子设备1500中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1500还可以包括任何其他适当的组件。
195.示例性计算机程序产品和计算机可读存储介质
196.除了上述方法和设备外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像中的目标检测方法中的步骤。
197.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
198.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像中的目标检测方法中的步骤。
199.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
200.以上结合具体实施例描述了本公开的基本原理，需指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。上述公开的具体细节仅是为了示例和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体细节来实现。
201.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
202.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使
用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
203.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
204.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
205.提供所公开的方面的以上描述以使本领域任何技术人员能做出或使用本公开。对这些方面的各种修改对本领域技术人员而言是非常显而易见的，在此定义的一般原理可应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
206.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。