目标检测方法、计算机设备、计算机可读存储介质及车辆与流程

1.本发明涉及自动驾驶技术领域，具体涉及一种目标检测方法、计算机设备、计算机可读存储介质及车辆。


背景技术：

2.在控制车辆自动驾驶过程中需要准确检测车辆周围的机动车、非机动车、行人、交通标志和车道线等目标，进而根据这些目标进行轨迹规划，以保证车辆能够安全行驶。目前对上述目标进行检测的常规方法主要是采用神经网络技术分别为每种目标构建相应的目标检测模型(单任务模型)，再通过不同的单任务模型分别对不同类型的目标进行检测。然而，在移动设备如车机上部署并运行多个单任务模型会对车机的计算资源和功耗带来较大压力。对此，可以采用神经网络技术构建一个能够同时进行多种目标检测的目标检测模型(多任务模型)，来减轻对移动设备的计算资源和功耗带来较大压力。但是，在上述多任务模型中每种目标的目标检测任务是共享相同的图像特征进行目标检测，这就导致多任务模型对每种目标的检测准确性都会低于相应单任务模型的检测准确性，如果利用这种多任务模型的目标检测结果对车辆进行轨迹规划，可能难以保证车辆安全行驶。
3.相应地，本领域需要一种新的技术方案来解决上述问题。


技术实现要素：

4.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何快速且准确地对机动车、非机动车、行人、交通标志和车道线等多种目标进行检测的技术问题的目标检测方法、计算机设备、计算机可读存储介质及车辆。
5.第一方面，提供一种目标检测方法，所述方法包括：
6.获取待检测图像；
7.通过多目标检测模型的特征提取网络提取所述待检测图像的图像特征并将所述图像特征输入至所述多目标检测模型的每个检测头网络；
8.通过每个所述检测头网络并根据所述图像特征分别对不同类型的目标进行检测；
9.其中，所述特征提取网络包括一个特征金字塔下采样网络和多个特征金字塔上采样网络，所述特征金字塔下采样网络与每个所述特征金字塔上采样网络分别通过横向连接网络连接，每个所述特征金字塔上采样网络分别与至少一个所述检测头网络连接并且同一个所述特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型相同。
10.在上述目标检测方法的一个技术方案中，所述方法还包括在构建所述多目标检测模型时通过下列方式对所述多目标检测模型中检测头网络检测到的目标的形状类型进行分类：
11.确定对所述多目标检测模型进行模型训练时使用的目标图像样本；
12.根据所述目标图像样本上目标样本的标注标签的形状，对所述多目标检测模型中检测头网络检测到的目标的形状类型进行分类。
13.在上述目标检测方法的一个技术方案中，“获取待检测图像”的步骤具体包括：
14.通过高精度图像采集装置进行图像采集，得到所述待检测图像。
15.在上述目标检测方法的一个技术方案中，所述方法还包括通过下列方式对所述多目标检测模型进行模型训练：
16.采用知识蒸馏方法，对所述多目标检测模型进行模型训练。
17.在上述目标检测方法的一个技术方案中，“采用知识蒸馏方法，对所述多目标检测模型进行模型训练”的步骤具体包括：
18.获取多个能够分别对不同类型的目标进行检测的第一教师模型；
19.采用知识蒸馏方法，使每个所述第一教师模型分别指导所述多目标检测模型使用目标图像样本进行模型训练。
20.在上述目标检测方法的一个技术方案中，所述目标检测方法应用于移动设备，“采用知识蒸馏方法，对所述多目标检测模型进行模型训练”的步骤具体包括：
21.获取能够分别对多种不同类型的目标进行检测的第二教师模型；
22.采用知识蒸馏方法，使所述第二教师模型指导所述多目标检测模型使用目标图像样本进行模型训练。
23.在上述目标检测方法的一个技术方案中，所述检测头网络检测到的目标的形状类型至少包括矩形和线形。
24.在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述目标检测方法的技术方案中任一项技术方案所述的目标检测方法。
25.在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述目标检测方法的技术方案中任一项技术方案所述的目标检测方法。
26.在第四方面，提供一种车辆，该车辆包括上述计算机设备技术方案所述的计算机设备。
27.本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
28.在实施本发明的技术方案中，可以获取待检测图像，通过多目标检测模型的特征提取网络提取待检测图像的图像特征并将图像特征输入至多目标检测模型的每个检测头网络；通过每个检测头网络并根据图像特征分别对不同类型的目标进行检测；其中，特征提取网络可以包括一个特征金字塔下采样网络和多个特征金字塔上采样网络，特征金字塔下采样网络与每个特征金字塔上采样网络分别通过横向连接网络连接，每个特征金字塔上采样网络分别与至少一个检测头网络连接并且同一个特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型相同。
29.通过上述实施方式，只需要在设备上部署一个多目标检测模型，就可以对多种不同类型目标的目标检测，减轻了对设备计算资源和功耗带来较大压力。同时，通过“同一个特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型相同”的方式，可以使检测到的目标的形状类型相同的检测头网络共享相同的图像特征，进行目标检测，从而同时提高这些形状类型相同的目标的检测准确性，避免受到其他形状类型不同的目标的检测干扰。
附图说明
30.参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
31.图1是根据本发明的一个实施例的目标检测方法的主要步骤流程示意图；
32.图2是特征金字塔下采样网络与一个特征金字塔上采样网络的连接示意图；
33.图3是根据本发明的一个实施例的目标检测方法的应用场景示意图；
34.图4是根据本发明的一个实施例的对多目标检测模型中检测头网络检测到的目标的形状类型进行分类的方法的主要步骤流程示意图。
具体实施方式
35.下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
36.在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
37.参阅附图1，图1是根据本发明的一个实施例的目标检测方法的主要步骤流程示意图。如图1所示，本发明实施例中的目标检测方法主要包括下列步骤s101至步骤s103。
38.步骤s101：获取待检测图像。
39.在本实施例中可以通过图像采集装置进行图像采集，得到待检测图像。而在一些实施方式中，为了提高目标检测的准确性，可以采用高精度图像采集装置进行图像采集，得到待检测图像。通过高精度图像采集装置采集到的待检测图像，不仅可以准确检测出近距离的目标，还可以准确检测出远距离的目标。
40.图像的精度是指图像的分辨率(image resolution)，高精度图像是指分辨率大于预设分辨率阈值的图像，其中，预设分辨率阈值是指720p。高精度图像采集装置是指进行图像采集得到的图像为高精度图像的图像采集装置。在一些优选实施方式中，高精度图像采集装置采集到的高精度图像的分辨率为4k。
41.步骤s102：通过多目标检测模型的特征提取网络提取待检测图像的图像特征并将图像特征输入至多目标检测模型的每个检测头网络。
42.在本实施例中多目标检测模型至少包括特征提取网络和多个检测头网络，特征提取网络可以被配置成提取输入图像的图像特征，每个检测头网络可以分别被配置成根据特征提取网络提取到的图像特征对不同类型的目标进行检测，得到相应目标的类型和位置等信息。
43.特征提取网络可以包括一个特征金字塔下采样网络和多个特征金字塔上采样网络，特征金字塔下采样网络与每个特征金字塔上采样网络分别通过横向连接网络连接。
44.参阅附图2，图2示例性示出了特征金字塔下采样网络通过横向连接网络与一个特征金字塔上采样网络的连接结构。在本实施例中每个特征金字塔上采样网络均采用与图2所示相同的连接结构，分别通过横向连接网络与特征金字塔下采样网络连接。需要说明的
是，特征金字塔上采样网络、特征金字塔下采样网络和横向连接网络的网络结构均为特征金字塔网络技术领域中的常规网络结构，本发明实施例不对特征金字塔上采样网络、特征金字塔下采样网络和横向连接网络的具体网络结构进行限定。此外，还需要说明的是，本领域技术人员可以采用目标检测技术领域中常规的检测头(head)网络来构建分别用于对不同类型的目标进行检测的检测头网络，本发明实施例同样对此不进行具体限定。
45.进一步地，每个特征金字塔上采样网络分别与至少一个检测头网络连接并且同一个特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型相同。也就是说，多目标检测模型中检测到的目标的形状类型相同的检测头网络连接同一个特征金字塔上采样网络，共享这个特征金字塔上采样网络输出的图像特征。
46.检测头网络检测到的目标的形状类型至少包括矩形和线形。例如，多目标检测模型中检测到的目标的形状类型为矩形的检测头网络可以共同连接一个特征金字塔上采样网络，多目标检测模型中检测到的目标的形状类型为线形的检测头网络可以共同连接另外一个特征金字塔上采样网络。
47.在一些实施方式中，如果多目标检测模型中检测到的目标的形状类型相同的检测头网络数量较多，可以根据检测到的目标的动静类型再次进行划分，使得同一个特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型和动静类型都相同。其中，目标的动静类型包括动态和静态，例如车、人和非机动车就属于动态目标，交通牌、交通灯和车道线就属于静态目标。
48.如图3所示，在本发明实施例的一些应用场景中，目标包括车、人、非机动车、交通灯、交通牌和车道线共六种类型的目标，其中，车、人、非机动车、交通灯和交通牌的形状类型均为矩形，车道线的形状类型为线形。多目标检测模型可以包括一个特征提取网络和六个检测头网络(车检测头网络、人检测头网络、非机动车检测头网络、交通灯检测头网络、交通牌检测头网络和车道线检测头网络)。其中，特征提取网络包括三个特征金字塔上采样网络，一个特征金字塔上采样网络分别与车检测头网络、人检测头网络和非机动车检测头网络连接，一个特征金字塔上采样网络分别与交通灯检测头网络和交通牌检测头网络连接，一个特征金字塔上采样网络与车道线检测头网络连接。车检测头网络、人检测头网络和非机动车检测头网络共享相同的图像特征分别进行车、人和非机动车检测，交通灯检测头网络和交通牌检测头网络共享相同的图像特征分别进行交通灯和交通牌检测，车道线检测头网络没有与其他检测头网络共享图像特征。
49.步骤s103：通过每个检测头网络并根据图像特征分别对不同类型的目标进行检测。
50.在本实施例中检测头网络可以根据图像特征检测出待测图像中哪些类型的目标以及这些目标的位置等信息。
51.基于上述步骤s101至步骤s103所述的方法，可以使多目标检测模型中检测到的目标的形状类型相同的检测头网络共享相同的图像特征，从而同时提高这些形状类型相同的目标的检测准确性，避免受到其他形状类型不同的目标的检测干扰。
52.下面对本发明实施例中的多目标检测模型作进一步说明。
53.在本发明实施例中可以先构建多目标检测模型的模型结构，在构建好模型结构之后再对多目标检测模型进行模型训练，得到训练好的多目标检测模型，从而就可以利用训
练好的多目标检测模型执行上述步骤s101至步骤s103所述的目标检测方法。
54.一、多目标检测模型的模型构建
55.在本发明实施例中可以在构建多目标检测模型的模型结构时对检测头网络检测到的目标的形状类型进行分类，从而既可以确定好多目标检测模型中检测头网络的数量，还可以确定好每个检测头网络检测到的目标的形状类型。具体而言，参阅附图4，在本实施例中可以通过下列步骤s201至步骤s202对多目标检测模型中检测头网络检测到的目标的形状类型进行分类。
56.步骤s201：确定对多目标检测模型进行模型训练时使用的目标图像样本。
57.目标图像样本是指包含目标样本的图像，每个目标图像样本均包含相应目标样本的标注标签，标注标签至少包含目标样本在目标图像样本上的位置信息，标注标签的形状与目标样本的形状类似，即二者的形状类型相同。例如，如果目标样本是人，那么标注标签是人的外接矩形框，人和标注标签的形状类型都是矩形。
58.步骤s202：根据目标图像样本上目标样本的标注标签的形状，对多目标检测模型中检测头网络检测到的目标的形状类型进行分类。
59.在本实施例中首先可以根据目标图像样本上目标样本的标注标签的形状，确定出存在哪几种形状类型；然后，再根据目标类型(如车、人、非机动车、交通灯、交通牌和车道线这六种类型)的数量，确定好多目标检测模型中检测头网络的数量；最后，确定好每个检测头网络检测到的目标的形状类型，即完成对多目标检测模型中检测头网络检测到的目标的形状类型的分类。
60.例如，假设对多目标检测模型进行模型训练时使用的目标图像样本包括车、人、非机动车、交通灯、交通牌和车道线共六种类型的目标样本的目标图像样本，根据这些目标图像样本上目标样本的标注标签的形状可以确定出存在矩形和线形两种形状类型，同时还可以确定出需要设置车检测头网络、人检测头网络、非机动车检测头网络、交通灯检测头网络、交通牌检测头网络和车道线检测头网络共六个检测头网络。其中，车检测头网络、人检测头网络、非机动车检测头网络、交通灯检测头网络、交通牌检测头网络和车道线检测头网络这六个检测头网络检测到的目标的形状类型依次是矩形、矩形、矩形、矩形、矩形和线形。最后，根据“同一个特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型相同”的原则，可以将形状类型都是矩形的“车检测头网络、人检测头网络、非机动车检测头网络、交通灯检测头网络和交通牌检测头网络”共同连接一个特征金字塔上采样网络，形状类型是线形的车道线检测头网络连接另一个特征金字塔上采样网络。
61.通过上述步骤s201至步骤s202所述的方法，可以根据多目标检测模型需要具备的各个类型目标的检测能力，对不同检测头网络检测到的目标的形状类型进行准确划分，以便于能够通过“同一个特征金字塔上采样网络连接的检测头网络检测到的目标的形状类型相同”的方式，使检测到的目标的形状类型相同的检测头网络共享相同的图像特征，从而同时提高这些形状类型相同的目标的检测准确性，避免受到其他形状类型不同的目标的检测干扰。
62.二、多目标检测模型的模型训练
63.在本发明实施例中可以采用知识蒸馏方法(knowledge distillation)，对多目标检测模型进行模型训练。
64.通过知识蒸馏方法可以将已经训练好的教师模型中的知识(knowledge)蒸馏(distill)到待训练的多目标检测模型中，从而得到训练好的多目标检测模型。
65.在一些实施方式中，已经训练好的教师模型可以由多个能够分别对不同类型的目标进行检测的第一教师模型集合而成，即在本实施方式中可以采用多个能够分别对不同类型的目标进行检测的第一教师模型对待训练的多目标检测模型进行模型训练，从而得到训练好的多目标检测模型。具体而言，在本实施方式中可以通过下列步骤11至步骤12对对待训练的多目标检测模型进行模型训练。
66.步骤11：获取多个能够分别对不同类型的目标进行检测的第一教师模型。
67.在本实施方式中每个第一教师模型均具备较高的目标检测准确性，即具备较高的目标检测能力。在一些实施方式中，可以使用规模较大的模型结构构建第一教师模型，以提高第一教师模型的学习能力，进而提高第一教师模型的目标检测能力。也就是说，相对于待训练的多目标检测模型而言，第一教师模型的模型结构会更加复杂，也会消耗更多的计算资源。
68.步骤12：采用知识蒸馏方法，使每个第一教师模型分别指导多目标检测模型使用目标图像样本进行模型训练。
69.通过知识蒸馏方法可以将每个第一教师模型中的知识(knowledge)蒸馏(distill)到待训练的多目标检测模型中，从而得到训练好的多目标检测模型。
70.需要说明的是，本领域技术人员可以采用机器学习技术领域充常规的知识蒸馏方法，使每个第一教师模型分别指导多目标检测模型使用目标图像样本进行模型训练，本发明实施例不对知识蒸馏方法的具体原理和方法进行赘述。
71.通过上述步骤11至步骤12，可以利用多个第一教师模型完成对待训练的多目标检测模型的模型训练，使得多目标检测模型针对每种类型的目标(每个第一教师模型能够检测到的目标的类型)都具备较高的检测准确性。
72.在另一些实施方式中，在利用多目标检测模型在移动设备上执行上述步骤s101至步骤s103所述的目标检测方法，除了可以通过上述步骤11至步骤12所述的方法对多目标检测模型进行模型训练，还可以采用一个能够分别对多种不同类型的目标进行检测的第二教师模型对待训练的多目标检测模型进行模型训练，从而得到训练好的多目标检测模型。具体而言，在本实施方式中可以通过下列步骤21至步骤22对对待训练的多目标检测模型进行模型训练。
73.步骤21：获取能够分别对多种不同类型的目标进行检测的第二教师模型。
74.第二教师模型是指使用规模较大的模型结构构建的具备较高的目标检测能力的模型，即相对于待训练的多目标检测模型而言，第二教师模型的模型结构会更加复杂，也会消耗更多的计算资源，如果在移动设备上部署第二教师模型，会给移动设备的计算资源和功耗带来较大压力。
75.步骤22：采用知识蒸馏方法，使第二教师模型指导多目标检测模型使用目标图像样本进行模型训练。
76.通过知识蒸馏方法可以将第二教师模型中的知识(knowledge)蒸馏(distill)到待训练的多目标检测模型中，从而得到训练好的多目标检测模型。
77.需要说明的是，本领域技术人员可以采用机器学习技术领域充常规的知识蒸馏方
法，使第二教师模型指导多目标检测模型使用目标图像样本进行模型训练，本发明实施例不对知识蒸馏方法的具体原理和方法进行赘述。
78.通过上述步骤21至步骤22，可以利用一个第二教师模型完成对待训练的多目标检测模型的模型训练，使得多目标检测模型针对每种类型的目标(第二教师模型能够检测到的目标的类型)都具备较高的检测准确性。
79.需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
80.本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
81.进一步，本发明还提供了一种计算机设备。在根据本发明的一个计算机设备实施例中，计算机设备包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的目标检测方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的目标检测方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机设备可以是包括各种电子设备形成的控制装置设备。
82.进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的目标检测方法的程序，该程序可以由处理器加载并运行以实现上述目标检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
83.进一步，本发明还提供了一种车辆。在根据本发明的一个车辆实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。
84.至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。