车辆图像的处理方法、装置、电子设备和计算机可读介质与流程

本申请涉及图像处理技术领域，具体而言，涉及一种车辆图像的处理方法、装置、电子设备和计算机可读介质。

背景技术：

在车辆图片的识别场景中，会存在需要对车辆图片中的车身位置和车牌位置进行识别，并对车辆图片中车身和车牌进行匹配的需求。在车辆图片均存在多个目标车辆时，由于相邻靠近的车辆对应的车牌和车身位置可能互相包含，如同一个的车牌区域可以会处于两个车身区域中，这会对车身和车牌的匹配造成干扰，进而难以实现对车辆图片进行准确地车身和车牌匹配。

技术实现要素：

本申请的实施例提供了一种车辆图像的处理方法、装置、电子设备和计算机可读介质，可以在多个相邻靠近的车辆对应的车牌和车身位置可能互相包含的情况，也能实现对车辆图片进行准确地车身和车牌匹配。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种车辆图像的处理方法，包括：获取待处理的车辆图像；提取所述待处理的车辆图像中的车身图像特征以及车牌图像特征；将所述车身图像特征以及所述车牌图像特征输入至预训练的机器学习模型中，所述预训练的机器学习模型通过包含有车身图像特征、车牌图像特征以及车身和车牌的关联结果的样本数据训练得到；获取所述预训练的机器学习模型输出的所述车辆图像中包含的车身与车牌的关联结果。

根据本申请实施例的一个方面，提供了一种车辆图像的处理装置，包括：第一获取单元，用于获取待处理的车辆图像；提取单元，用于提取所述待处理的车辆图像中的车身图像特征以及车牌图像特征；关联单元，用于将所述车身图像特征以及所述车牌图像特征输入至预训练的机器学习模型中，所述预训练的机器学习模型通过包含有车身图像特征、车牌图像特征以及车身和车牌的关联结果的样本数据训练得到；第二获取单元，用于获取所述预训练的机器学习模型输出的所述车辆图像中包含的车身与车牌的关联结果。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的车辆图像的处理方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的车辆图像的处理方法。

在本申请的一些实施例所提供的技术方案中，根据提取待处理的车辆图像中的车身图像特征以及车牌图像特征，并根据预训练的机器学习模型确定车辆图像中包含的车身与车牌的关联结果，由于预训练的机器学习模型为通过包含有车身图像特征、车牌图像特征以及车身和车牌的关联结果的样本数据训练得到，即使在多个车辆的位置可能存在相互包含的情况，也能实现对车辆图片进行准确地车身和车牌匹配，由此提高了对车辆图片进行车身和车牌匹配的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

图2示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图3示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s220的具体流程图。

图4示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s220的具体流程图。

图5示出了根据本申请的一个实施例的一种提取待处理的车辆图像中的车身图像和车牌图像特征的示意图。

图6示出了根据本申请的一个实施例的一种卷积层中包含的残差结构的示意图。

图7示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图8示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图9示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s810的具体流程图。

图10示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图11示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图12示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s420的具体流程图。

图13示出了根据本申请的一个实施例中的车辆图像的处理方法的流程图。

图14示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图15示出了根据本申请的一个实施例的车辆图像的处理方法的流程图。

图16示出了根据本申请的一个实施例的预训练的机器学习模型的结构示意图。

图17示出了根据本申请的一个实施例中的获取的车辆图像进行展示的示意图。

图18示出了根据本申请的一个实施例的车辆图像的处理装置的框图。

图19示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

用户可以使用终端设备通过网络104与服务器105交互，以接收或发送消息等。服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)向服务器105上传了待处理的车辆图像，服务器105从终端设备103获取待处理的车辆图像，服务器105提取待处理的车辆图像中的车身图像特征以及车牌图像特征，并将提取得到的车身图像特征以及车牌图像特征输入至预训练的机器学习模型中，该预训练的机器学习模型通过包含有车身图像特征、车牌图像特征以及车身和车牌的关联结果的样本数据训练得到；服务器105获取预训练的机器学习模型输出的车辆图像中包含的车身与车牌的关联结果，服务器105将车辆图像中包含的车身与车牌的关联结果发送至终端设备。服务器根据提取待处理的车辆图像中的车身图像特征以及车牌图像特征，并根据预训练的机器学习模型确定车辆图像中包含的车身与车牌的关联结果，即使在多个车辆的位置可能存在相互包含的情况，也能实现对车辆图片进行准确地车身和车牌匹配。

需要说明的是，本申请实施例所提供的车辆图像的处理方法一般由服务器105执行，相应地，车辆图像的处理装置一般设置于服务器105中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的车辆图像的处理方法的方案。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，该车辆图像的处理方法可以由服务器来执行，该服务器可以是图1中所示的服务器。参照图2所示，该车辆图像的处理方法至少包括步骤s210至步骤s240，详细介绍如下：

在步骤s210中，获取待处理的车辆图像。

待处理的车辆图像作为需要确定车身和车牌的关联结果的图像，该图像可以由用户终端从其它终端获取，可以由用户终端通过摄像装置进行拍摄所生成。用户终端将待处理的车辆图像上传至服务器，以使得服务器获取该车辆图像。

在步骤s220中，提取所述待处理的车辆图像中的车身图像特征以及车牌图像特征。

车身图像特征是对待处理的车辆图像的车身位置进行识别并针对该车身位置的图像部分进行特征提取所得到的图像特征；车牌图像特征是对待处理的车辆图像的车牌位置进行识别并针对该车牌位置的图像部分进行特征提取所得到的图像特征，上述图像特征作为对待处理的车辆图像中包含的车身和车牌进行关联的图像特征。

在本申请的一个实施例中，可以采用预训练的机器学习模型来根据待处理的车辆图像提取待处理的车辆图像中的车身图像特征以及车牌图像特征，其中，该预训练的机器学习模型可以是深度神经网络模型。

在对深度神经网络模型进行训练时，需要先获取对深度神经网络模型进行训练的样本数据，每条样本数据包括待处理的车辆图像、车辆图像中的车身位置、车身标签、车牌位置和车身标签。在对深度神经网络模型训练完成后，则可以通过深度神经网络模型来对待处理的车辆图像进行特征提取，得到待处理的车辆图像对应的特征图，并根据特征图确定车身位置和车牌位置。

需要说明的是，由于需要输出的是车身位置对应的车身图像特征以及车牌位置对应的车身图像特征，而不是输出车身位置和车牌位置。由此基于深度神经网络模型在确定待处理的车辆图像中的车身位置和车牌位置后，还需要根据所确定的车身位置和车牌位置，在特征图中获取车身位置处的车身图像特征以及车牌位置处的车牌图像特征作为输出，即深度神经网络模型输出的是车身位置处的车身图像特征以及车牌位置处的车牌图像特征。

参考图3，图3示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s220的具体流程图，步骤s220具体可以包括步骤s310至步骤s320，详细描述如下。

在步骤s310中，将所述待处理的车辆图像处理成预设图像尺寸的车辆图像。

在提取待处理的车辆图像中的车身图像特征以及车牌图像特征时，可以先根据预设的图像尺寸对待处理的车辆图像进行转换处理，得到与预设图像尺寸相符的车辆图像，其中，预设图像尺寸为便于对车辆图像进行特征提取的图像尺寸。当通过深度神经网络模型来对待处理的车辆图像进行特征处理时，预设图像尺寸可以为与深度神经网络模型的样本数据相同的图像尺寸，例如具体可以为416*416的图像尺寸。

在步骤s320中，提取所述预设图像尺寸的车辆图像中的车身图像特征以及车牌图像特征。

在得到预设图像尺寸的车辆图像后，则可以深度神经网络模型中的卷积层来提取该图像尺寸的车辆图像中的车身图像特征以及车牌图像特征。

在图3所示的实施例的方案中，通过根据预设图像尺寸对待处理的车辆图像进行转换，在方便对任意图像尺寸下的车辆图像都能进行特征提取的同时，还可以提高对待处理的车辆图像进行特征提取的效率。

参考图4，图4示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s220的具体流程图，步骤s220具体可以包括步骤s410至步骤s420，详细描述如下。

在步骤s410中，对所述待处理的车辆图像进行特征提取，得到所述待处理的车辆图像对应的特征图，并根据所述特征图确定所述车身位置和所述车牌位置。

对待处理的车辆图像进行特征提取，具体是对待处理的车辆图像进行卷积特征提取，得到待处理的车辆图像对应的特征图。

以深度神经网络模型来提取待处理的车辆图像中的车身图像特征以及车牌图像特征为例，深度神经网络模型为了识别待处理的车辆图像中包含的各个车辆的车身位置和各个车辆的车牌位置，深度神经网络模型可以先对待处理的车辆图像包含的整个图像进行特征提取，得到待处理的整个车辆图像对应的特征图，具体的，可以根据深度神经网络模型的卷积层来实现。

深度神经网络模型在得到特征图后，会根据提取到的特征图确定预处理的车辆图像中包含的各个车辆的车身位置和各个车辆的车牌位置。

参考图5，图5示出了根据本申请的一个实施例的一种提取待处理的车辆图像中的车身图像和车牌图像特征的示意图。

深度神经网络模型获取待处理的车辆图像，其中，待处理的车辆图像可以为416×416×3这个尺寸下的车辆图像，其中，416×416×3表示该的车辆图像宽和高均为416，通道数为3。深度神经网络模型可以包含六个前后连接的卷积层，经过每一个卷积层提取得到的图像特征依次为不同的特征图，在相互连接的卷积层中，前一个卷积层的输出会作为后一个卷积层的输入。

参考图6，图6示出了根据本申请的一个实施例的卷积层中包含的残差结构的示意图，残差结果用于使得各个卷积层能快速提取图像特征，每个卷积层可以包括一个或者多个残差结构。例如在本实施例的深度神经网络模型中，第一个卷积层可以包括一个残差结构，第二个卷积层可以包括两个残差结构。

深度神经网络模型具体通过将经过第三个卷积层以及第六个卷积层提取的特征图来确定预处理的车辆图像中包含的各个车辆的车身位置和各个车辆的车牌位置。

参考图7，图7示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，根据所述特征图确定所述车身位置和所述车牌位置的步骤可以包括步骤s710至步骤s720，详细描述如下。

在步骤s710中，根据所述特征图确定至少两个车身预测框的信息、至少两个车牌预测框的信息、各个所述车身预测框对应的第一置信度以及各个所述车牌预测框对应的第二置信度。

深度神经网络模型在根据特征图确定车身位置和车牌位置时，具体可以根据从车辆图像中提取的特征图，来确定车辆图像包含的至少两个车身预测框的信息、至少两个车牌预测框的信息、各个车身预测框对应的第一置信度以及各个车牌预测框对应的第二置信度。第一置信度用于表征将该车身预测框识别为车身位置的概率，第二置信度用于表征将该车牌预测框识别为车牌位置的概率。

由于针对于每一个车身或车牌，深度神经网络模型确定的车身预测框与车牌预测框都为至少两个，当待处理的车辆图像中包含至少两辆车时，则车身或车牌的个数可能也为至少两个，因此，深度神经网络模型会存在确定至少两组车身预测框或车牌预测框的情况，其中，每一组车身预测框都包括至少两个车身预测框或每一组车牌预测框都包括至少两个车牌预测框。因此，深度神经网络模型需要根据车身预测框的信息和第一置信度从至少两个车身预测框中来确定每一个车身对应的最优车身预测框，作为所确定的车身位置，并需要根据车牌预测框的信息和第二置信度从至少两个车牌预测框中来确定每一个车牌对应的最优车牌预测框，作为所确定的车牌位置。需要指出的是，当车身或车牌为至少两个，深度神经网络模型确定的车身位置和车牌位置也为至少两个。

在步骤s720中，根据至少两个车身预测框的信息和各个所述车身预测框对应的第一置信度，从至少两个车身预测框所处的位置中确定所述车身位置，并根据至少两个车牌预测框的信息和各个所述车牌预测框对应的第二置信度，从至少两个所述车身牌预测框所处的位置中确定所述车牌位置。

在本申请的一个实施例中，车身预测框的信息为车身预测框在预处理的车辆图像的位置属性信息，车身牌预测框的信息为车牌预测框在预处理的车辆图像的位置属性信息。

由于针对每个车身的车身预测框或针对每个车牌的车牌预测框均为至少两个，由此需要从至少两个车身预测框所处的位置中选择最优车身位置，作为车身位置，或从至少两个车牌预测框所处的位置中选择最优车牌位置，作为车牌位置。

参考图8，图8示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，所述根据至少两个车身预测框的信息和各个所述车身预测框对应的第一置信度，从至少两个车身预测框所处的位置中确定所述车身位置的步骤可以包括步骤s810至步骤s830，详细描述如下。

在步骤s810中，从至少两个车身预测框选择第一置信度最高的车身预测框，作为目标车身预测框，确定目标车身预测框与剩余每个车身预测框之间的交并比。

在根据至少两个车身预测框的信息和各个车身预测框对应的第一置信度，从至少两个车身预测框所处的位置中确定车身位置时，由于针对同一个车辆的车身，会根据特征图得到至少两个车身预测框。而当预处理的车辆图像存在至少两辆车时，会存在不同车辆的车身对应的至少两个车身预测框，由此需要针对不同车辆的车身都确定车身位置。

在预处理的车辆图像存在至少两辆车情况下，由于同一个车辆的车身对应的车身预测框会存在较高的重合度，即同一个车辆的车身对应的车身预测框会存在较高的交并比，交并比为两个车身预测框之间重合的区域部分与两个车身预测框包含的所有区域的比值。而不是同一个车身的对应的车身预测框之间则不会存在较高的重合度，即不会存在较高的交并比。由此可以先从至少两个车身预测框选择第一置信度最高的车身预测框，作为目标车身预测框，根据车身预测框的信息确定目标车身预测框与剩余每个车身预测框之间的交并比，进而根据交并比和第一置信度来确定车身位置。

参考图9，图9示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s810的具体流程图，车身预测框的信息包括位置信息和尺寸信息，所述步骤s810可以包括步骤s910至步骤s920，详细描述如下。

在步骤s910中，根据所述车身预测框的位置信息和尺寸信息确定目标车身预测框的面积与剩余每个车身预测框的面积之间的第一并集，以及确定目标车身预测框的面积与剩余每个车身预测框的面积之间的第一交集。

车身预测框的信息具体可以包括车身预测框的位置信息和尺寸信息，在根据车身预测框的信息确定目标车身预测框和剩余每个车身预测框之间的交并比时，可以根据车身预测框的位置信息和尺寸信息，来计算目标车身预测框的面积与剩余每个车身预测框的面积之间的第一并集，并计算目标车身预测框的面积与剩余每个车身预测框的面积之间的第一交集。

在步骤s920中，基于所述第一并集与所述第一交集的比值，确定目标车身预测框的面积与剩余每个车身预测框的面积之间的交并比。

在确定得到第一交集和第一并集后，将基于第一并集与第一交集的比值，确定目标车身预测框的面积与剩余每个车身预测框的面积之间的交并比。

还请继续参考图8，在步骤s820中，若不存在交并比小于预定阈值的车身预测框，则将目标车身预测框所处的位置确定为所述车身位置。

若不存在交并比小于预定阈值的车身预测框，则说明预处理的图片中只有一辆车，则只有一个需要识别的车身，此时可以确定将第一置信度最高的目标车身预测框所处的位置确定为这一个车身的车身位置。

在步骤s830中，若存在交并比小于预定阈值的车身预测框，则在交并比小于预定阈值的车身预测框中，继续将第一置信度最高的车身预测框作为目标车身预测框，并确定目标车身预测框与剩余每个车身预测框之间的交并比，直至不存在交并比小于预定阈值的车身预测框。

若存在交并比小于预定阈值的车身预测框，则说明预处理的图片中有至少有两辆车，则会存在至少有两辆需要进行识别的车身位置。由此可以将第一次确定的第一置信度最高的目标车身预测框所处的位置确定为一个车身的车身位置，并继续将第一置信度最高的车身预测框作为目标车身预测框，并确定目标车身预测框与剩余每个车身预测框之间的交并比，直至不存在交并比小于预定阈值的车身预测框。每一次所确定的第一置信度最高的目标车身预测框所处的位置都作为车身位置，进而在预处理的图片中有至少有两辆车时，得到至少两辆车的车身对应的车身位置。

图8以及图9所示的实施例的方案可以在待处理的车辆图像存在至少两辆车时，也能实现对至少两辆车的车身位置进行准确地识别。

参考图10，图10示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，根据至少两个车牌预测框的信息和各个所述车牌预测框对应的第二置信度，从至少两个所述车身牌预测框所处的位置中确定所述车牌位置的步骤可以包括步骤s1010至步骤s1030，详细描述如下。

在步骤s1010中，从至少两个车牌预测框选择第二置信度最高的车牌预测框，作为目标车牌预测框，确定目标车牌预测框与剩余每个车牌预测框之间的交并比。

在根据至少两个车牌预测框的信息和各个车牌预测框对应的第二置信度，从至少两个车牌预测框所处的位置中确定车牌位置时，由于针对同一个车辆的车牌，会根据特征图得到至少两个车牌预测框。而当预处理的车辆图像存在至少两辆车时，会存在不同车辆的车牌对应的至少两个车牌预测框，由此需要针对不同车辆的车牌都确定车牌位置。

在预处理的车辆图像存在至少两辆车情况下，由于同一个车辆的车牌对应的车牌预测框会存在较高的重合度，即同一个车辆的车牌对应的车牌预测框会存在较高的交并比，交并比为两个车牌预测框之间重合的区域部分与两个车牌预测框包含的所有区域的比值。而不是同一个车牌的对应的车牌预测框之间则不会存在较高的重合度，即不会存在较高的交并比。由此可以先从至少两个车牌预测框选择第二置信度最高的车牌预测框，作为目标车牌预测框，根据车牌预测框的信息确定目标车牌预测框与剩余每个车牌预测框之间的交并比，进而根据交并比和第二置信度来确定车牌位置。

参考图11，图11示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，所述车牌预测框的信息包括位置信息和尺寸信息，所述步骤s1010可以包括步骤s1110至步骤s1120，详细描述如下。

在步骤s1110中，根据所述车牌预测框的位置信息和尺寸信息确定目标车牌预测框的面积与剩余每个车牌预测框的面积之间的第二并集，以及确定目标车牌预测框的面积与剩余每个车牌预测框的面积之间的第二交集。

车牌预测框的信息具体可以包括车牌预测框的位置信息和尺寸信息，在根据车牌预测框的信息确定目标车牌预测框和剩余每个车牌预测框之间的交并比时，可以根据车牌预测框的位置信息和尺寸信息，来计算目标车牌预测框的面积与剩余每个车牌预测框的面积之间的第二并集，并计算目标车牌预测框的面积与剩余每个车牌预测框的面积之间的第二交集。

在步骤s1120中，基于所述第二并集与所述第二交集的比值，确定目标车身预测框的面积与剩余每个车身预测框的面积之间的交并比。

在确定得到第二交集和第二并集后，将基于第二并集与第二交集的比值，确定目标车牌预测框的面积与剩余每个车牌预测框的面积之间的交并比。

还请继续参考图10，在步骤s1020中，若不存在交并比小于预定阈值的车牌预测框，则目标车牌预测框所处的位置确定为所述车牌位置。

若不存在交并比小于预定阈值的车牌预测框，则说明预处理的图片中只有一辆车，则只有一个需要识别的车牌，此时可以确定将第二置信度最高的目标车牌预测框所处的位置确定为这一个车牌的车牌位置。

在步骤s1030中，若存在交并比小于预定阈值的车牌预测框，则在交并比小于预定阈值的车牌预测框中，继续将第二置信度最高的车牌预测框作为目标车牌预测框，并确定目标车牌预测框与剩余每个车牌预测框之间的交并比，直至不存在交并比小于预定阈值的车牌预测框。

若存在交并比小于预定阈值的车牌预测框，则说明预处理的图片中有至少有两辆车，则至少有两辆需要进行识别的车牌位置。由此可以将第一次确定的第二置信度最高的目标车牌预测框所处的位置确定为一个车牌的车牌位置，并继续将第二置信度最高的车牌预测框作为目标车牌预测框，并确定目标车牌预测框与剩余每个车牌预测框之间的交并比，直至不存在交并比小于预定阈值的车牌预测框。每一次所确定的第二置信度最高的目标车牌预测框所处的位置都作为车牌位置，进而在预处理的图片中有至少有两辆车时，得到至少两辆车的车牌对应的车牌位置。

图10以及图11所示的实施例的方案可以在待处理的车辆图像存在至少两辆车时，也能实现对至少两辆车的车牌位置进行准确地识别。

还请继续参考图4，在步骤s420中，在所述特征图中获取所述车牌位置的车牌图像特征以及所述车牌位置的车牌图像特征。

预训练的深度神经网络模型在得到待处理的车辆图像包含的所有车辆的车身位置和车牌位置后，会根据所确定的车身位置和车牌位置，从特征图中获取车身位置的车身图像特征以及车牌位置的车牌图像特征。具体的，预训练的深度神经网络模型会根据车身位置和车牌位置在待处理的车辆图像所处的具体位置信息，从特征图中提取处于该具体位置信息上的特征图部分作为车身位置的车身图像特征以及车牌位置的车牌图像特征。

参考图12，图12示出了根据本申请的一个实施例的车辆图像的处理方法的步骤s420的具体流程图，若所述特征图包括至少两个不同尺度下的特征图，则所述步骤s420可以包括步骤s1210至步骤s1220，详细描述如下。

在步骤s1210中，在第一尺度下的特征图中获取所述车身位置处的图像特征，生成车身图像特征。

预训练的深度神经网络模型在提取预处理的车辆图像中的特征图时，可以获取多个不同层数的卷积层所输出的特征图作为所需要的特征图，不同层数的卷积层所输出的特征图对应的尺度不同，由此会得到至少两个不同尺度下的特征图。其中，不同尺度下的第一图像特征对应的向量维度不同，由于车身在预处理的车辆图像中所占位置的尺寸大于车牌在预处理的车辆图像中所占位置的尺寸，由此需要在尺度较小的第一特征图中，获取车身位置处的图像特征，生成车身图像特征，以便于根据车身图像特征对预处理的车辆图像进行车身和车牌的关联匹配。

在步骤s1220中，在第二尺度下的特征图中从所述车牌位置获取图像特征，生成车牌图像特征，其中，第一尺度的尺度小于第二尺度的尺度。

由于车身在预处理的车辆图像中所占位置的尺寸大于车牌的所占位置的尺寸，由此需要在尺度较大的第一特征图中，获取车牌位置处的图像特征，生成车牌图像特征，以便于根据车牌图像特征进行车身和车牌的关联匹配。

图12所示实施例的方案可以根据车身和车牌的尺寸大小，采用不同尺度下的特征来分别提取车身图像特征以及车牌图像特征，进而得到不同维度的车身图像特征和车牌图像特征，进而提高了根据车身图像特征以及车牌图像特征确定预处理的车辆图像中车身的车牌关联结果的准确性。

还请继续参考图2，在步骤s230中，将所述车身图像特征以及所述车牌图像特征输入至预训练的机器学习模型中，所述预训练的机器学习模型通过包含有车身图像特征、车牌图像特征以及车身和车牌的关联结果的样本数据训练得到。

在本申请的一个实施例中，可以将车牌图像特征以及车牌图像特征输入至预训练的机器学习模型中，预训练的机器学习模型将输出车身和车牌的关联结果，其中，预训练的机器学习模型可以是深度神经网络模型、cnn(convolutionalneuralnetwork，卷积神经网络)模型。

参考图13，图13示出了根据本申请的一个实施例中的车辆图像的处理方法的流程图，所述车辆图像的处理方法还可以包括步骤s1310至步骤s1320，详细描述如下。

在步骤s1310中，获取用于对待训练的机器学习模型进行训练的训练集样本数据，所述训练集样本数据中的每条样本数据包括车身图像特征、车牌图像特征以及车身和车牌的关联结果标签。

在本实施例中，可以先获取在对待训练的机器学习模型进行训练的训练集样本数据，每条样本数据包括车身图像特征、车牌图像特征以及车身和车牌的关联结果。

在步骤s1320中，通过所述训练集样本数据对待训练的机器学习模型进行训练，得到训练后的机器学习模型。

通过训练集样本数据对待训练的机器学习模型进行训练，得到训练后的机器学习模型，进而可以根据训练后的机器学习模型来实现根据车身图像特征以及车牌图像特征对车辆图像中的车身和车牌进行关联，得到车身和车牌的关联结果。

参考图14，图14示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，步骤s1320之后还可以包括步骤s1330至步骤s1350，详细描述如下。

在步骤s1330中，获取用于对训练后的机器学习模型进行校验的测试集样本数据，所述测试集样本数据中的每条样本数据包括车身图像特征、车牌图像特征以及车身和车牌的关联结果标签。

获取用于对训练后的机器学习模型进行校验的测试集样本数据，测试集样本数据中的每条样本数据都包括车牌图像特征、车牌图像特征以及车牌和车牌的关联结果标签，其中，车牌和车牌的关联结果标签为对预处理的车辆图像中车牌和车身已知的关联结果。

在步骤s1340中，将所述测试集样本数据的每条样本数据的车身图像特征和车牌图像特征输入至训练后的机器学习模型，输出得到预测的车身和车牌的关联结果标签。

将测试集中的每条样本数据包含的车身图像特征和车牌图像特征输入至训练后的机器学习模型，输出得到预测的车身和车牌的关联结果标签，预测的车身和车牌的关联结果标签用于对训练后的机器学习模型进行校验，以确定训练后的机器学习模型是否符合需求。

在步骤s1350中，若所述测试集样本数据中的车身和车牌的关联结果标签与预测的车身和车牌的关联结果标签一致的样本数据条数占所述测试集样本数据中总样本数据条数的比例超过预定比例阈值，则将训练后的机器学习模型识别为所述预训练的机器学习模型。

根据测试集样本数据中的每条样本数据包含的车牌和车牌的关联结果标签对训练后的机器学习模型进行校验时，若测试集中的车身和车牌的关联结果标签与预测的车身和车牌的关联结果标签一致的样本数据条数占测试集中总样本数据条数的比例超过预定比例阈值，则说明训练后的机器学习模型符合需求，可以将训练后的机器学习模型识别为预训练的机器学习模型，否则，则说明训练后的机器学习模型不符合需求，需要继续对机器学习模型进行训练。

还请继续参考图2，在步骤s240中，获取所述预训练的机器学习模型输出的所述车辆图像中包含的车身与车牌的关联结果。

获取预训练的机器学习模型输出的车辆图像中包含的车身与车牌的关联结果，进而可以获知车辆图像中包含的车身与车牌的关联结果，以便于对车身与车牌的关联结果进行展示。

参考图15，图15示出了根据本申请的一个实施例的车辆图像的处理方法的流程图，所述预训练的机器学习模型基于以下方法确定所述车辆图像中包含的车身与车牌的关联结果，具体包括步骤s1510至步骤s1530。参考图16，图16示出了根据本申请的一个实施例的预训练的机器学习模型的结构示意图，以下参考图15和图16对本实施例中的步骤s1510至步骤s1530进行详细描述。

在步骤s1510中，对所述车身图像特征以及所述车牌图像特征进行归一化处理，分别得到第一特征向量和第二特征向量，所述第一特征向量和第二特征向量为维度相同的向量。

对于从特征图中提取的车身图像特征1601和车牌图像特征1602，需要进行归一化处理得到车身图像特征1601对应的第一特征向量1606以及车牌图像特征1602对应的第二特征向量1607。具体的，先通过预训练的机器学习模型中相同的池化层对车身图像特征1601和车牌图像特征1602分别进行处理得到池化后的车身图像特征1603以及池化后的车牌图像特征1604，然后基于两个全连接层1605对池化后的车身图像特征1603以及池化后的车牌图像特征1604进行处理得到第一特征向量1606以及第二特征向量1607。

在步骤s1520中，根据所述第一特征向量以及所述第二特征向量生成第三特征向量。

为了便于根据第一特征向量1606和第二特征向量1607来确定第一特征向量1606对应的车身和第二特征向量1607对应的车牌是否关联，可以将第一特征向量1606以及第二特征向量1607进行组合生成第三特征向量1608，需要指出的是，由于第一特征向量1606以及第二特征向量1607为维度相同的特征向量，进行组合后的第三特征向量1608对应的向量维度是第一特征向量1606以及第二特征向量1607对应的向量维度的两倍。

在步骤s1530中，基于所述第三特征向量进行二分类处理得到分类结果，所述分类结果作为所述车辆图像中包含的车身与车牌的关联结果。

将第三特征向量1608输入至预训练的机器学习模型中的全连接层1609中，通过全连接层1609对第五特征向量1608进行二分类处理得到分类结果1610，分类结果1610为0或者1。若输出1时，则表示车身图像特征对应的车身和车牌图像特征对应的车牌之间关联，若当输出0时，则表示车身图像特征对应的车身和车牌图像特征对应的车牌之间不关联。

以上可以看出，根据提取待处理的车辆图像中的车身图像特征以及车牌图像特征，并根据预训练的机器学习模型确定车辆图像中包含的车身与车牌的关联结果，即使在多个车辆的位置可能存在相互包含的情况，也能实现对车辆图片进行准确地车身和车牌匹配。

在本申请的一个实施例中，在步骤s240之后，本实施例中的车辆图像的处理方法还可以包括：展示所述车辆图像中包含的车身与车牌的关联结果。

在获取预训练的机器学习模型输出的车辆图像中包含的车身与车牌的关联结果后，为了使得可以直观地确定车辆图像中包含的车身与车牌的关联结果，可以对获取的车辆图像中包含的车身与车牌的关联结果进行展示。

参考图17，图17示出了根据本申请的一个实施例中的获取的车辆图像进行展示的示意图，如图17所示，左侧为获取的预处理的车辆图像，右侧为所确定的预处理的车辆图像中包含的车身与车牌的关联结果。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的车辆图像的处理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的车辆图像的处理方法的实施例。

图18示出了根据本申请的一个实施例的车辆图像的处理装置的框图。

参照图18所示，根据本申请的一个实施例的车辆图像的处理装置1800，包括：第一获取单元1810，用于获取待处理的车辆图像；提取单元1820，用于提取所述待处理的车辆图像中的车身图像特征以及车牌图像特征；关联单元1830，用于将所述车身图像特征以及所述车牌图像特征输入至预训练的机器学习模型中，所述预训练的机器学习模型通过包含有车身图像特征、车牌图像特征以及车身和车牌的关联结果的样本数据训练得到；第二获取单元1840，用于获取所述预训练的机器学习模型输出的所述车辆图像中包含的车身与车牌的关联结果。

在本申请的一些实施例中，基于前述方案，所述提取单元1820被配置：为对所述待处理的车辆图像进行特征提取，得到所述待处理的车辆图像对应的特征图，并根据所述特征图确定所述车身位置和所述车牌位置；在所述特征图中获取所述车身位置的车身图像特征以及所述车牌位置的车牌图像特征。

在本申请的一些实施例中，基于前述方案，所述提取单元1820被配置:根据所述特征图确定至少两个车身预测框的信息、至少两个车牌预测框的信息、各个所述车身预测框对应的第一置信度以及各个所述车牌预测框对应的第二置信度；根据至少两个车身预测框的信息和各个所述车身预测框对应的第一置信度，从至少两个车身预测框所处的位置中确定所述车身位置，并根据至少两个车牌预测框的信息和各个所述车牌预测框对应的第二置信度，从至少两个所述车身牌预测框所处的位置中确定所述车牌位置。

在本申请的一些实施例中，基于前述方案，所述提取单元1820被配置:从至少两个车身预测框选择第一置信度最高的车身预测框，作为目标车身预测框，确定目标车身预测框与剩余每个车身预测框之间的交并比；若不存在交并比小于预定阈值的车身预测框，则将目标车身预测框所处的位置确定为所述车身位置；若存在交并比小于预定阈值的车身预测框，则在交并比小于预定阈值的车身预测框中，继续将第一置信度最高的车身预测框作为目标车身预测框，并确定目标车身预测框与剩余每个车身预测框之间的交并比，直至不存在交并比小于预定阈值的车身预测框。

在本申请的一些实施例中，基于前述方案，所述车身预测框的信息包括位置信息和尺寸信息，所述提取单元1820被配置:根据所述车身预测框的位置信息和尺寸信息确定目标车身预测框的面积与剩余每个车身预测框的面积之间的第一并集，以及确定目标车身预测框的面积与剩余每个车身预测框的面积之间的第一交集；基于所述第一并集与所述第一交集的比值，确定目标车身预测框的面积与剩余每个车身预测框的面积之间的交并比。

在本申请的一些实施例中，基于前述方案，所述提取单元1820被配置:从至少两个车牌预测框选择第二置信度最高的车牌预测框，作为目标车牌预测框，确定目标车牌预测框与剩余每个车牌预测框之间的交并比；若不存在交并比小于预定阈值的车牌预测框，则目标车牌预测框所处的位置确定为所述车牌位置；若存在交并比小于预定阈值的车牌预测框，则在交并比小于预定阈值的车牌预测框中，继续将第二置信度最高的车牌预测框作为目标车牌预测框，并确定目标车牌预测框与剩余每个车牌预测框之间的交并比，直至不存在交并比小于预定阈值的车牌预测框。

在本申请的一些实施例中，基于前述方案，所述提取单元1820被配置:根据所述车牌预测框的位置信息和尺寸信息确定目标车牌预测框的面积与剩余每个车牌预测框的面积之间的第二并集，以及确定目标车牌预测框的面积与剩余每个车牌预测框的面积之间的第二交集；基于所述第二并集与所述第二交集的比值，确定目标车身预测框的面积与剩余每个车身预测框的面积之间的交并比。

在本申请的一些实施例中，基于前述方案，若所述特征图包括至少两个不同尺度下的特征图，所述提取单元1820被配置:在第一尺度下的特征图中获取所述车身位置处的图像特征，生成车身图像特征；在第二尺度下的特征图中从所述车牌位置获取图像特征，生成车牌图像特征，其中，第一尺度的尺度小于第二尺度的尺度。

在本申请的一些实施例中，基于前述方案，所述提取单元1820被配置:将所述待处理的车辆图像处理成预设图像尺寸的车辆图像；提取所述预设图像尺寸的车辆图像中的车身图像特征以及车牌图像特征。

在本申请的一些实施例中，基于前述方案，所述车辆图像的处理装置还包括：执行单元，用于对所述车身图像特征以及所述车牌图像特征进行归一化处理，分别得到第一特征向量和第二特征向量，所述第一特征向量和第二特征向量为维度相同的向量；生成单元，用于根据所述第一特征向量以及所述第二特征向量生成第三特征向量；分类单元，用于基于所述第三特征向量进行二分类处理得到分类结果，所述分类结果作为所述车辆图像中包含的车身与车牌的关联结果。

在本申请的一些实施例中，基于前述方案，所述车辆图像的处理装置还包括：第三获取单元，用于获取用于对待训练的机器学习模型进行训练的训练集样本数据，所述训练集样本数据中的每条样本数据包括车身图像特征、车牌图像特征以及车身和车牌的关联结果标签；通过所述训练集样本数据对待训练的机器学习模型进行训练，得到训练后的机器学习模型。

在本申请的一些实施例中，基于前述方案，所述车辆图像的处理装置还包括：第四获取单元，用于获取用于对训练后的机器学习模型进行校验的测试集样本数据，所述测试集样本数据中的每条样本数据包括车身图像特征、车牌图像特征以及车身和车牌的关联结果标签；第三执行单元，用于将所述测试集样本数据的每条样本数据的车身图像特征和车牌图像特征输入至训练后的机器学习模型，输出得到预测的车身和车牌的关联结果标签；校验单元，用于若所述测试集样本数据中的车身和车牌的关联结果标签与预测的车身和车牌的关联结果标签一致的样本数据条数占所述测试集样本数据中总样本数据条数的比例超过预定比例阈值，则将训练后的机器学习模型识别为所述预训练的机器学习模型。

图19示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图19示出的电子设备的计算机系统1900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图19所示，计算机系统1900包括中央处理单元(centralprocessingunit，cpu)1901，其可以根据存储在只读存储器(read-onlymemory，rom)1902中的程序或者从存储部分1908加载到随机访问存储器(randomaccessmemory，ram)1903中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram1903中，还存储有系统操作所需的各种程序和数据。cpu1901、rom1902以及ram1903通过总线1904彼此相连。输入/输出(input/output，i/o)接口1905也连接至总线1904。

以下部件连接至i/o接口1905：包括键盘、鼠标等的输入部分1906；包括诸如阴极射线管(cathoderaytube，crt)、液晶显示器(liquidcrystaldisplay，lcd)等以及扬声器等的输出部分1907；包括硬盘等的存储部分1908；以及包括诸如lan(localareanetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1909。通信部分1909经由诸如因特网的网络执行通信处理。驱动器1910也根据需要连接至i/o接口1905。可拆卸介质1911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1910上，以便于从其上读出的计算机程序根据需要被安装入存储部分1908。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1909从网络上被下载和安装，和/或从可拆卸介质1911被安装。在该计算机程序被中央处理单元(cpu)1901执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compactdiscread-onlymemory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。