车辆属性识别方法、装置、存储介质及电子设备与流程

本发明涉及计算机视觉技术领域，尤其涉及一种车辆属性识别方法、装置、存储介质及电子设备。

背景技术：

随着互联网和人工智能技术的不断发展，越来越多的领域开始涉及计算机视觉自动化计算与分析，其中监控安防领域则是其中最为重要的应用场景之一。

为了能够利用安防场景中的监控录像来对嫌疑车辆的属性进行识别，从而实现对嫌疑车辆的识别以及追踪，在现有技术中，大多都是利用人眼观察识别的方式先从监控录像中找出目标车辆，然后再按照时间顺序对具体车辆进行追踪。

但是，利用传统人眼观测来进行车辆属性识别，误差较大，并且需要耗费大量的人力和物力，难以适应实际安防应用场景中的嫌疑车辆识别。

技术实现要素：

本发明提供一种车辆属性识别方法、装置、存储介质及电子设备，以针对待监测图像输出待识别车辆的车辆检测框以及该待识别车辆的对应的属性特征信息，从而实现在实际安防应用场景中对嫌疑车辆进行识别筛选的功能。

第一方面，本发明提供一种车辆属性识别方法，包括：

获取待监测图像，并通过预设的车辆检测模型从所述待监测图像中获取待识别车辆的轮廓数据信息；

根据所述轮廓数据信息确定车辆检测框，并利用所述车辆检测框从所述待监测图像中截取所述待识别车辆对应的待识别图像；

通过预设的车辆属性识别模型对所述待识别图像进行特征提取，以获得所述待识别图像中的所述待识别车辆的属性特征信息。

在一种可能的设计中，在所述通过预设的车辆属性识别模型对所述待识别图像进行特征提取，以获得所述待识别图像中的所述待识别车辆的属性特征信息之后，还包括：

在所述待监测图像上叠加显示所述车辆检测框以及所述属性特征信息，其中，所述车辆检测框用于容置所述待监测图像中的所述待识别车辆。

在一种可能的设计中，所述通过预设的车辆检测模型从所述待监测图像中获取待识别车辆的轮廓数据信息，包括：

通过所述待监测图像进行多次卷积层处理和池化层处理，以形成全连接层；

利用目标检测网络对所述全连接层进行分类识别，以获取所述待识别车辆的轮廓数据信息。

在一种可能的设计中，所述根据所述轮廓数据信息确定车辆检测框，包括：

根据所述轮廓数据信息确定所述车辆检测框的左上角顶点在预设坐标系中第一坐标值、第一框长值以及第一框高值，其中，所述第一坐标值中的横坐标值小于或等于所述轮廓数据信息中最小横坐标值，所述第一坐标值中的纵坐标值大于或等于所述轮廓数据信息中最大纵坐标值，所述第一框长值大于或等于所述轮廓数据信息中最大横坐标值与所述最小横坐标值之差，所述第一框高值大于或等于所述轮廓数据信息中最大纵坐标值与所述最小纵坐标值之差。

在一种可能的设计中，所述预设的车辆属性识别模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

在一种可能的设计中，在所述通过预设的车辆检测模型从所述待监测图像中获取待识别车辆的轮廓数据信息之前，还包括：

对所述待监测图像进行第一预处理，以使所述待监测图像满足预设尺寸要求。

在一种可能的设计中，在对所述待监测图像进行第一预处理之后，还包括：

对所述待监测图像进行第二预处理，以使所述待监测图像满足预设的rgb颜色值要求。

在一种可能的设计中，所述属性特征信息至少包括以下属性特征中的至少一项：

车辆外部特征信息、车辆内部特征信息以及车辆行驶方向信息。

在一种可能的设计中，所述车辆外部特征信息至少包括以下属性特征中的至少一项：

车型信息、车窗雨眉信息、车顶架信息以及天窗信息；

所述车辆内部特征信息至少包括以下属性特征中的至少一项：

车内摆放物状态信息、后视镜悬挂物状态信息、驾驶位状态信息以及副驾驶位状态信息。

第二方面，本发明还提供一种车辆属性识别装置，包括：

获取模块，用于获取待监测图像，并通过预设的车辆检测模型从所述待监测图像中获取待识别车辆的轮廓数据信息；

确定模块，用于根据所述轮廓数据信息确定车辆检测框，并利用所述车辆检测框从所述待监测图像中截取所述待识别车辆对应的待识别图像；

提取模块，用于通过预设的车辆属性识别模型对所述待识别图像进行特征提取，以获得所述待识别图像中的所述待识别车辆的属性特征信息。

在一种可能的设计中，所述车辆属性识别装置，还包括：

显示模块，用于在所述待监测图像上叠加显示所述车辆检测框以及所述属性特征信息，其中，所述车辆检测框用于容置所述待监测图像中的所述待识别车辆。

在一种可能的设计中，所述获取模块，具体用于：

通过所述待监测图像进行多次卷积层处理和池化层处理，以形成全连接层；

利用目标检测网络对所述全连接层进行分类识别，以获取所述待识别车辆的轮廓数据信息。

在一种可能的设计中，所述根据所述轮廓数据信息确定车辆检测框，包括：

根据所述轮廓数据信息确定所述车辆检测框的左上角顶点在预设坐标系中第一坐标值、第一框长值以及第一框高值，其中，所述第一坐标值中的横坐标值小于或等于所述轮廓数据信息中最小横坐标值，所述第一坐标值中的纵坐标值大于或等于所述轮廓数据信息中最大纵坐标值，所述第一框长值大于或等于所述轮廓数据信息中最大横坐标值与所述最小横坐标值之差，所述第一框高值大于或等于所述轮廓数据信息中最大纵坐标值与所述最小纵坐标值之差。

在一种可能的设计中，所述预设的车辆属性识别模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

在一种可能的设计中，所述车辆属性识别装置，还包括：

预处理模块，用于对所述待监测图像进行第一预处理，以使所述待监测图像满足预设尺寸要求。

在一种可能的设计中，所述预处理模块，还用于：

对所述待监测图像进行第二预处理，以使所述待监测图像满足预设的rgb颜色值要求。

在一种可能的设计中，所述属性特征信息至少包括以下属性特征中的至少一项：

车辆外部特征信息、车辆内部特征信息以及车辆行驶方向信息。

在一种可能的设计中，所述车辆外部特征信息至少包括以下属性特征中的至少一项：

车型信息、车窗雨眉信息、车顶架信息以及天窗信息；

所述车辆内部特征信息至少包括以下属性特征中的至少一项：

车内摆放物状态信息、后视镜悬挂物状态信息、驾驶位状态信息以及副驾驶位状态信息。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种可能的车辆属性识别方法。

第四方面，本发明还提供一种电子设备，包括：

处理器；以及，

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种可能的车辆属性识别方法。

本发明提供的一种车辆属性识别方法、装置、存储介质及电子设备，先通过利用预设的车辆检测模型从待监测图像中获取待识别车辆的轮廓数据信息，再根据轮廓数据信息确定车辆检测框，并利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像，然后通过预设的车辆属性识别模型对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息，从而实现在安防应用场景中对嫌疑车辆进行识别筛选的功能，大大加快了识别速度和准确度，并减少了人力成本的投入。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的车辆属性识别方法的应用场景图；

图2是根据一示例性实施例示出的车辆属性识别方法的流程图；

图3是图2所示实施例的一种可能应用场景图；

图4是根据另一示例性实施例示出的车辆属性识别方法的流程图；

图5是根据一示例性实施例示出的车辆属性识别装置的结构示意图；

图6是根据另一示例性实施例示出的车辆属性识别装置的结构示意图；

图7为本发明根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据一示例性实施例示出的车辆属性识别方法的应用场景图。如图1所示，本实施例提供的车辆属性识别方法在应用时，可以通过输入图片数据或者是视频数据中的单帧图像进行属性识别，其中，输入图片数据或者是视频数据中的单帧图像可以是通过安防摄像头、智能手机、平板电脑、个人计算机等终端设备获得。而当所输入的为视频数据时，可以先对视频数据进行解帧处理，先对每帧图像进行单独识别，最后实现对所有图像帧的识别。

其中，以将本实施例所提供的车辆属性识别方法应用在警方嫌疑车辆排查领域为例进行说明。若警方此时从报案人提供的信息中获知嫌疑人驾驶的车辆的类型为小汽车，无天窗且后视镜无悬挂物，此时，就可以通过获取该嫌疑车辆可能出没路段的安防视频，并对其进行识别，以帮助警方能够大量的车辆数据中快速筛选出符合线索的车辆，从而提高嫌疑车辆识别效率，有利于实际推广应用。

图2是根据一示例性实施例示出的车辆属性识别方法的流程图。如图2所示，本实施例提供的车辆属性识别方法，包括：

步骤101、获取待监测图像，并通过预设的车辆检测模型从待监测图像中获取待识别车辆的轮廓数据信息。

具体地，待检测图像可以通过输入图片数据或者是视频数据中的单帧图像，其中，输入图片数据或者是视频数据中的单帧图像可以是通过安防摄像头、智能手机、平板电脑、个人计算机等终端设备获得。而当所输入的为视频数据时，可以先对视频数据进行解帧处理，先对每帧图像进行单独识别，最后实现对所有图像帧的识别，并在每帧完成识别之后实时将车辆检测框以及车辆属性特征信息叠加在该帧图像中。

在获取到待监测图像之后，可以通过预设的车辆检测模型从待监测图像中获取待识别车辆的轮廓数据信息，而对于其中的目标检测，可以是基于ssd目标检测框架或refinedet目标检测框架，在本实施例中，并不对待识别车辆的轮廓数据信息获取的具体算法进行限定，只需保证能够从待监测图像中获取待识别车辆的轮廓数据信息即可。

在一种可能的设计中，可以通过待监测图像进行多次卷积层处理和池化层处理，以形成全连接层，然后再利用目标检测网络对全连接层进行分类识别，以获取待识别车辆的轮廓数据信息，其中，该目标检测网络可以是基于ssd目标检测框架或refinedet目标检测框架。

步骤102、根据轮廓数据信息确定车辆检测框，并利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像。

具体地，基于ssd目标检测框架或refinedet目标检测框架，可以输出为若干车辆检测框，其中，每个框的位置和带大小均用第一坐标值，其中，第一坐标值包含4个坐标(xmin，ymin，w，h)，xmin表示车辆检测框左上角在预设坐标系中的的x坐标，ymin表示车辆检测框左上角在预设坐标系中的的y坐标，w表示车辆检测框的第一框长值，h表示车辆检测框的第一框高值，其中，上述值均以像素为单位，分别对应一个车辆区域。

为了能够将每辆车单独通过车辆检测框区分出来，可以根据轮廓数据信息确定车辆检测框的左上角顶点在预设坐标系中第一坐标值、第一框长值以及第一框高值，其中，第一坐标值中的横坐标值小于或等于轮廓数据信息中最小横坐标值，第一坐标值中的纵坐标值大于或等于轮廓数据信息中最大纵坐标值，第一框长值大于或等于轮廓数据信息中最大横坐标值与最小横坐标值之差，第一框高值大于或等于轮廓数据信息中最大纵坐标值与最小纵坐标值之差。

在确定车辆检测框之后，可以利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像。此外，在利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像之后，还可以重新对其尺寸进行统一，例如可以重新将其缩放至固定尺寸，如224*224像素，之后在将缩放后的待识别图像输入车辆属性识别模型进行特征提取。

步骤103、通过预设的车辆属性识别模型对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息。

在输入待识别图像之后，可以通过基于移动视觉网络(mobilenet)，对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息。而对于获取到的待识别车辆的属性特征信息，可以直接显示在待监测图像上，也可以是输入相应的统计预测模型，进行筛选，以确定嫌疑车辆，而在本实施例中，并不对所获取到的待识别车辆的属性特征信息的具体应用场景进行具体限定。

在一种可能的设计中，上述的车辆属性识别模型还可以为张量递归神经网络模型。具体地，张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。

而对于属性特征信息至少包括以下属性特征中的至少一项：

车辆外部特征信息、车辆内部特征信息以及车辆行驶方向信息。

具体地，上述的车辆外部特征信息至少包括以下属性特征中的至少一项：

车型信息、车窗雨眉信息、车顶架信息以及天窗信息；

此外，车辆内部特征信息至少包括以下属性特征中的至少一项：

车内摆放物状态信息、后视镜悬挂物状态信息、驾驶位状态信息以及副驾驶位状态信息。

在一个具体地应用场景中，利用mobilenet进行特征识别时，可以定义属性特征信息，具体如表一所述：

在本实施例中，先通过利用预设的车辆检测模型从待监测图像中获取待识别车辆的轮廓数据信息，再根据轮廓数据信息确定车辆检测框，并利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像，然后通过预设的车辆属性识别模型对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息，从而实现在安防应用场景中对嫌疑车辆进行识别筛选的功能，大大加快了识别速度和准确度，并减少了人力成本的投入。

在图2所示实施例的基础上，在通过预设的车辆属性识别模型对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息之后，还可以在待监测图像上叠加显示车辆检测框以及属性特征信息。

图3是图2所示实施例的一种可能应用场景图。如图3所示，在获取到车辆检测框以及属性特征信息之后，可以在待监测图像上叠加显示车辆检测框以及属性特征信息，其中，车辆检测框用于容置待监测图像中的待识别车辆。

在本实施例中，先通过利用预设的车辆检测模型从待监测图像中获取待识别车辆的轮廓数据信息，再根据轮廓数据信息确定车辆检测框，并利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像，然后通过预设的车辆属性识别模型对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息，最后在待监测图像上叠加显示车辆检测框以及属性特征信息，从而实现在安防应用场景中对嫌疑车辆进行识别筛选的功能，大大加快了识别速度和准确度，并减少了人力成本的投入。

图4是根据另一示例性实施例示出的车辆属性识别方法的流程图。如图4所示，本实施例提供的车辆属性识别方法，包括：

步骤201、对待监测图像进行第一预处理，以使待监测图像满足预设尺寸要求。

为了能够使得预设的车辆检测模型能够对不同方式获取到不同尺寸的待监测图像进行识别，还可以对待监测图像进行第一预处理，以使待监测图像满足预设尺寸要求。例如，可以将输入的待监测图像缩放成固定尺寸，如512*512像素。

步骤202、对待监测图像进行第二预处理，以使待监测图像满足预设的rgb颜色值要求。

为了能够使得预设的车辆检测模型能够对不同方式获取到不同色彩、亮度以及对比度的待监测图像进行识别，还可以对待监测图像进行第二预处理，以使待监测图像满足预设的rgb颜色值要求。例如，可以将待监测图像减去统一的rgb均值，如[104,117,123]。

步骤203、获取待监测图像，并通过预设的车辆检测模型从待监测图像中获取待识别车辆的轮廓数据信息。

步骤204、根据轮廓数据信息确定车辆检测框，并利用车辆检测框从待监测图像中截取待识别车辆对应的待识别图像。

步骤205、通过预设的车辆属性识别模型对待识别图像进行特征提取，以获得待识别图像中的待识别车辆的属性特征信息。

值得说明地，步骤203-205的具体实现方式参照图2所示实施例中步骤101-103的描述，这里不再赘述。

步骤206、在待监测图像上叠加显示车辆检测框以及属性特征信息。

在获取到车辆检测框以及属性特征信息之后，可以在待监测图像上叠加显示车辆检测框以及属性特征信息，其中，车辆检测框用于容置待监测图像中的待识别车辆。

图5是根据一示例性实施例示出的车辆属性识别装置的结构示意图。如图5所示，本实施例提供的车辆属性识别装置，包括：

获取模块301，用于获取待监测图像，并通过预设的车辆检测模型从所述待监测图像中获取待识别车辆的轮廓数据信息；

确定模块302，用于根据所述轮廓数据信息确定车辆检测框，并利用所述车辆检测框从所述待监测图像中截取所述待识别车辆对应的待识别图像；

提取模块303，用于通过预设的车辆属性识别模型对所述待识别图像进行特征提取，以获得所述待识别图像中的所述待识别车辆的属性特征信息。

在图5所示实施例的基础上，图6是根据另一示例性实施例示出的车辆属性识别装置的结构示意图。如图6所示，本实施提供的车辆属性识别装置，还包括：

显示模块304，用于在所述待监测图像上叠加显示所述车辆检测框以及所述属性特征信息，其中，所述车辆检测框用于容置所述待监测图像中的所述待识别车辆。

在一种可能的设计中，所述获取模块301，具体用于：

通过所述待监测图像进行多次卷积层处理和池化层处理，以形成全连接层；

利用目标检测网络对所述全连接层进行分类识别，以获取所述待识别车辆的轮廓数据信息。

在一种可能的设计中，所述根据所述轮廓数据信息确定车辆检测框，包括：

根据所述轮廓数据信息确定所述车辆检测框的左上角顶点在预设坐标系中第一坐标值、第一框长值以及第一框高值，其中，所述第一坐标值中的横坐标值小于或等于所述轮廓数据信息中最小横坐标值，所述第一坐标值中的纵坐标值大于或等于所述轮廓数据信息中最大纵坐标值，所述第一框长值大于或等于所述轮廓数据信息中最大横坐标值与所述最小横坐标值之差，所述第一框高值大于或等于所述轮廓数据信息中最大纵坐标值与所述最小纵坐标值之差。

在一种可能的设计中，所述预设的车辆属性识别模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

请继续参照图6，本实施提供的车辆属性识别装置，还包括：

预处理模块305，用于对所述待监测图像进行第一预处理，以使所述待监测图像满足预设尺寸要求。

在一种可能的设计中，所述预处理模块305，还用于：

对所述待监测图像进行第二预处理，以使所述待监测图像满足预设的rgb颜色值要求。

在一种可能的设计中，所述属性特征信息至少包括以下属性特征中的至少一项：

车辆外部特征信息、车辆内部特征信息以及车辆行驶方向信息。

在一种可能的设计中，所述车辆外部特征信息至少包括以下属性特征中的至少一项：

车型信息、车窗雨眉信息、车顶架信息以及天窗信息；

所述车辆内部特征信息至少包括以下属性特征中的至少一项：

车内摆放物状态信息、后视镜悬挂物状态信息、驾驶位状态信息以及副驾驶位状态信息。

值得说明地，图5和图6所示实施例中的终端设备，可用于执行上述图2和图4所示实施例中的方法，具体实现方式和技术效果类似，这里不再赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明根据一示例性实施例示出的电子设备的结构示意图。如图7所示，本实施例提供的电子设备，包括：

处理器401；以及

存储器402，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述任一项方法实施例所述的技术方案，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。