一种分级前脸卡口车型识别方法与流程

本发明属于视频监控技术领域，涉及一种分级前脸卡口车型识别方法。

背景技术：

随着我国国民经济的不断发展，交通管理在人们的经济、社会活动中已经变得越来越重要。人们对交通管理的层次、质量等问题也提出了越来越多的新要求。因此，对智能交通的深入研究变得愈发有意义。

在大量的交通卡口视频数据中寻找特定目标车辆，对于交通管理和视频侦查都有重要的意义。传统的技术手段通过识别车辆牌号来检索和定位，虽然车牌识别准确率较高，但是在套牌、无牌、车牌遮挡等条件下，此类技术基本无法实用。因此，基于图像的车型识别技术更具价值和实用性。

基于此类技术的专利有《车型识别方法及装置-201410381923.6》、《一种车型识别方法及系统-201410313009.8》、《基于前脸特征的车型识别方法-201410009098.7》以及《一种基于卷积神经网络的车型识别方法-201510071919.4》。

此类技术的缺陷：

这些技术中有的采用人工特征提取方法，但是此类特征非常依赖人的先验知识，鲁棒性较差；有的通过深度学习提取鲁棒特征，然后采用模板匹配的方法来识别车型，此方法存在模板局限、匹配精度差以及效率低下问题；有的采用卷积神经网络学习离线训练，但是只能识别训练库中已有的品牌和车型，对于不停上市的新车型无能为力。

技术实现要素：

本发明针对现有技术的不足，提供了一种分级前脸卡口车型识别方法。

本发明以车前脸检测定位技术、车标定位技术为基石，采用多个深度卷积神经网络集成学习，分别实现车辆的品牌车标、车型、车型年款这三个任务的识别，然后结合各级别学习分类器的输出置信度、先验统计出来的相似车型混淆矩阵以及三个级别的包含关系，输出鲁棒的车型识别结果。

本发明方法主要包括以下步骤：

第1步：分析交通卡口图像，采用基于深度卷积神经网络分类的方法对图像中的车前脸做粗定位。

第2步：对第1步定位出的车前脸区域，基于深度卷积神经网络检测车前脸的特征点位置，其中包括车标、车灯、挡风玻璃、车牌、车前保险杠下沿共计11点。

第3步：根据第2步定位出的11个点，分别精细化抠取车前脸包围盒以及由先验的相对位置关系，抠取出粗略的车标区域。

第4步：车标区域和车前脸包围盒分别缩放至固定大小，分别将车标区域输入到车标分类器、车前脸包围盒输入到车型与车型年款分类器中，得到此辆车的品牌、车型、车型年款排序结果以及相应的置信度。

第5步：由上而下地融合三个分类器结果；根据事先统计出来置信度高低阈值以及相似车型混淆矩阵，对三者融合输出一个一致的车型结果。

本发明的有益效果：本发明识别的车型可以具体到车辆的品牌、型号和年份；通过三个分类器的集成，可进一步提升车辆车型精度。

附图说明

图1为本发明方法流程图。

图2为分类结果融合流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。

图1表示了本发明实施例提供的车型识别方法流程示意图，本实施例的车型识别方法包括以下部分：

第一步：一种基深度卷积神经网络分类的车前脸粗定位方法；具体为：

(1).对输入图像，缩放至固定尺度大小(本实施例采用224*244大小)，采用16层卷积神经网络提取图像的特征，此特征用来做后续的候选框提取以及分类(车和非车)。

(2).候选框提取；根据(1)中提取的特征生成候选框。

(3).综合候选框和(1)中的特征，生成候选框特征图。

(4).将(3)中的候选框特征输入到一个分类网络，判定其是车辆还是非车。

第二步：一种基深度卷积神经网络分类的车辆特征点定位方法；具体为：

(1).将第一步中检测出的每辆车从原图中抠取出来并缩放到固定尺度(本实施例采用40*40大小)。

(2).将抠取出的图片输入5层卷积神经网络做回归，定位出车辆的11个特征点。

第三步：精细化车前脸位置以及抠取车标区域；具体为：

(1).对第二步中定位出的11个特征点，提取包围盒，并将宽高各扩10%作为车辆的紧致包围盒。

(2).以车标点为中心，分别取两个大灯点各自与车标点平均距离的一半作为宽和高，得到粗略的车标区域。

第四步：品牌、车型(包含品牌和车型)、车型年款(包含品牌、车型和年款)识别；具体为：

(1).将第三步中的车标区域缩放至固定尺度(本实施例采用64*64大小)，然后输入至一个5层卷积神经网络中分类，得到品牌结果。

(2).将第三步中的车前脸紧致包围盒区域抠取出来，并缩放至固定尺度(本实施例采用112*112大小)，输入至一个多任务10层卷积神经网络中，分别得到车型与车型年款结果以及置信度。

第五步：对车辆品牌、车型、车型年款融合得最终车型结果(见图2)；具体为：

(1).判定车型年款置信度(分类器输出的属于当前类的概率)是否大于等于高阈值(本实施例设为0.65)，如果是则直接输出车型年款结束，否则进入下一步。

(2).判定车型年款置信度是否大于等于低阈值(本实施例设为0.14)，如果是则对品牌、车型和车型年款对应的品牌投票，观察是否有两票及以上的品牌，如果有则确认品牌，没有则不确认；如果车型年款置信度小于低阈值，则也不确认品牌。

(3).如果第(2)步无法确认品牌，则直接按车标分类器结果给出当前品牌。

(4).得到确认的品牌后，在车型分类器结果中，寻找此品牌下的最大概率结果，观察其置信度是否大于等于阈值(本实施例设为0.05)，如果满足则确认车型，不满足则不确认。

(5).根据当前已确认的结果(品牌或者品牌与车型)，在车型年款分类器结果中选择已知结果下的最大概率结果，观察最大概率结果置信度是否大于等于阈值(本实施例设为0.05)，如果满足则输出完备的结果(品牌、车型与年款)，如果不满足则只输出已确认结果。

上述阈值全部由训练各分类器的样本中统计出来。

综上，本发明可鲁棒地识别未知新增车辆的品牌和车型，而识别到这一级别已具有重要的实用价值。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

技术特征：

技术总结
本发明公开了一种分级前脸卡口车型识别方法。本发明以车前脸检测定位技术、车标定位技术为基石，采用多个深度卷积神经网络集成学习，分别实现车辆的品牌车标、车型、车型年款这三个任务的识别(其中车型年款包含车标和车型，车型包含车标)，然后结合各级别学习分类器的输出置信度、先验统计出来的相似车型混淆矩阵以及三个级别的包含关系，输出鲁棒的车型识别结果。本发明识别的车型可以具体到车辆的品牌、型号和年份；通过三个分类器的集成，可进一步提升车辆车型精度。

技术研发人员：尚凌辉;刘家佳;王弘玥;张兆生
受保护的技术使用者：浙江捷尚视觉科技股份有限公司
技术研发日：2017.12.08
技术公布日：2018.05.29