基于卷积神经网络的车辆属性识别方法与装置与流程

本发明涉及技术领域，尤其涉及一种基于卷积神经网络的车辆属性识别方法与装置。

背景技术：

车辆属性是车辆识别、标识、检索等相关应用的重要线索，它的内涵丰富，不仅标识了车辆自身的属性，如车牌号码、车辆品牌、车身颜色等，还包括乘员属性，比如驾驶员的异常行为。针对监控数据中的车辆自身属性进行识别，既可以从海量数据中提取有用信息，也可以节约数据存储成本，对帮助人们智能分析监控数据中的车辆起到重要作用。另外，全世界每天有3000多位乘车人员因为交通事故而丧生，每年有数以百万记的乘车人员因为交通事故受伤甚至致残。在因交通事故伤亡的人中，司机乘客未系安全带或者驾驶中接打电话等行为是伤势过重甚至死亡的重要原因之一。驾驶员异常行为检测算法可以通过分析图像信息，自动判断司机是否存在异常行为。

目前，现有技术中的车辆自身属性识别方法一般基于人工规则设计特征(如HOG，SIFT等)描述车辆信息，再利用SVM(Support Vector Machine，支持向量机)等分类算法进行模型训练。

上述现有技术中的车辆自身属性识别方法的缺点为：需要针对不同的任务人为设计不同的特征，识别准确率低。该方法中的驾驶员异常行为检测算法只是检测是否系安全带，并且在安全带检测环节，通过霍夫变换识别安全带斜线信息容易受到司机衣着、车窗透光性较差等因素干扰，难以提取明显的安全带信息，进而导致检测不准确。

技术实现要素：

本发明的实施例提供了一种基于卷积神经网络的车辆属性识别方法，以实现有效地提取出车辆属性。

为了实现上述目的，本发明采取了如下技术方案。

一种基于卷积神经网络的车辆属性识别方法，构造卷积神经网络，利用样本图像训练卷积神经网络，所述方法具体包括：

获取待识别车辆的图像；

利用训练好的卷积神经网络识别所述车辆的图像，获取车辆的车型、车身颜色及驾驶员异常行为属性。

进一步地，所述的构造卷积神经网络，利用样本图像训练卷积神经网络包括：

选定一个通用的分类网络，在所述分类网络的前半部分加入分支，使分支后的网络直到最后一个特征提取层具有上下两个分支，在上方分支最后的全连接层并列两个softmax层，该两个softmax层用于车型和车身颜色的识别；在下方分支最后的全连接层添加一个softmax层，该softmax层用于驾驶员异常行为的识别，得到初始的卷积神经网络；

获取标记好车辆属性的样本图像，所述车辆属性包括车型、车身颜色和驾驶员异常行为；

利用所述初始的卷积神经网络识别所述样本图像，根据所述初始的卷积神经网络输出结果与所述样本图像的车辆属性之间的差异，从所述初始的卷积神经网络的最后一层通过反向传播算法开始逐层向前反馈，进行卷积神经网络的网络参数的训练；

对所述初始的卷积神经网络经过一定数量的样本图像的训练后，得到训练好的卷积神经网络。

进一步地，所述的利用样本图像训练卷积神经网络还包括：

当不同类别的样本图像的数量差大于设定的阈值时，给不同类别的样本图像分别设置不同的权重，样本图像数量少的类别增大权重，样本图像数量多的类别减小权重，样本图像的权重与该样本图像的数量占训练样本总数的比例成反比。

进一步地，所述卷积神经网络包括：卷积层、池化层和全连接层，所述卷积层的单元由一定个数的特征图组成，每一层的特征图通过卷积核连接到上一层的特征图的局部区域，每一层的特征图通过卷积运算、再通过加权和激活函数激活得到，所述池化层降低了特征表示的维度，所述全连接层的每一个神经元都与上一层的每一个神经元连接。

进一步地，在所述卷积神经网络的公共卷积层后分为两个分支，在第一个分支中，车型识别和车身颜色识别共享网络参数，在第一个分支中最后的全连接层并列两个softmax层，该两个softmax层分别输出车辆属于各种车型的概率向量、各种车身颜色的概率向量；在第二个分支中，驾驶员异常行为识别具有单独的网络参数，在第二个分支中最后的全连接层设置一个softmax层，该softmax层输出驾驶员的行为属于各种异常行为的概率向量。

进一步地，所述的驾驶员异常行为包括：未系安全带、接打电话、抽烟和无法识别。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例提供的车辆属性识别方法可以在获取到待识别车辆图像后，无需用户自己设计特征，可以直接利用预先训练好的卷积神经网络直接提取深度特征，进行车型识别、车身颜色识别及驾驶员异常行为识别。同时，车型识别任务和车身颜色识别任务共享网络参数，提取出的深度特征不仅可以刻画车型，同时包含有车身的颜色信息，实现了只提取一次特征同时识别两种属性的方法，不仅提高了识别的准确率，同时提升了识别的速度。驾驶员异常行为识别和车辆自身属性识别共享部分网络参数，节省了计算时间。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种卷积神经网络的车辆属性识别方法的处理流程图；

图2为本发明实施例提供的一种卷积神经网络的架构示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例提出了一种基于卷积神经网络的车辆属性识别方法，在一个卷积神经网络中同时提取出车辆的深度特征用来识别车型和车身颜色及驾驶员行为，解决了现有技术下车型识别和车身颜色识别准确率低及驾驶员异常行为检测难效果差的问题。

上述基于卷积神经网络的车辆属性识别方法的处理流程如图1所示，包括如下的处理步骤：

步骤S110、利用样本图像训练卷积神经网络。

选定一个通用的分类网络，在所述分类网络的前半部分加入分支，使分支后的网络直到最后一个特征提取层具有上下两个分支，在上方分支最后的全连接层并列两个softmax(多分类回归函数)层，该两个softmax层用于车型和车身颜色的识别；在下方分支最后的全连接层添加一个softmax层，该softmax层用于驾驶员异常行为的识别，得到初始的卷积神经网络；

获取标记好车辆属性的样本图像，所述车辆属性包括车型、车身颜色和驾驶员异常行为。其中车型的属性精确到车辆的主品牌、子品牌和年款，比如，丰田-凯美瑞-2012款；车身颜色分为黑色、白色、灰色、银色、红色、黄色、蓝色、绿色、棕色、橙色和其他；驾驶员异常行为包括：正常、未系安全带、接打电话、抽烟和无法识别。

利用所述初始的卷积神经网络识别所述样本图像，根据所述初始的卷积神经网络输出结果与所述样本图像的车辆属性之间的差异，从所述初始的卷积神经网络的最后一层通过反向传播算法开始逐层向前反馈，进行卷积神经网络的网络参数的训练；

对所述初始的卷积神经网络经过一定数量的样本图像的训练后，得到训练好的卷积神经网络。

图2为本发明实施例提供的一种卷积神经网络的架构示意图，卷积神经网络包括：卷积层、池化层和全连接层，所述卷积层的单元由一定个数的特征图组成，每一层的特征图通过卷积核连接到上一层的特征图的局部区域，每一层的特征图通过卷积运算、再通过加权和激活函数激活得到，池化层降低了特征表示的维度，并使特征图具有小的平移和干扰不变性，所述全连接层的每一个神经元都与上一层的每一个神经元连接。

在所述卷积神经网络的公共卷积层后分为两个分支，在第一个分支中，车型识别和车身颜色识别共享网络参数，在第一个分支中最后的全连接层并列两个softmax层，该两个softmax层分别输出车辆属于各种车型的概率向量、各种车身颜色的概率向量；在第二个分支中，驾驶员异常行为识别具有单独的网络参数，在第二个分支中最后的全连接层设置一个softmax层，该softmax层输出驾驶员的行为属于各种异常行为的概率向量。

比如进行车型分类的softmax输出层的每个节点表示所述车辆属于某个车型类别的概率大小，根据每个节点的概率大小确定该车辆所归属的精细车型，通常选取概率向量的最大值作为所述车辆的车型识别结果。车身颜色识别过程类似，不同的，车身可能同时存在两种以上的颜色，假设所需要识别的车辆并非纯色车辆，比如车辆引擎盖区域是黑白相间的，则输出概率向量中应该有数个分量明显大于其他维度。因此，一种简单解决非纯色车身颜色识别的方式是：记输出概率向量p＝[p₁,p₂,...,p_k]^T，其中值最大的分量为p_i,设定一个阈值m,每一个的分量对量的颜色类别都认为是该车辆的颜色属性。根据车辆数据的实际情况，在进行车身颜色识别时，算法取概率向量最大分量对应的类别作为颜色判定结果。同时，如果在剩下的分量中有超过最大分量70％的，作为次颜色返回。当最大分量小于0.3时，认为颜色无法识别，归为其他颜色类别。

在识别驾驶员异常行为的分支中，单独提取驾驶员区域局部特征，在全连接层后使用softmax层进行分类，输出驾驶员的行为属于各种异常行为的概率向量。

具体实施时，当不同类别的样本图像的数量差大于设定的阈值时，给不同类别的样本图像分别设置不同的权重，样本图像数量少的类别增大权重，样本图像数量多的类别减小权重，样本图像的权重与该样本图像的数量占训练样本总数的比例成反比。

通过获取大量标记车型、颜色和驾驶员异常行为的车辆样本，每种车型数量可以在100到300张内，车型种类在2000种以上；车身颜色种类为12种，每种可以在200张以上；驾驶员异常行为包括5种，每种在100张以上。然后通过预先设计好的卷积神经网络对标记好的车辆样本进行预测，使用softmax层输出识别的概率。最终，计算输出概率与真实标记的差异，具体实施时，利用交叉熵损失函数来度量差异，再进行反向传播更新网络的参数。

某些车型类别、颜色类别或者驾驶员异常样本数据太少，不同类别的样本数量之间数量相差较大，直接训练容易使训练结果偏向样本数量多的类别。针对类别之间样本不平衡的问题，本发明在卷积神经网络训练过程使用了一种改进的损失计算方法，可以尽量减少不同类别样本数量不均匀对识别结果的影响。具体来讲，通过给不同类别的样本图像设置不同的权重，样本数量少的类别增大权重，样本数量多的类别减小权重。样本图像的权重和该样本类别数量占训练样本总数的比例成反比。经过这种处理，样本数量少的类别分错受到的惩罚比样本数量多的类别分错受到的惩罚大的多，从而平衡了样本类别数量不均衡的问题。

经过不断的迭代训练，本发明设计的卷积神经网络可以识别精细的车型类别、车身颜色及驾驶员异常行为，不需要人工设计特征就达到了自动分类的效果。

步骤S120、获取待识别车辆的图像。

利用摄影或者摄像设备获取待识别车辆的图像。

步骤S130、利用预先训练的卷积神经网络模型识别获取的车辆图像；所述的卷积神经网络的结构包括卷积层、池化层和全连接层，最后三个softmax层分别用于车型分类、车身颜色分类和驾驶员异常行为分类，每个softmax层输出识别车辆的属于某一属性的概率向量。

综上所述，本发明实施例提供的车辆属性识别方法可以在获取到待识别车辆图像后，无需用户自己设计特征，可以直接利用预先训练好的卷积神经网络直接提取深度特征，进行车型识别、车身颜色识别及驾驶员异常行为识别。同时，车型识别任务和车身颜色识别任务共享网络参数，提取出的深度特征不仅可以刻画车型，同时包含有车身的颜色信息，实现了只提取一次特征同时识别两种属性的方法，不仅提高了识别的准确率，同时提升了识别的速度。驾驶员异常行为识别和车辆自身属性识别共享部分网络参数，节省了计算时间。

本发明实施例提出的车辆属性识别方法可以自动学习车辆的深度特征，深度特征同时包含了车辆的车型和车身颜色属性及驾驶员行为特征，达到了在一个网络结构中共享网络参数并同时识别车型、车身颜色和驾驶员行为的目的。相比现有的人工针对不同任务设计不同特征的方法，本发明的识别准确率更高，速度更快。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。