一种基于区域辨别的车辆颜色识别方法与流程

本发明涉及计算机视觉领域，尤其涉及智能交通系统中的车辆颜色识别方法。
背景技术：
：近年来，计算机视觉技术(ComputerVision)及其应用取得了较大的发展，极大地刺激了智能交通系统(Intellectualtransportationsystem)中的视觉图像处理的应用需求，基于视觉技术实现车辆颜色识别正是在这个背景下提出的。目前，已有的车辆颜色识别方法主要分为以下两类。第一类是基于车牌位置定位的颜色识别方法，先对车辆进行车牌检测，接着提取车牌附近区域的颜色特征，并使用颜色分类器进行判断。第二类方法是对车辆区域进行随机取样，并将采用出来的区域作为颜色判断的依据。具体地，首先对车辆区域进行随机取样，然后将从各采用区域提取出来的特征拼成一个向量，送入颜色分类器。虽然这些已有方法都考虑到了车辆颜色分布的复杂性，但也存在着明显弊端：在第一种方法中，由于不同车型在车牌附近的颜色分布差异巨大，直接将车牌附近的颜色作为车身颜色存在以偏概全的问题，而且该方法对无车牌的车辆无法奏效；在第二种方法中，当待识别车辆的颜色不单一时，该特征的语义特性就会受到影响，从而降低颜色识别的准确率。由于机动车颜色分布的复杂性，以及车身颜色易受环境的影响，已有的车辆颜色识别方法都难以达到理想的车辆识别准确率，且容易受到车辆类型等客观因素的限制。技术实现要素：本发明技术解决问题：克服现有技术的不足，提供一种基于区域辨别的车辆颜色识别方法，将整车图像划分为颜色识别的主线索区域、辅助识别区域和无关线索区域，在识别过程中剔除无关线索区域，同时结合主线索区域和辅助识别区域的特征对车辆颜色进行识别，从而能够提高复杂监控场景下的车辆颜色识别准确率。本发明公开了一种基于区域辨别的车辆颜色识别方法，其特征在于，使用检测出的整车图像作为输入，采用深度学习算法框架，依次经过车辆颜色区域辨别、车辆颜色特征提取和车辆颜色判断各步骤处理之后，输出待识别车辆的颜色类别。所述的车辆颜色区域辨别，是将整车图像中依据颜色信息量划分为不同的区域，其特征在于采用多尺度检测方法和多区域检测方法，辨别出整车图像中颜色识别的主线索区域、辅助识别区域，以及无关线索区域。进一步的，所述的主线索区域、辅助识别区域，以及无关线索区域，指整车图像中包含不同颜色信息量的区域。在整车图像中，车辆的颜色信息分布复杂，通常情况下，主要的颜色信息集中在车辆的引擎盖以及车顶部分，但是在实际道路中，不同车辆的引擎盖，车顶形状差异巨大，定位难度大。同时由于自然光的影响，在车辆的表面还会存在严重的反光现象，这些反光随机的存在于车辆的不同区域，导致这些区域不同程度的颜色丢失。结合这些情况，在本发明中根据不同区域的颜色信息量将车辆的表面区域划分为主线索区域、辅助识别区域，以及无关线索区域。具体地，所述的无关线索区域是指车辆的车窗部分，该区域在整车图像中的占比大，但是不包含任何车辆颜色信息。所述的辅助识别区域是指车辆表面的反光区域，该区域由于受到自然光的影响，会出现不同程度的颜色信息丢失。所述的主线索区域是指在整车图像中除了无关区域以及辅助识别区域以外的部分，这部分区域中颜色信息丰富，与车体颜色的相关度高。进一步地，所述的多尺度检测方法，其特征在于一个检测网络中融合了多尺度检测能力，可以适应检测目标在尺度上的差异，主要解决以下的三个多尺度问题，包括：实际监控道路上车辆类型不同而导致的尺度差异，车辆距离监控探头距离不等而导致整车图像在尺度上的差异，以及车辆上不同反光区域之间尺度上的差异。具体地，将SPP-net(空间池化网络)作为检测的网络结构，利用其中的多尺度特征池化层完成不同尺度区域的特征提取并且进行归一化。进一步地，所述的多区域检测方法，其特征在于针对本发明中存在的不同颜色信息区域，一幅整车图像只需执行一次检测，即可检测出所有的主线索区域、辅助识别区域和无关线索区域。具体地，采用selectivesearch算法和滑窗法作为提取候选区域的算法，利用车窗的长宽比作为先验知识，设置滑窗的大小，可以有效的提取车窗区域。selectivesearch算法利用图像的边缘信息以及区域的颜色信息可以充分提取具有相似颜色候选区域的能力，可以有效的提取反光区域。通过结合两种候选区域生成的算法，有效地克服了车窗区域以及反光区域在形状、大小，以及颜色信息上的差异，实现了多种类型区域的同时提取。所述的车辆颜色特征提取，其特征在于采用使用卷积神经网络自动生成颜色特征，而不是采用传统的颜色统计量作为颜色特征。具体地，针对颜色识别这个特定任务训练卷积神经网络模型，使用卷积神经网络分别对车辆的主线索区域和辅助区域提取颜色特征。进一步地，为了学习适用于本发明中颜色识别的卷积神经网络，在本发明中结合颜色区域辨别以及颜色特征的特点对数据集进行预处理。利用区域判别对整车图像进行检测，只保留其中的主线索区域，其余部分使用训练集中的均值数据进行填充。由于颜色特征与图像纹理无关，在本发明中采用高斯模糊算子对图像进行了高斯模糊，通过减少图像的纹理特征，提升卷积神经网络对于颜色特征关注度。所述的车辆颜色判断，其特征在于采用特征融合的方法综合利用主线索区域以及辅助识别区域的颜色特征作为车辆颜色判断的依据。具体地，将主线索区域的特征与辅助识别区域的特征进行拼接，作为整车图像最终的颜色特征。通过采用特征融合的方法，结合主线索区域以及辅助识别区域的颜色信息，可以有效地应对辅助识别区域在不同光照情况造成的颜色信息损失，当辅助识别区域由于反光严重丢失较多颜色信息时，主线索区域部分的颜色特征将起到决定性的作用，当辅助识别区域的反光情况不严重时，辅助识别区域部分的特征也会对车辆颜色的分类产生影响，有助于提升车辆颜色判断的准确率。本发明与现有技术相比的优点在于：将车辆区域划分为主线索区域、辅助识别区域和无关线索区域，并通过对这些区域的准确检测，分别提取颜色特征，以实现对车辆颜色的准确识别。具体来说，在车辆颜色区域辨别中，针对车窗以及反光区域的形状特性，结合了selectivesearch算法和滑窗法提取检测候选区域，提升了区域检测的准确率；针对监控场景中车辆车型大小以及车辆距离监控摄像头距离远近不同导致的多尺度问题，采用SPP-net(空间池化网络)作为检测的网络结构，使用多尺度的图像训练网络，使得网络具有识别多尺度车窗以及多反光区域的能力。在颜色特征提取中，剔除无关区域之后，针对主线索区域以及辅助区域，分别提取颜色特征，将两个部分特征融合在一起用于判断车辆颜色类别，提升了车辆颜色判别的鲁棒性。另外，在输入网络之前，利用高斯核对图像进行预处理，降低网络对于纹理信息的响应，提升了网络结构对于颜色信息的针对性。总之，本发明针对车辆颜色分布的特性，充分利用主线索区域和辅助识别区域的颜色特征作为车辆颜色辨别的依据，极大地提高了识别准确率，很好地处理了实际道路上车辆颜色的分布复杂、易受环境干扰的难点。与上述选取可能存在车辆颜色区域的方法不同，本发明公开了一种基于区域辨别的车辆颜色识别方法，它直接处理检测出的整车图像，并划分为不同类型区域，包括主线索区域、辅助识别区域和无关线索区域。在具体处理中，将无关线索区域剔除，结合主线索区域以及辅助识别区域的特征进行车辆颜色识别。所谓无关线索区域，是指不存在车辆颜色信息的区域，在检测出来的整车图像中，主要集中在车辆的车窗区域，其在图像的占比大；所谓辅助识别区域，是车辆表面的反光区域，由于车辆是一个光滑的表面，在自然光照下会有反光存在，这些反光区域均有不同程度的颜色信息丢失，虽然包含部分颜色信息，但是其不能作为颜色识别的主要判断依据；所谓主线索区域便是在整车图像中除了无关区域以及辅助区域以外的区域，这部分区域包含了车辆颜色的主要信息。附图说明图1为系统测试训练框图；图2为IoU示例图；图3为SPP-net网络结构示例图；图4为SPP-layer结构示例图；图5为本发明完整流程示例图。具体实施方式为了使得本发明中的更加明确，下面结合具体数据集进一步的介绍该发明的具体实施方法，以及该发明中的具体细节。首先介绍数据库的组成，在该数据集中一共包括11652张图像，其中各个类别的数量如表格1所示。表格1数据库简介其中淡色系包括以下三种颜色，白色，浅灰色，银色。数据库中所有的图像中均只包含一辆完整的机动车，车型包含了大小型卡车，大小型客车，越野车，三厢轿车，两厢轿车，面包车，商务车等机动车类型，基本覆盖了常见的车辆类型。(1)设计车窗检测以及车身反光部分的检测器。该步骤中明确了车窗检测以及车辆反光区域检测器的具体设计方法。(1.1)采用SPP-net空间池化网络作为车窗及反光区域检测器的网络结构。网络结构如表格2所示，具体结构如图3所示，对图3进行详细说明。网络的前向通道中依次为conv1卷积层，pool2池化层，conv3卷积层，pool4池化层，conv5卷积层，conv6卷积层，conv7卷积层，spp-layer空间池化层，fc9全连接层，fc10全连接层，卷积层中对应的卷积核尺寸如表格2所示，空间域池化层中的池化核大小如表格2所示。表格2SPP-net网络结构介绍具体介绍空间域池化层，第七层输出尺寸为的特征图，共有256张，针对每一张特征图，采用滑窗法进行池化操作，池化核大小以及采样步长如表格3所示。表格3空间域池化层介绍通过该操作，可以将任意大小的区域归化成一个固定长度的特征向量，特征向量长度为(4*4+2*2+1)*256＝5376维的长度。该操作如图4所示，对图4进行详细说明，在。如图4所示，当采用表格2所示的网络结构时，第七层中得到特征图尺寸为13*13，依次使用三个池化核对该特征图进行滑窗操作，具体的池化核大小以及池化核采用的滑窗步长如表格三所示。通过滑窗操作之后得到4*4,2*2,1*1三个数值结果，将其拼接在一起可以得到一个21维的向量。同时在第七层中存在256张特征图，所以经过空间池化之后得到21*256＝5376维的特征向量。(1.2)设计模型的目标函数。在本发明中，使用多任务损失函数作为目标函数,如下所示：L(p,k*,t,t*)＝Lcls(p,k*)+λ[k*≥1]Lloc(t,t*)其中λ值是控制分类和定位两个任务之间的权重参数，在本发明中设置λ＝0.95。具体地，其中Lcls表示分类任务的损失函数，采用交叉熵损失函数，Lcls(p,k*)具体形式如下式所示：Lcls(p,k*)＝-logpk*其中k*为样本的真实类别，pk*为模型对样本的预测值。在公式中k*是指区域所述的类别，其中k*＝0指背景类，k*≥1时指前景类别，具体的可以设置车窗类别为1，反光区域类别为2。p＝(p0,…,pK)是指在前向过程中网络对每个区域预测其属于某一类的概率值。第二项中Lloc(t,t*)的具体形式是：Lloc(t,t*)=Σi∈{x,y,w,h}smoothL1(ti,ti*)]]>其中t＝(tx,ty,tw,th)指网络在前向过程中预测的区域位置，指标定的区域位置。其中x,y,w,h分别对应窗口的左上角坐标以及窗口的宽度和高度。函数的具体形式如下所示：smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise]]>其中x是指ti,之间的差值。(1.3)采用批量梯度下降法求解模型参数。在确定了网络的结构以及网络的目标函数之后，在本节中介绍网络的优化方法。为了求解目标函数，采用批量梯度下降算法对目标函数进行求解，其具体形式为：θ=θ-η*▿θL(θ;x(i:i+n),y(i:i+n))]]>其中t为模型参数，η为学习率，L是目标函数，n为batch-size大小，具体地，在本发明中128，即训练过程中每一次迭代只从样本中抽取128个样本用于更新梯度。(1.4)构造训练集并进行标定。在确定了网络结构以及网络的优化方法之后，下面介绍针对本发明中的任务构建数据集，用于训练网络模型。首先，训练样本的图像是只包括整车的图像，采用方框的形式对样本进行标定，每张图像中需要标定的内容有两个，一是车窗部分，二是车辆的反光部分，车窗区域的采用方框的形式标定，一辆车只有一个车窗，所以车窗部分只需要一个方框。同样的，反光区域也采用方框标定，由于在一个车辆的不同区域可能出现多处反光，所以在标定的时候，需要用方框全部标出。其中方框的具体形式为B＝(x,y,h,w)，其中(x,y)表示方框左上角在图像中的坐标，(h,w)分别对应方框的高和宽。(1.5)采用selectivesearch以及滑窗法作为区域生成的算法。在本发明中，使用selectivesearch算法作为产生候选检测区域的算法。在selectivesearch算法的基础上，在本发明中针对车窗的检测，还添加了固定长宽比的滑窗结果作为检测的候选区域。使用以上两种算法生成候选区域之后，将这些区域的集合记作R＝{r1,r2,…,rn}，其中r＝(x,y,h,w)，表示生成区域在原图中的位置，(x,y)表示框的左上角顶点位置，(w,h)对应方框的宽和高。在图像域中产生的候选区域需要映射到第七层的特征图中提取特征，下面给出如何从图像域中的位置映射到特征图中的计算公式。操作符分别表示向上取整以及向下取整的操作。其中xtl表示产生的方框在原图像中左上角定点的坐标，xbr表示产生方框右下角点在原图中坐标，xconv5-tl表示方框左上角的坐标经过映射之后在conv5层特征图中的位置，xconv5-br表示方框右下角的坐标经过映射之后在conv5层特征图中的位置。在网络结构中的第八层，即空间域池化层，就是依次对中的每个元素生成的特征图进行池化，提取长度为5376维的特征向量。(1.6)在训练过程中融合多尺度的训练方法。在实际道路监控场景中，不同类型车辆之间的大小差距较大，同时车辆距离监控摄像头的距离也是随机的，导致车辆在尺度上面的差距很大，为了使得模型具有更好的泛化特性，采用多尺度的训练方法。具体地，采用如下方式进行。首先将训练集中的图像保持长宽比不变的情况下缩放到不同的尺度，其中短边对应的长度分别是350,400,450,500。在训练过程中，每次迭代都随机将图像缩放到某一个尺度，缩放之后采用(1.5)中的方法产生候选区域。(1.7)利用标定的训练集生成车窗区域的正样本，反光区域的正样本，以及背景类三个类别，用于训练网络。在确定网络结构以及训练集之后，采用批量梯度下降算法求解模型参数。在训练过程中，每次迭代，从训练集中选取两张图像，采用(1.6)中的方法进行随机缩放，采用(1.5)中的方法生成候选区域，将这些区域作为本次迭代计算误差的样本。下面介绍车窗类和反光区域类的样本定义，同样使用IoU作为评判标准，将候选区域中与任意一个类别的IoU高于0.7的作为两个类别的正样本，将与任意一个类别真实值的IoU小于0.3的都作为负样本，同时，根据正样本的数量，确定负样本的数量，正负样本数量的比例为1:3。具体地，当batch-size设置为128时，随机从候选区域中选取32个正样本，另外选取96个负样本。其中IoU的计算方法下式所示：IoU＝(Bp∩Bgt)/(Bp∪Bgt)其中，Bp表示候选区域，Bgt表示标定的区域。(1.8)针对车窗以及反光区域单独训练SVM分类器，对车窗以及反光区域进行精确检测。在对网络参数优化之后，使用网络中第十层的神经元响应作为候选区域的特征，采用one-vs-all(一对多)的方法分别训练针对车窗以及反光区域的分类器，记作Cwin以及Cspe。具体地，Cwin的正样本是标定的车窗部分，与标定真实值的IoU在0.3以下的区域都被作为Cwin的负样本。同样地，Cspe的正样本是标定的反光部分，Cspe与标定真实值IoU在0.3以下的区域都被作为Cspe的负样本。具体的训练流程如图1所示。(2)在完成对图像中车窗以及车辆反光区域的检测之后，使用CNN提取车辆颜色特征。(2.1)采用AlexNet作为颜色识别的CNN网络结构。网络结构如表格4所示。表格4AlexNet网络结构参数网络使用目标函数形式如下所示：Lcls(p,k*,θ)＝-logpk*+Σθ2其中θ为卷积神经网络的参数，p＝(p0,…,pK)是指在前向过程中网络对每个样本预测其属于某一类的概率值，其中K＝7，指车辆的七种颜色。(2.2)在求解模型参数时，使用批量随机梯度下降法训练模型。具体地，首先从caffezoo上下载已经在Image-Net上面训练完成的模型进行优化，在优化过程中，固定网络的前两层卷积层参数，只对后面的网络结构进行优化。具体的参数更新公式如下所示。θ*=θ-η*VθLcls(θ;x(i:i+n),y(i:i+n))]]>其中θ指模型参数，x(i:i+n)是指训练样本集中第i个下标开始选择的n个样本，y(i:i+n)为这n个样本对应的标记。(2.3)对数据集进行预处理，该模块中包含了两个部分，一是车窗检测以及反光区域检测，二是使用高斯核对图像进行处理，最后是将所有的图像缩放到统一尺度。具体地，首先使用(1)中的生成的车窗检测器以及反光检测器对训练图像进行检测，得到处理后的图像。由于颜色特征是不需要纹理特征的，所以将图像输入到网络中之前，采用高斯模糊对图像进行处理，减少图像的纹理信息，使得网络更加关注颜色空间的信息。具体地，采用3*3大小的Gaussian核对训练集中的图像数据进行模糊处理。同时，考虑到AlexNet是单尺度的识别模型，所以需要将图像缩放到统一大小，具体地，在本发明中将图像统一缩放到255*255。在训练过程中使用大小为227*227的窗口进行截图操作，分别截取图像的左上，左下，正中间，右上，右下用于训练模型。(2.5)使用经过预处理之后的图像训练CNN模型。(3)结合主识别区域以及辅助识别区域的颜色特征，训练分类器识别机动车颜色。(3.1)采用selectivesearch以及滑窗法产生图像中的候选区域。具体地，先使用selectivesearch(选择性搜索)算法，滑窗法产生候选区域，记作P＝{p1,p2,…,pn}，其中pi＝(x,y,h,w)。(3.2)利用检测模块对图像进行检测，检测出图像中的车窗部分以及反光的区域。具体地，先使用车窗分类器Cwin对P进行检测得到区域然后使用反光区域检测器Cspe进行检测，得到区域集合其中nspe+nwin<n。(3.3)对检测出来的区域进行融合。由于在本发明中采用了两种区域生成方法，特别地，针对车窗区域的检测，会有冗余信息，即在中nwin≥1，所以需要对其中冗余的窗口区域进行合并，在合并完成之后，得到最终的区域合集Pwin′＝{p1}。(3.4)生成主线索区域，以及辅助识别区域。在(3.3)中确定了车辆的车窗区域，以及车辆的反光区域，为了不损失反光区域中的颜色信息，同样使用在(2)中训练的卷积神经网络对这些区域提取特征，具体的操作方式为如下所述，将图像中Pspe以外的区域利用训练集中的均值进行填充，得到辅助识别区域图Mspe。同样的将图像中Pspe,Pwin区域利用训练集中的均值进行填充，即可得到主线索区域图Mmain。均值的求解方式如下式所示：mean=Σi=1NImagei/N]]>其中Imagei是指第i张图像，由于所有的训练图像均已进行缩放，所以最后得到的mean为一个大小为255*255*3矩阵。(3.5)采用Gaussian核对(3.4)中的图像进行模糊处理，降低图像中的噪点。具体地，使用大小为3*3的核分别对图像Mspe和Mmain进行模糊处理。(3.6)将图像Mspe和Mmain送入CNN网络中，将其最后一层的全连接层的响应作为颜色特征，分别得到特征Fspe,Fmain，将这两个特征拼接在一起，得到最终的颜色向量Ffinal，具体到本发明中，该向量长度为8192维。(3.7)将(3.6)中得到的特征结合训练集中图像的标记训练softmax分类器，作为颜色分类器。本发明的完整步骤如附图5所示，(1)测试图像指包含完整车辆的整车车辆。(2)selectivesearch(选择性搜索)算法和滑窗法为候选区域生成算法，对应步骤(1.5)。(3)生成主线索区域以及辅助线索区域对应步骤(3.4)。(4)使用高斯核对图像进行模糊处理对应步骤(3.5)。(5)使用alexnet对两张图提取颜色特征对应步骤(3.6)。(6)使用softmax分类器进行分类得到车辆颜色的最终类别，对应步骤(3.7)。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。当前第1页1 2 3