一种车辆颜色识别方法及装置与流程

本申请实施例涉及图像处理技术和计算机视觉领域，尤其涉及一种车辆颜色识别方法及装置。

背景技术：

车辆颜色识别是颜色识别领域的关键技术，是车辆特征识别和特征分析的基础，具有广泛的研究价值。随着深度学习在车辆检测方面的准确率提升，很多学者基于车身或者车脸等部位提出了不少有价值的车辆颜色算法。现有的车辆颜色识别方案主要集中在这几个方面的研究：

1、颜色检测区域定位的研究

对于除去基于学习的其他传统算法来说，获得一块稳定的颜色识别区域是准确识别车辆颜色的重要前提。在复杂的现实环境中，车辆的姿态和复杂的背景都会成为阻碍颜色检测区域定位的关键因素。部分学者采取提取汽车前盖上的部分矩形作为颜色检测区域，而有的学者采用整车区域作为颜色检测区域，还有的学者对采用“米”字型对整车进行分割，然后进行多区域融合的颜色判断。

2、基于深度学习等学习类算法的车辆颜色分类训练研究

车辆颜色识别其本质上就是一个分类的问题，就是将车辆按照颜色这一特征进行分类。所以现在很多流行的分类算法都可以用在车辆颜色识别上。例如获取车辆图像的hsv直方图分布用svm去进行分类，又如将图像样本按照颜色分类贴上标签，再用深度学习去训练从而获得分类准确率较高的网络。

3、基于整车图像分割算法的研究

整车分割算法主要涉及计算机视觉算法中的一些图像处理算法，能够将车身部分和背景部分分割出来，从而针对车身部分进行颜色识别。

在复杂背景下的车辆颜色识别一直是众多学者所研究的方向，但是依然存在很多难以解决的技术难点：

1、颜色检测区域定位的难点

对于室外复杂场景下，无论是基于车身还是车脸的部分，在进行车辆颜色识别区域截取的过程中，受到当前检测算法、车辆的姿态、复杂背景干扰或者前景遮挡的影响，截取出来的车辆颜色识别区域往往带有大量的非车辆颜色的信息，例如基于车脸的颜色区域会截取到部分车窗内部区域和部分的车脸栅栏区域，这样在接下来的颜色识别中就会将这些区域的颜色误识别为车辆的颜色。

2、基于深度学习等学习类算法的车辆颜色分类技术的难点

深度学习算法能够通过大数据样本的训练来学习图像中每个分类的特征点的分布情况，从而达到学习的目的。但是深度学习擅长于提取图像中的高层语义即图像特征中的高频部分，而车辆的颜色属于底层语义中的一部分，往往在深度网络的浅层就被高层语义所覆盖，最后导致最终的分类结果不是基于颜色特征的来获得的，从而产生分类错误率较高的问题。对于研究人员来说，训练网络的设计是进行深度学习颜色分类的一个难点。

3、基于整车图像分割技术的难点

基于图像处理的图像分割技术在面对复杂的背景环境时，往往很难将车辆和背景划分开，尤其是一张图像中同时出现前后两辆车的时候，往往后面的车会对目标车辆的颜色识别产生干扰。再者现有的图像分割技术还无法对车窗或者车脸栅栏进行有效地识别分割出来，往往基于车身的颜色识别中，车窗和车内饰的颜色会产生严重的干扰。

以上基于现有技术的车辆颜色识别方法，在室外复杂场景下，截取的颜色识别区域含有大量非车辆颜色信息，深度学习算法颜色识别错误率较高，外界颜色干扰严重，导致车辆颜色识别不准确的技术问题。

技术实现要素：

本申请实施例提供了一种车辆颜色识别方法及装置解决了目前基于现有技术的车辆颜色识别方法，在室外复杂场景下，截取的颜色识别区域含有大量非车辆颜色信息，深度学习算法颜色识别错误率较高，外界颜色干扰严重，导致车辆颜色识别不准确的技术问题。

本申请实施例提供了一种车辆颜色识别方法，包括：

获取待识别车辆图像，并对所述待识别车辆图像进行分割处理得到对应的待处理图像；

对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像；

将所述待识别图像进行颜色识别判断，输出车辆颜色。

获取待识别车辆图像，并对所述待识别车辆图像进行分割处理得到对应的待处理图像具体包括：

获取外部数据库中的所述待识别车辆图像，对所述待识别车辆图像中的车身进行定位，对所述车身进行边缘检测，得到所述车身的特征点；

对所述特征点进行识别，并根据识别出的所述特征点创建所述车身的特征点包络；

根据生成的车身特征点包络和所述待识别车辆图像得到车身roi区域，将所述车身roi区域作为待处理图像。

优选地，对所述待识别车辆图像中的车辆进行定位，其中所述算法为ssd算法。

对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像具体包括：

对所述待处理图像进行轮廓检测，计算并记录检测出的所有轮廓的质心和面积；

根据检测出的轮廓质心点的位置和轮廓面积与所述特征点包络外接椭圆的圆心位置和所述特征点包络面积分别进行联合判断，得出所述车窗区域对应的轮廓；

将所述车窗区域对应的轮廓进行掩码抹除，得到所述待识别图像。

所述联合判断具体判断步骤如下：

步骤一：从检测出的所有轮廓中任意选取一个，判断该轮廓面积是否等于所述特征点包络面积，

若不等于，则进行下步判断；

若等于，则剔除该轮廓，选取另一剩余轮廓重新进行判断；

步骤二：判断该轮廓面积是否大于所述特征点包络面积*threshold，

若大于，则进行下步判断；

若不大于，则剔除该轮廓，选取另一剩余轮廓从上述步骤一重新开始进行判断；

步骤三：判断该轮廓的质心坐标是否位于所述特征点包络外接椭圆的圆心坐标上，

若位于，则初步判定该质心对应的是所述车窗区域对应的轮廓，得到所述车窗区域并结束判断；

若不位于，剔除该轮廓，并选取另一剩余轮廓循环进行上述步骤一、步骤二、步骤三的判断，直至判断出选取的轮廓质心坐标位于所述特征点包络外接椭圆的圆心坐标上。

优选地，所述掩码为纯色掩码。

优选地，所述纯色为黑色。

本申请实施例提供了一种车辆颜色识别装置，包括：

获取模块，用于获取待识别车辆图像；

分割处理模块，用于对所述待识别车辆图像中的车辆在所述待识别车辆图像中的位置进行定位，并对所述车辆进行分割截取，得到待处理图像；

车窗定位处理模块，用于对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像；

颜色识别模块，对所述待识别图像进行颜色识别判断，输出车辆颜色。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种车辆颜色识别方法，通过获取待识别车辆图像，并对所述待识别车辆图像进行分割处理得到对应的待处理图像；对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像；将所述待识别图像进行颜色识别判断，输出车辆颜色，解决了目前基于现有技术的车辆颜色识别方法，在室外复杂场景下，截取的颜色识别区域含有大量非车辆颜色信息，深度学习算法颜色识别错误率较高，外界颜色干扰严重，导致车辆颜色识别不准确的技术问题。

附图说明

图1为本申请实施例中一种车辆颜色识别方法的一个实施例的流程示意图；

图2为本申请实施例中一种车辆颜色识别方法的一个实施例的车辆图像分割流程图；

图3为本申请实施例中一种车辆颜色识别方法的一个实施例的待识别车辆图像示意图；

图4为本申请实施例中一种车辆颜色识别方法的一个实施例的dog边缘检测后的图像示意图；

图5为本申请实施例中一种车辆颜色识别方法的一个实施例的特征点包络图示意图；

图6为本申请实施例中一种车辆颜色识别方法的一个实施例的生成的mask图示意图；

图7为本申请实施例中一种车辆颜色识别方法的一个实施例的分割后的图像示意图；

图8为本申请实施例中一种车辆颜色识别方法的一个实施例的车窗区域预估计的流程图；

图9为本申请实施例中一种车辆颜色识别方法的一个实施例的待识别图像示意图；

图10为本申请实施例中一种车辆颜色识别方法的一个实施例的车辆颜色识别算法流程图；

图11为本申请实施例中一种车辆颜色识别装置的示意图。

附图说明：

车辆颜色识别方法100；

车辆颜色识别装置200；

获取模块201；

分割处理模块202；

车窗定位处理模块203；

颜色识别模块204。

具体实施方式

本申请实施例提供了一种车辆颜色识别方法及装置解决了目前基于现有技术的车辆颜色识别方法，在室外复杂场景下，截取的颜色识别区域含有大量非车辆颜色信息，深度学习算法颜色识别错误率较高，外界颜色干扰严重，导致车辆颜色识别不准确的技术问题。

为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请实施例一部分实施例，而非全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

请参阅图1至图10，本申请实施例提供的一种车辆颜色识别方法100的一个实施例包括：

获取待识别车辆图像，并对所述待识别车辆图像进行分割处理得到对应的待处理图像；

对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像；

将所述待识别图像进行颜色识别判断，输出车辆颜色。

本实施例中，获取待识别车辆图像，并对所述待识别车辆图像进行分割处理得到对应的待处理图像具体包括：

获取外部数据库中的所述待识别车辆图像，对所述待识别车辆图像中的车身进行定位，对所述车身进行边缘检测，得到所述车身的特征点；

对所述特征点进行识别，并根据识别出的所述特征点创建所述车身的特征点包络；

根据生成的车身特征点包络和所述待识别车辆图像得到车身roi区域，将所述车身roi区域作为待处理图像。

优选地，对所述待识别车辆图像中的车辆进行定位，其中所述算法为ssd算法。

本实施例中，对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像具体包括：

对所述待处理图像进行轮廓检测，计算并记录检测出的所有轮廓的质心和面积；

根据检测出的轮廓质心点的位置和轮廓面积与所述特征点包络外接椭圆的圆心位置和所述特征点包络面积分别进行联合判断，得出所述车窗区域对应的轮廓；

将所述车窗区域对应的轮廓进行掩码抹除，得到所述待识别图像。

其中，所述联合判断具体判断步骤如下：

步骤一：从检测出的所有轮廓中任意选取一个，判断该轮廓面积是否等于所述特征点包络面积，

若不等于，则进行下步判断；

若等于，则剔除该轮廓，选取另一剩余轮廓重新进行判断；

步骤二：判断该轮廓面积是否大于所述特征点包络面积*threshold，(需要说明的是，threshold的取值范围为[0-1]之间)，

若大于，则进行下步判断；

若不大于，则剔除该轮廓，选取另一剩余轮廓从上述步骤一重新开始进行判断；

步骤三：判断该轮廓的质心坐标是否位于所述特征点包络外接椭圆的圆心坐标上，

若位于，则初步判定该质心对应的是所述车窗区域对应的轮廓，得到所述车窗区域并结束判断；

若不位于，剔除该轮廓，并选取另一剩余轮廓循环进行上述步骤一、步骤二、步骤三的判断，直至判断出选取的轮廓质心坐标位于所述特征点包络外接椭圆的圆心坐标上。

优选地，所述掩码为纯色掩码。

在更加优选的一些实施例中，所述纯色为黑色。

在更加具体的一些实施例中，在通过摄像头捕获一张图像后，首先通过ssd算法定位车辆所在的位置，并把ssd检测到的车辆所在的roi区域截取出来作为待处理图像。本实施例中所采用的都是基于上述待处理图像的前提下来进行的。将获得的待处理图像进行一系列的图像操作来得到分割后的结果和车窗位置估计的结果。具体的处理流程如下：

1.车身图像分割算法

如图2所示的车身图片分割的处理的流程：

步骤一：输入图3所示的经ssd算法检测对车身进行定位后的整车图像；

步骤二：将步骤一中的整车图像经过图像滤波处理后，再通过dog无阀值边缘检测，得到如图4所示的dog边缘检测后的图像；

步骤三：基于sift检测特征点创建步骤二得到的dog边缘检测后的图像的纯黑mask图，将特征点绘制于所述mask图中，并添加类滴水型六个特征点；

步骤四：检测步骤三所述mask图中所有的特征点的包络，并绘制成闭合轮廓图如图5所示的特征点包络图；

步骤五：将步骤四得到的特征点包络图进行分割，移除闭合轮廓内部部分，留取外部mask图如图6所示；

步骤六：将步骤五留取的外部mask图与步骤一中的整车图像进行融合后作分割处理，留取未被mask图遮挡的部分，得到roi区域如图7所示。

2.车窗区域预估计算法

本实施例中采用的车窗区域预估计算法主要是根据车辆轮廓质心点的位置信息和轮廓的面积信息联合判断来进行定位。

其中，如图8所示车窗区域预估计的具体流程：

步骤一：对整车图像通过车身图像分割算法得到的roi图像的内部进行二次轮廓检测，并计算全部轮廓的质心，对质心进行记录；

步骤二：计算二次轮廓检测中所有轮廓的面积；

步骤三：对检测到的所有轮廓的质心和面积分别进行以下判断：

判断1：选取任一检测到的轮廓，判断该轮廓面积是否等于图5所示的包络轮廓面积，若不等于，则进行判断2；若等于，则剔除该轮廓，选取另一剩余轮廓重新进行判断；

判断2：判断该轮廓面积是否大于整个包络轮廓面积*threshold(需要说明的是，threshold的取值范围为[0-1]之间)，若大于，则进行判断3；若不大于，则剔除该轮廓，选取另一剩余轮廓重新从判断1开始进行判断；

判断3：判断该轮廓的质心坐标是否位于包络图外接椭圆的圆心坐标上，若位于，则初步判定该质心对应的是车辆窗户的轮廓，得到车窗区域并结束判断；若不位于，剔除该轮廓，剔除该轮廓，并选取剩余另一个轮廓循环进行判断1、判断2、判断3，直至判断出选取的轮廓质心坐标位于包络图外接椭圆的圆心坐标上。

在得到车窗区域的具体位置后，将定位到的车窗区域用黑色掩码抹除，得到如图9所示的待识别图像。

根据本申请实施例提供的一种车辆颜色识别方法100，对于复杂环境下对整车颜色识别的准确率和鲁棒性优于现有的算法。其主要原因是在基于车辆特征点的提取的基础上进行的分割能够有效虑除背景对车辆颜色识别的干扰。在这个分割的基础上，通过判断车辆轮廓点的坐标与外接椭圆圆心之间的位置关系和轮廓的面积关系综合判断，能够有效抹除车窗区域的颜色信息，从而进一步对减少车身颜色识别的干扰。

如图11所示，本申请实施例提供的一种车辆颜色识别装置200的一个实施例，包括：

获取模块201，用于获取待识别车辆图像；

分割处理模块202，用于对所述待识别车辆图像中的车辆在所述待识别车辆图像中的位置进行定位，并对所述车辆进行分割截取，得到待处理图像；

车窗定位处理模块203，用于对所述待处理图像中的车窗区域进行定位，并对所述车窗区域进行掩码处理，得到待识别图像；

颜色识别模块204，对所述待识别图像进行颜色识别判断，输出车辆颜色。

根据本申请实施例的车辆颜色识别方法100及车辆颜色识别装置200具有以下优点：

1)不需要刻意去选择颜色识别区域，只需要输入整车的图片就能自动识别出颜色，所以能够避免因颜色识别区域误选而导致的识别出错的问题。

2)不需要像深度学习那样用大样本来进行训练以及搭建识别网络。而且对于颜色识别这种低层的语义信息使用计算机视觉算法能够节省项目中的运算资源，降低产品的使用成本。

3)提出的整车分割算法能够准确分割出各种姿态下的车辆图像从而避免背景因素对颜色识别的影响。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。