一种基于深度学习模型的车辆颜色识别方法与流程

本发明属于图形处理技术领域，具体涉及一种基于深度学习模型的车辆颜色识别方法。

背景技术：

车辆颜色作为车辆可靠显著的特征，为车辆识别、监控、跟踪等方面提供了有用的信息。车辆颜色识别是一种根据输入的车辆图像或视频，来确定图像或视频中车辆颜色的技术，已被广泛应用于公安执法、车辆追踪等领域。现有的车辆颜色识别技术通常基于颜色区域的选择和深度学习中分类算法。筛选具有代表性的颜色区域是准确识别车辆颜色的前提，但在现实情况中，由于光照条件和复杂背景等自然因素，会对选择的颜色区域造成误差。有些学者选取车窗部分作为颜色识别区域，有些学者采用整个车身颜色作为识别区域，然后用传统方法统计颜色识别结果进而确定车辆颜色。车辆颜色识别属于一种分类问题，基于深度学习的分类算法在车辆颜色识别问题上应用广泛。例如将获得的车辆图片进行颜色分类并标注，输入到卷积神经网络中进行训练，进而获得准确率高的分类网络以后续应用。

现有的根据选择代表性颜色区域的识别方法，在选取颜色区域块的过程中，会受到光照、车辆姿态等因素的较大干扰造成识别结果错误，并且在区域选择时，有可能会截取到部分车窗、车栅栏、天窗区域，将带有非颜色信息的区域进行识别同样会造成误识别。而基于深度学习中的分类算法进行车辆颜色识别的方法，由于卷积神经网络的特性，高层信息很可能会覆盖低层信息，无法全面提取车辆的颜色特征，导致分类错误率较高，需要将不同特征层提取的特征进行融合，目前的分类网络达不到较好的特征融合效果。

技术实现要素：

为了解决现有技术中存在的技术缺陷，本发明提出了一种基于深度学习模型的车辆颜色识别方法。

本发明通过以下技术方案实现：

一种基于深度学习模型的车辆颜色识别方法，其包括步骤：

(1)输入车辆图像，基于改进的maskrcnn进行车辆图像分割，获取发动机盖和车顶区域的轮廓信息；在所述改进的maskrcnn中，将inception模块引入resnet50中，分别在res2_、res3_、res4_三个部分的relu层后添加，采用3×3、1×1大小的卷积堆叠构成三个支路，第一条支路由1×1卷积层构成，第二条支路由1×1卷积层后接3×3卷积层构成，第三条支路由1×1卷积层后接两个3×3卷积层构成，最终将三个支路的输出进行融合；

(2)对分割后的车辆图像进行掩膜处理，根据检测位置生成掩膜并与原车辆图像结合处理得到只包含发动机盖和车顶区域的新的待识别图像；

(3)将新的待识别图像映射到rgb颜色空间中；

(4)用k-means算法对颜色特征进行聚类，最终得到颜色识别结果。

进一步地，所述改进的maskrcnn的主干网络设定为resnet50和特征金字塔网络的结合。

进一步地，所述改进的maskrcnn还包括，每个卷积层后跟随batchnormalization层和非线性函数relu层，最终将三个支路的输出进行融合，融合层后跟随一个1×1的卷积层及batchnormalization层。

进一步地，所述改进的maskrcnn还包括，将生成掩膜分支的部分移到检测部分后，得到检测结果后再做分割。

进一步地，所述步骤(2)中进一步包括，根据分割后的车辆图像，获得发动机盖以及车顶区域较为精确的轮廓信息，设置与输入的车辆图像尺寸一致的二进制掩膜矩阵，当像素属于目标的所在位置时标识为一，其它位置标识为零；根据分割后的位置信息，将发动机盖及车顶位置的矩阵元素置为一，包括发动机盖和车顶区域的边缘位置，其余位置的矩阵元素置为零；将掩膜矩阵与输入的车辆图像矩阵进行点乘，得到只包含发动机盖及车顶区域的新的待识别图像。

进一步地，所述步骤(3)中进一步包括，得到新的待识别图像后，通过每一个像素点的信息，可以将所述待识别图像映射到rgb颜色空间中，以三维颜色空间中点阵的形式体现图像的颜色信息。

进一步地，所述步骤(4)中，所述的用k-means算法对颜色特征进行聚类具体为使用k-means算法对映射到rgb颜色空间中的车辆颜色信息点进行分类，划分为曝光、阴影和正常区域三类。

进一步地，所述步骤(4)中进一步包括，将聚类后曝光和阴影区域的颜色信息点删除，只留下正常区域的点集，对正常区域点集中所有像素点取平均，可以在rgb颜色空间中找到平均点所对应的r、g、b值，最终得到待识别图像的颜色输出。

本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述的车辆颜色识别方法的步骤。

本发明还包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现所述的车辆颜色识别方法的步骤。

与现有技术相比，本发明至少具有下述的有益效果或优点：加强了卷积神经网络的特征提取能力，提升了图像分割的速度同时保证了分割区域的准确性，并且能很好地适应强光照，多姿态的复杂车辆场景，达到较好的车辆颜色识别效果。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1为本发明的改进的maskrcnn网络结构图；

图2为本发明的车辆颜色识别流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于深度学习模型的车辆颜色识别方法，首先基于分割的深度学习模型进行车辆颜色区域提取，再通过k-means聚类算法对提取的颜色特征进行处理，提高整体的车辆颜色识别效率。通过图像实例分割算法，同时选取发动机盖和车顶区域作为颜色截取区域；根据检测位置生成掩膜并与原图结合处理得到只包含发动机盖和车顶部分的待识别图像；将待识别图像映射到rgb颜色空间中，用k-means算法进行聚类，最终得到颜色识别结果。

基于深度学习中的分割模型为基础，主要采用maskrcnn模型，它是在fasterrcnn分类加回归模型的基础上再添加一个分割任务(生成掩膜)，在实现目标检测的同时，实现在像素级场景中识别不同目标，利用图像分割技术定位每个目标的精确像素。主要由残差网络和特征金字塔网络结合作为主干网络，残差网络有较强的特征表达能力并且特征金字塔网络可以更好地融合多尺度的特征信息，使得对车辆颜色区域的分割更加精细。基于此对maskrcnn网络作出进一步改进，本技术方案主干网络设定为resnet50和特征金字塔网络的结合。改进一：将inception模块引入resnet50中，分别在res2_、res3_、res4_三个部分的relu层后添加，采用3×3、1×1大小的卷积堆叠构成三个支路，第一条支路由1×1卷积层构成，第二条支路由1×1卷积层后接3×3卷积层构成，第三条支路由1×1卷积层后接两个3×3卷积层构成，每个卷积层后跟随batchnormalization层和非线性函数relu层(用于提高网络的非线性特征)，最终将三个支路的输出进行融合，融合层后跟随一个1×1的卷积层及batchnormalization层，其目的是保证输出的维度一致，并作为下一部分的输入。改进二：由于maskrcnn算法需要进行像素级别语义分割的区域仅仅是在检测最终结果的窗口内部区域，并且网络中最终输出的候选框进行过滤后剩余的较少，网络学习能力得不到泛化，因此网络结构中，将生成掩膜分支的部分移到检测部分后，改变了原始网络检测、分类、分割三者并行的方式，得到检测结果后再做分割，具体改进见图1。

基于这种改进方案的maskrcnn算法中，inception模块在保证网络深度不变的同时增加了网络的宽度，并且增强了网络对尺度的适应性，采用多尺度卷积增大了感受野，可以提取更加丰富的车辆特征，对标识的发动机盖和车顶区域的分割更加精准，同时小尺度卷积核保证网络训练中有相同的特征提取能力同时不会造成参数冗余。将分割放在检测后进行，提高了网络的收敛速度，加快了整体的车辆颜色识别流程。

本实施例基于改进的maskrcnn对输入的车辆图片首先进行预处理，可以得到分割后的发动机盖及车顶区域。根据分割后的车辆图像，获得发动机盖以及车顶区域较为精确的轮廓信息，设置与输入的车辆图像尺寸一致的二进制掩膜矩阵，当像素属于目标的所在位置时标识为一，其它位置标识为零。根据分割后的位置信息，将发动机盖及车顶位置的矩阵元素置为一，包括发动机盖和车顶区域的边缘位置，其余位置的矩阵元素置为零。将掩膜矩阵与输入的车辆图像矩阵进行点乘，得到只包含发动机盖及车顶部分的车辆图像新的待识别样本。

得到车辆图像新的待识别样本后，通过每一个像素点的信息，可以将待识别样本映射到rgb颜色空间中，以三维颜色空间中点阵的形式体现图像的颜色信息。k-means聚类算法是将数据对象分组成为多个类或者簇，使得在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。本技术方案使用k-means聚类算法对映射到rgb颜色空间中的车辆颜色信息点进行分类，划分为曝光、阴影和正常区域三类，分别对应待识别样本中过于曝光、阴影和能够正常识别颜色的区域。将聚类后曝光和阴影的部分删除，只留下正常区域的点集，对正常区域点集中所有像素点取平均，可以在rgb颜色空间中找到平均点所对应的r、g、b值，最终得到待识别样本的颜色输出。其流程图如图2所示，包括步骤：

s1：输入车辆图像；

s2：基于改进的maskrcnn进行图像分割；

s3：对分割后的图像进行掩膜处理；

s4：图像映射到rgb颜色空间特征提取；

s5：k-means对颜色特征进行分类；

s6：输出车辆颜色。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现车辆颜色识别方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现车辆颜色识别方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。