车辆颜色分类模型训练方法、装置和车辆颜色识别方法与流程

本发明涉及图像识别技术领域，尤其涉及一种车辆颜色分类模型训练方法、装置和车辆颜色识别方法。

背景技术：

车身颜色识别是车辆属性识别领域的关键问题，是进行车辆特征识别和分析的基础，具有重要的研究价值。随着深度学习理论的推广和使用，车辆检测准确率不断提升，基于车身或者车脸等部位的检测结果，现有的车身颜色识别方法主要集中在以下几个方式：

方式一、颜色检测区域定位的研究。进行车辆颜色识别的前提是获取一块稳定的颜色识别区域，比如将汽车前盖上的部分矩形作为颜色检测区域，或者采用整车区域作为颜色检测区域。

方式二、基于整车图像分割算法的研究。除了定位颜色识别区域的方法，整车分割也是进行车辆颜色识别的主要方法。利用图像处理算法，将车身部分和背景部分分割出来，从而针对车身部分进行颜色识别。

复杂场景下的车辆颜色识别是车辆属性识别领域的研究热点，虽然取得了一定的成果，但是依然存在很多技术难点:车辆颜色易受光照、粉尘等场景因素影响，颜色本身是一个带有主观性的特征，在监控场景中的车辆颜色由于光照、粉尘等场景因素的影响，人眼也经常出现难以识别的情况。颜色检测区域难以准确定位，对于室外复杂场景下，无论是基于车身还是车脸的颜色识别区域，在截取的过程中都会受到当前检测算法、车辆的姿态、复杂背景干扰或者前景遮挡的影响，截取出来的车辆颜色识别区域往往带有大量的非车辆颜色的信息。

技术实现要素：

本发明实施例的目的是提供一种车辆颜色分类模型训练方法、装置和车辆颜色识别方法，能应对不同场景下车身颜色的变化，提高车辆颜色识别精度。

为实现上述目的，本发明实施例提供了一种车辆颜色分类模型训练方法，包括：

将若干张车辆图像输入到预先训练好的深度神经网络中，以提取出车辆颜色特征集；

利用聚类算法对所述车辆颜色特征集进行聚类运算，得到若干个不同场景类别下的子集；

将与所述子集对应的场景类别下的车辆图像输入到对应的车辆颜色分类子模型中，以对所述车辆颜色分类子模型进行训练；

将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型；其中，所述车辆颜色分类子模型和所述车辆颜色分类模型均由深度神经网络设计得到。

与现有技术相比，本发明公开的车辆颜色分类模型训练方法，首先，将车辆图像输入到预先训练好的深度神经网络中，经过神经深度网络将图像数据转换为数值型数据，提取出车辆颜色特征集；然后，利用聚类算法对所述车辆颜色特征集进行聚类运算，可以根据图像的场景相似性将数据集分若干个对应的子集；最后，根据所述子集分别训练对应的车辆颜色分类子模型，并将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型。将所有场景下的车辆颜色分类子模型综合起来训练的车辆颜色分类模型，对各个场景光照具备较强的适应能力，能应对光照条件变化时车身颜色的变化，模型的适应性和鲁棒性更强，达到更高的颜色识别精度。

作为上述方案的改进，所述利用聚类算法对所述车辆颜色特征集进行聚类运算，得到若干个不同场景类别下的子集，满足公式：

其中，针对车辆颜色特征集d，设xi∈d,i＝1…n为一张车辆图像的数值特征；ck为所述子集的个数；所述车辆颜色特征集分为若干个所述子集sj,j∈1,…k。

作为上述方案的改进，所述聚类算法为k-means算法。

作为上述方案的改进，所述将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层前，还包括：

删除所述车辆颜色分类子模型中的全连接层和分类层。

作为上述方案的改进，所述深度神经网络包括vgg16、resnet、squeezenet中的至少一种。

为实现上述目的，本发明实施例还提供了一种车辆颜色分类模型训练装置，包括：

车辆颜色特征集提取模块，用于将若干张车辆图像输入到预先训练好的深度神经网络中，以提取出车辆颜色特征集；

聚类运算模块，用于利用聚类算法对所述车辆颜色特征集进行聚类运算，得到若干个不同场景类别下的子集；

车辆颜色分类子模型训练模块，用于将与所述子集对应的场景类别下的车辆图像输入到对应的车辆颜色分类子模型中，以对所述车辆颜色分类子模型进行训练；

车辆颜色分类模型训练模块，用于将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型；其中，所述车辆颜色分类子模型和所述车辆颜色分类模型均由深度神经网络设计得到。

与现有技术相比，本发明公开的车辆颜色分类模型训练装置，首先，车辆颜色特征集提取模块将车辆图像输入到预先训练好的深度神经网络中，经过神经深度网络将图像数据转换为数值型数据，提取出车辆颜色特征集；然后，聚类运算模块利用聚类算法对所述车辆颜色特征集进行聚类运算，可以根据图像的场景相似性将数据集分若干个对应的子集；最后，车辆颜色分类子模型训练模块根据所述子集分别训练对应的车辆颜色分类子模型，车辆颜色分类模型训练模块将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型。将所有场景下的车辆颜色分类子模型综合起来训练的车辆颜色分类模型，对各个场景光照具备较强的适应能力，能应对光照条件变化时车身颜色的变化，模型的适应性和鲁棒性更强，达到更高的颜色识别精度。

作为上述方案的改进，所述利用聚类算法对所述车辆颜色特征集进行聚类运算，得到若干个不同场景类别下的子集，满足公式：

其中，针对车辆颜色特征集d，设xi∈d,i＝1…n为一张车辆图像的数值特征；ck为所述子集的个数；所述车辆颜色特征集分为若干个所述子集sj,j∈1,…k。

作为上述方案的改进，所述聚类算法为k-means算法。

作为上述方案的改进，所述装置还包括车辆颜色分类子模型处理模块，所述车辆颜色分类子模型处理模块用于删除所述车辆颜色分类子模型中的全连接层和分类层。

为实现上述目的，本发明实施例还提供一种车辆颜色识别方法，包括：

获取车辆的待识别图像；

将所述待识别图像输入预先训练好的车辆颜色分类模型中；其中，所述车辆颜色分类模型的训练方法为如权利要求1～5中任一项所述的车辆颜色分类模型训练方法；

获取所述车辆颜色分类模型的输出数据作为所述车辆颜色识别的结果。

附图说明

图1是本发明实施例提供的一种车辆颜色分类模型训练方法的流程图；

图2是本发明实施例提供的一种车辆颜色分类模型训练方法中车辆颜色分类子模型的训练框架；

图3是本发明实施例提供的一种车辆颜色分类模型训练方法中车辆颜色分类模型的训练框架；

图4是本发明实施例提供的一种车辆颜色分类模型训练装置的结构示意图；

图5是本发明实施例提供的一种车辆颜色识别方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

值得说明的是，视频监控系统中往往有成千上万个摄像头，这些摄像头的部署环境不可能完全一致，因此，来自这些摄像头的图像数据也会有很多差别，其中光照是最关键的影响因素。虽然，图像的拍摄场景复杂多样，但是，仍然可以找到其中的分布规律。在同一时间段，同一地点的摄像头，由于不同的光照条件，拍摄的图像可能会存在很大差别；而不同时间段，不同地点的摄像头也可能因为相似的光照条件而呈现较为一致的图像质量。因此，本发明实施例中根据不同光照场景下获取对应的车辆图像进行训练，从而训练出能够适用于多种场景类别下的车辆颜色分类模型。

实施例一

参见图1，图1是本发明实施例提供的一种车辆颜色分类模型训练方法的流程图；包括：

s11、将若干张车辆图像输入到预先训练好的深度神经网络中，以提取出车辆颜色特征集；

s12、利用聚类算法对所述车辆颜色特征集进行聚类运算，得到若干个不同场景类别下的子集；

s13、将与所述子集对应的场景类别下的车辆图像输入到对应的车辆颜色分类子模型中，以对所述车辆颜色分类子模型进行训练；

s14、将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型；其中，所述车辆颜色分类子模型和所述车辆颜色分类模型均由深度神经网络设计得到。

具体的，在步骤s11中，图像数据是无法直接进行聚类运算的，因此必须借助深度神经网络将其转换为数值型特征。优选的，所述深度神经网络包括vgg16、resnet、squeezenet中的至少一种。由于颜色特征为图像的浅层特征，故提取过程中，可对深度神经网络做适当裁剪。设车辆颜色数据集为v(即输入的若干张车辆图像，该车辆颜色数据集包含了不同场景类别、不同颜色的车辆图像)，经过神经网络提取的车辆颜色特征集为d，将车辆图像转换为数值型数据。

具体的，在步骤s12中，针对车辆颜色特征集d，设xi∈d,i＝1…n为一张车辆图像的数值特征，应用k-means算法对d进行聚类，目的是将所有相似场景的图像进行聚类，满足公式：

其中，针对车辆颜色特征集d，设xi∈d,i＝1…n为一张车辆图像的数值特征；ck为所述子集的个数；所述车辆颜色特征集分为若干个所述子集sj,j∈1,…k。

通过k-means对车辆颜色图像的数值特征进行聚类，将数据集按照场景分为几个子集，每个子集的类内差异变小，针对每个子集训练的深度神经网络模型减少了性能震荡，在该场景下分类精度可以达到较高水平。

优选的，所述场景类别可以分为微曝光场景、均衡光场景、阴影光场景、弱光照场景和无光照场景，在本发明实施例中所述场景类别分为上述五种类别，但在其他实施例中，所述场景类别可根据实际情况来设定，并不局限于上述五种场景，都在本发明的保护范围内。通过聚类运算，可以根据图像的场景相似性将数据集分为若干个子集，每个子集中的图像可能来自于不同的摄像头，也可能来自不同的时间段，但是它们具有相似的场景及光照条件，因此具有相似性。

具体的，在步骤s13中，针对所述子集sj，分别设计对应的深度神经网络进行训练，在训练过程中输入的数据为当前所述子集对应场景类别下的车辆图像，从而得到k个对应的车辆颜色分类子模型，此处将所述车辆颜色分类子模型统一命名为teacher模型。值得说明的是，此时得到的每一所述teacher模型均可单独对车辆图像进行识别，比如当所述teacher模型为微曝光场景下的车辆颜色分类子模型时，此时输入微曝光场景下的车辆图像，即可对车辆图像进行颜色识别。针对不同场景对车辆颜色进行识别，能够避免因不同光照下导致车辆颜色难以识别的问题。

如图2所示，图2是本发明实施例提供的一种车辆颜色分类模型训练方法中车辆颜色分类子模型的训练框架；其中，teacher1对应的场景类别为微曝光场景，teacher2对应的场景类别为均衡光场景，teacher对应的场景类别为阴影光场景，teacher4对应的场景类别为弱光照场景，teacher5对应的场景类别为无光照场景。由于所述子集的场景、光照具有一定的相似性，因此每个teacher模型都能针对其训练子集进行精确度较高的车身颜色分类。

具体的，在步骤s14中，基于得到的k个teacher模型，设计新的深度神经网络模型，即所述车辆颜色分类模型，此处将所述车辆颜色分类模型命名为student。利用k个teacher模型对student模型进行引导训练，此时teacher模型的权重参数不再更新，只是将其已学习到的场景知识迁移到student中，具体的所述车辆颜色分类模型框架如图3所示。

在训练student模型时，将5个teacher模型最后的全连接层和softmax分类层删掉，并将所有所述teacher模型的输出层链接到student模型的输入层，这样一来，在训练过程中，teacher模型就会分别向student输入各自的先验知识，将各个teacher模型对自身场景的特征提取能力迁移到student模型中，使得student模型能适应多个场景，能应对光照条件变化时车身颜色的变化，模型的适应性和鲁棒性更强，达到更高的颜色识别精度。

与现有技术相比，本发明公开的车辆颜色分类模型训练方法，首先，将车辆图像输入到预先训练好的深度神经网络中，经过神经深度网络将图像数据转换为数值型数据，提取出车辆颜色特征集；然后，利用聚类算法对所述车辆颜色特征集进行聚类运算，可以根据图像的场景相似性将数据集分若干个对应的子集；最后，根据所述子集分别训练对应的车辆颜色分类子模型，并将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型。将所有场景下的车辆颜色分类子模型综合起来训练的车辆颜色分类模型，对各个场景光照具备较强的适应能力，能应对光照条件变化时车身颜色的变化，模型的适应性和鲁棒性更强，达到更高的颜色识别精度。

实施例二

参见图4，图4是本发明实施例提供的一种车辆颜色分类模型训练装置的结构示意图；包括：

车辆颜色特征集提取模块11，用于将若干张车辆图像输入到预先训练好的深度神经网络中，以提取出车辆颜色特征集；

聚类运算模块12，用于利用聚类算法对所述车辆颜色特征集进行聚类运算，得到若干个不同场景类别下的子集；

车辆颜色分类子模型训练模块13，用于将与所述子集对应的场景类别下的车辆图像输入到对应的车辆颜色分类子模型中，以对所述车辆颜色分类子模型进行训练；

车辆颜色分类模型训练模块14，用于将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型；其中，所述车辆颜色分类子模型和所述车辆颜色分类模型均由深度神经网络设计得到；

车辆颜色分类子模型处理模块15，用于删除所述车辆颜色分类子模型中的全连接层和分类层。

具体的，图像数据是无法直接进行聚类运算的，因此必须借助深度神经网络将其转换为数值型特征。优选的，所述深度神经网络包括vgg16、resnet、squeezenet中的至少一种。由于颜色特征为图像的浅层特征，故提取过程中，可对深度神经网络做适当裁剪。设车辆颜色数据集为v(即输入的若干张车辆图像，该车辆颜色数据集包含了不同场景类别、不同颜色的车辆图像)，所述车辆颜色特征集提取模块11经过神经网络提取的车辆颜色特征集为d，将图像数据转换为数值型数据。

具体的，针对车辆颜色特征集d，设xi∈d,i＝1…n为一张车辆图像的数值特征，所述聚类运算模块12应用k-means算法对d进行聚类，目的是将所有相似场景的图像进行聚类，满足公式：

其中，针对车辆颜色特征集d，设xi∈d,i＝1…n为一张车辆图像的数值特征；ck为所述子集的个数；所述车辆颜色特征集分为若干个所述子集sj,j∈1,…k。

通过k-means对车辆颜色图像的数值特征进行聚类，将数据集按照场景分为几个子集，每个子集的类内差异变小，针对每个子集训练的深度神经网络模型减少了性能震荡，在该场景下分类精度可以达到较高水平。

优选的，所述场景类别可以分为微曝光场景、均衡光场景、阴影光场景、弱光照场景和无光照场景，在本发明实施例中所述场景类别分为上述五种类别，但在其他实施例中，所述场景类别可根据实际情况来设定，并不局限于上述五种场景，都在本发明的保护范围内。通过聚类运算，可以根据图像的场景相似性将数据集分为个子集，每个子集中的图像可能来自于不同的摄像头，也可能来自不同的时间段，但是它们具有相似的场景及光照条件，因此具有相似性。

具体的，所述车辆颜色分类子模型训练模块13针对所述子集sj，分别设计对应的深度神经网络进行训练，在训练过程中输入的数据为当前所述子集对应场景类别下的车辆图像，从而得到k个对应的车辆颜色分类子模型，此处将所述车辆颜色分类子模型统一命名为teacher模型。

具体的，基于得到的k个teacher模型，设计新的深度神经网络模型，即所述车辆颜色分类模型，此处将所述车辆颜色分类模型命名为student。所述车辆颜色分类模型训练模块14利用k个teacher模型对student模型进行引导训练，此时teacher模型的权重参数不再更新，只是将其已学习到的场景知识迁移到student中。

在训练student模型时，所述车辆颜色分类子模型处理模块15将5个teacher模型最后的全连接层和softmax分类层删掉，所述车辆颜色分类模型训练模块14将所有所述teacher模型的输出层链接到student模型的输入层，这样一来，在训练过程中，teacher模型就会分别向student输入各自的先验知识，将各个teacher模型对自身场景的特征提取能力迁移到student模型中，使得student模型能适应多个场景，能应对光照条件变化时车身颜色的变化，模型的适应性和鲁棒性更强，达到更高的颜色识别精度。

与现有技术相比，本发明公开的车辆颜色分类模型训练装置，首先，车辆颜色特征集提取模块11将车辆图像输入到预先训练好的深度神经网络中，经过神经深度网络将图像数据转换为数值型数据，提取出车辆颜色特征集；然后，聚类运算模块12利用聚类算法对所述车辆颜色特征集进行聚类运算，可以根据图像的场景相似性将数据集分若干个对应的子集；最后，车辆颜色分类子模型训练模块13根据所述子集分别训练对应的车辆颜色分类子模型，车辆颜色分类模型训练模块14将所有所述车辆颜色分类子模型的输出层链接到车辆颜色分类模型的输入层，以训练所述车辆颜色分类模型。将所有场景下的车辆颜色分类子模型综合起来训练的车辆颜色分类模型，对各个场景光照具备较强的适应能力，能应对光照条件变化时车身颜色的变化，模型的适应性和鲁棒性更强，达到更高的颜色识别精度。

实施例三

参见图5，图5是本发明实施例提供的一种车辆颜色识别方法的流程图；包括：

s21、获取车辆的待识别图像；

s22、将所述待识别图像输入预先训练好的车辆颜色分类模型中；其中，所述车辆颜色分类模型的训练方法为如上述实施例一所述的车辆颜色分类模型训练方法；

s23、获取所述车辆颜色分类模型的输出数据作为所述车辆颜色识别的结果。

本发明实施例所述的车辆颜色识别方法采用了实施例一所述车辆颜色分类模型训练方法中训练后的车辆颜色分类模型训练模型，能应对不同场景下车身颜色的变化，提高车辆颜色识别精度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。