交通设备的属性识别方法和装置与流程

本发明涉及计算机网络及计算机软件技术领域，特别地涉及一种交通设备的属性识别方法和装置。

背景技术：

随着智能交通系统(Intelligent Transportation System，简称ITS)的广泛应用，交通设备的属性也得到了相应的重视，例如，车身颜色的识别技术尤为突出。

现有的基于视觉信息(图片或者视频)识别交通设备的属性，例如，车身颜色的现有技术方案通常做法是分两个步骤进行：首先在图片中检测到相关车辆的坐标位置。利用一个车辆检测器检测一张图片中的所有车辆，然后将相关车辆在图片上的坐标位置输出出来，给出了坐标点构成一个可以框住相关车辆的框(bounding box)，每一个bounding box只框住一辆车。如果一张图片中有多辆车，则有多个bounding box与其对应；再次将相关车辆按照其对应的坐标位置从原始图片中剪切出来，也就是按照bounding box将一将剪切后的图片放入一个分类器中，分类器的输出结果是这辆车的识别结果。具体做法如下：将原始图片输入(像素值)转化为人们手动定义的特征(human-engineered features)，比如尺度不变特征变换SIFT(Scale-invariant feature transform)，方向梯度直方图HOG(Histogram of Oriented Gradient)特征等。然后将这些变换后的特征放入分类器中进行分类，得到物体的识别结果，对应本专利中的车身颜色信息。

但是上述技术方案中主要有三个主要缺点；首先准确率偏低、容易误报。产生这个问题的主要原因是现有算法对于强光照、黑暗、阴影、曝光过强等干扰颜色的情况的处理非常弱，所以当这些情况发生的时候，模型的颜色判定能力会变得非常不好，产生大量颜色误报；其次，现有算法基于手工定义特征，而非完全端到端(end-to-end)的数据驱动。端到端的数据驱动意味着模型的输入是原始图片，输出是想要的车身颜色分类结果，中间层的特征提取不需要人手动参与，而完全由数据自我驱动；最后，传统方法采用的是“浅层”模型，即特征提取层只有一个，而且没有经过非线性变换，这样造成的后果就是特征提取的不充分，提取出来的特征不足以刻画问题的本质，因此造成模型判定能力的不足。

技术实现要素：

基于此，有必要针对传统技术中的上述缺点，提供一种能够有效且准确识别交通设备的属性信息的方法和装置。

为实现本发明目的，提供了一种交通设备的属性识别方法，包括：获取多个交通设备作为原始样本集，并对所述原始样本集中的每个交通设备进行拍照，获取的图片作为所述原始样本集中的图片；对所述原始样本集中的每个图片执行尺寸统一化操作，并将所述原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作；对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集；对所述训练样本集执行深度网络训练，生成所述交通设备的属性识别模型；将测试图片输入所述交通设备的所述属性识别模型，生成对应的所述交通设备的属性概率向量，并根据所述属性概率向量生成所述交通设备的属性识别结果。

在其中一个实施例中，所述获取多个交通设备作为原始样本集包括：在预设时间段内对所述多个交通设备进行采样，获取所述多个交通设备作为原始样本集。

在其中一个实施例中，所述对所述训练样本集执行深度网络训练，生成所述交通设备的属性识别模型包括：采用包括五个卷积层、五个池化层和三个全连接层的网络结构对所述训练样本集进行深度网络训练，生成所述交通设备的属性识别模型。

基于同一发明构思的一种交通设备的属性识别装置，包括：原始样本集获取模块，用于获取多个交通设备作为原始样本集，并对所述原始样本集中的每个交通设备进行拍照，获取的图片作为所述原始样本集中的图片；操作模块，用于对所述原始样本集中的每个图片执行尺寸统一化操作，并将所述原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作；训练样本集获取模块，用于对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集；模型训练模块，用于对所述训练样本集执行深度网络训练，生成所述交通设备的属性识别模型；模型测试模块，用于将测试图片输入所述交通设备的所述属性识别模型，生成对应的所述交通设备的属性概率向量，并根据所述属性概率向量生成所述交通设备的属性识别结果。

在其中一个实施例中，所述原始样本集获取模块包括：采样模块，用于在预设时间段内对所述多个交通设备进行采样，获取所述多个交通设备作为原始样本集。

在其中一个实施例中，所述模型训练模块还用于采用包括五个卷积层、五个池化层和三个全连接层的网络结构对所述训练样本集进行深度网络训练，生成所述交通设备的属性识别模型。

本发明提供的一种交通设备的属性识别方法和装置，通过获取多个交通设备作为原始样本集，并对原始样本集中的每个交通设备进行拍照，获取的图片作为原始样本集中的图片；对原始样本集中的每个图片执行尺寸统一化操作，并将原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作；对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集；对训练样本集执行深度网络训练，生成交通设备的属性识别模型；将测试图片输入交通设备的属性识别模型，生成对应的交通设备的属性概率向量，并根据属性概率向量生成交通设备的属性识别结果。该方法能够大幅提升算法的准确性，降低误报；使用深度网络，克服了浅层网络特征提取不充分的问题；同时，还能够完全由数据驱动的端到端的模型，没有引入手动定义的特征。

附图说明

图1为本发明一个实施例中的一种交通设备的属性识别方法的步骤流程图；

图2为本发明一个实施例中的一种交通设备的属性识别方法中的深度网络训练示意图；

图3为本发明另一个实施例中的一种交通设备的属性识别方法的步骤流程图；以及

图4为本发明一个实施例中的一种交通设备的属性识别装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施方式做出说明，其中包括本发明实施方式的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施方式做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，为一个实施例中的一种交通设备的属性识别方法的步骤流程图。具体包括以下步骤：

步骤102，获取多个交通设备作为原始样本集，并对原始样本集中的每个交通设备进行拍照，获取的图片作为原始样本集中的图片。

本实施例中，获取同一类型的交通设备的图片，例如，获取多张原始的车辆图片，通过人工标定将车辆图片中的汽车划定为12类车身颜色中的某一种颜色。其中，一张车辆图片对应的车身颜色(例如黑色)可视为一个样本数据，且车身颜色为交通设备中的一个属性。

步骤104，对原始样本集中的每个图片执行尺寸统一化操作，并将原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作。

本实施例中，由于多张原始同一类型的交通设备图片可能尺寸大小不一致，需要通过缩放优选的变换全部变成128×128(单位为像素，下文略)的图片。且尽管原始样本集中有多条样本数据，但仍然可以通过自增强操作来进一步增加样本数据量。具体地，可以从上述的一张128×128的图片中多次地随机地选取118×118的局部作为新样本数据，也就是说可以从原先一个原有样本数据中获得多个衍生样本数据。

步骤106，对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集。

本实施例中，在常规情况下RGB通道上的像素数值是0到255之间。其中，数值中心化是指将每个像素值减去128。数值缩小化操作就是将减去128后的值再乘以0.01。经过上述数值处理之后有利于之后步骤的数值运算。

步骤108，对训练样本集执行深度网络训练，生成交通设备的属性识别模型。

本实施例中，可以采用包括五个卷积层(convolutional layer)、五个池化层(pooling layer)和三个全连接层(fully connected layer)的网络结构对训练样本集进行深度网络训练，生成交通设备的属性识别模型。其中，需要进一步说明的是，图2为本发明一个实施例中的一种交通设备的属性识别方法中的深度网络训练示意图。

具体的，如图2所示的算法先后使用了五个卷积层，每个卷积层后面都会跟上相应池化层，最后再接上三个全连接层。其中最后一个全连接层的输出个数即是颜色分类的数目，全连接层上的每一个输出节点对应该图片是相应车辆类别的概率，此操作为softmax。最后将该输出概率，即为一数组与真实标定类别，即为一个等长数组比较，使用cross entropy loss function来度量模型输出结果与真实值的差异。该差异会反逐层反传到网络中，进行模型的参数训练。

进一步的，将经过训练样本集中的图片进行卷积层一，即进行第一次卷积运算，即使用一个固定大小的卷积核以一定的步长扫描整幅图片。在任一卷积核扫到的位置，将卷积核里面的参数值与对应位置的像素值做加乘运算得到一个输出值，最后再将这个输出值做一个非线性变化之后得到对应位置最终的输出值。这样一副图片经过一个卷积层之后，就会变成另一个“图片”，这幅新的“图片”的高度、宽度以及通道数目都是可以被预先设置的。卷积操作通过卷积核将原始图片的像素值做线性相加然后做非线性变换，目的是提取一副图片的高维度信息。接着将经过第一个卷积层操作的特征图片经过一个池化层。池化层不包括任何参数，这一层的目的是将特征图片降维然后找到局部最大值响应。然后将卷积层一和池化层一得到的图片经过下一个卷积层二，目的是提取比第一个卷积操作更高维度的信息。将经过两个卷积操作和一个池化操作后得到的特征图片再经过一个池化层，即经过池化层二。将第二个池化层得到的特征图再顺序地放入卷积层三、池化层三、卷积层四、池化层四以及卷积层五中去，然后将经过以上操作之后输出的特征图放入最后一个池化层，即池化层五中去，给特征图降维。然后，将输出的特征图片放入一个全连接层。全连接操作与卷积操作类似，都是进行加乘运算之后做非线性边换。不同的是卷积操作是网络神经元的局部连接，而全连接操作是两层之间的每一个神经元都有连接关系。全连接操作的目的是在特征图整理范围内进一步提取高维度信息。全连接层的输出已经不是一个特征图片了，而是一个特征向量。类似地，将上一个全连接的输出再顺序地通过另外两个全连接。例如，由于国家标准规定的汽车颜色是十二种颜色，因此设定最后的输出为一个12个维度的特征向量。12个维度的每一个数值代表这副图片在12种颜色上的激活值。最后，将最后一个全连接层神经元吐出来的数值做一个softmax变换，将其转化为概率输出数值，即softmax操作使得每一个神经元的输出变成其对应颜色的概率数值。每一个概率数值都在0到1之间，而且它们的和为1。

步骤110，将测试图片输入交通设备的属性识别模型，生成对应的交通设备的属性概率向量，并根据属性概率向量生成交通设备的属性识别结果。

如图3所示，为另一个实施例中的一种交通设备的属性识别方法的步骤流程图。具体包括以下步骤：

步骤310，在预设时间段内对多个交通设备进行采样，获取多个交通设备作为原始样本集，并对原始样本集中的每个交通设备进行拍照，获取的图片作为原始样本集中的图片。

步骤320对原始样本集中的每个图片执行尺寸统一化操作，并将原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作。

步骤330，对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集。

步骤340，采用包括五个卷积层、五个池化层和三个全连接层的网络结构对训练样本集进行深度网络训练，生成交通设备的属性识别模型。

步骤350，将测试图片输入交通设备的属性识别模型，生成对应的交通设备的属性概率向量，并根据属性概率向量生成交通设备的属性识别结果。

本发明提供的一种交通设备的属性识别方法，通过获取多个交通设备作为原始样本集，并对原始样本集中的每个交通设备进行拍照，获取的图片作为原始样本集中的图片；对原始样本集中的每个图片执行尺寸统一化操作，并将原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作；对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集；对训练样本集执行深度网络训练，生成交通设备的属性识别模型；将测试图片输入交通设备的属性识别模型，生成对应的交通设备的属性概率向量，并根据属性概率向量生成交通设备的属性识别结果。该方法能够大幅提升算法的准确性，降低误报；使用深度网络，克服了浅层网络特征提取不充分的问题；同时，还能够完全由数据驱动的端到端的模型，没有引入手动定义的特征。

基于同一发明构思，还提供一种交通设备的属性识别装置，由于此装置解决问题的原理与前述一种交通设备的属性识别方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。

如图4所示，为一个实施例中的一种交通设备的属性识别装置的结构示意图。该交通设备的属性识别装置10包括：原始样本集获取模块100、操作模块200、训练样本集获取模块300、模型训练模块400和模型测试模块500。

其中，原始样本集获取模块100用于获取多个交通设备作为原始样本集，并对原始样本集中的每个交通设备进行拍照，获取的图片作为原始样本集中的图片；操作模块200用于对原始样本集中的每个图片执行尺寸统一化操作，并将原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作；训练样本集获取模块300用于对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集；模型训练模块400用于对训练样本集执行深度网络训练，生成交通设备的属性识别模型；模型测试模块500用于将测试图片输入交通设备的属性识别模型，生成对应的交通设备的属性概率向量，并根据属性概率向量生成交通设备的属性识别结果。

本实施例中，模型训练模块400还用于采用包括五个卷积层、五个池化层和三个全连接层的网络结构对所述训练样本集进行深度网络训练，生成所述交通设备的属性识别模型。

在一个实施例中，原始样本集获取模块100包括：采样模块110(图中未示出)用于在预设时间段内对多个交通设备进行采样，获取多个交通设备作为原始样本集。

经过实验证明，利用本实施例提供的一种交通设备的属性识别装置在独立测试集合的准确率>97％。

本发明提供的一种交通设备的属性识别装置，通过原始样本集获取模块100获取多个交通设备作为原始样本集，并对原始样本集中的每个交通设备进行拍照，获取的图片作为原始样本集中的图片；再通过操作模块200对原始样本集中的每个图片执行尺寸统一化操作，并将原始样本集的尺寸统一化操作生成的操作结果中的每个图片执行数量自增强操作；再通过训练样本集获取模块300对数量自增强操作生成的操作结果中的每个图片RGB通道上的像素值执行数值中心化操作以及数值缩小化操作，得到训练样本集；继而通过模型训练模块400对训练样本集执行深度网络训练，生成交通设备的属性识别模型；最终通过模型测试模块500将测试图片输入交通设备的属性识别模型，生成对应的交通设备的属性概率向量，并根据属性概率向量生成交通设备的属性识别结果。该装置能够大幅提升算法的准确性，降低误报；使用深度网络，克服了浅层网络特征提取不充分的问题；同时，还能够完全由数据驱动的端到端的模型，没有引入手动定义的特征。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。