一种基于空间金字塔池化的深度网络模型的车型识别方法
【专利摘要】本发明公开了一种基于空间金字塔池化深度网络模型的车型识别方法，首先将车型数据库的图像，导入深度网络模型进行卷积层特征提取，构成卷积层的特征图；再将卷积层特征图的每个图像，按不同尺度进行空间金字塔卷积运算，构成空间金字塔层的特征图；然后池化空间金字塔层的所有特征，构成全连接层，得到车型图像最终的特征表示；将车型图像的特征表示用于线性支持向量机训练，得到车型识别系统；对待识别车辆，同样获取其特征表示，导入识别系统即可识别出其车型。传统的深度网络模型输入图像必须为固定大小，限制了对大规模车型图像数据的操作，本发明采取基于空间金字塔池化的深度网络模型，很好地解决了这个问题，具有较高的实用性和鲁棒性。
【专利说明】
一种基于空间金字塔池化的深度网络模型的车型识别方法
技术领域
[0001] 本发明属于机器学习、模式分类和识别技术领域，特别涉及一种基于空间金字塔 池化的深度网络模型的车型识别方法。
[0002] 发明背景 随着现代社会生活水平的不断提高，汽车数量高速增长，交通监管面临巨大挑战。视频 监控系统作为交通监管的一种重要手段，已被广泛应用于现代交通的各个领域。然而传统 的依赖人工判读的方法已无法满足如今海量交通视频处理的需要，构建智能识别系统以自 动处理各种交通视频信息成为必然趋势。交通视频图像中车辆类型的识别，作为构建其中 的一项关键技术，长期以来受到国内外研究者的广泛关注。虽然已有高校和研究机构在此 投入了不少人力物力，但由于车辆外观复杂多样，受到背景、光照、视角等因素影响，在实际 应用中一直难以找到稳定。
[0003] 近年来深度学习理论迅速发展，与传统依赖先验知识的特征提取算法不同，深度 神经网络可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和普适性。作为 实现深度学习的一项重要技术，卷积神经网络（CNNs)成功训练了首个深层神经网络结 构，已在图像识别、语音识别等领域取得卓越成绩。卷积神经网络可将原始数据(如图像像 素值)直接作为输入，避免了传统识别算法中额外的数据预处理过程。它类似于生物神经网 络的权值共享网络结构可产生生物视觉中的局部感受野效应，降低网络模型复杂度、减少 权值数量的同时对平移、比例缩放、倾斜等视觉形变均具有高度的抵抗能力。
[0004] 然而，传统的卷积神经网络构架的输入图像的尺寸都是固定的（例如：256x256)， 这种人工改变输入图像的尺寸破坏了输入图像的尺度和长宽比例，这样就存在问题：（1)尺 度的选择具有主观性，对于不同的目标，其最适合的尺寸大小可能不一样；（2)对于不同的 尺寸大小的图像和长宽比的图像，强制变换到固定的大小会损失信息；（3)强制变换的图像 可能不包含完整的图像，也可能可能导致图像几何形变。
【发明内容】
[0005] 根据以上所述，本发明提出了一种基于空间金字塔池化深度网络模型的车型识别 方法，采用空间金字塔池化深度网络模型可以很好地解决上述问题，具体的技术方案如下 所述。
[0006] -种基于空间金字塔池化深度网络模型的车型识别方法，包括以下步骤： 步骤1:将车型数据库的图像，导入深度网络模型进行卷积层特征提取，构成卷积层的 特征图； 步骤2:将卷积层特征图的每个图像，按不同尺度进行空间金字塔卷积运算，构成空间 金字塔层的特征图； 步骤3:池化空间金字塔层的所有特征图，构成全连接层，得到车型图像最终的特征表 示； 步骤4:将车型图像的特征表示用于线性支持向量机训练，得到车型识别系统； 步骤5:对待识别车辆，同样获取其特征表示，导入识别系统即可识别出其车型。
[0007] 上述技术方案中，所述步骤1中将车型数据库的图像，导入深度网络模型进行卷积 层特征提取，构成卷积层的特征图，包括以下几个步骤： 步骤1.1:对车型数据库的图像，不做尺寸变换，按原始导入深度网络模型； 步骤1.2:深度网络模型的1到5层为卷积层，通过1到5层的卷积运算，构成车型图像卷 积层的特征图。
[0008] 上述技术方案中，所述步骤2中将卷积层特征图的每个图像，按不同尺度进行空间 金字塔卷积运算，构成空间金字塔层的特征图，包括以下几个步骤： 步骤2.1:经过卷积层的特征提取，构成卷积层特征图，将卷积层特征图的每个特征图 像进行再次卷积运算，得到空间金子塔的第1层特征图； 步骤2.2:将每个特征图像分为4块，对每一块进行卷积运算，得到空间金字塔的第2层 特征图； 步骤2.3:将每个特征图像分为16块，同样再对每一块进行卷积运算，构成空间金字塔 的第3层特征图。
[0009] 上述技术方案中，所述步骤3中池化空间金字塔层的所有特征，构成全连接层，得 到车型图像最终的特征表示，包括以下几个步骤： 步骤3.1:对步骤2中的空间金字塔的每一层，池化级联该层的特征图，构成该层的特征 表不； 步骤3.2:池化级联空间金字塔每一层的特征表示，得到统一长度的特征表示，构成全 连接层； 步骤3.3:将全连接层的特征表示，作为车型图像最终的特征表示，也即基于空间金字 塔池化的深度卷积特征表示。
[0010] 上述技术方案中，所述步骤4中将车型图像的特征表示用于线性支持向量机训练， 得到车型识别系统，包括以下几个步骤： 步骤4.1:通过步骤1到步骤3的特征提取，将当前类别车型图像的基于空间金字塔池化 的深度卷积特征作为正样本，其他类别车型图像的基于空间金字塔池化的深度卷积特征作 为负样本； 步骤4.2:使用线性SVM训练这两个样本，得到当前类别车型图像的分类器； 步骤4.3:重复步骤4.1到步骤4.2的操作，得到所有类别车型图像的分类器，联合后构 成车型识别系统。
[0011] 上述技术方案中，所述步骤5中对待识别车辆，同样获取其特征表示，导入识别系 统即可识别出其车型，包括以下几个步骤： 步骤5.1:对待识别车辆，通过步骤1到步骤3的提取，得到其基于空间金字塔池化的深 度卷积特征表示； 步骤5.2:将得到基于空间金字塔池化的深度卷积特征表示导入步骤4中训练好的车型 识别系统中，识别出其车型。
[0012] 因为本发明采用上述技术方案，因此具备以下有益效果： 本发明提出了一种基于空间金字塔池化深度网络模型车型识别方法，采用空间金字塔 池化对比传统的深度网络模型具有多个优点： (1) 可以解决输入车型图片大小不一造成的缺陷； (2) 把卷积层特征图从不同的角度进行特征提取，再聚合，提高了车型识别算法的鲁棒 性； (3) 空间金字塔层对每一张图片都进行了多方面的特征提取，大大提高了模型的精度； (4) 传统的深度网络模型计算时间特别长，重复计算太多，整个过程是特别的耗时，空 间金字塔池化网络模型则可以很好地解决这个问题，大大减少训练车型识别系统模型时 间。
【附图说明】
[0013] 图1为基于空间金字塔池化深度网络模型算法实现示意图。
【具体实施方式】
[0014] 为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式 并配合附图详予说明。
[0015] 本发明提出了一种基于空间金字塔池化深度网络模型的车型识别方法，在车辆车 型识别上取得良好的效果。整个算法实现示意图如图1所示，包括步骤： 步骤1:将车型数据库的图像，导入深度网络模型进行卷积层特征提取，构成卷积层的 特征图； 深度网络模型的第一层是一个卷积层，由6个特征图特征图构成。特征图中每个神经元 与输入中5x5的邻域相连。特征图的大小为2Sx2S，这样能防止输入的连接掉到边界之外。 第一层有156个可训练参数，共L% W 28 x 2幻=! 22MI4个连接。
[0016]第二层是一个下采样层，通过下采样可以减少数据处理量的同时，保留有用信息， 有6个14 x ]4的特征图。特征图中的每个单元与第一层中相对应特征图的2 x 2邻域相连接。 第二层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过 函数计算。其中函数为：
可训练系数和偏置控制着％函数的非线性程度。如果系数比较小，那么运算近 似于线性运算，亚采样相当于模糊图像。如果系数比较大，根据偏置的大小亚采样可以被看 成是有噪声的"或"运算或者有噪声的"与"运算。第二层有12个可训练参数和5880个连接。
[0017] 第三层也是一个卷积层，它同样通过5火§的卷积核去卷积第二层，然后得到的特 征图就只有獅紅應个神经元，但是它有16种不同的卷积核，所以就存在16个特征图。
[0018] 第四层是一个下采样层，由16个5父0:大小的特征图构成。特征图中的每个单元与 第三层中相应特征图的2x2邻域相连接，与第一层和第二层之间的连接一样。第四层有32 个可训练参数和2000个连接。
[0019] 第五层是一个卷积层，有120个特征图。每个单元与第四层的全部16个单元的5x5 邻域相连。由于第四层特征图的大小也为5>核，所以特征图的大小为1*1，这构成了第四层 和第五层之间的全连接。C5层有48120个可训练连接。
[0020] 具体地，卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强， 并且降低噪音。将车型数据库的图像，导入深度网络模型进行卷积层特征提取，构成卷积层 的特征图，包括以下几个步骤： 步骤1.1:对车型数据库的图像，不做尺寸变换，按原始导入深度网络模型； 步骤1.2:深度网络模型的1到5层为卷积层，通过1到5层的卷积运算，构成车型图像卷 积层的特征图。
[0021] 步骤2:将卷积层特征图的每个图像，按不同尺度进行空间金字塔卷积运算，构成 空间金字塔层的特征图； 具体地，对卷积层特征图的每个图像，进行多尺度卷积运算，把卷积层特征图从不同的 角度进行特征提取，再聚合，可以提高车型识别算法的鲁棒性，而且空间金字塔层对每一张 图片都进行了多方面的特征提取，提高了模型的精度，大大减少训练车型识别系统模型时 间，包括以下几个步骤： 步骤2.1:经过卷积层的特征提取，构成卷积层特征图，将卷积层特征图的每个特征图 像进行再次卷积运算，得到空间金子塔的第1层特征图； 步骤2.2:将每个特征图像分为4块，对每一块进行卷积运算，得到空间金字塔的第2层 特征图； 步骤2.3:将每个特征图像分为16块，同样再对每一块进行卷积运算，构成空间金字塔 的第3层特征图。
[0022] 步骤3:池化空间金字塔层的所有特征，构成全连接层，得到车型图像最终的特征 表不； 具体地，对步骤2中生成的空间金字塔的特征图，需要进一步池化级联，将不同尺寸的 原始车型图像处理成相同的21个特征图表示，级联后构成全连接层，形成车型图像最终的 特征表示，包括以下几个步骤： 步骤3.1:对步骤2中的空间金字塔的每一层，池化级联该层的特征图，构成该层的特征 表不； 步骤3.2:池化级联空间金字塔每一层的特征表示，得到统一长度的特征表示，构成全 连接层； 步骤3.3:将全连接层的特征表示，作为车型图像最终的特征表示，也即基于空间金字 塔池化的深度卷积特征表示。
[0023] 步骤4:将车型图像的特征表示用于线性支持向量机训练，得到车型识别系统； 具体地，对车型图像的特征表示，用于分类器训练，这里采用的是线性支持向量机，可 实现很好的分类效果，包括以下几个步骤： 步骤4.1:通过步骤1到步骤3的特征提取，将当前类别车型图像的基于空间金字塔池化 的深度卷积特征作为正样本，其他类别车型图像的基于空间金字塔池化的深度卷积特征作 为负样本； 步骤4.2:使用线性SVM训练这两个样本，得到当前类别车型图像的分类器； 步骤4.3:重复步骤4.1到步骤4.2的操作，得到所有类别车型图像的分类器，联合后构 成车型识别系统。
[0024] 步骤5:对待识别车辆，同样获取其特征表示，导入识别系统即可识别出其车型。
[0025] 具体地，对待识别车辆图像，同样输入空间金子塔池化深度网络模型，提取出其特 征，再导入步骤4中的车型识别系统即可识别出其车型，包括以下几个步骤： 步骤5.1:对待识别车辆，通过步骤1到步骤3的提取，得到其基于空间金字塔池化的深 度卷积特征表示； 步骤5.2:将得到基于空间金字塔池化的深度卷积特征表示导入步骤4中训练好的车型 识别系统中，识别出其车型。
【主权项】
1. 一种基于空间金字塔池化深度网络模型的车型识别方法，包括以下步骤： 步骤1:将车型数据库的图像，导入深度网络模型进行卷积层特征提取，构成卷积层的 特征图； 步骤2:将卷积层特征图的每个图像，按不同尺度进行空间金字塔卷积运算，构成空间 金字塔层的特征图； 步骤3:池化空间金字塔层的所有特征图，构成全连接层，得到车型图像最终的特征表 示； 步骤4:将车型图像的特征表示用于线性支持向量机训练，得到车型识别系统； 步骤5:对待识别车辆，同样获取步骤3所述的特征表示，导入车型识别系统即可识别出 其车型。2. 根据权利要求1所述基于空间金字塔池化深度网络模型的车型识别方法，其特征在 于，所述步骤1包括以下几个步骤： 步骤1.1:对车型数据库的图像，不做尺寸变换，按原始导入深度网络模型； 步骤1.2:深度网络模型的1到5层为卷积层，通过1到5层的卷积运算，构成车型图像卷 积层的特征图。3. 根据权利要求1所述基于空间金字塔池化深度网络模型的车型识别方法，其特征在 于，所述步骤2包括以下几个步骤： 步骤2.1:经过卷积层的特征提取，构成卷积层特征图，将卷积层特征图的每个特征图 像进行再次卷积运算，得到空间金子塔的第1层特征图； 步骤2.2:将第1层特征图的每个特征图像分为4块，对每一块进行卷积运算，得到空间 金字塔的第2层特征图； 步骤2.3:将第2层特征图的每个特征图像分为16块，同样再对每一块进行卷积运算，构 成空间金字塔的第3层特征图。4. 根据权利要求1所述基于空间金字塔池化深度网络模型的车型识别方法，其特征在 于，所述步骤3中池化空间金字塔层的所有特征图，构成全连接层，得到车型图像最终的特 征表示，包括以下几个步骤： 步骤3.1:对步骤2中的空间金字塔的每一层，池化级联该层的特征图，构成该层的特征 表不； 步骤3.2:池化级联空间金字塔每一层的特征表示，得到统一长度的特征表示，构成全 连接层； 步骤3.3 :将全连接层的特征表示，作为车型图像最终的特征表示，也即基于空间金字 塔池化的深度卷积特征表示。5. 根据权利要求1所述基于空间金字塔池化深度网络模型的车型识别方法，其特征在 于，所述步骤4包括以下几个步骤： 步骤4.1:通过步骤1到步骤3的特征提取，将当前类别车型图像的基于空间金字塔池化 的深度卷积特征作为正样本，其他类别车型图像的基于空间金字塔池化的深度卷积特征作 为负样本； 步骤4.2:使用线性SVM训练这两个样本，得到当前类别车型图像的分类器； 步骤4.3:重复步骤4.1到步骤4.2的操作，得到所有类别车型图像的分类器，联合后构 成车型识别系统。6.根据权利要求1所述基于空间金字塔池化深度网络模型的车型识别方法，其特征在 于，所述步骤5包括以下几个步骤： 步骤5.1:对待识别车辆，通过步骤1到步骤3的特征提取，得到其基于空间金字塔池化 的深度卷积特征表示； 步骤5.2:将得到基于空间金字塔池化的深度卷积特征表示导入步骤4中训练好的车型 识别系统中，识别出其车型。
【文档编号】G06K9/46GK105894045SQ201610295486
【公开日】2016年8月24日
【申请日】2016年5月6日
【发明人】李鸿升, 胡欢, 曹滨, 范峻铭, 周辉
【申请人】电子科技大学