基于视频图像分析的道路车型分类方法
【专利摘要】本发明公开了一种基于视频图像分析的道路车型分类方法，其特征在于，包括：获取视频图像中的每一帧；将视频图像中的每一帧输入至高斯混合模型中，得到前景车辆中心点；将视频图像中的每相邻两帧以及前景车辆中心点输入至卡尔曼滤波器中，得到最优帧；将最优帧输入至卷积神经网络中，得到高维特征向量；将高维特征向量输入车型分类模型中，得到车型分析结果。本发明对于光照变化、车辆形变的不利因素有很好的抑制作用，通过双线程使得车型检测和车型分类同时进行，明显地提高了分类的速度，并且通过使用中值流算法克服了车辆重合引起的识别准确度低的问题。
【专利说明】
基于视频图像分析的道路车型分类方法
技术领域
[0001] 本发明涉及一种车型分类方法，更具体地，涉及一种基于视频图像分析的道路车 型分类方法。
【背景技术】
[0002] 目标识别是计算机视觉一个重要的研究领域，由此延伸出的车辆型号识别具有重 要的实际应用价值，特别是在当今交通状况复杂的大城市，智能交通系统成为发展趋势，这 离不开对车辆型号进行识别和分类的工作。针对车辆型号识别的主要步骤有:车辆检测，用 于识别的区域选择和定位，趋于的特征提取以及分类器的分类。车辆型号分类效果很大程 度上取决于两个方面，一个是能够提取描述车辆型号的特征，这些特征需要很强的鲁棒性 能来应对一定角度偏移，一定范围内光照的变化以及图像尺寸大小的变化;另一方便就是 针对特征进行分类器的选择。多数研究都是集中在特征提取上面，因此分类器的好坏很大 程度上取决于所选择的特征好坏。
[0003] 现有技术中通过尺寸信息以及特征识别进行分类，前者从二值图像中提取高度和 宽度信息，判别车辆是否为轿车，精确度达到60%。后者从图片中提取一种11维的特征对街 道上的车辆进行识别，这些特征包括高度，宽度，轮廓面积和轮廓形状以及各种形状矩。正 确率能够达到80%，但是鲁棒性能不强，变化了的光照强度会使得分类准确率下降很多。
【发明内容】
[0004] 本发明的一个目的是解决现有技术中分类准确率低，对于光照变化、车辆形变等 因素抑制性差的问题。
[0005] 本发明提供了一种基于视频图像分析的道路车型分类方法，其特征在于，包括：
[0006] 步骤一:获取视频图像中的每一帧；
[0007] 步骤二:将所述视频图像中的每一帧输入至高斯混合模型中，得到前景车辆中心 占 .
[0008] 步骤三:将所述视频图像中的每相邻两帧以及所述前景车辆中心点输入至卡尔曼 滤波器中，得到最优帧；
[0009] 步骤四：将所述最优帧输入至基于深度学习的卷积神经网络中，得到高维特征向 量；
[0010] 步骤五:将所述高维特征向量输入车型分类模型中，得到车型分析结果。
[0011]优选地，步骤四中由卡尔曼滤波器得到最优帧的过程中，还包括中值流算法。
[0012] 优选地，车型分类模型通过车型样本图片进行训练过程得到，其中：所述车型样本 图片通过高速公路行驶环境中的摄像头拍摄获得;所述车型样本图片包括车型正面照以及 车型背面照，所述车型正面照以及所述车型背面照在数量上各占50%;所述车型正面照以 及所述车型背面照分别还包括早晨、中午、黄昏以及夜晚的车型样本图片。
[0013] 优选地，车型样本图片经过高斯白噪声预处理获得。
[0014] 优选地，基于深度学习的卷积神经网络包括八层神经网络，其中第一层为卷积层， 卷积核矩阵大小为5 X 5，步长为1，填充边缘为2;第二层为最大值的池化层，步长为2，卷积 核矩阵大小为3 X 3，选择sigmoid激活函数;第三层为卷积层，卷积核矩阵大小为5 X 5，步长 为1，填充边缘为2;第四层为平均池化层，步长为2，卷积核矩阵大小为3 X 3，选择sigmoid激 活函数，第五层为卷积层，卷积核矩阵大小为5 X 5，步长为1，填充边缘为2;第六层为平均池 化层步长为2，卷积核矩阵大小为3 X 3;第七层和第八层为全连接层。
[0015] 优选地，步骤一至步骤四为第一线程，步骤五和步骤六为第二线程，第一线程与第 二线程同时进行。
[0016] 优选地，基于深度学习的卷积神经网络的训练过程使用随机梯度下降迭代逼近损 失函数全局最优解的最优化方法，其中，mini-batch值为256，固定步长为0.00001。
[0017]本发明的第一个技术效果是，通过使用基于深度学习的神经网络，以及按照早晨、 中午、黄昏、夜晚分类的样本图片，使得训练出的神经网络模型对于光照变化、车辆形变的 不利因素有很好的抑制作用。
[0018] 本发明的第二个技术效果是，通过使用中值流算法克服了多个车辆重合的问题。
[0019] 本发明的第三个技术效果是，通过双线程使得车型检测和车型分类同时进行，明 显地提高了分类的速度。
[0020] 通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其 优点将会变得清楚。
【附图说明】
[0021] 被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连 同其说明一起用于解释本发明的原理。
[0022] 图1是本发明的基于视频图像分析的道路车型分类方法的流程图。
[0023] 图2是本发明实施例中的训练样本的典型车型图像实例图。
[0024]图3是本发明实施例的部分检测结果实例图。
【具体实施方式】
[0025] 现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具 体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本 发明的范围。
[0026] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明 及其应用或使用的任何限制。
[0027] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适 当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0028] 在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不 是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0029] 应注意到:相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一 个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
【具体实施方式】 [0030] 一:下面结合图1来说明本实施方式。
[0031] 图1是本发明的基于视频图像分析的道路车型分类方法的流程图。
[0032] 在步骤一中，获取视频图像中的每一帧。
[0033] 在步骤二中，将视频图像中的每一帧输入至高斯混合模型中，得到前景车辆中心 占 .
[0034] 在步骤三中，将视频图像中的每相邻两帧以及所述前景车辆中心点输入至卡尔曼 滤波器中，得到最优帧；
[0035] 在步骤四中，将最优帧输入至卷积神经网络中，得到高维特征向量；
[0036]在步骤五中，将高维特征向量输入车型分类模型中，得到车型分析结果。
[0037] 具体而言，本发明针对记录有车辆信息的视频进行分析，此处所指的视频可以是 通过高速公路行驶环境中的摄像头拍摄获得。
[0038] 先将视频分解为每一帧，然后将每一帧的图像通过高斯混合模型的处理得到前景 车辆的中心点。这里高斯混合模型用于区分前景和背景，即从视频中将移动的目标识别为 车辆，将不动的部分视为背景。
[0039] 再通过卡尔曼滤波器的跟踪车辆的运动过程，从中选取出车辆所占面积最大的一 帧，认为这一帧获得的图像是最清晰、最易识别的。在此过程中，可能会出现所跟踪的目标 车辆被其他车辆覆盖的情况，因此还要借助于中值流跟踪算法，最终得到最清晰的最优帧。 其中图像可以为400 X 400大小，24位深的彩色图像。
[0040] 然后将最优帧通过卷积神经网络中，得到高维的特征向量。此处的卷积神经网络 的建立使用了深度学习技术，使用随机梯度下降迭代逼近损失函数全局最优解的优化方 法，采用mini-batch的方法合理选择迭代补偿，明显地降低了训练所用的时间。其中，所选 的mini-batch值可以为256，固定步长可以为0.00001。
[0041]最后将高维特征向量输入至车型分类模型中，得到车型分类结果。
【具体实施方式】 [0042] 二:本实施方式与一的不同点在于，车型分类模型通 过车型样本图片进行训练过程得到。其中车型样本图片通过高速公路行驶环境中的摄像头 拍摄获得;车型样本图片包括车型正面照以及车型背面照，车型正面照以及车型背面照在 数量上各占50%;车型正面照以及车型背面照分别还包括早晨、中午、黄昏以及夜晚的车型 样本图片。
[0043] 这样设置的好处是，可以克服现有技术中对于光照因素难以抑制的缺陷，本实施 方式将样本图片分为早晨、中午、黄昏以及夜晚，也就增加了车型分类模型对于不同光照条 件、不同天气下的识别精度。
[0044] 本实施方式中的其他步骤与【具体实施方式】一中相同。
【具体实施方式】 [0045] 三:本实施方式与一或二不同的是，车型样本图片经 过高斯白噪声预处理获得，这样做的好处是，可以使得训练出的模型具有良好的鲁棒性。
[0046] 本实施方式中的其他步骤与【具体实施方式】一或二相同。
[0047]【具体实施方式】四：本实施方式与【具体实施方式】一至三种任一方式不同的是，卷积 神经网络包括八层神经网络，其中第一层为卷积层，卷积核矩阵大小为5X5,步长为1，填充 边缘为2;第二层为最大值的池化层，步长为2，卷积核矩阵大小为3 X 3，选择sigmoid激活函 数;第三层为卷积层，卷积核矩阵大小为5 X 5，步长为1，填充边缘为2 ;第四层为平均池化 层，步长为2，卷积核矩阵大小为3 X 3，选择sigmoid激活函数，第五层为卷积层，卷积核矩阵 大小为5 X 5，步长为I，填充边缘为2;第六层为平均池化层步长为2，卷积核矩阵大小为3 X 3;第七层和第八层为全连接层。
[0048] 本算法的核心部分为卷积神经网络的构建，包括神经网络参数的选取，以及训练 模型采取的最优化策略。卷积神经网络包括1个输入层，3个卷积层，3个池化层，2个全连接 层和1个输出层，其中：输入层为将经过预处理、用于训练模型的图像输入至所述卷积神经 网络;卷积层为提取图像特征所用，3层卷积层采用5X5的卷积模板;池化层为，将所述图像 特征的数据维度降低，并且防止过拟合的出现采用均值池话的方式使得深度学习神经网络 对特征的提取具平移旋转不变性;全连接层为当层神经元与上层神经元的连接;输出层为 分类结果。网络层数选取：当网络层数过少时，无法很好提取特征且速度较慢，层数过多时 所得有效信息反而减少，故通过分类识别效果来确定层数。
[0049] 卷积层设计:卷积层用以提取图像特征。假设给定了r Xc的大尺寸图像首先通过 从大尺寸图像中抽取的aXb的小尺寸图像样本X训练稀疏自编码，计算〇 = f(W(1)x+b(1))得 到了 k个特征，其中W(I)和b(l)是可视层单元和隐含单元之间的权重和偏差值。对于每一个 小图像X，计算出对应的值0 = f (w(1)x+b(1))，其中f ( ·)为sigmoid函数，作为非线性激活函
I 对这些σ值做卷积，就可以得到卷积核个数个卷积后kx (r-a+l) X (C-b+ O 1)的特征的矩阵。
[0050] 前向传播得到图像特彳 其中，1代表神经网络第1层，在第1层 > 中，N代表该层神经元个数，代表该层第i个输入第j个输出的卷积权重，bj代表该层第j 个输出的偏置。卷积核矩阵的大小为5 X 5。
[0051] 卷积层大小与数目：每层滤波器较少时，提取特征图相应减少，特征可能提取不全 面;每层滤波器较多时，训练速度下降。故要兼顾二者，通过测试选取合适大小与数目的卷 积层。
[0052] 池化层为使数据降维，同时一定程度上防止过拟合，抽取9个像素的均值作为该区 域特征提取出来，将数据维度降为原来的1/9分之一。
[0053] 通过分类函数softmax构建分类器计算结果
[0054]
[0055] 其中，k代表输出层的类别数，即k = 5;U为输出层前全连接层神经元数，L代表卷积 神经网络总层数，g(*)为softmax函数
[0056] 用批量梯度下降法来求解神经网络，梯度下降法中每一次迭代都对参数W和b进行 更新，利用反向传播算法求代价函数偏导数从而计算代价函数最小情况下的参数权重W及 偏置b
[0057]
[0058]
[0059]
[0060]
[0061] 当代价函数足够小时，训练结束，得到参数，最终完成对卷积神经网络的训练。期 间利用归一化和正则化处理数据以防止过拟合。
[0062] 训练好模型后运用测试图像进行检测，通过多次实验，对所得参数再进行微调，以 期达到最佳车型分类效果。
[0063]其他步骤与【具体实施方式】一至三种任一方式相同。
【具体实施方式】 [0064] 五:本实施方式与一至四种任一方式不同之处在于，步骤一至步骤 四为第一线程，步骤五和步骤六为第二线程，第一线程与第二线程同时进行。即通过步骤一 至步骤四得到最优帧时，一方面可以执行步骤五和步骤六的分类识别步骤，另一方面也同 时进行步骤一至步骤四，开始下一轮的最优帧获取。这样设置可以大大加快处理的效率，加 快分类的速度。在一个实施例中，最多可以达到每秒30帧的处理速度，可以实现实时监测和 后台分类的功能。
[0065] 其他步骤与【具体实施方式】一至四中任一方式相同。
[0066] 本发明可以应用于智能交通领域，可以通过自动检测车型，来广泛地引用雨不同 车型的限速、限行管制的监督执法之中。例如，可以实时监控是否有轿车非法占用公交车专 用路线;或者实时监控是否有客车以轿车的时速违章行驶等。
[0067] 图2和图3分别示出了本发明实施例中的训练样本的典型车型图像实例图以及本 发明实施例的部分检测结果实例图。
[0068] 从图3中可以看出，本发明的分类方法可以准确地检测出车型，平均识别率达到 99%以上。
[0069]虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技 术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技 术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发 明的范围由所附权利要求来限定。
【主权项】
1. 一种基于视频图像分析的道路车型分类方法，其特征在于，包括： 步骤一:获取视频图像中的每一帧； 步骤二:将所述视频图像中的每一帧输入至高斯混合模型中，得到前景车辆中心点； 步骤三:将所述视频图像中的每相邻两帧以及所述前景车辆中心点输入至卡尔曼滤波 器中，得到最优帧； 步骤四：将所述最优帧输入至基于深度学习的卷积神经网络中，得到高维特征向量； 步骤五:将所述高维特征向量输入车型分类模型中，得到车型分析结果。2. 根据权利要求1所述的方法，其特征在于，所述步骤四中由卡尔曼滤波器得到最优帧 的过程中，还包括中值流算法。3. 根据权利要求1所述的方法，其特征在于，所述车型分类模型通过车型样本图片进行 训练过程得到，其中： 所述车型样本图片通过高速公路行驶环境中的摄像头拍摄获得； 所述车型样本图片包括车型正面照以及车型背面照，所述车型正面照以及所述车型背 面照在数量上各占50 % ; 所述车型正面照以及所述车型背面照分别还包括早晨、中午、黄昏以及夜晚的车型样 本图片。4. 根据权利要求3所述的方法，其特征在于，所述车型样本图片经过高斯白噪声预处理 获得。5. 根据权利要求1所述的方法，其特征在于，所述基于深度学习的卷积神经网络包括八 层神经网络，其中第一层为卷积层，卷积核矩阵大小为5X5,步长为1，填充边缘为2;第二层 为最大值的池化层，步长为2，卷积核矩阵大小为3X3，选择sigmoid激活函数;第三层为卷 积层，卷积核矩阵大小为5X5,步长为1，填充边缘为2;第四层为平均池化层，步长为2,卷积 核矩阵大小为3X3,选择sigmoid激活函数，第五层为卷积层，卷积核矩阵大小为5X5,步长 为1，填充边缘为2;第六层为平均池化层步长为2，卷积核矩阵大小为3 X 3;第七层和第八层 为全连接层。6. 根据权利要求1所述的方法，其特征在于，所述步骤一至步骤四为第一线程，所述步 骤五和步骤六为第二线程，所述第一线程与所述第二线程同时进行。7. 根据权利要求1所述的方法，其特征在于，所述基于深度学习的卷积神经网络的训练 过程使用随机梯度下降迭代逼近损失函数全局最优解的最优化方法，其中，mini-batch值 为256，固定步长为0.00001。
【文档编号】G06K9/62GK106056102SQ201610511830
【公开日】2016年10月26日
【申请日】2016年7月1日
【发明人】屈桢深, 李聪慧, 张天琦, 陈坤烨
【申请人】哈尔滨工业大学