一种基于循环卷积神经网络的黑烟车检测方法与流程

本发明属于计算机视觉和交通视频检测领域，涉及一种基于循环卷积神经网络的黑烟车检测方法。

背景技术：

汽车尾气排放是造成城市空气污染的主要因素。为了保护大气环境，政府制定了一系列车辆排放标准和监管措施。但是，由于技术限制，环保部门仍采用人工方法收集黑烟车证据。目前城市中已经有大量的监控摄像头可供使用，因此基于视觉的烟雾车辆检测无疑是一种低成本且前景广阔的方法。智能视频系统在过去十年中已经从实际需求大幅增长，受到运输中各种计算机视觉技术的推动，但很少有研究涉及烟雾车辆的检测。因此，高效稳定的烟雾车辆检测算法对有效的大气污染控制和减缓策略的开发和评价具有重要的科学意义。

传统的黑烟车检测方法中，有基于远红外线摄像头和高分辨率可见波长摄像头来检测烟雾，并从视频中分析汽车尾气。tatikonda等人设计了基于fpga的尾气检测装置，但是这些方法都需要安装额外的硬件设备，如中波红外相机和一氧化碳传感器等，成本相对高昂。此外，现有的基于计算机视觉的黑烟车检测算法大多是基于手工特征，手工特征的缺点在于很难适应不同的复杂场景。

技术实现要素：

为解决上述问题，本发明公开了一种基于循环卷积神经网络的黑烟车检测方法，针对复杂的路面场景，设计采用长短时间记忆网络融合卷积神经网络提取的静态特征，保持高的捕获率的同时，能保证很低的误检率，稳定可靠。

对路面的运动车辆前景目标进行分析，通常会引入许多干扰信息，例如行人、自行车等。这些会在一定程度上对算法产生干扰。为了解决上述问题，本发明基于前景面积进行过滤。而车辆尾部信息较为复杂，包括阴影、路面纹理以及车辆本身的外形等。传统的手工特征无法适应多种场景。为了克服这一点，本发明引入卷积神经网络进行特征提取。车辆尾气因为光照、阴影、气流扰动等因素，轮廓、透明度、颜色等特征通常会快速变化。若基于单幅图像往往会引入诸多偶然因素等，导致识别精度下降。为了解决上述问题，本发明设计了长短时间记忆网络。

为了达到上述目的，本发明提供如下技术方案：

一种基于循环卷积神经网络的黑烟车检测方法，包括以下步骤：

步骤1：基于大量道路监控视频，采用前景检测算法提取车辆序列图像样本，建立黑烟车序列图像分类数据集，包括训练集与测试集；

步骤2：在公开数据集上预训练卷积神经网络模型，得到1000分类的预训练模型；

步骤3：冻结卷积神经网络的浅层特征提取部分的权值，不使用原有1000分类的全连接层分类器，新增本项目所需的二分类顶层全连接层分类器，然后在步骤1建立的黑烟车分类数据集上精调步骤2得到的模型参数；

步骤4：通过步骤3训练得到能够用于单帧图像分类的卷积神经网络模型，对步骤1的序列图像样本数据逐帧进行前向计算，将序列图像数据按照时间顺序转换为序列特征向量；

步骤5：设计输入维度与步骤4的特征向量维度相同的循环神经网络，采用长短时间记忆网络作为循环神经网络主体，经过特定的时间步长后，通过全连接层预测序列分类；

步骤6：采用基于时间的反向传播算法对长短时间记忆网络进行训练，在步骤4得到的特征向量数据集上训练与验证长短时间记忆网络的分类效果；

步骤7：通过步骤6选取表现最优异的序列分类模型后，对算法模型进行部署，包括步骤3得到的卷积神经网络和步骤6得到的长短时间记忆网络；模型部署后只有前向计算过程，不需要进行训练时的反向传播过程；通过前景检测算法得到车辆候选框，使用卷积神经网络提取车尾静态特征，堆叠连续多帧静态特征后依次传入长短时间记忆网络进行分类，得到预测概率。

进一步的，所述步骤1中建立的黑烟车序列图像样本数据集包括黑烟车与非黑烟车两类样本，图像尺寸均为299×299，样本采集时采用隔帧降采样处理，序列样本长度选择10帧到30帧，样本采集时覆盖影响图像的各种因素。

进一步的，所述步骤2中在imagenet数据集上预训练模型，采用inception网络结构设计。

进一步的，所述步骤3中在黑烟车分类数据集上再次精调及测试的过程具体为：

通过添加堆叠新的全连接层，在训练好的神经网络模型的基础上定义一个新的顶层分类器；在新分类器的顶部，隐层节点通过全连接层将特征进一步抽象，最终连接到输出单元；新堆叠的层使用relu作为激活函数，并使用softmax进行分类；在基于黑烟车样本数据集的训练阶段，选择仅训练前2个inception初始块和新堆叠层，并冻结前172个层。

进一步的，所述步骤4中，通过卷积神经网络对序列图像数据进行前向计算，得到每帧序列数据的空间特征，将inception网络的avg_pool层的输出作为空间特征，由卷积神经网络提取的2048维空间特征用于后续分析。

进一步的，所述步骤5中长短时间记忆网络隐层单元使用输入门、忘记门和输出门控制神经网络单元中信息的流动，按照时间顺序，长短时间记忆网络每次输入2048维的单帧图像空间特征，隐藏单元中的信息与之前所有的特征输入相关。

进一步的，所述步骤6中基于时间的反向传播算法具体包括如下步骤：

步骤601、长短时间记忆网络训练：长短时间记忆网络的初始参数采用随机初始化，损失函数采用交叉熵损失函数l(p,q)：

其中p是真实标签向量，q是网络预测的概率向量；pi是真实标签中的第i个元素，qi是神经网络实际输出概率中的第i个元素；神经网络最后一层的softmax函数输出的概率分别对应预测为0或1的概率，定义预测结果为1的概率为同理，预测结果为0的概率真实标签对应1和0的概率值表示为py＝1＝y和py＝0＝1-y；

步骤602、在步骤4得到的特征向量序列数据集上交叉验证，训练时测试不同的训练超参数设置，选取表现最优异的模型。

进一步的，所述步骤602中训练时测试不同的训练超参数设置，选取表现最优异的模型。

进一步的，所述步骤7中卷积神经网与长短时间记忆网络具体部署流程如下：

步骤701、对完整的视频监控图像进行前景检测，得到当前视频的前景区域。通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块；

步骤702、得到前景区域块后，截取下半部分区域；通过卷积神经网络进行特征提取，得到2048维的静态特征；

步骤703、将静态特征按照时间顺序传入长短时间记忆网络，最后长短时间记忆网络综合输入的多帧静态特征后，计算得到最终的分类结果。

进一步的，所述步骤701中，面积较小的前景区域块包括：行人、自行车、电动车以及视野中较远的车辆目标。

进一步的，所述步骤702中，在实际部署时采用隔帧降采样。

与现有技术相比，本发明具有如下优点和有益效果：

1.本发明基于前景面积进行过滤，小于一定面积的前景目标，减少了运算量和大量误检。

2.本发明引入卷积神经网络进行特征提取，通过自建的大量车尾样本数据集，能提高单帧图像的检测率，同时也保证了单帧静态图像静态特征的有效性。

3.本发明设计了长短时间记忆网络，通过组合连续帧的空间特征，挖掘连续车辆尾部图像的时空特征。在保证高检测率的同时，能够降低大量因为阴影等情况造成的误报，这样的方法大大提高了识别精度。

附图说明

图1是本发明提供的基于循环卷积神经网络的黑烟车检测方法流程图。

图2是本发明的神经网络结构图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的基于循环卷积神经网络的黑烟车检测方法，视频源来自道路监控视频，在前景检测的基础上得到候选的运动汽车区域，通过卷积神经网络提取单帧图像中车辆尾部的纹理、颜色等空间静态特征，设计循环神经网络，对序列图像的空间特征进行建模分析。具体的说，本发明流程如图1所示，包括如下步骤：

步骤1：基于大量道路监控视频，采用前景检测算法提取车辆序列图像样本，建立黑烟车序列图像分类数据集，包括训练集与测试集。数据集中主要包括黑烟车与非黑烟车两类样本，图像尺寸均为299×299。因为实时视频中连续帧相似性较强，因此样本采集时可采用隔帧降采样处理。序列样本长度可以根据实际情况选择10帧到30帧。同时，为保证样本有足够的代表性，样本采集时需要考虑不同路段、不同光照、摄像机多种拍摄角度等因素。

步骤2：在imagenet等公开数据集上预训练卷积神经网络模型，得到1000分类的预训练模型。在imagenet数据集上预训练模型时采用inception网络等成熟的网络结构设计。在imagenet上预训练是为了保证神经网络有良好的特征提取能力，imagenet上有丰富的目标种类，预训练模型拥有良好的低维特征提取能力及高维特征抽象能力。

步骤3：冻结卷积神经网络的浅层特征提取部分的权值，不使用原有1000分类的全连接层分类器，新增本项目所需的二分类顶层全连接层分类器，然后在步骤1建立的黑烟车分类数据集上精调模型参数。其中，在imagenet等公开数据集上预训练旨在提升神经网络的特征提取能力，在自建的黑烟车分类数据集上精调模型主要目的是将预训练模型迁移到黑烟车分类任务上。

imagenet数据集上的预训练模型在黑烟车分类数据集上的再次精调及测试具体为：

通过添加堆叠新的全连接层，在训练好的神经网络模型的基础上定义一个新的顶层分类器。在新分类器的顶部，隐层节点通过全连接层将特征进一步抽象，最终连接到输出单元。新堆叠的层使用relu作为激活函数，并使用softmax进行分类。在基于黑烟车样本数据集的训练阶段，选择仅训练前2个inception初始块和新堆叠层，并冻结前172个层。

步骤4：通过步骤3训练得到可以用于单帧图像分类的卷积神经网络模型，对步骤1的序列图像样本数据逐帧进行前向计算，将序列图像数据按照时间顺序转换为序列特征向量。具体的说，本步骤中是通过卷积神经网络对序列图像数据进行前向计算，得到每帧序列数据的空间特征。本方法将inception网络的avg_pool层的输出作为空间特征。由卷积神经网络提取的2048维空间特征用于后续分析。

步骤5：设计输入维度与步骤4的特征向量维度相同的循环神经网络，为了克服梯度消失与梯度爆炸的问题，充分挖掘序列数据的长期依赖关系，采用长短时间记忆网络作为循环神经网络主体。经过特定的时间步长后，通过全连接层预测序列分类。

其中，长短时间记忆网络隐层单元使用输入门、忘记门和输出门控制神经网络单元中信息的流动。按照时间顺序，长短时间记忆网络每次输入2048维的单帧图像空间特征，隐藏单元中的信息与之前所有的特征输入相关。

步骤6：采用基于时间的反向传播算法对长短时间记忆网络进行训练。在步骤4得到的特征向量数据集上训练与验证长短时间记忆网络的分类效果。

前述的基于时间的反向传播算法具体步骤如下：

步骤601、长短时间记忆网络训练：长短时间记忆网络的初始参数采用随机初始化，损失函数采用交叉熵损失函数l(p,q)：

其中p是真实标签向量，q是网络预测的概率向量。pi是真实标签中的第i个元素，qi是神经网络实际输出概率中的第i个元素。对于本场景中的二分类问题，网络最终预测结果应该为0或1。神经网络最后一层的softmax函数输出的概率分别对应预测为0或1的概率，定义预测结果为1的概率为同理，预测结果为0的概率真实标签对应1和0的概率值可以类似表示为py＝1＝y和py＝0＝1-y。

步骤602、在步骤4得到的特征向量序列数据集上交叉验证。训练时可以测试不同的训练超参数设置，选取表现最优异的模型。

步骤7：通过步骤6选取表现最优异的序列分类模型后，可对算法模型进行部署，包括步骤3得到的卷积神经网络和步骤6得到的长短时间记忆网络。模型部署后只有前向计算过程，不需要进行训练时的反向传播过程。通过前景检测算法得到车辆候选框，使用卷积神经网络提取车尾静态特征，堆叠连续多帧静态特征后依次传入长短时间记忆网络进行分类，得到预测概率。

其中，卷积神经网与长短时间记忆网络具体部署流程如下：

步骤701、对完整的视频监控图像进行前景检测，得到当前视频的前景区域。通过形态学操作对前景目标预处理后，抛弃面积较小的前景区域块(主要是行人、自行车、电动车以及视野中较远的车辆目标)。

步骤702、得到前景区域块后，截取下半部分区域(对应车辆尾部)。通过卷积神经网络进行特征提取，得到2048维的静态特征。实际视频中车尾部相邻帧相似性较强，实际部署时不需要每帧都进行特征提取，可以采用隔帧降采样。

步骤703、如图2所示，将静态特征按照时间顺序传入长短时间记忆网络，时间步长短可变，但一般不超过50。最后长短时间记忆网络综合输入的多帧静态特征后，计算得到最终的分类结果。

本发明中采用前景检测方法提取运动车辆区域，避免了静态的路面干扰信息，同时可以大大减少计算量；对于单帧图像的静态特征基于卷积神经网络模型，利用了卷积神经网络强大的特征提取能力，提高了算法对汽车尾气的特征提取能力；通过循环神经网络的引入，能够学习长期的动态信息，在保证检测算法捕获率的同时，降低了误检率。本方法在城市环境保护、道路监管等方面有着重要的应用价值。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。