一种黑烟车夜间抓拍识别方法与流程

本发明属于环境技术领域，具体地说，涉及一种黑烟车夜间抓拍识别方法。

背景技术：

机动车排放的尾气含有毒有害物质，黑烟车是高污染车的典型代表，80％以上的黑烟车为柴油类的营运车(货车、客车)。这些黑烟车所排放的尾气，不仅污染大气，更危害人体健康。因此，长期以来黑烟车的污染防治一直是机动车污染防治的工作重点。

目前，黑烟车电子抓拍的在线监控模式，智能识别黑烟车能够成为应对机动车污染的有力辅助工具。然而，基于技术和设备特点，只在白天对黑烟车抓拍识别率高。由于夜间环境下抓拍易受光线、阴影、车流等因素的影响，尤其是路灯和对向车流远光灯对黑烟识别造成影响，导致夜间黑烟车抓拍的准确识别率很低。

技术实现要素：

本发明针对上述现有技术中存在的问题，提出了一种黑烟车夜间抓拍识别方法。

本发明通过以下技术方案实现：

一种黑烟车夜间抓拍识别方法，包括步骤：

s1：获取车辆视频图像，并对所述视频图像进行预处理；

s2：提取所述预处理后的视频图像的纹理特征，去除视频动态背景，采用lbp(localbinarypattern)纹理分类特征算法来进行特征提取，并采用光流法提取运动特征；

s3：基于时空双路3d残差卷积网络提取时空特征，包括基于时空深度神经网络策略提取空域特征以及基于lstm策略提取时域特征；

s4：去除夜间干扰；

s5：提取去干扰后的时域特征与空域特征，并引入注意力机制，对时空域网络特征通道进行新标定，分别对时空域网络进行加权，筛选出对分类结果有利的特征，再将时空域特征融合得到最终的分类识别网络，以视频块为输入，直接得到分类结果。

进一步地，所述预处理包括，通过网络从摄像枪获取视频流并利用视频编解码技术进行解码和视频还原，基于预设的视频预处理算法对还原后的视频进行亮度调整，图像矫正和去噪处理。

进一步地，在所述步骤s2中，所述去除视频动态背景包括步骤：

s201.每个新像素值xt同当前k个模型按下式进行比较，直到找到匹配新像素值的分布模型，即同该模型的均值偏差在2.5σ内，

|xt-μi，t-1|≤2.5σi，t-1；

s202.如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景；

s203.各模型权值按如下公式更新，其中α是学习速率，对于匹配的模型mk，t＝1，否则mk，t＝0，然后各模式的权重进行归一化；

wk，t＝(1-α)*wk，t-1+α*mk，t

s204.未匹配模型的均值μ与标准差σ不变，匹配模型的参数按照如下公式更新：

ρ＝α*η(xt|μk，σk)

μt＝(1-ρ)*μt-1+ρ*xt

其中，ρ代表满足匹配模型的阀值；

s205.如果第1步中没有任何模型匹配，则权重最小的模型被替换，即该模型的均值为当前像素值，标准差为初始较大值，权重为较小值；

s206.各模型根据w/α²按降序排列，权重大、标准差小的模式排列靠前；

s207.选前b个模型作为背景，b满足下式，参数t表示背景所占比例，

进一步地，在所述步骤s3中，在所述基于时空深度神经网络策略提取空域特征中，在所述提取运动特征后进行初步的空域判别：在将空域判断为有烟时，通过时间流网络和循环神经网络部分累积一组连续帧之间的运动信息以区分烟雾区域和非烟雾区域，在过滤掉多数的非烟雾区域后，提取烟雾区域的时空域特征，进行分类识别。

进一步地，所述的时空深度神经网络结合3d卷积神经网络与densenet，并将3dcnn分解为大小为dk×1×1的时间卷积核和大小为dk×3×3的空间卷积核的两个伪3dcnn；对于d×w×h×c的输入特征图，其中d为视频帧长度，w为视频宽度，h为视频高度，c为视频帧输入特征维度,经过大小为dk×3×3的3d卷积核的计算参数量为：d×w×h×c×dk×3×3；

而对于分解后的伪3d卷积核的计算参数量为：

d×w×h×c×(dk+3×3)。

进一步地，所述的时空双路3d残差卷积网络，包括多个s-p3d网络块和多个t-p3d网络块，多个连接的t-p3d网络块与多个s-p3d网络块相连接,构造时空双路网络，用来分别提取烟雾的时空特征。

进一步地，在所述步骤s4中，基于超分辨率变异算法去除夜间干扰。

进一步地，在所述步骤s5中，具体包括：

s501、输入网络：将大小为d×w×h×c的小视频块作为网络的输入，通过一层含有16个卷积核大小为1×1×1的3d卷积层，对输入进行升维并提取低层时空域特征；

s502、时域和空域网络：将大小为d×w×h×16的输入，分别通过由s-p3d网络结构块和t-p3d网络结构块与3d池化网络结构块组成的时空域网络，得到两个大小为d/2×w/2×h/2×32的时域特征层和空域特征层。

s503、输出网络：将时空双路3d残差卷积网络提取的时空特征在特征通道维度进行连接，得到大小为d/2×w/2×h/2×64的时空融合特征，再通过一层含有64个卷积核，卷积核大小为1x1x1的3d卷积层对时空融合特征进行归一化，最后接入全局池化层,通过softmax层评估得到最终的分类结果；

s504、对道路黑烟分类结果进行评价判断，评价公式如下：

式中：acc表示准确率,n为样本总数；tpr表示被预测为烟雾的烟雾样本结果数,即检测率；tnr表示被预测为非烟雾的非烟雾样本结果数,即误检率；tp表示烟雾总数中正确检测到烟雾的数量；fn表示未被识别的实际烟雾区域的数；fp表示认定为烟雾的非烟雾数量；tn表示认定为非烟雾区域的非烟雾区域数量。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的黑烟车夜间抓拍识别方法的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现黑烟车夜间抓拍识别方法的步骤。

本发明与现有技术相比存在以下优点：本发明在黑烟车抓拍识别的基础上优化黑烟车抓拍智能识别算法，解决夜间干扰问题，降低夜间误识别率，实现白天、夜间全天候抓拍并智能识别出黑烟车。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1是使用可变半径的圆对近邻像素进行编码；

图2是基于时空深度神经网络结构图；

图3是3dcnn分解为两个伪3dcnn的转换图；

图4是时空双路网络结构图；

图5为本发明的空间网络结构图；

图6是lbp算法实现方法；

图7是输出阶段函数变化；

图8是输出阶段另一函数变化。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明涉及一种黑烟车夜间抓拍识别方法，系统在道路上方杆件上增加补光装置，系统将高清摄像机抓拍的视频图像传输到推理机，在推理机部署基于人工智能图像识别算法，利用图像处理技术、纹理特征提取、夜间抓拍算法识别判断出黑烟车，数据通过网络传输到后端平台。在具体实施例中，包括步骤如下：

1、车辆视频图像获取

在道路杆件上部署高清摄像机，对经过车辆进行录像。在摄像机正前方22-24米距离设置覆盖全车道(不超过三车道)的虚拟位置，当车辆通过预置位置，高清摄像机抓拍此时的图像。

2、图像预处理

通过网络从摄像枪获取视频流并利用视频编解码技术进行解码和视频还原，基于现有的视频预处理算法对视频进行亮度调整，图像矫正和去噪等处理。

(1)图像灰度化

在分析图像问题时，由于环境和拍摄自身因素影响，需要对图像进行一定的转换，运用rgb模型，假定三个通道的值相等，然后用统一的灰度值表征该点的色彩信息，灰度值的范围是0到255。图像灰度化的方法这里主要采用加权平均法。

加权平均法rgb灰度化的公式为:：gray(x,y)＝urr(x,y)+ugg(x,y)+ubb(x,y)

以上公式中u表示三个通道的权值，且三者之和为1。

根据yuv颜色空间和rgb颜色空间的转换关系，确定各权值分别为0.3008、0.5958、0.1133时，简化公式如下:

gray(x,y)＝0.3008*r(x,y)+0.5958*g(x,y)+0.1133*b(x,y)

(2)图像去噪声

利用中值滤波法，将图像中以某像素点为中心的窗范围内的所有像素点的灰度值(包括该中心像素点)进行排序，然后将灰度序列的中间值赋给该中心像素点。与其他线性滤波考量每个像素不同，中值滤波会忽略那些相对邻域(此处设为3*3窗口)内大部分像素点，亮度偏暗或偏亮，且所占区域小于总像素点一半(即3²/2)的像素点的影响，从而有效滤除孤立的噪声点。

基于个数的中值滤波法通过设定一阈值ρ限制邻域内像素点与中心像素点灰度差绝对值的范围，从而将含噪图像中的像素点的属性划分为平坦区域、图像边缘以及噪点这三类。以3*3大小的窗口为例，假设中心像素点的8邻域中，与中心像素点灰度差分的绝对值大于阈值t的相邻像素点的个数为m，则当m≤2时，该中心像素点为平坦区域点；当2＜m＜6时，该中心像素点为图像边缘点；当m≥6时，该中心像素点是噪点。

3、视频图像纹理特征提取

(1)视频动态背景去除

为了找出视频中移动的像素集合，把移动的区域设为白色，其他没有移动的区域设为黑色背景，使用混合高斯模型去除背景法。方法如下：

1.每个新像素值xt同当前k个模型按下式进行比较，直到找到匹配新像素值的分布模型，即同该模型的均值偏差在2.5σ内。

|xt-μi，t-1|≤2.5σi，t-1

2.如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景。

3.各模式权值按如下公式更新，其中α是学习速率，对于匹配的模式mk，t＝1，否则mk，t＝0，然后各模式的权重进行归一化。

wk，t＝(1-α)*wk，t-1+α*mk，t

4.未匹配模式的均值μ与标准差σ不变，匹配模式的参数按照如下公式更新：

ρ＝α*η(xt|μk，σk)

μt＝(1-ρ)*μt-1+ρ*xt

5.如果第1步中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值。

6.各模式根据w/α²按降序排列，权重大、标准差小的模式排列靠前。

7.选前b个模式作为背景，b满足下式，参数t表示背景所占比例。

(2)烟雾lbp取特征值

为了提取烟雾的纹理，采用lbp(localbinarypattern)纹理分类特征算法来进行提取。

lbp算法可以用来计算像素之间的关系，是一种用来描述图像局部纹理特征的算子，反映内容是每个像素与周围像素的关系。lbp算法把图像划分为3×3的子区域，对每个子区域内的每个像素点都提取lbp特征，实现方法如图6：

其中(xc,yc)是中心像素，亮度是ic；而in则是相邻像素的亮度。s是一个符号函数:

这种描述方法可以很好的捕捉到图像中的细节。正如刚才描述的方法被提出后,固定的近邻区域对于尺度变化的编码失效。所以,使用一个变量的扩展方法,是使用可变半径的圆对近邻像素进行编码，如图1，这样可以捕捉到如下的近邻:

对一个给定的点(xc,yc)，他的近邻点(xp,yp),p∈p可以由如下计算:

其中，r是圆的半径,而p是样本点的个数。

这是对原始lbp算子的扩展,所以有时被称为扩展lbp(称为圆形lbp)。如果一个在圆上的点不在图像坐标上,我们使用他的内插点。使用插值方法，而opencv使用双线性插值，如下。

(3)光流法提取向量

为了观察运动物体的运动轨迹，采用光流法来提取运动特征。

4、神经网络策略提取时空特征

(1)基于时空深度神经网络策略提取空域特征

为了获得黑烟更加丰富的纹理信息以及空间信息，使用基于时空深度神经网络。对运动区域自动提取特征后进行初步的空域的判别：在将空域判断为有烟的基础上进一步通过时间流网络和循环神经网络部分累积一组连续帧之间的运动信息以区分烟雾和非烟雾区域。

为了进一步缩小检测区域，在过滤掉多数的非烟雾区域后，提取视频烟雾的时空域特征，进行分类识别。通过结合3d卷积神经网络与densenet，为了减少模型参数,这里使用3×1×1与1×3×3的卷积核代替原有的3×3×3的卷积核，如图2。

将3dcnn分解为两个伪3dcnn,实现了2dcnn到3dcnn的拓展，如图3，保证了网络的分类识别能力的同时缩小了网络参数量,提取空域特征。

用大小为dk×1×1的时间卷积核和大小为dk×3×3的空间卷积核两个伪3d网络结构来代替,在保证同等分类能力的情况下减少了网络的参数量。对于d×w×h×c的输入特征图，其中d为视频帧长度，w为视频宽度，h为视频高度，c为视频帧输入特征维度,经过大小为dk×3×3的3d卷积核的计算参数量为:

d×w×h×c×dk×3×3

而对于分解后的伪3d卷积核的计算参数量为:

d×w×h×c×(dk+3×3)

由此可见,伪3d卷积核计算参数量是3d卷积核的dk3²/(dk+3²)极大地减少了网络参数个数，同时能够保证良好的分类能力。

(2)基于lstm策略提取时域特征

为了让神经网络对每个时间点的事件进行分类，并且能够使用前一个事件推理下一个事件，使用lstm神经网络来进行长时间记忆。

lstm内部主要有三个阶段：

1.忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会“忘记不重要的，记住重要的”。

2.选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入x^t进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的z表示。而选择的门控信号则是由zⁱ(i代表information)来进行控制。

3.输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过z⁰来进行控制的。并且还对上一阶段得到的c⁰进行了放缩(通过一个tanh激活函数进行变化)。如图7所示：

这里：x为当前状态下数据的输入，h表示接收到的上一个节点的输入。

y为当前节点状态下的输出，而h'为传递到下一个节点的输出。如图8所示：

当输入特征值x<0时,输出为0,训练完成后为0的神经元越多,稀疏性越大,提取出来的特征就越具有代表性,泛化能力越强；当输入特征值x>0时,输出等于输入,无梯度耗散问题，收敛快。

对卷积层网络的输出进行批归一化，使其规范化作为激活函数的输入，有助于解决了不同层数据分布不一致和梯度弥散的问题。由此得到时空双路3d残差卷积网络的基础结构:图4是双路3d残差卷积网络结构及演变结构，分别为：p3d，s-p3d网络块，t-p3d网络块。将多个t-p3d网络块连接和多个s-p3d网络块连接,构造时空双路网络，用来分别提取烟雾的时空特征。

(3)引入注意力机制提升分类识别能力

为了提高检测效率，引人注意力机制，自动学习时域网络和空域网络中提取特征的重要程度，提升对分类有利的特征，抑制对分类无用的特征。分别对时空双路网络的特征通道进行加权，提高网络的分类识别能力。该网络结构包括以下三步操作:

1)squeeze操作:将大小为d×w×h×c的输入，通过一全局池化层，对输入张量中除特征通道维度c之外的，所有维度进行压缩，使其转化为一特征通道数大小的实数向量，大小为1×c；

2)excitation操作:通过一个全连接层对转换的特征向量进行压缩，使其维度降低到c/r，大小为1×c/r，再经过函数激活后通过一个全连接层，得到一个输出维度与输入特征通道数相匹配的特征权重向量，大小为1×c；

3)reweight操作:再通过sigmoid函数将权重归一化，最后将excitation操作得到的权重对特征通道进行加权，从而实现对特征的重标定。

reweight操作中归一化后的特征通道权值，范围为(0,1)，越接近于0表示该特征几乎对分类结果无影响，越接近为1表示该特征对分类结果影响颇大。

5、夜间干扰去除

在夜间环境下容易受光线、阴影、车流等因素的影响,尤其是路灯和对向车流远光灯对黑烟识别的影响,通过超分辨率变异算法,用于解决夜间干扰问题,以降低误识别率。超分辨率变异算法实现如下：

将候选运动区域作为空间网络的输入以提取空域特征，并在有烟的基础上进一步利用rnn进行时间上的运动特征累积，最后使用softmax损失函数进行分类识别。损失函数如下：

目标感知损失函数

6、对分类结果进行评价

分别提取视频的时域特征与空域特征，并引人注意力机制，对时空域网络特征通道进行新标定，分别对时空域网络进行加权，筛选出对分类结果有利的特征，再将时空域特征融合得到最终的分类识别网络，以视频块为输入，直接得到分类结果。实现方法如下：

输入网络:将大小为d×w×h×c的小视频块作为网络的输入，通过一层含有16个卷积核大小为1×1×1的3d卷积层，对输入进行升维并提取低层时空域特征。

时域和空域网络:将大小为d×w×h×16的输入，分别通过由s-p3d网络结构块和t-p3d网络结构块与3d池化网络结构块组成的时空域网络，得到两个大小为d/2×w/2×h/2×32的时域特征层和空域特征层。

输出网络:将时空双路网络提取的特征在特征通道维度进行连接，得到大小为

d/2×w/2×h/2×64的时空联合特征，再通过一层含有64个卷积核，卷积核大小为1x1x1的3d卷积层对融合后的时空特征进行归一化，最后接人全局池化层,通过softmax层评估得到最终的分类结果。

对道路黑烟分类结果进行评价判断，评价公式如下：

式中:acc表示准确率,n为样本总数；tpr表示被预测为烟雾的烟雾样本结果数,即检测率；tnr表示被预测为非烟雾的非烟雾样本结果数,即误检率；tp表示烟雾总数中正确检测到烟雾的数量；fn表示未被识别的实际烟雾区域的数；fp表示认定为烟雾的非烟雾数量；tn表示认定为非烟雾区域的非烟雾区域数量。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现黑烟车夜间抓拍识别方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现黑烟车夜间抓拍识别方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。