本发明计算机视觉和烟火检测技术领域，涉及一种黑烟车识别方法，尤其是一种基于动态纹理和变换域时空特征的黑烟车识别方法。
背景技术
黑烟车是一种高污染车辆，其尾气排放物不仅污染空气，而且还会损害人体健康。国家也非常重视黑烟车污染的治理问题，如何从车流中自动的检测出此类高污染车辆，并按照相关法律做进一步的车辆报废和维修处理是非常值得研究的技术，将非常有助于减少机动车污染，提高空气质量。
关于黑烟车检测，目前国内主要采用的方法还是人工路检的模式，即组织环保工作人员道路上对过往车辆进行观察，发现黑烟车后进行拦车处理，该方式耗时耗力，效率低下，且不利于证据的保存，妨碍正常的交通。国内外也开发多种车载尾气检测系统.如美国cati公司开发的motanaoem-2100系统和由日本horiba公司开发的obs-1000车载实时排放检测系统等.国内的天津大学和清华大学等也都自主开发了车载尾气检测系统，但这类系统价格昂贵，且后续的维护和保养需要消耗大量的资金，由于车辆数量的增加，给每辆车都配置的可实施性不佳。
近些年，随着道路监控的不断完善和视频质量的不断提高，基于视频监控的方法也开始出现，最初的方法就是基于视频进行简单的人工监控，雇佣大量工人不断地通过观看视频寻找经过的黑烟车，并记录车牌和截取视频片段，虽然该方法不妨碍交通，但每天海量的视频根本处理不完。
目前，现有技术中尚缺乏识别率高的黑烟车识别方法。
技术实现要素：
为解决上述问题，本发明公开了一种基于动态纹理和变换域时空特征的黑烟车识别方法，借助计算机视觉技术和无线传输技术，通过对道路监控视频的处理和分析，自动从车流中检测和识别黑烟车，触发报警，由工作人员做出进一步的处理。
为了达到上述目的，本发明提供如下技术方案：
一种基于动态纹理和变换域时空特征的黑烟车识别方法，包括如下步骤：
(1)将视频序列中的每帧图像转化为灰度图像，并平均分成若干个网格小方格；
(2)对每一帧的每一个小方格图像，提取lbp-top直方图特征或者vlbp直方图特征，得到动态纹理特征；
(3)对每一帧的每一个小方格图像，提取基于离散余弦变换的特征、基于离散傅里叶变换的特征或者基于离散哈达玛变换的特征，结合多序列分析，得到变换域特征；
(4)将动态纹理特征和变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征；
(5)利用svm分类器对所提时空特征进行分类，得到每个方格的识别结果，结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点，对当前视频段是否有黑烟车做出判断。
进一步的，所述步骤(2)中lbp-top直方图特征的计算方法包括如下步骤：
(21)对每一帧的每一个小方格图像，沿时间轴提取前面nbefore帧和后面nafter帧，组成小方格动态图像序列，并设定三个时空轴t、x和y；
(22)在xy、xt和yt三个正交平面上，分别利用下式计算像素点(x,y)的lbp值，
其中，lbpp,r(x,y)表示在位置(x,y)处的lbp值，r和p分别表示lbp编码的半径和圆周上的邻域像素个数，s(x)是一个分段函数，ip(x,y)表示中心位置为(x,y)的圆邻域的第p个像素的灰度值，ic(x,y)表示图像中心位置(x,y)处像素的灰度值；
(23)分别计算xy、xt和yt三个正交平面对应的三个lbp编码图的直方图特征，并按照xy、xt、yt的顺序串联起来，并归一化后，便得到lbp-top直方图特征，记作flbp-top。
进一步的，所述步骤(2)中的vlbp直方图特征的计算包括如下步骤：
(24)对每一帧的每一个小方格图像，沿时间轴提取前面nbefore帧和后面nafter帧，组成小方格动态图像序列，记作v，对其进行建模，采用螺旋状展开，
其中，p表示局部邻域的领域像素点个数，
(25)对v阈值化，得到v1,
(26)利用下式计算像素点的vlbp值，
其中，vq(q＝0,1,...3p+1)表示向量v1中的元素；
(27)计算当前小方格的每一个像素的vlbp值，并计算其直方图得到vlbp直方图特征，记作fvlbp。
进一步的，所述步骤(3)中基于离散余弦变换的特征的计算包括如下步骤：
(31)给定图像f，其二维离散余弦变换用下式计算，
其中，m和n分别表示图像f的行数和列数，c(u,v)(0≤u≤m-1,0≤v≤n-1)表示dct系数；
(32)取图像左上角取前ndct个系数(一般设置为40)，将连续多帧的上述dct系数特征串联起来，作为基于dct变换的变换特征，记作fdct。
进一步的，所述步骤(3)中基于离散傅里叶变换的特征的计算包括如下步骤：
(33)给定图像f，其二维离散傅里叶变换用下式计算，
其中，m和n分别表示图像f的行数和列数，c(u,v)(0≤u≤m-1,0≤v≤n-1)表示dft系数；
(34)将所有dft系数从小到大排序，取取前ndct个系数(一般设置为40)作为最有效特征,将连续多帧的上述dft系数特征串联起来，作为基于dft变换的变换特征，记作fdft。
进一步的，所述步骤(3)中基于离散哈达玛变换(dht)的特征的计算包括如下步骤：
(35)给定图像f，其二维离散哈达玛变换可以用下式计，
其中，h(u,v)(0≤u≤m-1,0≤v≤n-1)表示dht系数,bk(z)表示z的二进制的第k位，n＝2n成为哈达玛变换的阶数,二维哈达玛变换的正变换核为
(37)将所有dht系数从小到大排序，取取前ndct个系数(一般设置为40)作为最有效特征,将连续多帧的上述dht系数特征串联起来，作为基于dht变换的变换特征，记作fdht。
进一步的，所述步骤(32)中采用zig-zag扫描的方式取图像左上角取前ndct个系数(一般设置为40)。
进一步的，所述步骤(4)中将步骤(2)中的动态纹理特征和步骤(3)中的变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征，在融合前，需要先将两种特征分别进行归一化，然后再串联起来得到最终特征向量，称作时空特征，同时刻画时间和空间特征。
进一步的，所述动态纹理特征选择lbp-top直方图特征和vlbp直方图特征的一种，所述变换域特征为基于dct的特征，基于dft的特征和基于dht的特征的一种，并进行多序列分析得到动态变换域特征。
进一步的，所述步骤(5)中对当前视频段是否有黑烟车做出判断的过程包括如下步骤：
(51)利用svm分类器对所提时空特征进行分类，得到每个方格的识别结果；
(52)步骤5.2：对于某一个被识别为有烟的方格，如果与其连接的同样被识别为有烟方格的个数大于某个阈值，则认为当前帧图像被认定为黑烟帧，并进一步通过黑烟方格的数量确定黑烟的位置和面积；
(53)对于每个连续的ncont帧(一般设置为100，具体数值还根据应用需求设置)，如果有超过η帧被识别为黑烟帧，则当前视频段含有黑烟车，并做出报警通知工作人员做进一步人工识别。
与现有技术相比，本发明具有如下优点和有益效果：
(1)本发明通过引入图像分块的策略，能够借助对黑烟方格位置和个数的分析估计整个黑烟尾气的位置和面积，进一步对黑烟车的污染程度和等级做出初步估计。
(2)本发明引入动态纹理特征，能较好的刻画小方格区域的动态特征和静态特征，其中，纹理算子lbp-top具有计算复杂程度小、旋转不变、描述能力强等优点；纹理算法vlbp考虑了时间序列图片各像素之间的运动关系，将动态纹理的动态特征与静态特征相结合，从而提取小方格区域图像序列的特征，本发明优选的算子对光照还具有一定的鲁棒性，避免阴影的误检。
(3)本发明引入基于dct的特征、基于dft的特征和基于dht的特征，从变换域的角度对黑烟方格和非黑烟方格的特征进行描述，提高了特征的鲁棒性，避免了阴影的误报，降低了误报率。
(4)本发明通过纹理特征和变换域特征的融合更降低了黑暗车误报率。因此，本发明进一步提高了检出率，降低了误报率，同时可以估计黑烟的面积和位置。
附图说明
图1为本发明方法流程示意图。
图2为本发明提供的一个黑烟区域以及利用其dct变换的前40个系数的重建图像。
图3为本发明提供的一个非黑烟区域以及利用其dct变换的前40个系数的重建图像。
图4为本发明检测到的黑烟车的一个图像示例。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提供一种基于动态纹理和变换域时空特征的黑烟车识别方法，其流程图如图1所示，包括如下步骤：
步骤1：将视频序列中的每帧图像转化为灰度图像，并平均分成若干个网格小方格；
步骤2：对每一帧的每一个小方格图像，提取lbp-top直方图特征或者vlbp直方图特征，得到动态纹理特征；
其中，lbp-top直方图特征的计算方法包括如下步骤：
步骤2.1：对每一帧的每一个小方格图像，沿时间轴提取前面nbefore帧和后面nafter帧，组成小方格动态图像序列，并设定三个时空轴t、x和y；
步骤2.2：在xy、xt和yt三个正交平面上，分别利用下式计算像素点(x,y)的lbp值，
其中，lbpp,r(x,y)表示在位置(x,y)处的lbp值，r和p分别表示lbp编码的半径和圆周上的邻域像素个数，s(x)是一个分段函数，ip(x,y)表示中心位置为(x,y)的圆邻域的第p个像素的灰度值，ic(x,y)表示图像中心位置(x,y)处像素的灰度值；
步骤2.3：分别计算xy、xt和yt三个正交平面对应的三个lbp编码图的直方图特征，并按照xy、xt、yt的顺序串联起来，并归一化后，便得到lbp-top直方图特征，记作flbp-top；
vlbp直方图特征的计算包括如下步骤：
步骤2.4：对每一帧的每一个小方格图像，沿时间轴提取前面nbefore帧和后面nafter帧，组成小方格动态图像序列，记作v，对其进行建模，采用螺旋状展开，
其中，p表示局部邻域的领域像素点个数，
步骤2.5：对v阈值化，得到v1,
步骤2.6：利用下式计算像素点的vlbp值，
其中，vq(q＝0,1,...3p+1)表示向量v1中的元素；
步骤2.7：计算当前小方格的每一个像素的vlbp值，并计算其直方图得到vlbp直方图特征，记作fvlbp。
步骤3：对每一帧的每一个小方格图像，提取基于离散余弦变换(dct)的特征、基于离散傅里叶变换(dft)的特征或者基于离散哈达玛变换(dht)的特征，结合多序列分析，得到变换域特征，这里的多序列分析指的是将连续多帧提取的变换域特征串联起来作为最终的特征向量；
基于离散余弦变换(dct)的特征的计算包括如下步骤：
步骤3.1：给定图像f，其二维离散余弦变换可以用下式计算，
其中，m和n分别表示图像f的行数和列数，c(u,v)(0≤u≤m-1,0≤v≤n-1)表示dct系数；
图2显示了一个黑烟区域以及利用其dct变换的前40个系数的重建图像。图3显示了一个非黑烟区域以及利用其dct变换的前40个系数的重建图像。可以看到这40个系数可以刻画整个区域的大概舍弃了很多作为黑烟车识别不需要的细节信息；
步骤3.2：由于图像的大量信息都储存在少数的几个dct系数中，左上角为低频成分，刻画图像的形状信息，右下角为高频成分，刻画图像的边缘和细节。基于黑烟车检测问题的特点和需求，采用zig-zag扫描的方式取左上角前ndct个系数(一般设置为40，可根据具体问题的需要进行设置)，作为单帧特征，，将连续多帧的上述dct系数特征串联起来，作为基于dct变换的变换特征，记作fdct。
基于离散傅里叶变换(dft)的特征的计算包括如下步骤：
步骤3.3：给定图像f，其二维离散傅里叶变换可以用下式计算，
其中，m和n分别表示图像f的行数和列数，c(u,v)(0≤u≤m-1,0≤v≤n-1)表示dft系数；
步骤3.4：由于图像的大量信息都储存在少数的几个dft系数中，将所有dft系数从小到大排序，取取前ndct个系数(一般设置为40)作为最有效特征,将连续多帧的上述dft系数特征串联起来，作为基于dft变换的变换特征，记作fdft。
基于离散哈达玛变换(dht)的特征的计算包括如下步骤：
步骤3.5：给定图像f，其二维离散哈达玛变换可以用下式计，
其中，h(u,v)(0≤u≤m-1,0≤v≤n-1)表示dht系数,bk(z)表示z的二进制的第k位，n＝2n成为哈达玛变换的阶数,二维哈达玛变换的正变换核为
步骤3.6：哈达玛变换具有较好的能量压缩性，将所有dht系数从小到大排序，取取前ndct个系数(一般设置为40)作为最有效特征,将连续多帧的上述dht系数特征串联起来，作为基于dht变换的变换特征，记作fdht。
步骤4：将动态纹理特征和变换域特征进行融合，得到用于区分烟方格和非烟方格的时空特征；其中，动态纹理特征选择lbp-top直方图特征和vlbp直方图特征的一种，变换域特征为基于dct的特征，基于dft的特征和基于dht的特征的一种，并进行多序列分析得到动态变换域特征。在融合前，需要先将两种特征分别进行归一化，然后再串联起来得到最终特征向量，称作时空特征，同时刻画时间和空间特征。
步骤5：利用svm分类器对所提时空特征进行分类，得到每个方格的识别结果，结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点，对当前视频段是否有黑烟车做出判断。
本步骤具体包括如下子步骤：
步骤5.1：利用svm分类器对所提时空特征进行分类，得到每个方格的识别结果；
步骤5.2：对于某一个被识别为有烟的方格，如果与其连通的同样被识别为有烟方格的个数大于ncon(取值范围为[0-10]，一般设置为3，具体情况可根据应用需求进行设置)，则认为当前帧图像被认定为黑烟帧，并进一步通过黑烟方格的数量确定黑烟的位置和面积；
步骤5.3：对于每个连续的ncont帧(一般设置为100，具体数值还根据应用需求设置)，如果有超过η帧(根据应用需求设置)被识别为黑烟帧，则当前视频段含有黑烟车，并做出报警通知工作人员做进一步人工识别。
图4显示了利用本发明从车辆监控视频中检测到的一个黑烟车示例，整帧图像划分为多个大小为32x32的小方格，黑色边框的方格表示被识别为黑烟区域，白色边框的方格表示被识别为非黑色区域。从图中可见，本发明方法能够估计出黑烟的面积和位置，检出率高，误检率低。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。