基于码本和平滑转换自回归模型的黑烟车智能监控方法与流程

本发明涉及图像特征提取和时序分析技术领域，涉及一种基于码本和平滑转换自回归模型的黑烟车智能监控方法。

背景技术：

柴油货车的污染一直是机动车污染的重中之重，本发明讨论的黑烟车就常见于的柴油货车，如何及时发现道路上行驶的黑烟车，并根据污染程度实施淘汰或者强制维护，将非常有助于减少空气污染，打好柴油货车污染治理攻坚战，大幅降低污染物排放，赢得蓝天保卫战的胜利。

目前部分地区采用车辆尾气分析装置检测黑烟车，但是还存在很多不足，一方面，车载尾气分析装置往往价格昂贵，且后续的维护和保养需要消耗大量的资金，由于车辆数量的增加，给每辆车都配置的可实施性比较困难；另一方面，对于路边安装的车辆尾气分析，检测结果往往受多种因素的影响，诸如，多车并行，跟车太近，恶劣天气(风速过大、雨雪天气)，道路环境背景，旁边车辆排放，排气管高低，设备状况(光强、噪音等)、操作人员的专业程度(安装调试)等等。

技术实现要素：

本发明所要解决的技术问题在于，提出一种基于码本和平滑转换自回归模型的黑烟车智能监控方法，该方法能够进一步提高黑烟车检测的识别率，降低误报率。

为解决上述技术问题，本发明提出一种基于码本模型和平滑转换自回归模型的黑烟车智能监控方法，包括如下步骤：

(1)利用码本(codebook)模型检测视频中的运动目标，确定目标后方关键区域；

(2)提取关键区域的tamura特征，中心对称局部二值模式(cs-lbp)直方图特征和灰度直方图特征，组合形成关键区域的三类静态特征；

(3)利用平滑转换自回归(star)模型对三类静态特征的时间序列分别进行建模，并将模型的解作为最终特征向量，用于刻画关键区域的动态特征；

(4)三类特征训练得到三个svm分类器，对三个分类结果加权融合，得到当前关键区域的识别结果，并通过连续多个关键区域识别结果的分析，对当前视频段是否有黑烟车做出判断。该方法提出了一种基于码本和平滑转换自回归模型的黑烟车智能监控方法，该方法利用码本模型检测运动目标，融合tamura特征，中心对称局部二值模式(cs-lbp)直方图特征和灰度直方图特征，并结合平滑转换自回归模型，对车辆关键区域的时序特征做出刻画，该方法能大幅度提高监控黑烟车的效率。

作为本发明的一种改进，步骤(1)中的利用码本(codebook)模型检测视频中的运动目标包括如下几点：

(11)码本模型初始化及模型特性

记c＝(c1，c2，...cl)为一个像素的码本，在初始化时，将每个像素的码本置空，即l＝0，这里的l表示每个码本中码字的个数，每个码字ci(i＝1，2，...，l.)由灰度值vi和六元组auxi两部分组成，

其中，和分别表示码字中最小和最大灰度值，fi表示码字出现的频率，λi表示训练中该码字没有出现的最大时间间隔，pi和qi分别表示该码字第一次出现和最后一次出现的时间；

(12)码本建模和模型更新

i)设x＝{x1，x2，...，xn}是一像素的序列采样值，xt是当前像素t时刻的灰度值，对于每个像素的采样值中的每个xt，利用下述条件找出与其匹配的码字cm，

其中，[ilow，ihigh]表示每个码字的灰度值变化范围，ε1是一个阈值，vm表示码字cm对应的灰度值；

ii)如果码本为空或者找不到匹配的码字，则创建一个新的码字，

如果有码字cm满足上述两个条件，把码字更新为

iii)训练结束后，计算该像素每个码字没有再次出现的最大时间间隔，对于每个码字ci(i＝1，2，...，l.)，λi＝max{λi，(n-qi+pi-1)}，利用λ消除冗余码字，得到最能代表真实背景的初始码本m＝{ck|ck∈c，λk≤tm}，tm通常取训练帧数的一半；

(13)前景目标提取

对于新输入像素xt，如果在码本m中能找出满足下列条件的匹配码字cm，则xt为前景运动目标像素，否则为背景像素，

其中，[ilow，ihigh]表示每个码字的灰度值变化范围，ε2是一个阈值，vm表示码字cm中对应的灰度值；

作为本发明的一种改进，步骤(2)中的关键区域的tamura特征包括以下几种：

(21)特征一：粗糙度(coa)，其计算方法为，

其中，m和n分别表示图像的宽和高，{e1，e2，...，ek，...，el}表示在k取遍集合{1，2，3，4，5}中的数值时，位置(i，j)处的水平平均强度差ek，h(i，j)和垂直平均强度差ek，v(i，j)的数值的集合，

ek，v(i，j)＝|ak(i，j+2^k-1)-ak(i，j-2^k-1)|

ek，h(i，j)＝|ak(i+2^k-1，j)-ak(i-2^k-1，j)|

其中，f(i，j)表示位置(i，j)处的灰度值，ak(x1，x2)表示活动窗口为2^k×2^k(k＝1，2，3，4，5)的像素的平均值。

(22)特征二：对比度(con)，其计算方法为，

其中，σ表示标准差，μ4均值的四阶矩，参数n0一般设置为0.25。

(23)特征三：方向度(dir)，其计算方法为，

其中，φ表示量化方向码，p表示直方图峰值，对任意一个峰值p，wp表示该峰值包含的量化范围，np表示直方图中峰值的数目，φp表示wp中最大直方图中的量化数值，hd表示直方图，通过计算梯度幅值|δg|大于阈值tho且角度θ在某个范围的点的个数得到，hd(k)表示点的幅值|δg|≥tho且角度θ满足(2k-1)π/2n≤θ≤(2k+1)π/2n的点的个数，θ和|δg|的计算方法为

θ＝tan^-1(δv/δh)+π/2

|δg|＝(|δh|+|δv|)/2

其中，δv和δh通过一个3×3的prewitt算子得到的垂直差异值和水平差异值；

(24)特征四：线性度(lin)，其计算方法为，

其中，pdd(i，j)表示n×n的局部方向共生矩阵(dcom)在点(i，j)的元素值，该点的距离为d且沿着边界具有方向码i和方向码j，我们利用微分和阈值化计算hd和pdd，局部方向共生矩阵被定义为两个相邻单元的相对频率，通过沿着图像便捷的距离d来分离，与原方向相同则数值+1，与原方向垂直则数值-1；

(25)特征五：规整度(reg)，其计算方法为，

reg＝1-r(σcon+σcor+σdir+σlin)

其中，σxxx对应特征xxx的标准差，r是一个规范化因子；

(26)特征六：粗略度(rou)，其计算方法为，

rou＝coa+con

其中，coa和con分别表示粗糙度和对比度；

将第一类特征tamura特征记作ftamura，即ftamura＝{con，cor，dir，lin，reg，rou}。

步骤(2)中的关键区域的中心对称局部二值模式(cs-lbp)直方图特征的计算包括以下步骤：

(27)中心对称局部二值模式的计算方式为，

其中，r表示半径大小，n表示邻域所取像素个数，t表示阈值，cslbpr，n，t(x，y)表示半径为r邻域点个数为n的中心对称局部二值模式特征在位置(x，y)处的数值；

(28)对得到的中心对称局部二值模式图提取直方图特征；

将第二类特征记作fcslbp，即(28)提取的直方图特征。

步骤(2)中的关键区域的灰度直方图特征包括以下步骤：

(29)将关键区域图像转化为灰度图像，并做一个灰度值截断处理，即凡是大于阈值th的灰度值全部赋值为ttru，

其中，inorm(x，y)表示规范化关键区域在位置(x，y)处的灰度值；

(210)计算截断处理后的关键区域图像的灰度直方图，灰度级分布为[0，ttru]，其中ttru一般取180；

将第三类特征记作fhist，即(29)提取的直方图特征。

作为本发明的一种改进，所述步骤(3)中利用star模型对静态特征的时间序列进行建模，包括如下步骤：

(31)star模型可以表示为

其中，ai(i＝1，2，...，p)和bi(i＝1，2，...，p)均为待估计参数，yt是要研究的时间序列，a0和b0是常数，p表示研究序列的阶数，εt是独立同分布的随机变量，g(·)是一个连续的平滑函数，分为逻辑斯蒂函数和指数函数两种，

g(yt-d；γ，c)＝[1+exp(-γ×(yt-d-c))]^-1；γ＞0

g(yt-d；γ，c)＝1-exp(-γ×(yt-d-c)²)；γ＞0

其中，yt-d是门限变量，d是延迟参数，c是两个机制之间的门限值；

(32)根据经验确定参数p，并对模型进行非线性最小二乘估计，求出模型参数的估计值；

(33)利用star模型对三类静态特征的时间序列分别进行建模，并将模型的解作为最终特征向量，用于刻画关键区域的动态特征

作为本发明的一种改进，步骤(4)中当前视频段是否有黑烟车做出判断包括如下步骤：

(41)用不同的训练样本得到不同的模型参数，利用这些参数训练svm模型，三类特征训练得到三个svm分类器，用于新的估计参数的分类；

(42)将三个模型分别用于新特征的分类，对分类结果进行加权融合，得到当前关键区域的识别结果；

其中，sk表示第k个特征分类器的分类结果；

(43)通过连续多个关键区域识别结果的分析，对当前视频段是否有黑烟车做出判断。

本发明的有益效果为：(1)本发明采用码本模型对背景进行建模，检测运动目标，抗干扰能力强，误检率低，计算复杂度小，非常适合做实时检测；(2)该技术发明融合了tamura特征，中心对称局部二值模式(cs-lbp)直方图特征和灰度直方图特征。其中，tamura特征是根据人类对纹理视觉感知的心理学研究而提出的，可以较好的捕捉纹理的高级视觉特征，中心对称局部二值模式融入了梯度信息，相比于传统的局部二值模式，能更好地刻画关键区域的特性，本发明采用的灰度直方图引入了截断阈值，降低了特征维数，能更好更细致的刻画关键区域的灰度分布特征；(3)该发明结合平滑转换自回归模型，对车辆关键区域的时序特征做出刻画，多特征的融合和时序特征的利用大大提高了检出率和降低了误报率；

附图说明

图1为本发明的方法流程示意图。

图2为本发明检测到的黑烟车的一个例子。

具体实施方式

本发明提出一种基于码本和平滑转换自回归模型的黑烟车智能监控方法，其流程图如图1所示，具体按照以下步骤进行：

步骤1：利用码本(codebook)模型检测视频中的运动目标，确定目标后方关键区域；

步骤2：提取关键区域的tamura特征，中心对称局部二值模式(cs-lbp)直方图特征和灰度直方图特征，组合形成关键区域的三类静态特征；

步骤3：利用平滑转换自回归(star)模型对三类静态特征的时间序列分别进行建模，并将模型的解作为最终特征向量，用于刻画关键区域的动态特征；

步骤4：三类特征训练得到三个svm分类器，对三个分类结果加权融合，得到当前关键区域的识别结果，并通过连续多个关键区域识别结果的分析，对当前视频段是否有黑烟车做出判断。

步骤1中的利用码本(codebook)模型检测视频中的运动目标包括如下几点：

步骤1.1：码本模型初始化及模型特性

记c＝(c1，c2，...cl)为一个像素的码本，在初始化时，将每个像素的码本置空，即l＝0，这里的l表示每个码本中码字的个数，每个码字ci(i＝1，2，...，l.)由灰度值vi和六元组auxi两部分组成，

其中，和分别表示码字中最小和最大灰度值，fi表示码字出现的频率，λi表示训练中该码字没有出现的最大时间间隔，pi和qi分别表示该码字第一次出现和最后一次出现的时间；

步骤1.2：码本建模和模型更新

i)设x＝{x1，x2，...，xn}是一像素的序列采样值，xt是当前像素t时刻的灰度值，对于每个像素的采样值中的每个xt，利用下述条件找出与其匹配的码字cm，

其中，[ilow，ihigh]表示每个码字的灰度值变化范围，ε1是一个阈值，vm表示码字cm对应的灰度值；

ii)如果码本为空或者找不到匹配的码字，则创建一个新的码字，

如果有码字cm满足上述两个条件，把码字更新为

iii)训练结束后，计算该像素每个码字没有再次出现的最大时间间隔，对于每个码字ci(i＝1，2，...，l.)，λi＝max{λi，(n-qi+pi-1)}，利用λ消除冗余码字，得到最能代表真实背景的初始码本m＝{ck|ck∈c，λk≤tm}，tm通常取训练帧数的一半；

步骤1.3：前景目标提取

对于新输入像素xt，如果在码本m中能找出满足下列条件的匹配码字cm，则xt为前景运动目标像素，否则为背景像素，

其中，[ilow，ihigh]表示每个码字的灰度值变化范围，ε2是一个阈值，vm表示码字cm中对应的灰度值；

步骤2中的关键区域的tamura特征包括以下几种：

步骤2.1：特征一：粗糙度(coa)，其计算方法为，

其中，m和n分别表示图像的宽和高，{e1，e2，...，ek，...，el}表示在k取遍集合{1，2，3，4，5}中的数值时，位置(i，j)处的水平平均强度差ek，h(i，j)和垂直平均强度差ek，v(i，j)的数值的集合，

ek，v(i，j)＝|ak(i，j+2^k-1)-ak(i，j-2^k-1)|

ek，h(i，j)＝|ak(i+2^k-1，j)-ak(i-2^k-1，j)|

其中，f(i，j)表示位置(i，j)处的灰度值，ak(x1，x2)表示活动窗口为2^k×2^k(k＝1，2，3，4，5)的像素的平均值。

步骤2.2：特征二：对比度(con)，其计算方法为，

其中，σ表示标准差，μ4均值的四阶矩，参数n0一般设置为0.25。

步骤2.3：特征三：方向度(dir)，其计算方法为，

其中，φ表示量化方向码，p表示直方图峰值，对任意一个峰值p，wp表示该峰值包含的量化范围，np表示直方图中峰值的数目，φp表示wp中最大直方图中的量化数值，hd表示直方图，通过计算梯度幅值|δg|大于阈值tho且角度θ在某个范围的点的个数得到，hd(k)表示点的幅值|δg|≥tho且角度θ满足(2k-1)π/2n≤θ≤(2k+1)π/2n的点的个数，θ和|δg|的计算方法为

θ＝tan^-1(δv/δh)+π/2

|δg|＝(|δh|+|δv|)/2

其中，δv和δh通过一个3×3的prewitt算子得到的垂直差异值和水平差异值；

步骤2.4：特征四：线性度(lin)，其计算方法为，

其中，pdd(i，j)表示n×n的局部方向共生矩阵(dcom)在点(i，j)的元素值，该点的距离为d且沿着边界具有方向码i和方向码j，我们利用微分和阈值化计算hd和pdd，局部方向共生矩阵被定义为两个相邻单元的相对频率，通过沿着图像便捷的距离d来分离，与原方向相同则数值+1，与原方向垂直则数值-1；

步骤2.5：特征五：规整度(reg)，其计算方法为，

reg＝1-r(σcon+σcor+σdir+σlin)

其中，σxxx对应特征xxx的标准差，r是一个规范化因子；

步骤2.6：特征六：粗略度(rou)，其计算方法为，

rou＝coa+con

其中，coa和con分别表示粗糙度和对比度；

将第一类特征tamura特征记作ftamura，即ftamura＝{con，cor，dir，lin，reg，rou}。

步骤2中的关键区域的中心对称局部二值模式(cs-lbp)直方图特征的计算包括以下步骤：

步骤2.7：中心对称局部二值模式的计算方式为，

其中，r表示半径大小，n表示邻域所取像素个数，t表示阈值，cslbpr，n，t(x，y)表示半径为r邻域点个数为n的中心对称局部二值模式特征在位置(x，y)处的数值；

步骤2.8：对得到的中心对称局部二值模式图提取直方图特征；

将第二类特征记作fcslbp，即(28)提取的直方图特征。

步骤2中的关键区域的灰度直方图特征包括以下步骤：

步骤2.9：将关键区域图像转化为灰度图像，并做一个灰度值截断处理，即凡是大于阈值th的灰度值全部赋值为ttru，

其中，inorm(x，y)表示规范化关键区域在位置(x，y)处的灰度值；

步骤2.10：计算截断处理后的关键区域图像的灰度直方图，灰度级分布为[0，ttru]，其中ttru一般取180；

将第三类特征记作fhist，即(29)提取的直方图特征。

步骤3中利用star模型对静态特征的时间序列进行建模，包括如下步骤：

步骤3.1：star模型可以表示为

其中，ai(i＝1，2，...，p)和bi(i＝1，2，...，p)均为待估计参数，yt是要研究的时间序列，a0和b0是常数，p表示研究序列的阶数，εt是独立同分布的随机变量，g(·)是一个连续的平滑函数，分为逻辑斯蒂函数和指数函数两种，

g(yt-d；γ，c)＝[1+exp(-γ×(yt-d-c))]^-1；γ＞0

g(yt-d；γ，c)＝1-exp(-γ×(yt-d-c)²)；γ＞0

其中，yt-d是门限变量，d是延迟参数，c是两个机制之间的门限值；

步骤3.2：根据经验确定参数p，并对模型进行非线性最小二乘估计，求出模型参数的估计值；

步骤3.3：利用star模型对三类静态特征的时间序列分别进行建模，并将模型的解作为最终特征向量，用于刻画关键区域的动态特征

步骤4中当前视频段是否有黑烟车做出判断包括如下步骤：

步骤4.1：用不同的训练样本得到不同的模型参数，利用这些参数训练svm模型，三类特征训练得到三个svm分类器，用于新的估计参数的分类；

步骤4.2：将三个模型分别用于新特征的分类，对分类结果进行加权融合，得到当前关键区域的识别结果；

其中，sk表示第k个特征分类器的分类结果；

步骤4.3：通过连续多个关键区域识别结果的分析，对当前视频段是否有黑烟车做出判断。

图2显示了利用本发明从车辆监控视频中检测到的一个黑烟车的例子，白色的细线矩形框表示检测到的运动目标的包围盒，灰色矩形框表示关键区域，灰色矩形框底部的数值表示该区域是黑烟区域的概率。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。