基于bow图像表征模型的输电线路大型施工车辆识别方法
【专利摘要】本发明公开了一种基于BOW图像表征模型的输电线路防外破大型施工车辆识别方法。对摄像头获取的当前图像帧进行中值滤波；使用混合高斯建模的方法进行背景建模和前景识别；使用大区域内基于纹理的方法消除运动目标的阴影；提取每个前景区域的BOW模型特征；将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别。本发明克服其它基于颜色的方法存在的只能检测特定某种颜色车辆的缺点，能检测各种大型施工车辆的类别，准确性高。
【专利说明】
基于BOW图像表征模型的输电线路大型施工车辆识别方法
技术领域
[0001] 本发明属于输电线路防外破领域，涉及一种基于B0W图像表征模型的输电线路大 型施工车辆识别方法。
【背景技术】
[0002] 基于智能视频分析的输电线路在线监测装置所采用的算法按其是否对检测目标 进行识别可以分为两类:一类只检测出入侵目标并进行统一标识，将检测结果提交给用户 进行人工分辨决策；另一类首先检测入侵目标，然后采用人工智能、机器学习、模式识别等 技术对入侵目标进行识别分类，将分好类的结果提交给用户。第一类方法一般只用于前景 运动物体不多的情况，当前景运动物体较多时，其检测出的大量无效目标会将真正有效的 目标淹没。而第二类方法对技术要求更高。
[0003] 第一类算法难点在于运动目标进行检测。运动目标检测按原理划分可以分为三 类:光流法、帧间差分法和背景减除法。光流法是基于对光流场的估计进行检测的分割方法 景减除法。光流法是基于对光流场的估计进行检测的分割方法，其计算量巨大，算法也十分 复杂，实时性差，对输电线路大型机械入侵检测并不适用。帧间差分法使用图像序列间的差 分检测来确定运动目标，算法简单容易实现，但当目标运动缓慢或速度很快时，提取的目标 不能接近其真实形状。背景减除法是当前主流的运动目标检测算法，它是将视频图像与背 景参考图像进行差分，前景点即是运动目标。它处理速度快，对不同场景的适应性很强，能 比较准确地提取出目标的真实形状。
[0004] 第二类算法首先也需要进行运动目标检测，然后对入侵目标进行识别分类，其难 点主要在于目标识别，即判断运动目标是否是吊车、水泥栗车等大型施工车辆。文献【输电 线路中反大型机械外力破坏的智能预警功能的实现】中使用背景减除法进行背景检测，并 使用颜色作为大型机械的图像特征，对它进行建模。根据吊臂区域面积、偏心率和紧密度进 行吊臂检测，使用HOUGH变换计算吊臂伸展角度，根据与输电线路间的距离发出警报。文献 【输电线路监控系统中运动目标的智能检测与识别】使用基于颜色的特征在前景目标中识 别出大型机械，然后定位吊车轮，采用面积、偏心率和紧密度3个指标作为分类器特征向量 的输入，来识别吊臂，并进而识别危险行为。这两篇文献中的方法都采用颜色特征进行目 标识别，认为吊车的颜色是黄色的。在实际应用中，当出现非黄色的吊车时，其效果就很差。
【发明内容】
[0005] 为了克服现有技术存在的问题，本发明的目的是提供一种基于B0W图像表征模型 的输电线路大型施工车辆识别方法，该方法能检测各种大型施工车辆的类别，由于采用对 颜色不敏感的特征，其能克服其它基于颜色的方法存在的只能检测特定某种颜色车辆的缺 点，准确性高。
[0006] 本发明的目的通过以下技术方案实现：
[0007] -种基于B0W图像表征模型的输电线路大型施工车辆识别方法，包括以下步骤：
[0008] (1)对摄像头获取的当前图像帧进行中值滤波；
[0009] (2)使用混合高斯建模的方法进行背景建模和前景识别；
[0010] (3)使用大区域内基于纹理的方法消除运动目标的阴影；
[0011] (4)提取每个前景区域的B0W模型特征；
[0012] (5)将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别。
[0013]进一步，所述的对摄像头获取的当前图像帧进行中值滤波步骤为：
[0014]首先将图像从YUV颜色空间转换成RGB颜色空间，进一步将其转换成灰度图，然后 对于从第二行到倒数第二行，从第二列到倒数第二列的每个像素 f(x，y)，将它和它周围8个 像素 f(x-l，y-l)，f(x-l，y)，f(x-l，y+l)，f(x，y-l)，f(x，y+l)，f(x+l，y-l)，f(x+l，y)，f(x+ 1，y+1)按灰度值从小到大排列，取最中间那个数的值作为f (x，y)的值。
[0015] 所述的使用混合高斯建模的方法进行背景建模和前景识别的步骤为：
[0016] (1)背景建模：
[0017] 设定混合高斯模型由5个高斯函数组成，首先模型中每个高斯函数的均值、方差、 权值都设置为〇，即初始化模型矩阵参数。
[0018] 采用视频中的30帧用来训练混合高斯模型。对每一个像素而言，建立其混合高斯 模型。当第一个像素来，为其设置固定的初始均值，方差，并且每个权值均设置为0.2。
[0019] 非第一帧训练过程中，当后面来的像素值时，与前面已有的高斯函数的均值比较， 如果该像素点的值与其模型均值差在3倍的方差内，则认为该点属于该高斯函数。此时用如 下方程进行更新：
[0024] 当该像素点值与均值的差不在其3倍的方差内时，取〇:为0。
[0025] 当到达训练的帧数30后，进行不同像素点混合高斯模型个数自适应的选择。首先 用权值除以方差对各个高斯进行从大到小排序，然后选取最前面B个高斯，使其满足，其中
[0027]然后将累积权重归一化为1。
[0028] (2)前景识别:针对复杂动态的图像帧，对每个像素点按上步学习的不同权值的多 个高斯分布的叠加来建模，当当前像素点的值与建模的均值偏差在2.5σ内时，则认为该像 素属于背景，否则属于前景。
[0029] 所述的大区域内基于纹理的方法消除运动目标阴影的步骤为：
[0030] (41)使用下式预选择阴影像素(x，y):
[0032] SP值为1时表示当前像素为阴影像素，为0时表示不是。上式中，α = 0.8，β = 0.94。 It(x，y)V是t时刻图像帧(x，y)位置的V分量的值，Bt(x，y)V是使用混合高斯建模得到的t时 亥IJ背景图像(x，y)位置的V分量的值;It(x，y)H是t时刻图像帧(x，y)位置的Η分量的值，Bt(x， y)H是使用混合高斯建模得到的t时刻背景图像(x，y)位置的Η分量的值;It(x，y)S是t时刻 图像帧(x，y)位置的S分量的值，B t(x，y)S是使用混合高斯建模t时刻得到的背景图像(x，y) 位置的S分量的值。FPMTl是前景图像区域标志位。
[0033] (42)从预选择的阴影像素集中抽取所有连通域。
[0034] (43)对于每个连通域，计算每个像素 p = ( X，y)处的梯度方向和梯度模：
[0036] θρ - ai'ctan2( Vy/Vx )
[0037] 其中以为垂直方向梯度，8卩的1，7)-汽1+1，7)|，％为水平方向梯度，8卩|以1，7)-f(x，y+l) I，f(x，y)为图像在点（x，y)处的灰度值，f(x，y+l)为图像在点（x，y+l)处的灰度 值;其中ΘΡ的范围为[-π，π]，然后仅仅保留I θρ I的值大于某一阈值Tm的那些像素。
[0038] (44)对于剩下的每一个像素 p = (x，y)，计算当前图像和背景图像的梯度方向差
[0040] 表示在当前图像中在像素 p处水平方向的梯度值，表示在背景图像中像素 p 处水平方向的梯度值，Vf表示在当前图像中像素 P处垂直方向的梯度值，表示在背景图 像中P处垂直方向的梯度值。
[0041] (45)用下式估计当前图像和背景图像的梯度方向相关性
[0043]其中η是候选阴影区域的被选择的像素个数，而H()是单元累进函数，即如角度差 小于等于阈值ia，则函数的值为1，否则为(Lc是区域中在当前图像中和背景图像中梯度方 向相似的像素数的比率。如c比阈值τ。大，则认为候选区域是阴影区域。
[0044] 所述的提取每个前景区域的B0W模型特征的步骤为：
[0045] (51)局部特征提取
[0046] 用边长为8像素的均匀网格(网格)划分图像，在4个网格形成的块上提取SIFT描述 子。每个块是16X16像素的矩形，包含4X4个桶，每个桶是4X4像素。在每个桶中计算8个方 向的梯度信息，于是每个块由4 X 4 X 8 = 128维向量表征。块移动的步长是8像素。
[0047] (52)学习视觉词典
[0048]使用KMEANS方法对训练库中所有图像提取出的Dense SIFT局部特征进行聚类。每 个聚类中心即是词典中的一个视觉词汇，所有视觉词汇形成一个视觉词典。
[0049] (53)特征量化编码与空间金字塔
[0050] 得到视觉词典后，则图像的每个特征都能映射到词典中的某个词上，然后统计词 典中每个视觉词在该图像上的出现次数，从而得到一个300维的表征图像的直方图向量。
[0051] 采用多尺度的分块方法，将图像分为IX 1、2X2、4X4空间分块的三层金字塔，分 别统计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征。这样一幅图像的 特征为6300维。
[0052] (54)训练分类模型并预测
[0053]对所有训练集中的图像使用以上1) _3)步中的方法提取特征，使用SVM支持向量机 对训练集的特征向量进行训练，获得大型施工车辆的分类模型;核函数形式如下式：
[0055] 所述的将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别的 步骤为：
[0056] 对于每个检测出的去除阴影后的前景区域，采用前述提取图像的Dense SIFT特 征，并根据视觉词典进行量化得到量化后特征，再经金字塔编码得到区域的特征，送入已训 练好的SVM分类器中进行分类，如其分类为吊车、挖掘机或水泥栗车，则认为是有潜在外破 可能的大型施工车辆，否则认为没有外破可能性。
[0057]与现有技术相比，本发明基于B0W图像表征模型来识别输电线路大型施工车辆，采 用对颜色不敏感的特征，克服了现有技术中基于颜色的方法存在的只能检测特定某种颜色 车辆的缺点，能检测各种大型施工车辆的类别，准确性高。
【附图说明】
[0058]图1是基于视频图像处理的大型施工车辆识别方法流程图；
【具体实施方式】
[0059] 为了更好的理解本发明的技术方案，以下结合附图1对本发明作进一步的描述。
[0060] 图1描述了一种基于视频图像处理的输电线路防外破大型施工车辆识别方法，包 括以下步骤：
[0061] (1)对摄像头获取的当前图像帧进行中值滤波;步骤如下：
[0062] 首先将图像从YUV颜色空间转换成RGB颜色空间，进一步将其转换成灰度图，然后 对于从第二行到倒数第二行，从第二列到倒数第二列的每个像素 f(x，y)，将它和它周围8个 像素 f(x-l，y-l)，f(x-l，y)，f(x-l，y+l)，f(x，y-l)，f(x，y+l)，f(x+l，y-l)，f(x+l，y)，f(x+ 1，y+1)按灰度值从小到大排列，取最中间那个数的值作为f (x，y)的值。
[0063] (2)使用混合高斯建模的方法进行背景建模和前景识别;步骤如下：
[0064] 1)背景建模：
[0065]设定混合高斯模型由5个高斯函数组成，首先模型中每个高斯函数的均值、方差、 权值都设置为〇，即初始化模型矩阵参数。
[0066]采用视频中的30帧用来训练混合高斯模型。对每一个像素而言，建立其混合高斯 模型。当第一个像素来，为其设置固定的初始均值，方差，并且每个权值均设置为ο. 2。
[0067]非第一帧训练过程中，当后面来的像素值时，与前面已有的高斯函数的均值比较， 如果该像素点的值与其模型均值差在3倍的方差内，则认为该点属于该高斯函数。此时用如 下方程进行更新：
[0072] 当该像素点值与均值的差不在其3倍的方差内时，取〇:为0。
[0073] 当到达训练的帧数30后，进行不同像素点混合高斯模型个数自适应的选择。
[0074] 首先用权值除以方差对各个高斯进行从大到小排序，然后选取最前面B个高斯，使 其满足，其中
[0076]然后将累积权重归一化为1。
[0077] 2)前景识别：针对复杂动态的图像帧，对每个像素点按上步学习的不同权值的多 个高斯分布的叠加来建模，当当前像素点的值与建模的均值偏差在2.5σ内时，则认为该像 素属于背景，否则属于前景。
[0078] (3)使用大区域内基于纹理的方法消除运动目标的阴影;步骤如下：
[0079] 41)使用下式预选择阴影像素(x，y):
[00811 SP值为1时表示当前像素为阴影像素，为0时表示不是。上式中，α = 0.8，β = 0.94。 It(x，y)V是t时刻图像帧(x，y)位置的V分量的值，Bt(x，y)V是使用混合高斯建模得到的t时 亥IJ背景图像(x，y)位置的V分量的值;It(x，y)H是t时刻图像帧(x，y)位置的Η分量的值，B t(x， y)H是使用混合高斯建模得到的t时刻背景图像(x，y)位置的Η分量的值；It(x，y)S是t时刻 图像帧(x，y)位置的S分量的值，B t(x，y)S是使用混合高斯建模t时刻得到的背景图像(x，y) 位置的S分量的值。FPMTl是前景图像区域标志位。
[0082] 42)从预选择的阴影像素集中抽取所有连通域。
[0083] 43)对于每个连通域，计算每个像素 p = ( X，y)处的梯度方向和梯度模：
[0085] On = arctan2f Vy/Vx )
[0086] 其中?为垂直方向梯度，即|f(x，y)_f(x+l，y) I，Vy为水平方向梯度，即|f(x，y)_ f(x，y+l) I，f(x，y)为图像在点（x，y)处的灰度值，f(x，y+l)为图像在点（x，y+l)处的灰度 值;其中ΘΡ的范围为[-π，π]，然后仅仅保留I θρ I的值大于某一阈值Tm的那些像素。
[0087] 44)对于剩下的每一个像素 p = (x，y)，计算当前图像和背景图像的梯度方向差
[0089] Vf表示在当前图像中在像素 p处水平方向的梯度值，▽〖表示在背景图像中像素 p 处水平方向的梯度值，Vf表示在当前图像中像素 P处垂直方向的梯度值，表示在背景 图像中P处垂直方向的梯度值。
[0090] 45)用下式估计当前图像和背景图像的梯度方向相关性
[0092] 其中η是候选阴影区域的被选择的像素个数，而H()是单元累进函数，即如角度差 小于等于阈值ia，则函数的值为1，否则为(Lc是区域中在当前图像中和背景图像中梯度方 向相似的像素数的比率。如c比阈值tc大，则认为候选区域是阴影区域。
[0093] (4)提取每个前景区域的B0W模型特征;步骤如下：
[0094] 51)局部特征提取
[0095]用边长为8像素的均匀网格(网格)划分图像，在4个网格形成的块上提取SIFT描述 子。每个块是16X16像素的矩形，包含4X4个桶，每个桶是4X4像素。在每个桶中计算8个方 向的梯度信息，于是每个块由4 X 4 X 8 = 128维向量表征。块移动的步长是8像素。
[0096] 52)学习视觉词典
[0097]使用KMEANS方法对训练库中所有图像提取出的Dense SIFT局部特征进行聚类。 每个聚类中心即是词典中的一个视觉词汇，所有视觉词汇形成一个视觉词典。
[0098] 53)特征量化编码与空间金字塔
[0099] 得到视觉词典后，则图像的每个特征都能映射到词典中的某个词上，然后统计词 典中每个视觉词在该图像上的出现次数，从而得到一个300维的表征图像的直方图向量。
[0100] 采用多尺度的分块方法，将图像分为1 X 1、2 X 2、4 X 4空间分块的三层金字塔，分 别统计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征。这样一幅图像的 特征为6300维。
[0101] 54)训练分类模型并预测
[0102 ]对所有训练集中的图像使用以上1) -3)步中的方法提取特征，使用SVM支持向量机 对训练集的特征向量进行训练，获得大型施工车辆的分类模型;核函数形式如下式：
[0104] (5)将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别。步骤 为：
[0105] 对于每个检测出的去除阴影后的前景区域，采用前述提取图像的Dense SIFT特 征，并根据视觉词典进行量化得到量化后特征，再经金字塔编码得到区域的特征，送入已训 练好的SVM分类器中进行分类，如其分类为吊车、挖掘机或水泥栗车，则认为是有潜在外破 可能的大型施工车辆，否则认为没有外破可能性。
[0106] 实施实例
[0107] 对于监控摄像头获取的图像，进行如下处理：
[0108] (1)对监控摄像头获取的当前图像帧进行中值滤波。
[0109] (2)采用混合高斯建模的方法进行背景建模和前景识别，然后对图像进行阴影检 测消除。
[0110] (3)提取每个前景区域的B0W模型特征。
[0111] (4)将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别，结果 中标记出所有大型施工车辆。
【主权项】
1. 一种基于BOW图像表征模型的输电线路大型施工车辆识别方法，其特征在于包括以 下步骤： (1) 对摄像头获取的当前图像帧进行中值滤波； (2) 使用混合高斯建模的方法进行背景建模和前景识别； (3) 使用大区域内基于纹理的方法消除运动目标的阴影； (4) 提取每个前景区域的BOW模型特征； (5) 将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别。2. 根据权利要求1所述的基于BOW图像表征模型的输电线路大型施工车辆识别方法，其 特征在于:所述的对摄像头获取的当前图像帧进行中值滤波步骤为： 首先将图像从YUV颜色空间转换成RGB颜色空间，进一步将其转换成灰度图，然后对于 从第二行到倒数第二行，从第二列到倒数第二列的每个像素(x，y)，将它的灰度值f(x，y)和 它周围8 个像素的灰度值 f(x_l，y_l)，f(x_l，y)，f(x_l，y+l)，f(x，y_l)，f(x，y+l)，f(x+l， y-1)，f (x+1，y)，f (x+1，y+l)按灰度值从小到大排列，取最中间那个数的值作为像素(x，y) 的灰度值f (X，y)的值。3. 根据权利要求1所述的基于BOW图像表征模型的输电线路大型施工车辆识别方法，其 特征在于:所述的使用混合高斯建模的方法进行背景建模和前景识别的步骤为： (1)背景建模： 设定混合高斯模型由5个高斯函数组成，首先模型中每个高斯函数的均值、方差、权值 都设置为〇,即初始化模型矩阵参数； 采用视频中的30帧用来训练混合高斯模型;对每一个像素而言，建立其混合高斯模型， 当第一个像素来，为其设置固定的初始均值，方差，并且每个权值均设置为〇. 2; 非第一帧训练过程中，当后面来的像素值时，与前面已有的高斯函数的均值比较，如果 该像素点的值与其模型均值差在3倍的方差内，则认为该点属于该高斯函数，此时用如下方 程进行更新： ........ T当该像素点值与均值的差不在其3倍的方差内时，取of为0; 当到达训练的帧数30后，进行不同像素点混合高斯模型个数自适应的选择;首先用权 值除以方差对各个高斯进行从大到小排序，然后选取最前面B个高斯，使其满足，其中然后将累积权重归一化为1; 2)前景识别：针对复杂动态的图像帧，对每个像素点按上步学习的不同权值的多个高 斯分布的叠加来建模，当当前像素点的值与建模的均值偏差在2.5σ内时，则认为该像素属 于背景，否则属于前景。4. 根据权利要求1所述的基于BOW图像表征模型的输电线路大型施工车辆识别方法，其 特征在于:所述的大区域内基于纹理的方法消除运动目标阴影的步骤为： (41) 使用下式预选择阴影像素(x，y):SP值为1时表示当前像素为阴影像素，为0时表示不是。上式中，α = 0.8，β = 0.94;Ι*(χ， y)V是t时刻图像帧(x，y)位置的V分量的值，Bt(x，y)V是使用混合高斯建模得到的t时刻背 景图像(x，y)位置的V分量的值;I t(x，y)H是t时刻图像帧(x，y)位置的Η分量的值，Bt(x，y)H 是使用混合高斯建模得到的t时刻背景图像(x，y)位置的Η分量的值;It(x，y)S是t时刻图像 帧(x，y)位置的S分量的值，B t(x，y)S是使用混合高斯建模得到的t时刻背景图像(x，y)位置 的S分量的值。FPMTl是前景图像区域标志位； (42) 从预选择的阴影像素集中抽取所有连通域； (43) 对于每个连通域，计算每个像素 p =( X，y)处的梯度方向和梯度模：其中Vj·为水平方向梯度，g卩|f(x，y)-f(x，y+l) |，Vy为垂直方向梯度，g卩|f(x，y)-f(x+ 1，y) |，f(x，y)为图像在点(x，y)处的灰度值，f(x，y+l)为图像在点（x，y+l)处的灰度值;其 中ΘΡ的范围为[_π，π]，然后仅仅保留| θρ |的值大于某一阈值Tm的那些像素； (44) 对于剩下的每一个像素 p=(x，y)，计算当前图像和背景图像的梯度方向差 V' J：- J 1 - } ▽('表示在当前图像中在像素 P处水平方向的梯度值，V〗表示在背景图像中像素 p处水 平方向的梯度值，Vf表示在当前图像中像素 P处垂直方向的梯度值，▽，表示在背景图像中P 处垂直方向的梯度值； (45) 用下式估计当前图像和背景图像的梯度方向相关性其中η是候选阴影区域的被选择的像素个数，而H()是单元累进函数，即如角度差ΔΘΜ、 于等于阈值ia，则函数的值为1，否则为0;c是区域中在当前图像中和背景图像中梯度方向 相似的像素数的比率，如c比阈值tc大，则认为候选区域是阴影区域。5. 根据权利要求1所述的基于BOW图像表征模型的输电线路大型施工车辆识别方法，其 特征在于:所述的提取每个前景区域的BOW模型特征的步骤为： (51)局部特征提取 用边长为8像素的均匀网格划分图像，在4个网格形成的块块上提取SIFT描述子;每个 块是16 X 16像素的矩形，包含4 X 4个桶，每个桶是4 X 4像素;在每个桶中计算8个方向的梯 度信息，于是每个块由4 X 4 X 8 = 128维向量表征;块移动的步长是8像素； (52) 学习视觉词典 使用KMEANS方法对训练库中所有图像提取出的Dense SIFT局部特征进行聚类，每个聚 类中心即是词典中的一个视觉词汇，所有视觉词汇形成一个视觉词典； (53) 特征量化编码与空间金字塔 得到视觉词典后，则图像的每个特征都能映射到词典中的某个词上，然后统计词典中 每个视觉词在该图像上的出现次数，从而得到一个300维的表征图像的直方图向量； 采用多尺度的分块方法，将图像分为IX 1、2X2、4X4空间分块的三层金字塔，分别统 计每一子块的特征，最后将所有块的特征拼接起来，形成完整的特征。这样一幅图像的特征 为6300维； (54) 训练分类模型并预测 对所有训练集中的图像使用以上51)到53)步中的方法提取特征，使用SVM支持向量机 对训练集的特征向量进行训练，获得大型施工车辆的分类模型;核函数形式如下式：6.根据权利要求1所述的基于BOW图像表征模型的输电线路大型施工车辆识别方法，其 特征在于:所述的将提取的特征送入预先学习好的多分类SVM支持向量机中进行车型识别 的步骤为： 对于每个检测出的去除阴影后的前景区域，采用前述提取图像的Dense SIFT特征，并 根据视觉词典进行量化得到量化后特征，再经金字塔编码得到区域的特征，送入已训练好 的SVM分类器中进行分类，如其分类为吊车、挖掘机或水泥栗车，则认为是有潜在外破可能 的大型施工车辆，否则认为没有外破可能性。
【文档编号】G06K9/00GK105868734SQ201610258089
【公开日】2016年8月17日
【申请日】2016年4月22日
【发明人】程伟华, 袁杰, 刘刚, 赵琳
【申请人】江苏电力信息技术有限公司, 国网江苏省电力公司