专利名称：基于监控视频内容提取车辆底盘图像的合成方法
技术领域：
本发明涉及车辆运动图像监控领域，特别是一种基于监控视频内容提取车辆底盘 图像的合成方法。
背景技术：
近年来，视频已广泛应用于数字娱乐、电子商务、安全监控、广告宣传等众多领域， 并将随着无线网络、智能移动终端等的进一步普及而快速发展。与此相应，各种基于视频的 特征提取、关键帧提取、视频摘要、视频内容分析与理解等算法也逐步成为多媒体技术、计 算机视觉与模式识别交叉方向中的研究热点。传统视频监控大多依赖人工干预，而通过监控视频的内容合成则在以下方面遇到 困难1)视频内容分析容易受到拍摄质量、光照影响，且目标对象并不都位于同一成像平 面，因此存在视角畸变因素的干扰；2)视频内容相对复杂，单一帧往往由对应场景下的多 个目标构成，不同目标的精确分割与识别存在一定困难；3)视频数据量相对较大，内容提 取算法难以做到实时、有效。因此，如何从大量视频二进制监控视频数据流中直接提取并合 成其中的重要内容，已成为进一步扩展各类视频应用的瓶颈之一。
发明内容
发明目的本发明所要解决的技术问题是针对现有技术的不足，提供一种基于监 控视频内容提取车辆底盘图像的合成方法。为了实现本发明所述的目的，本发明提供的一种基于监控视频内容提取车辆底盘 图像的合成方法，其特征是，包含以下步骤(1)输入车辆底盘监控视频，每间隔一段时间 对视频帧取样，将每一帧转成灰度图像，并作帧间差分；(2)设当前处理帧为&，在帧&中生成若干由封闭轮廓连接的多边形；(3)通过最小包围盒面积筛选排除帧&中不对应于汽车底盘的多边形；(4)在帧&中，从剩余的多边形轮廓中生成汽车底盘运动区域所对应的矩形包围 盒 boundary_box (f\)；(5)取帧&的上一相邻帧f^，在这两帧中的矩形包围盒boundaryjDox (^)与矩 形包围盒boimdary—boxaH)之间，计算得到一组匹配的特征点集合FP (f^，f)；(6)遍历特征点集合FP^+fi)中的所有匹配特征点坐标值，计算两相邻帧。与 帧fi间的Y向平均偏移距离A灭(/_,，/)；(7)取帧&中的矩形包围盒boundary—box^i)区域内所有像素，对其作X方向的 拉伸变换，用于消除局部视频拍摄中的帧间X向视角畸变；(8)设当前结果车辆底盘图像为IMsult，取该图像中底边为下边界、高度为Y向平 均偏移距离缺(u)的矩形区域图像为I' result ；设在当前帧fi中，通过x向拉伸变换 后的矩形包围盒boundary—box^)区域中，以顶边为上边界、高度为Y向平均偏移距离 A3U_/m，/)的矩形区域图像为I' ^忧)，将矩形区域图像I' _lt与算法生成的矩形区
6域图像I' ^(f,)作融合算法平滑过渡后，得到新的矩形区域图像IMsult ；将矩形包围盒 boundary_box(fi)中的其余矩形区域图像合并至矩形区域图像Iresult。本发明的步骤(1)中，间隔时间设定为20ms 100ms，优选地隔设定为30ms。本发明步骤⑴中，彩色图片转为灰度图片采用如下公式gray = 0. 299R+0. 587G+0. 114B
其中R，G，B分别表示图像像素点的红色、绿色和蓝色分量，gray为灰度分量。 本发明步骤(1)中，帧间差分采用以下公式
《江力表示第i幅图像中坐标为(X，y)的点的像素灰度值。 本发明步骤(1)中，二值化处理使用如下公式
J 255,if{Rm{x,y) > 35) 1=0，o tnerw ise其中dst(x，y)为(x，y)处像素二值化后的取值，其中二值化阈值取固定值35。本发明步骤(1)中，膨胀操作使用Gaussian金字塔分解对输入图像先做向下采 样，膨胀完成后作向上采样，通过上述形态学操作可以减少图像间差分所形成的细小空洞， 使区域更为完整，该步骤主要用于为运动区域提取提供初始数据。本发明步骤(2)中，先对二值化后的轮廓曲线进行最小二乘法的直线拟合，拟合 后只取直线的起始点和终点进行存储，而后以若干直线段连接这些点，即可生成汽车底盘 初始不规则多边形，该步骤得到由封闭曲线构成的一组不规则候选封闭轮廓。本发明步骤(3)用于去除面积过小、不可能对应汽车底盘的候选封闭区域，其中 最小包围盒面积筛选公式如下Area ⑷ < 入 0*x*y其中Pi表示各不规则候选封闭轮廓，Area(Pi)为其包围盒面积，表示目标底盘区 域图像面积占当前帧总图像面积大小的最小比值阈值，本发明取入。=0.6，x为当前帧的 长度、y为当前帧的宽度。本发明中步骤(4)从剩余候选封闭轮廓生成对应于汽车底盘所对应的矩形包围 盒，其方法是首先对当前帧fi中的各剩余封闭轮廓计算如下矩形运动区域
'x0 = (1-a) mir^A ) + a max(x;) ^0=0-c)min(只)+ c maxO,)Ic{ci) height = (1 - c -) - min(只))
width = (I-a- b)(max(xi) — min(x;)) (xt，只)e boundary (q )其中boundary (Ci)是某封闭轮廓Ci对应的边界轮廓，其中Ci G &，￡1、13、(3、(1为其 矩形运动区域调节系数，，a, b，c, d取值由用户自主确定，取值范围在0到1之间，a, b，c, d的不同取值将影响矩形在视频帧中的生成位置，以这些矩形为基础可以展开拼接操作，本 发明中优选地分别取a = 0. 05，b = 0. 35，c = 0. 05, d = 0. 50，x0表示矩形包围盒左上点 的横坐标，y0表示矩形包围盒左上点的纵坐标，width表示矩形包围盒的长，hegitht表示 矩形包围盒的宽，(Xi，yi)代表封闭轮廓Ci中的具体某一点，a取值将影响X(l位置，c取值将影响yo位置，a，b共同作用影响width变量，c, d共同作用影响hegitht变量。然后应 用如下方法得到最终底盘矩形包围盒boundaryjDox (^)
权利要求
一种基于监控视频内容提取车辆底盘图像的合成方法，其特征在于，包含以下步骤(1)输入车辆底盘监控视频，每间隔一段时间对视频帧取样，将每一帧转成灰度图像，并作帧间差分；(2)设当前处理帧为fi，在帧fi中生成若干由封闭轮廓连接的多边形；(3)通过最小包围盒面积筛选排除帧fi中不对应于汽车底盘的多边形；(4)在帧fi中，从剩余的多边形轮廓中生成汽车底盘运动区域所对应的矩形包围盒boundary_box(fi)；(5)取帧fi的上一相邻帧fi 1，在这两帧中的矩形包围盒boundary_box(fi)与矩形包围盒boundary_box(fi 1)之间，计算得到一组匹配的特征点集合FP(fi 1，fi)；(6)遍历特征点集合FP(fi 1，fi)中的所有匹配特征点坐标值，计算两相邻帧fi 1与帧fi间的Y向平均偏移距离(7)取帧fi中的矩形包围盒boundary_box(fi)区域内所有像素，对其作X方向的拉伸变换，用于消除局部视频拍摄中的帧间X向视角畸变；(8)设当前结果车辆底盘图像为Iresult，取该图像中底边为下边界、高度为Y向平均偏移距离的矩形区域图像为I′result；设在当前帧fi中，通过X向拉伸变换后的矩形包围盒boundary_box(fi)区域中，以顶边为上边界、高度为Y向平均偏移距离的矩形区域图像为I′merge(fi)，将矩形区域图像I′result与算法生成的矩形区域图像I′merge(fi)作融合算法平滑过渡后，得到新的矩形区域图像Iresult；将矩形包围盒boundary_box(fi)中的其余矩形区域图像合并至矩形区域图像Iresult。FSA00000245094300011.tif,FSA00000245094300012.tif,FSA00000245094300013.tif
2.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 步骤(1)中，间隔时间设定为20ms IOOms ；将每一帧转成灰度图像采用如下公式 gray = 0. 299R+0. 587G+0. 114B,其中R，G，B分别表示图像像素点的红色、绿色和蓝色分量，gray为灰度分量； 帧间差分采用以下公式
3.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 步骤(1)中，包括二值化处理和膨胀操作，所述二值化处理使用如下公式
4.如权利要求3所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 步骤(2)中，先对二值化后的轮廓曲线进行最小二乘法的直线拟合，拟合后只取直线的起始点坐标和终点坐标进行存储，而后以直线段连接所述起始点坐标和终点坐标，即生成车 辆底盘初始多边形。
5.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 最小包围盒面积筛选公式如下Area(Pi) < λ其中Pi表示各不规则候选封闭轮廓，Area(Pi)为其包围盒面积，Xci表示目标底盘区 域图像面积占当前帧总图像面积大小的最小比值阈值，χ为当前帧的长度、Y为当前帧的宽度。
6.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征 是，步骤(4)中，从剩余的多边形轮廓中生成汽车底盘运动区域所对应的矩形包围盒 boundary_box (f》包括如下步骤，对当前帧fi中的各剩余封闭轮廓计算如下矩形区域Hci)X0 = (1 - a) min(x, ) + a max(x,) 少0 = (1 — c) minO,) + c max(>,) height = (l-c-i/)(max(>'j) - min(^)) width = (l-a- b)(max(xj) — min(x；))(Xiboundary(cj)其中Ixnmdary(Ci)是封闭轮廓Ci对应的边界轮廓，其中Ci e fi; a、b、c、d为其矩形运 动区域调节系数，a、b、c、d取值范围为0 1之间的任意实数；Xtl表示矩形包围盒左上点 的横坐标，Y0表示矩形包围盒左上点的纵坐标，width表示矩形包围盒的长，hegitht表示 矩形包围盒的宽，(Xi，id代表封闭轮廓Ci中的一点；根据如下步骤得到最终底盘矩形包围盒boimdaryjDox^i)“NXavg = Σboudnary _ box{ft)ya vgN=Σ w^iHeightavg = WiHeighti οNWidthavg = ^ WiWidthiNWhere^t Wi = 1xavg表示矩形包围盒左上点的横坐标，yavg表示矩形包围盒左上点的纵坐标，Widthavg 表示矩形包围盒的长，hegitht■表示矩形包围盒的宽，Wi表示权值序列，0 < Wi < 1，所述NWhereYuWi =1表示各视频帧矩形框的权值总和为1。 0
7.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 步骤(5)中，计算两相邻帧f^与&中的匹配特征点的步骤如下 (a)使用如下高斯核函数建立图像的尺度空间1-((ξIχ)2+(ξyy)2)G(x,y) = ~^^， 2πσ其中ξ χ和ξ y分别为X向与Y向调节系数；(b)分别在矩形包围盒boundaryJiox^H)与矩形包围盒boundaryjox忧)中计算特 iiE ’(C)对帧fg与帧fi中计算出的特征点(Xl，Y1)与特征点(x2，y2)，采用如下公式计算 其匹配度dfinal (Xl' Yl)，(X2，Y2) = dEuclidean((Xl' Yl)，(X2，Y2) ) Hxtra ( (Xl ‘ Yl)，(X2，Y2))‘其中dEu。lid_表示两点间的欧氏距离，Clraitra表示两个特征点间的偏移量，由下式获得d =|°°,|x2 -X1I > ^max咖 0，otherwise，其中ξ _表示最大X坐标位移阈值，所述ξ _彡0 ；(d)将特征点匹配度大小升序排序，计算最近邻和次近邻的比值，并判断该比值是否 小于设定的阈值，如果小于等于设定的阈值则保留该特征点成为SIFT匹配点，而后将所有 SIFT匹配点加入匹配特征点集合FP (f^, ，否则不将该点加入匹配特征点集合。
8.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征 是，在步骤(6)中，相邻的帧。与帧A间Y向平均偏移距离缺(/_,，/)的计算公式为fi) = Σ其中乂。，Α)表示集合FP^1，Α)中的匹配，点个数，Ay表示匹配点间Y坐标的差值，其中ξ j变量表示权值，由下式确定—KJ1 n{fi-\Ji)^kJ = n(f n ι Σ (Avy-Av,)2nKJi-X Ji)-^ k=iO
9.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 步骤(7)中，帧间X向视角畸变消除计算公式为Aarget (A y ) = ^/source (Γ^Ι 一 Γ^ ) + G -式)Source (ΓΧ , Γ^ )y = y，Su=S0 + ky其中is。u^(x，y)为畸变消除前的像素坐标，Itarget(χ',γ')为畸变消除后的像素坐标； Itarget(χ‘ ’ι')表示畸变消除后图像中(χ'，ι')位置的像素值，is。_(x，y)表示畸变消除前图像中(x，y)处的像素值，上式中<=「/|-χ，表示进行线性插值时的权值系数，3 表示畸变消除拉伸系数，S0表示基础调整值，k表示拉伸斜率值，且k取值范围为1. 2 1. 5，「xl表示X上取整运算。
10.如权利要求1所述的基于监控视频内容提取车辆底盘图像的合成方法，其特征是， 步骤(8)中，将矩形区域图像I' Msult与算法生成的矩形区域图像I'作融合算法平滑过渡的公式为(1- ω (y)) Iresult (χ, y) + ω (y) I ‘ merge (A) (χ, y)，(χ, y) e Iresult ^ I' merge (f》, 其中ω为平滑系数，co(y) = y/length，式中y表示纵坐标取值，length表示视频宽
全文摘要
本发明提供了一种基于监控视频内容提取车辆底盘图像的合成方法，主要包括如下步骤取帧转为灰度图片，进行预处理操作；形成运动区域不规则多边形；通过面积筛除部分不规则多边形；形成矩形包围盒；w-SIFT算法匹配；计算Y向平均偏移距离；做x方向的拉伸变换；图像拼接以及平滑过渡。本发明的有益效果在于输入一段车辆底盘监控视频，可自动将其转换为包括该车辆完整底盘描述的单一静态图像，该图像可用于进一步的图像识别等。该方法可节省大量人工拼接图片的时间开销，并显著提高拼接后的效果；得到的结果可以直观反应监控视频所要表达的重要内容。
文档编号H04N7/18GK101945257SQ201010264070
公开日2011年1月12日 申请日期2010年8月27日 优先权日2010年8月27日
发明者孙再亮, 巫义锐, 王利民, 田智源, 路通 申请人:南京大学