视频监控中的人车自动分类方法
【专利摘要】本发明提出了视频监控中的人车自动分类方法，所述方法通过三帧差分法和背景消减法相结合的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后对其进行特征提取；用支持向量机对人车进行学习和分类，最终达到人车分类的目的。本发明方法既避免了采用三帧差分法造成运动对象的空洞现象,又可以解决背景消减法中的动态背景更新问题,减少背景噪声的干扰,可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高了工作效率；对道路监控，交警派遣等工作都有着重要意义。
【专利说明】视频监控中的人车自动分类方法
【技术领域】
[0001]本发明属于图像处理、视频监控和交通安全【技术领域】，具体指的是视频监控中的人车自动分类方法。
【背景技术】
[0002]目前的智能化交通视频监控系统主要针对车辆的检测，如车辆的类别、大小、速度等，往往不考虑行人问题，也就是假设视频中不会出现行人，或对行人目标不加考虑，仅仅检测和提取行驶的车辆目标，并加以处理。然而在越来越多的城市快速交通中，隧道、大桥等通道往往只允许机动车辆通过，禁止行人进入。上述交通视频监控系统无法处理这种情形。如果通过人来完成，费时又费力。通过视频监控对入侵的行人自动报警将大大提高工作效率，同时减轻交通视频监控人员的工作负担。
[0003]三帧差分算法能够去除因为运动而显露的背景的影响，准确得到运动目标的轮廓。它计算简单，对动态环境有很好的适应性，但不能提取出目标的所有相关点，容易在目标内部形成空洞，而且要求背景绝对静止或基本无变化、噪声小，因而适用场合有限。
[0004]背景消减法是在背景静止情况下常用的运动目标检测方法，很适合用来在背景图像随时间改变不大的情况下检测运动目标。它操作简单，能够提供完全的特征数据，但对目标的检测能力较低，尤其对天气、光照等噪声干扰特别敏感。
[0005]支持向量机将特征向量映射到一个更高维的空间里，在这个空间里建立一个最大间隔超平面。它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。
【发明内容】
[0006]本发明所要解决的技术问题是为了克服现有技术的不足，提出视频监控中的人车自动分类方法。所述方法充分发挥监控的实时性和主动性，在异常情况发生时及时发出警报或提供有用信息。
[0007]为了解决上述技术问题，本发明所采用的技术方案是:
[0008]视频监控中的人车自动分类方法，包括如下步骤:
[0009]步骤A，采集道路视频数据；
[0010]步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域；
[0011]步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像；
[0012]步骤D，对步骤C获得的归一化局部图像提取运动目标特征向量；所述运动目标特征向量为基于尺度空间的图像局部特征向量；
[0013]步骤E,将步骤D中获得的运动目标特征向量作为输入向量,利用支持向量机完成对人车的识别和分类。
[0014]步骤B中，所述运动目标检测的过程如下:
[0015]步骤B-1，对所述步骤A中得到的视频数据中的相邻三帧图像使用三帧差分法，得到中间图像S ；
[0016]步骤B-2，对所述相邻三帧源图像中的最后一帧使用背景消减法，得到中间图像T ；
[0017]步骤B-3，分别对中间图像S和T 二值化，得到二值化图像Ss和Tt ；
[0018]步骤B-4，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P ；
[0019]步骤B-5，对中间图像P进行后处理，以去除小的噪声区域，并平滑分割出运动目标的边界。
[0020]步骤B-5中，所述后处理包括连通区域分析和形态学滤波。
[0021]步骤D中，所述提取运动目标特征向量，其过程如下:
[0022]步骤D-1，根据步骤C获得的归一化局部图像构建高斯金字塔；
[0023]步骤D-2，将高斯金字塔中分辨率相同且尺度相邻的图像相减得到DoG(Difference of Gaussian)金字塔；
[0024]步骤D-3，将DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较；如果该像素点为最大点或者最小点，就得到了 一个极值点，并记下其位置和尺度；
[0025]步骤D-4，在每个极值点所在的尺度上，计算极值点的方向；对每个极值点进行特征描述时，将极值点周围16X16的矩形邻域进行坐标变换旋转到该极值点的主方向，按照8个方向对每个4X4网格中的采样点进行梯度强度求和生成一个8维的向量，按序将16个网格生成的向量组合生成128维的特征向量，并对该128维特征向量进行归一化处理。
[0026]本发明的有益效果是:本发明提出了视频监控中的人车自动分类方法，所述方法通过三帧差分法和背景消减法相结合的运动目标检测方法检测视频中运动的人和车；对视频中的每帧源图像进行预处理和定位分割后对其进行特征提取；用支持向量机对人车进行学习和分类，最终达到人车分类的目的。本发明方法既避免了采用三帧差分法造成运动对象的空洞现象，又可以解决背景消减法中的动态背景更新问题，减少背景噪声的干扰，可有效区别通道上的行人和车辆，减轻交通视频监控人员的工作负担，同时也提高了工作效率；对道路监控，交警派遣等工作都有着重要意义。
【专利附图】
【附图说明】
[0027]图1是本发明的视频监控中的人车自动分类方法的流程图。
[0028]图2是根据本发明的结合三帧差分法和背景消减法的运动目标检测方法的流程图。
【具体实施方式】
[0029]下面结合附图，对本发明提出的视频监控中的人车自动分类方法进行详细说明:
[0030]如图1所示，本发明的视频监控中的人车自动分类方法，其步骤如下
[0031]步骤101，采集道路视频数据；[0032]步骤102，对步骤101得到的视频数据中的运动目标进行检测；
[0033]步骤103，对步骤102得到的各个运动目标图像区域分别进行预处理；
[0034]步骤104，对步骤103获得的归一化局部图像提取具有缩放、旋转、平移甚至对仿射变换、光照变化及投影变换不变性的运动目标特征向量；
[0035]步骤105，将步骤104获得的运动目标特征向量作为输入向量，运用支持向量机达到人车分类识别的目的。
[0036]下面结合图1详细说明本发明的视频监控中的人车自动分类方法。
[0037]1.运动目标检测方法
[0038]如图2所示，该方法主要由三帧差分法、背景消减法、背景更新、运动检测、连通区域分析、形态学滤波等部分组成。首先对视频数据中的每相邻三帧源图像依次采用三帧差分法和背景消减法进行运动目标检测，得到中间图像S和T，分别对中间图像S和T 二值化，得到二值化图像Ss和Tt，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P，对中间图像P进行必要的后处理，包括连通区域分析和形态学滤波(如腐蚀、膨胀等)以去除小的噪声区域，并平滑分割出运动目标的边界。
[0039]背景消减法是在背景静止情况下常用的运动目标检测方法。其基本思想是将当前图像与事先存储或者实时得到的背景图像相减，差值大于一定阈值的象素点就被认为是运动目标上的点，否则就认为该点为背景点，很适合用来在背景图像随时间改变不大的情况下检测运动目标。通过比较当前源图像fk (x，y)和背景图像Bk (x，y)灰度值的差异，可以得到差分图像Dbk (1，7)，计算公式如下:
[0040]
【权利要求】
1.视频监控中的人车自动分类方法，其特征在于，包括如下步骤: 步骤A，采集道路视频数据； 步骤B，对步骤A得到的视频数据中的每相邻三帧源图像，依次采用三帧差分法和背景消减法进行运动目标检测，得到运动目标图像区域； 步骤C，对步骤B获得的各个运动目标图像区域进行灰度化，用二值阈值分割方法将运动目标图像区域分割成目标和背景，并对步骤B获得的运动目标图像区域中与目标对应的局部图像做归一化，得到归一化局部图像； 步骤D，对步骤C获得的归一化局部图像提取运动目标特征向量；所述运动目标特征向量为基于尺度空间的图像局部特征向量； 步骤E，将步骤D中获得的运动目标特征向量作为输入向量，利用支持向量机完成对人车的识别和分类。
2.根据权利要求1所述的视频监控中的人车自动分类方法，其特征在于，步骤B中，所述运动目标检测的过程如下: 步骤B-1，对所述步骤A中得到的视频数据中的相邻三帧源图像使用三帧差分法，得到中间图像S ； 步骤B-2，对所述相邻三帧源图像中的最后一帧使用背景消减法，得到中间图像T ； 步骤B-3，分别对中间图像S和T 二值化，得到二值化图像Ss和Tt ； 步骤B-4，将二值化图像Ss和Tt进行逻辑或运算得到中间图像P ； 步骤B-5，对中间图像P进行后处理，去除噪声，并平滑分割出运动目标的边界。
3.根据权利要求2所述的视频监控中的人车自动分类方法，其特征在于，步骤B-5中，所述后处理包括连通区域分析和形态学滤波。
4.根据权利要求1所述的视频监控中的人车自动分类方法，其特征在于，步骤D中，所述提取运动目标特征向量，其过程如下: 步骤D-1，根据步骤C获得的归一化局部图像构建高斯金字塔； 步骤D-2，将高斯金字塔中分辨率相同且尺度相邻的图像相减得到DoG金字塔； 步骤D-3，将DoG金字塔中每一层的每个像素点与其同层的八个像素点，以及相邻的上下两层分别九个像素点，一共是26个像素点进行比较；如果该像素点为最大点或者最小点，则判定为极值点，存储该极值点的位置和尺度信息； 步骤D-4，在每个极值点所在的尺度上，计算极值点的方向；将极值点周围16X16的矩形邻域进行坐标变换旋转到该极值点的主方向，按照8个方向对每个4 X 4网格中的采样点进行梯度强度求和生成一个8维的向量，按序将16个网格生成的向量组合生成128维的特征向量，并对该128维特征向量进行归一化处理。
【文档编号】G06K9/62GK103679196SQ201310651615
【公开日】2014年3月26日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】王敏 申请人:河海大学