专利名称：基于视频内容分析的可疑静止物检测方法
技术领域：
本发明涉及一种可疑静止物的检测方法，具体是一种基于视频内容分析的可疑静止物检测方法。适用于视频监控应用领域。
背景技术：
当前的智能监控系统一般是通过限定适用领域，更具体的说，限定物体的类别和由安全规则规定的事件来协助安全人员工作的。用于智能监控系统的视频内容分析方法由三个主要的部分组成目标检测、目标跟踪和目标分类与识别。
由于后续的过程非常依赖于准确的目标跟踪，正确的检测和跟踪目标是很重要的。虽然有不少目标检测、目标跟踪的算法被研究和发表，只有较少的几种可以被用于产品应用一级。例如，洛杉矶的Northrop Grumman公司的AlertVideo产品用了一个基于自适应背景减切的目标检测跟踪算法，之后用了边缘和区域对应的方法得到前景目标，其背景模型由一组RGB的高斯模型组成，以达到去除缓慢的光的变化、雨、雪等的影响。在背景减切之后，通过连通域以及边缘包围的区域方法，候选像素可以组成目标区域。之后，物体的移动速度，颜色组成和一些几何的特征被用于在相继起的帧中跟踪目标。每一个被检测到的物体被分配一个唯一的ID数。
静止图像中的目标识别和分类是近几十年来的一个积极的研究领域，最近的视频目标识别中借鉴了静止图像目标识别的方法。有一些视频目标识别系统应用了基于学习的方法以期获得最大的灵活性。
经文献检索发现，Changick Kim等在《Object-based video abstraction for video surveillancesystems》(IEEE Transactions on circuits and systems for video technology.Vol.12.No.12.Dec2002)一文中给出基于相继帧的运动目标检测；Shao-Yi Chen等在《Efficient moving objectsegmentation algorithm using background registration Technique》一文中提出了基于前背景帧的运动目标检测，杨树堂等在《基于运动检测的视频对象分割方法》(中国专利，专利号03151406.5)中提出了基于各个像素Gaussian分布的背景帧维护方法。
发明内容
本发明要解决的技术问题是提供一种基于视频内容分析的可疑静止物检测方法，目的在于运用前、背景帧和相继帧的运动检测，以检测运动目标，通过连通域标记做目标跟踪，最后运用模式识别技术识别可疑静止物。
本发明所采用的技术方案是基于视频内容分析的可疑静止物检测方法，其步骤如下a)视频目标检测，通过相继帧中的运动检测得到运动的视频对象，通过前景帧与背景帧的帧差得到不属于背景的视频对象；b)视频目标跟踪，融合两种视频目标检测的结果，对得到的区域做标记，寻找当前帧中的视频对象与系统维护的视频对象之间的联系，用以维护系统中的视频对象模型；c)视频目标特征的计算与静止可疑物的检测，根据系统维护的视频对象模型计算视频目标的特征，依据特征及静止可疑物的特点做静止可疑物的检测。
所述视频目标检测分为两种不同但互补的方法，即通过相继帧中的运动检测得到运动的物体，通过前景帧与背景帧的帧差得到不属于背景的物体；其中，相继帧中的运动检测利用了运动边缘特征，主要的过程有Canny边缘求取、运动边缘求取、运动目标求取。
所述前、背景帧中的帧差检测是通过比较输入的图像与无任何目标物体的参考帧相比较，就可以得到两帧图像的差别，这种差别所在的区域包括所有的与背景帧颜色不同的区域，既包括运动的物体，也包括静止的物体。
将两种视频对象分割的结果进行融合，即通过将相继帧和前、背景帧运动检测得到的区域求交集，然后做数学形态学处理，可以得到两视频对象分割结果的融合。
所述视频目标跟踪包括了对融合后的视频分割结果，用跟踪的办法标记连通区域，每一个连通区域认为是一个视频对象；视频目标跟踪还包括了当前帧中的视频对象与系统维护的视频对象集合的对应，在有视频分割结果的第一帧时，所有的视频对象被创建相应的结构，在其后的每一计算帧中，首先由各对象根据Kalman滤波预测的位置寻找与其大小，灰度直方图等特征相近的视频对象，被找到的视频对象从当前帧视频对象中除去，然后在当前帧视频对象集合中剩下的对象中寻找与其相隔较近的没有被匹配的系统视频对象做匹配，之后依据剩下的当前帧视频对象被认为是新出现的视频对象，在系统中做相应的创建工作，对于剩下的没有匹配系统中的视频对象，做终止对象生存工作。
所述视频目标特征的计算与静止可疑物的检测包括形状信息获取，依据以当前帧中的视频对象更新过的系统中维护的视频对象，运用基于面积的描述子，描述视频图像的形状，运用Hu Moment作为形状描述的特征向量。
所述视频目标特征的计算与静止可疑物的检测包括速度信息获取，对于每一个视频对象，采用Kalman滤波来得到所跟踪的视频对象质心的平均运动速度。
所述视频目标特征的计算与静止可疑物的检测包括可疑静止物判断，可疑静止物是有一定可视面积范围，由其它从边界进入的运动物体分裂后静止超过一定时间的物体，据此，根据Hu Moment，物体进入、分裂的记录以及速度很小状态的持续时间，做出静止可疑物的判断。
所述运动边缘求取的过程是对相继的两帧视频图像的边缘图像做差，以消除静止场景的影响，设相继的两帧图像分别为fn和fn-1，则运动边缘可以定义为|φ(fn-1)-φ(fn)|＝|θ(G*fn-1)-θ(G*fn)|其中G是高斯算子，*是卷积，是梯度算子，θ是canny的边缘检测算子；所述运动目标求取的过程是在得到的运动边缘图像中，运动的物体可以留下一个基本上封闭的边缘线，把每一行中第一个和最后一个边缘点之间的线组成的区域称为水平候选区域；同样的，每一列中的第一个和最后一个边缘点之间的线组成的区域称为竖直候选区域；同样的，正负45度的扫描线也可以得到两个候选区域；通过对这些候选区域求并，接着对得到的区域做形态学处理，即得到基于相继帧的视频对象检测结果。
所述前、背景帧中的帧差检测中包括了求颜色差别，前景帧与背景帧的差别需要通过象素的颜色差别算出，相比RGB、YUV等颜色空间，HSV计算象素颜色差别更为合适，设两个象素的HSV值分别是(H1，S1，V1)，(H2，S2，V2)，考虑到HSV空间的特点，这里采用的颜色差别的判别公式为|(H1-H2)|*|(S1-S2)|＞Thhsor|V1-V2|＞Thv其中Thhs和Thv是相应的阀值。
本发明的有益效果是本发明集成了目标检测、目标跟踪、模式识别方面的技术，结合前、背景帧和相继帧的运动检测，以检测运动目标，通过连通域标记做目标跟踪，最后运用模式识别技术识别可疑静止物。本发明能提高机场、港口、车站、和其它公共场所安全监控的自动化程度，使安全人员能更方便的监控更多的场所，提高监控的效率，降低漏检的可能性。
图1是本发明的步骤框图。
图2是运动目标求取的分解图。
具体实施例方式
如图1所示，本实施方法主要分为三大步骤第一步，视频目标检测1，它分为两种不同但互补的方法通过相继帧中的运动检测得到运动的视频对象(物体)，通过前景帧与背景帧的帧差得到不属于背景的视频对象(物体)。
相继帧中的运动检测利用了运动边缘特征，主要的过程有Canny边缘求取，运动边缘求取，运动目标求取。
参见图2，Canny边缘求取1-1的过程是首先对图像做高斯卷积平滑，接着运用梯度值非最大值压抑细化边缘，最后用滞后的阀值将与强边缘相连的弱边缘加入边缘图像。
运动边缘求取1-2的过程是对相继的两帧视频图像的边缘图像做差，以消除静止场景的影响。设相继的两帧图像分别为fn和fn-1，则运动边缘可以定义为|φ(fn-1)-φ(fn)|＝|θ(G*fn-1)-θ(G*fn)|其中G是高斯算子，*是卷积，是梯度算子，θ是canny的边缘检测算子。
运动目标求取1-3的过程是在得到的运动边缘图像中，运动的物体可以留下一个基本上封闭的边缘线。将每一行中第一个和最后一个边缘点之间的线组成的区域称为水平候选区域，同样的，每一列中的第一个和最后一个边缘点之间的线组成的区域称为竖直候选区域。同样的，正负45度的扫描线也可以得到两个候选区域。通过对这些候选区域求并，接着对得到的区域做形态学处理，可以得到基于相继帧的视频对象检测结果。
图2中的(a)表示运动边缘，(b)表示水平候选区域，(c)表示竖直候选区域，(d)表示形态学处理后的视频对象检测结果。
另外，通过比较输入的图像(前景帧)与无任何目标物体的参考帧(背景帧)，可以得到两帧图像的差别，这种差别所在的区域包括所有的与背景帧颜色不同的区域，既包括运动的物体，也包括静止的物体。
背景帧维护1-4采取高斯分布阵列的方法背景模型特征值采用像素的亮度色度值RGB，其中Iij＝(Rij，Gij，Bij)表示第j帧、第i个像素上的RGB值，分布模型描述为背景分布的概率密度函数p(x)的估计值 满足 ①式中，在RGB空间上，每个像素假定有N个高斯分布，x为某一帧某像素点上的输入特征向量x＝(R，G，B)T 为该像素点的第i个高斯分布的权重，其中μi为第i个高斯分布的均值，μi＝(μiR，μiG，μiB)T，σi为第i个高斯分布的均方差，σi＝(σiR，σiG，σiB)T；初始化模型，就是用第一帧的输入特征向量的值作为模型中各个高斯分布的均值，用预先设定的值作为均方差，且假设第一个分布的权值为1，其余为0。
通过视频采集卡读取当前视频帧，用新的视频采样值实时地调整匹配的单一高斯分布的权重和参数，来更新模型逼近变化后的真实背景分布，其匹配准则为|x-μi|＜τσi，而且同时 最小时，才是匹配的，匹配分布的参数更新遵循下式μi(t)＝(1-α)μi(t-1)+αx(t) ③σi(t)＝((1-β)σi2(t-1)+β(x(t)-μi(t))2)④因子α的大小表征了时间远近的采样值对背景物体状态的影响大小，β的大小则主要表征了摄像机自身参数变化的快慢；分布权重更新遵循 当新采样与第i个分布匹配时，S(t)＝1，否则S(t)＝0，因子γ的大小反映了背景模型对背景物体变化的敏感程度；当新的值不匹配时，在分布数N一定的情况下，舍弃权重最小的高斯分布，用新的分布来代替，并且初始化权重为 同时对其他权重做归一化处理 i≠min。
选取当前每个象素的背景模型中权重最大的高斯分布的均值作为被维护的背景。
在维护背景帧时，不更新下面提到的系统维护的视频对象所在的区域。
求颜色差别1-5，前景帧与背景帧的差别需要通过象素的颜色差别算出，相比RGB、YUV等颜色空间，HSV计算象素颜色差别更为合适。设两个象素的HSV值分别是(H1，S1，V1)，(H2，S2，V2)，考虑到HSV空间的特点，这里采用的颜色差别的判别公式为|(H1-H2)|*|(S1-S2)|＞Thhsor|V1-V2|＞Thv其中Thhs和Thv是相应的阀值。
帧差目标求取1-6，对前景帧和背景帧对应的象素点根据颜色差别判断是否是帧差点。由于相机有随机噪声，帧差图像上会出现细小的噪声点，通过数学形态学中的开运算，可以消除这些噪声点。
第二步，视频目标跟踪2，通过对相继帧和前、背景帧运动检测得到的区域求交集，然后做数学形态学处理，可以得到两种视频对象分割结果的融合2-1。
对于融合后的视频分割结果，用跟踪的办法标记连通区域，每一个连通区域认为是一个视频对象，这一步骤称为视频对象标记2-2。
接下来的步骤是检测对象与系统对象对应2-3(当前帧中的视频对象与系统维护的视频对象对应)在有视频分割结果的第一帧时，所有的视频对象被创建相应的结构。在其后的每一计算帧中，首先由各对象根据Kalman滤波预测的位置寻找与其大小，灰度直方图等特征相近的视频对象，被找到的视频对象从当前帧视频对象中除去；然后在当前帧视频对象集合中剩下的对象中寻找与其相隔较近的没有被匹配的系统视频对象做匹配；之后依据剩下的当前帧视频对象被认为是新出现的视频对象，在系统中做相应的创建工作；对于剩下的没有匹配系统中的视频对象，做终止对象生存工作。
第三步，视频目标特征的计算与静止可疑物的检测3，具体包括形状信息获取3-1，依据以当前帧中的视频对象更新过的系统中维护的视频对象，运用基于面积的描述子(region-based descriptor)，可以描述视频图像的形状，运用Hu Moment作为形状描述的特征向量。
速度信息获取3-2，对于每一个视频对象，其质心的平均运动速度是判断视频对象是否静止的关键参数。本方法采用Kalman滤波来得到所跟踪的视频对象质心的平均运动速度。
可疑静止物判断3-3，可疑静止物是有一定可视面积范围，由其它从边界进入的运动物体分裂后静止超过一定时间的物体，据此，根据Hu Moment，物体进入、分裂的记录以及速度很小状态的持续时间，做出静止可疑物的判断。
通过结合前、背景帧和相继帧的运动目标检测，本发明能较为稳定的将视场中的运动目标检测出来，并在很大程度上保持目标的完整性。并且环境能自动适应以下的特定背景变化1)光照条件的变化；2)背景物体状态的规则变化如室内闪烁的屏幕等；3)摄像头自身条件的变化如外力造成的镜头轻微晃动；4)前景物体状态的转化如背景物体的移入移出。此外，通过对目标检测结果做连通域标记，并维护系统的视频对象集合，可以在很大程度上克服将一个目标分成多个部分的情况。
权利要求
1.一种基于视频内容分析的可疑静止物检测方法，其特征在于，方法步骤如下a)视频目标检测(1)，通过相继帧中的运动检测得到运动的视频对象，通过前景帧与背景帧的帧差得到不属于背景的视频对象；b)视频目标跟踪(2)，融合两种视频目标检测的结果，对得到的区域做标记，寻找当前帧中的视频对象与系统维护的视频对象之间的联系，用以维护系统中的视频对象模型；c)视频目标特征的计算与静止可疑物的检测(3)，根据系统维护的视频对象模型计算视频目标的特征，依据特征及静止可疑物的特点做静止可疑物的检测。
2.根据权利要求1所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述视频目标检测(1)分为两种不同但互补的方法，即通过相继帧中的运动检测得到运动的物体，通过前景帧与背景帧的帧差得到不属于背景的物体；其中，相继帧中的运动检测利用了运动边缘特征，主要的过程有Canny边缘求取、运动边缘求取、运动目标求取。
3.根据权利要求1或2所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述前、背景帧中的帧差检测是通过比较输入的图像与无任何目标物体的参考帧相比较，就可以得到两帧图像的差别，这种差别所在的区域包括所有的与背景帧颜色不同的区域，既包括运动的物体，也包括静止的物体。
4.根据权利要求1或2所述的基于视频内容分析的可疑静止物检测方法，其特征在于将两种视频对象分割的结果进行融合，即通过将相继帧和前、背景帧运动检测得到的区域求交集，然后做数学形态学处理，可以得到两视频对象分割结果的融合。
5.根据权利要求1所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述视频目标跟踪(2)包括了对融合后的视频分割结果，用跟踪的办法标记连通区域，每一个连通区域认为是一个视频对象；视频目标跟踪(2)还包括了当前帧中的视频对象与系统维护的视频对象集合的对应，在有视频分割结果的第一帧时，所有的视频对象被创建相应的结构，在其后的每一计算帧中，首先由各对象根据Kalman滤波预测的位置寻找与其大小，灰度直方图等特征相近的视频对象，被找到的视频对象从当前帧视频对象中除去，然后在当前帧视频对象集合中剩下的对象中寻找与其相隔较近的没有被匹配的系统视频对象做匹配，之后依据剩下的当前帧视频对象被认为是新出现的视频对象，在系统中做相应的创建工作，对于剩下的没有匹配系统中的视频对象，做终止对象生存工作。
6.根据权利要求1所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述视频目标特征的计算与静止可疑物的检测(3)包括形状信息获取，依据以当前帧中的视频对象更新过的系统中维护的视频对象，运用基于面积的描述子，描述视频图像的形状，运用Hu Moment作为形状描述的特征向量。
7.根据权利要求1所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述视频目标特征的计算与静止可疑物的检测(3)包括速度信息获取，对于每一个视频对象，采用Kalman滤波来得到所跟踪的视频对象质心的平均运动速度。
8.根据权利要求1所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述视频目标特征的计算与静止可疑物的检测(3)包括可疑静止物判断，可疑静止物是有一定可视面积范围，由其它从边界进入的运动物体分裂后静止超过一定时间的物体，据此，根据Hu Moment，物体进入、分裂的记录以及速度很小状态的持续时间，做出静止可疑物的判断。
9.根据权利要求2所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述运动边缘求取的过程是对相继的两帧视频图像的边缘图像做差，以消除静止场景的影响，设相继的两帧图像分别为fn和fn-1，则运动边缘可以定义为|φ(fn-1)-φ(fn)|＝|θ(G*fn-1)-θ(G*fn)|其中G是高斯算子，*是卷积，是梯度算子，θ是canny的边缘检测算子；所述运动目标求取的过程是在得到的运动边缘图像中，运动的物体可以留下一个基本上封闭的边缘线，把每一行中第一个和最后一个边缘点之间的线组成的区域称为水平候选区域；同样的，每一列中的第一个和最后一个边缘点之间的线组成的区域称为竖直候选区域；同样的，正负45度的扫描线也可以得到两个候选区域；通过对这些候选区域求并，接着对得到的区域做形态学处理，即得到基于相继帧的视频对象检测结果。
10.根据权利要求1或2所述的基于视频内容分析的可疑静止物检测方法，其特征在于所述前、背景帧中的帧差检测中包括了求颜色差别，前景帧与背景帧的差别需要通过象素的颜色差别算出，相比RGB、YUV等颜色空间，HSV计算象素颜色差别更为合适，设两个象素的HSV值分别是(H1，S1，V1)，(H2，S2，V2)，考虑到HSV空间的特点，这里采用的颜色差别的判别公式为|(H1-H2)|*|(S1-S2)|＞Thhsor|V1-V2|＞Thv其中Thhs和Thv是相应的阀值。
全文摘要
本发明涉及一种基于视频内容分析的可疑静止物检测方法。目的在于运用前背景帧和相继帧的运动检测，以检测运动目标，通过连通域标记做目标跟踪，运用模式识别技术识别可疑静止物。其技术方案是方法包括a)视频目标检测，通过相继帧中的运动检测得到运动的视频对象，通过前、背景帧的帧差得到不属于背景的视频对象；b)视频目标跟踪，融合两种视频目标检测的结果，对得到区域做标记，寻找当前帧中的视频对象与系统维护的视频对象间的联系，以维护系统中的视频对象模型；c)视频目标特征计算与静止可疑物检测，根据系统维护的视频对象模型计算视频目标的特征，依据特征及静止可疑物的特点做静止可疑物的检测。本发明可用于视频监控应用领域。
文档编号G06T7/20GK1801930SQ200510061858
公开日2006年7月12日 申请日期2005年12月6日 优先权日2005年12月6日
发明者张健, 李文德, 叶剑, 高可攀, 雷震 申请人:南望信息产业集团有限公司