基于运动注意力融合模型的运动目标检测与提取方法
【专利摘要】本发明涉及基于运动注意力融合模型的运动目标检测与提取方法，其特征在于，根据目标的运动在时-空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、中值滤波、边缘检测，实现全局运动场景下运动目标的精确提取。针对目前全局运动场景下目标检测与提取的局限性，采用了时-空运动注意力融合模型、去噪技术、图像滤波技术和边缘跟踪检测技术。根据多个全局运动视频场景的测试结果显示该算法比同类其它算法准确性高、复杂度低，运算量少、实时性强。
【专利说明】基于运动注意力融合模型的运动目标检测与提取方法
【技术领域】
[0001]本发明属于视频图像检测【技术领域】，涉及一种基于运动注意力融合模型的运动目标检测与提取方法。
【背景技术】
[0002]运动目标的检测与提取一直是视频分析领域中的研究热点，具有广泛的应用价值。运动目标检测与提取大致可分为两类:一类是在镜头静止不动时，即局部运动场景下，另一类是在镜头运动时，即全局运动场景下。对于局部运动场景下的运动目标检测方法比较成熟，但在全局运动场景下，由于运动信息的复杂性，运动目标的检测与提取一直以来都是个具有难度的问题。
[0003]视频运动目标检测算法主要是依据时空信息进行的，即纹理信息，颜色信息和运动信息，在局部运动场景下，典型的方法有帧间差异的算法和背景重构的方法，帧间差异的方法是通过检测图像帧上的变化特征与不变特征，以将运动目标与静止背景进行分离，而背景重构方法的主要思想是预先重构不含前景运动目标的背景图像，然后将当前帧与该背景图像相减进行目标的检测。对于全局运动场景下的运动目标检测与提取问题，其难点在于视频运动特征的表现是由全局运动和局部运动叠加的结果，目前唯一最有效的方法是基于运动补偿的检测算法，其主要思路是用六参数的运动模型进行全局运动估计，采用递归最小二乘法计算模型参数，然后通过运动补偿求解运动目标与背景之间的相对运动，最终获得目标所在区域。由于运动参数模型运算过程比较复杂，同时模型估计的精确性受到运动目标大小和运动复杂性的影响，因此在目标面积相对较大或视频运动较为复杂的情况下，这种方法的准确性和实时性并不能得到有效保障。
[0004]在近些年的视觉技术研究中，视觉感知逐渐融入了人类生理和心理的研究成果，这些研究成果对计算机视觉技术的发展起到了很大的推动作用。研究表明人类视觉过程表现为一个自底向上(bottom-up)和自顶向下(top-down)相结合的过程，自底向上的过程属于早期视觉，它与图像具体内容无关，取决于构成图像的元素自身引起的视觉反差，反差越大的区域就越容易吸引起视觉系统的注意力。在2002年，Itti和Koch等人首次提出了注意力区域的概念，这一概念首次引入了人类视觉对图像观察本身的特性，它先对输入的图像进行线性滤波，提取出亮度(Intensity)、颜色(Color)、和方向(Orientation)这些低层次的图像特征，然后通过高斯金字塔和Center-surround算子进行局部视觉反差的计算，反差大的区域就代表容易吸引视觉注意力的区域，此后再对不同尺度和不同的特征下的反差计算结构进行融合，得到综合视觉显著图。在此基础上，Ma Yufei等人在分析运动矢量的基础上提出了一种运动注意力模型，该模型考虑了运动矢量的能量以及空间和时间相关性进行运动注意力的分析。Guironnet和Zhai等人在2005年提出了基于时空信息的注意力模型，对静止目标和运动目标的模型进行了融合。Jing Zhang和Seung-Hyun Lee等人把注意力区域的提取应用在静止图像的目标分割问题上，并取得了一定的效果。Junwei Han等人则运用注意力模型对视频对象进行分割，其方法是首先进行全局运动补偿，然后对动态注意力和静态注意力进行融合得到最终结果，但这种方法仅限于局部运动场景。
【发明内容】
[0005]本发明的目的是提供一种基于运动注意力融合模型的运动目标检测与提取方法，能够快速、准确、实时的完成对视频图像在全局运动场景下运动目标的检测和提取。
[0006]本发明所采用的技术方案是，基于运动注意力融合模型的运动目标检测与提取方法，其特征在于，根据目标的运动在时-空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、中值滤波、边缘检测，实现全局运动场景下运动目标的精确提取。
[0007]本发明的特点还在于，该方法按以下步骤进行:
[0008]步骤1、根据光流方程对运动矢量场进行估计后，进行叠加和滤波两个预处理；
[0009]步骤2、在上步得到运动矢量场基础上构建运动注意力融合模型对运动目标区域进行初步确定；
[0010]步骤3、对步骤2中运动目标区域采用闭运算，在不改变原来目标的面积同时消除目标区域的内部空洞，获得更为精确地目标区域。
[0011]步骤I中对运动矢量场处理的具体方法为:
【权利要求】
1.基于运动注意力融合模型的运动目标检测与提取方法，其特征在于，根据目标的运动在时-空上具有运动反差，利用运动矢量在时间和空间上的变化特点构建出运动注意力融合模型，结合噪声去除、中值滤波、边缘检测，实现全局运动场景下运动目标的精确提取。
2.根据权利要求1所述的方法，其特征在于，该方法按以下步骤进行， 步骤1、根据光流方程对运动矢量场进行估计后，进行叠加和滤波两个预处理； 步骤2、在上步得到运动矢量场基础上构建运动注意力融合模型对运动目标区域进行初步确定； 步骤3、对步骤2中运动目标区域采用闭运算，在不改变原来目标的面积同时消除目标区域的内部空洞，获得更为精确地目标区域。
3.按照权利要求2所述的方法，其特征在于，所述步骤I中对运动矢量场处理的具体方法为: 设图像在像素r = (X，y)T处，t时刻的强度记为I (r，t)，通过光流方程
4.按照权利要求2所述的方法，其特征在于，所述步骤2按照以下步骤具体实施: a.定义时间注意力因子 采用时间上临近运动矢量差值衡量运动矢量相关性程度定义时间运动注意力因子为
5.按照权利要求2所述的方法，其特征在于，所述步骤3中对运动目标区域采用闭运算，在不改变原来目标的面积同时消除目标区域的内部空洞，获得精确的边缘轮廓的具体方法为: i)用Canny算子得到粗分割区域的纹理边缘二值图； ii)任意选择一个边缘像素块的中心点作为边缘跟踪的起始跟踪点，以该点指向相邻的边缘像素块中心点的方向作为起始跟踪方向； 如果存在两个相邻块，则分别执行以下步骤； iii)判断在该点周围的8个像素点是否为边缘像素点，如果存在边缘像素点，选择最接近跟踪方向的像素点为边缘点，如果不存在边缘点那么确定跟踪方向的像素点为边缘占.1V)以步骤iii)中确定的边缘点为新的跟踪点，以该点指向下一个相邻的边缘像素块中心点的方向作为新的跟踪方向，重新执行步骤iii)，当下一个相邻块已经处于图像边界并且没有相邻的其它像素块，那么结束该操作，得到精确的目标轮廓，再对轮廓内部完全填充，最终得到精确化的运动目标区域。
【文档编号】G06T7/20GK103514608SQ201310254001
【公开日】2014年1月15日 申请日期:2013年6月24日 优先权日:2013年6月24日
【发明者】刘龙, 樊波阳 申请人:西安理工大学