基于运动显著图和光流矢量分析的动态背景目标分割方法与流程

本发明涉及一种基于运动显著图和光流矢量分析的动态背景目标分割方法。

背景技术：

视频序列运动目标分割是计算机视觉领域中的重要而基础的研究方向，在人机交互、视觉导航、视频监控、智能交通等领域有着广泛的应用。根据摄像机是否运动，可以分为静态背景目标分割和动态背景目标分割两类。静态背景目标分割中，摄像机保持静止不动而只有目标运动，此种情况下实现运动目标的分割较为容易，已广泛应用于停车场、广场、公路交通等固定场景的视频监控中，常用的方法包括帧差法、混合高斯模型、基于核密度估计的自适应背景模型、隐马尔可夫背景模型等。而实际应用中为了扩大监控范围，常常伴有摄像机云台也随着目标一起运动的情况，此时会造成视频序列的背景发生变化，形成动态背景。动态背景目标分割中，摄像机发生了平移、旋转或光心运动，导致不同时刻同一背景图像坐标像素点不再对应三维空间的同一位置，增加了运动目标分割的难度，是当前运动目标分割研究的重点和难点问题。

为了实现动态背景下的运动目标分割，很多学者采用补偿差分的策略，此类方法的关键是如何准确估计和补偿相邻帧的背景运动参数，从而将问题转化为静态背景下的目标分割问题，消除背景运动给目标分割带来的影响。陆军等人采用块匹配方法对背景运动进行估计，并实现了一套基于背景运动补偿差分的运动目标分割和跟踪系统，然而上述方法仅适用于摄像机微小平移和旋转的情况，对于摄像机光心变换较大的场合无法适用。张兆阳等人采用径向运动补偿和像素值重分配实现运动补偿，并通过多帧差分运算提取视频序列的运动目标，该方法同样仅适用于背景变化不大的特殊场合，对于背景变化明显或摄像机变焦的情况，其处理效果较差。araki等人首先将背景运动建模为六参数的仿射模型，然后利用角点特征匹配方法对背景运动进行估计，最后通过前后多帧的差分图像分割出运动物体，然而现有的角点匹配方法受角点提取误差和环境变化影响较大，从而导致该方法的稳定性较差。suhr等人采用了相似的思路，不同之处在于将背景运动建模为三参数的相似变换，因此可通过提取水平和垂直两方向上的图像局部极大值和极小值来估计模型参数，从而解决了角点匹配方法对环境适应性差的问题。

动态背景运动目标分割的另一种解决思路是利用视频序列中提取的特征点运动轨迹，特别是随着brox等人对特征轨迹之间的距离进行了准确定义之后，更使得此类方法成为运动目标分割领域的研究热点。dey等人利用视频序列独立提取和跟踪的特征点运动轨迹，提出一种基于基础矩阵约束的运动目标分割方法，然而该方法仅实现了特征运动轨迹的准确分类，并未实现最终的像素一级的运动目标分割。cui等人构造了包含目标运动轨迹和背景运动轨迹的轨迹矩阵，并通过低秩约束和组稀疏约束实现运动目标分割，该方法在动态背景视频序列中取得了较好的实验效果，但其实现过程需要矩阵分解和迭代运算，复杂性较高。kwak等人通过非参数置信传播估计前背景特征轨迹满足的运动模型，并通过贝叶斯滤波完成模型的传播，方法能够减小噪声和不完整特征轨迹造成的影响，但对于前背景颜色相近的区域分割效果不理想。

技术实现要素：

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于运动显著图和光流矢量分析的动态背景目标分割方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明公开了一种基于运动显著图和光流矢量分析的动态背景目标分割方法，其特征在于，包括以下步骤：

s1、基于灰度投影的运动显著图获取：

s11、采用运动显著图来获取运动目标的大致区域，具体是指在水平和垂直两个方向上对图像像素的灰度值进行投影，从而把二维图像转换为两条一维特性曲线；

s12、对邻近帧图像的特性曲线进行相关计算，得到邻近帧图像之间的运动平移量；

s2、基于光流矢量的目标像素点计算：

s21、借助邻近帧之间的光流场获得运动目标和背景区域的运动边界；

s22、利用运动边界对运动显著图进行分析，从而得到运动目标内部精确的像素点；

s3、基于置信度的超像素分类：

s31、利用slic算法获得视频序列的超像素集合；

s32、对置信度较高的超像素进行分类；

s33、对置信度较低的超像素进行分类。

进一步地，步骤s1具体为：

设pt(i,j)为第t帧图像中位置为(i,j)处的像素值，那么该帧图像在x和y方向的特征曲线和可表示为

其中w和h分别表示当前帧图像的宽度和高度；为了准确估计邻近帧图像在x和y方向上的平移量dx和dy，按下式计算匹配度量函数

其中l为邻近帧图像之间的间隔帧数；显然在邻近帧图像中，由于大部分图像内容是相同的，因此其特性曲线也基本相似，但由于摄像机运动导致了图像的整体移动，导致其对应的特性曲线会产生平移，并且当平移量估计正确时，特性曲线的匹配度量函数应该取得最大值，因此可计算得到平移量的估计值和

根据上述平移量的估计值，可计算得到第t帧图像的运动显著图st(i,j)

进一步地，步骤s2具体为：

设ft(i,j)为第t帧图像位置为(i,j)处的光流矢量，为其对应的光流梯度幅值，则可得到一个边界强度系数bt(i,j)∈[0,1]

其中λ为将边界强度系数bt(i,j)控制在0至1范围内的参数；由于运动目标与背景区域边界处的光流矢量梯度幅值差异较大，因此可将强度系数bt(i,j)较大的像素点确定为二者的运动边界；在得到运动目标和背景区域的大致边界后，本发明进一步计算运动显著图中像素与运动边界的交点，从而得到运动目标内部精确的像素点；具体做法是：

步骤1：对视频序列的每帧图像，利用步骤s1得到运动显著图，通过设定一个较小阈值t1得到大致的运动目标区域

步骤2：利用公式(8)得到该帧图像对应的边界强度系数，同样通过设定一个较小阈值t2得到运动目标和背景区域的大致运动边界

步骤3：将中的每个像素点向上、下、左、右四个方向引出射线，并计算每条射线与运动边界的交点数目，若交点数目为奇数，则判断该点在运动边界内部，否则，判断该点在运动边界外部；

步骤4：统计中每个像素4个方向引出射线与运动边界交点为奇数的射线数目，若超过2个，则认为该点属于运动目标内部的像素点。

进一步地，步骤s3具体为：

设第t帧图像获得的超像素集合为vt，则本步骤的目标就是对每个超像素vt,i进行分类，即vt,i∈{f,b}，其中f代表目标超像素，b代表背景超像素；

然后对置信度较高的超像素进行分类；置信度用于衡量超像素与步骤s2获得的目标内部像素点的符合程度，即如果超像素vt,i中包含已获得的目标内部像素点的比例ht,i大于某个大的阈值t3，则可认为该超像素具有很高的置信度属于运动目标，同理若ht,i小于某个小的阈值t4，则可认为该超像素具有很高的置信度属于背景，从而可将置信度较高的超像素分类为目标超像素和背景超像素，如下式所示

最后对置信度较低的超像素进行分类；置信度较低的超像素是指目标内部像素点的比例ht,i介于阈值t3和t4之间的歧义超像素；为了对这些超像素进行分类，本发明从置信度较高超像素中随机抽样20％的像素点，并以这些点构建运动目标和背景的统计模型，最后通过估计歧义超像素与统计模型的符合程度，实现对置信度较低超像素的分类，如下式所示

上式中，a(vt,i|c)表示歧义超像素vt,i属于背景或运动目标的概率，|vt,i|和n分别表示歧义超像素中像素点和采样像素点的数目，和wk分别表示歧义超像素中像素点和采样像素点的特征向量。

本发明所达到的有益效果是：针对现有方法的局限性，本发明提出一种基于运动显著图和光流矢量分析的动态背景目标分割方法。该方法首先基于运动显著图提取运动目标的大致区域，然后借助邻近帧之间的光流场获得运动目标和背景区域的运动边界，并利用运动边界对运动显著图进行分析，从而得到运动目标内部精确的像素点，最后通过过分割技术获取图像超像素，并通过引入置信度的概念和建立包含多种信息的表观模型实现最终像素一级的目标分割。本发明方法在多组公开发布的视频序列中进行测试，并通过与现有方法的比较验证了本发明方法的有效性和优越性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例中运动显著图的结果示例图；

图2是本发明实施例中运动边界与目标像素点计算的结果示例图；

图3是图2所示图像对应的超像素分类结果图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

s1、基于灰度投影的运动显著图获取

运动显著性是由视觉敏感特征引起的一种局部反差，反差越明显，其显著性越强，而运动显著图则是反映场景图像中各个位置运动显著性的一幅二维图像。本发明考虑到运动目标区域与背景区域在运动方面的差异性，首先采用运动显著图来获取运动目标的大致区域，其核心思想是在水平和垂直两个方向上对图像像素的灰度值进行投影，从而把二维图像转换为两条一维特性曲线，然后对邻近帧图像的特性曲线进行相关计算，得到邻近帧图像之间的运动平移量。设pt(i,j)为第t帧图像中位置为(i,j)处的像素值，那么该帧图像在x和y方向的特征曲线和可表示为

其中w和h分别表示当前帧图像的宽度和高度。为了准确估计邻近帧图像在x和y方向上的平移量dx和dy，按下式计算匹配度量函数

其中l为邻近帧图像之间的间隔帧数。显然在邻近帧图像中，由于大部分图像内容是相同的，因此其特性曲线也基本相似，但由于摄像机运动导致了图像的整体移动，导致其对应的特性曲线会产生平移，并且当平移量估计正确时，特性曲线的匹配度量函数应该取得最大值，因此可计算得到平移量的估计值和

根据上述平移量的估计值，可计算得到第t帧图像的运动显著图st(i,j)

图1给出了一个运动显著图估计的具体实例，其中第1列为dog视频序列的一帧原始图像，第2列为该帧图像对应的运动显著图，图中灰度值越接近1，表示其运动显著性越明显，即越可能是运动目标，灰度值越接近0，则表示其为背景像素的可能性越大。

s2、基于光流矢量的目标像素点计算

在上文所述的运动显著图估计中，我们可通过设定一个适当阈值，并将运动显著性大于该阈值的像素判断为运动目标，然而实际应用中由于图像噪声、平移估计误差等多种因素的影响，使得运动显著图在运动目标附近的背景区域具有较低的准确率，因此若将阈值设置较小，将会将大量背景区域误分类为运动目标，而将阈值设置过大，将会导致运动目标的分割不完整。为解决上述问题，本发明首先借助邻近帧之间的光流场获得运动目标和背景区域的运动边界，然后利用运动边界对运动显著图进行分析，从而得到运动目标内部精确的像素点。

本发明利用brox等人提出的算法计算邻近l帧图像之间的光流场，此时获得的光流场分为背景光流场和运动目标光流场两类，并且二者的光流矢量存在较大差异，因此可通过光流矢量的对比分析得到二者的运动边界。设ft(i,j)为第t帧图像位置为(i,j)处的光流矢量，为其对应的光流梯度幅值，则可得到一个边界强度系数bt(i,j)∈[0,1]

其中λ为将边界强度系数bt(i,j)控制在0至1范围内的参数。由于运动目标与背景区域边界处的光流矢量梯度幅值差异较大，因此可将强度系数bt(i,j)较大的像素点确定为二者的运动边界。在得到运动目标和背景区域的大致边界后，本发明进一步计算运动显著图中像素与运动边界的交点，从而得到运动目标内部精确的像素点。具体做法是：

步骤1：对视频序列的每帧图像，利用s1步骤得到运动显著图，通过设定一个较小阈值t1得到大致的运动目标区域

步骤2：利用公式(8)得到该帧图像对应的边界强度系数，同样通过设定一个较小阈值t2得到运动目标和背景区域的大致运动边界

步骤3：将中的每个像素点向上、下、左、右四个方向引出射线，并计算每条射线与运动边界的交点数目，若交点数目为奇数，则判断该点在运动边界内部，否则，判断该点在运动边界外部；

步骤4：统计中每个像素4个方向引出射线与运动边界交点为奇数的射线数目，若超过2个，则认为该点属于运动目标内部的像素点。

将上述方法应用到图1所示图像中，得到图2所示结果，其中第1列为运动目标和背景区域的运动边界，第2列为其对应的目标内部像素点，其中目标内部像素点以白色菱形显示。

s3、基于置信度的超像素分类

由于运动显著图和运动边界的估计均有一定误差，因此通过上述步骤获得的目标内部像素点较稀疏，一般只占目标真实像素数目的20％左右。为了进一步获得完整的运动目标分割结果，本发明以超像素为基本分割单元，并通过引入置信度的概念实现超像素的分类。

首先利用slic算法获得视频序列的超像素集合。该算法利用像素的颜色相似度和图像平面空间对像素进行聚类，生成的超像素具有较好的紧凑性和边界贴合度，并且超像素大小一致、形状均匀，非常适合作为运动目标分割的基本单元。设第t帧图像获得的超像素集合为vt，则本步骤的目标就是对每个超像素vt,i进行分类，即vt,i∈{f,b}，其中f代表目标超像素，b代表背景超像素。

然后对置信度较高的超像素进行分类。置信度用于衡量超像素与步骤s2获得的目标内部像素点的符合程度，即如果超像素vt,i中包含已获得的目标内部像素点的比例ht,i大于某个大的阈值t3，则可认为该超像素具有很高的置信度属于运动目标，同理若ht,i小于某个小的阈值t4，则可认为该超像素具有很高的置信度属于背景，从而可将置信度较高的超像素分类为目标超像素和背景超像素，如下式所示

最后对置信度较低的超像素进行分类。置信度较低的超像素是指目标内部像素点的比例ht,i介于阈值t3和t4之间的歧义超像素。为了对这些超像素进行分类，本发明从置信度较高超像素中随机抽样20％的像素点，并以这些点构建运动目标和背景的统计模型，最后通过估计歧义超像素与统计模型的符合程度，实现对置信度较低超像素的分类，如下式所示

上式中，a(vt,i|c)表示歧义超像素vt,i属于背景或运动目标的概率，|vt,i|和n分别表示歧义超像素中像素点和采样像素点的数目，和wk分别表示歧义超像素中像素点和采样像素点的特征向量，本发明中每个特征向量包含7维特征信息，分别是rgb颜色、光流矢量和像素位置。

图3给出了图2所示图像对应的超像素分类结果，其中超像素之间的边界用黄色线段表示，背景超像素用暗灰色表示，目标超像素则保持原有颜色。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。