一种基于视频的显著目标检测方法
【技术领域】
[0001] 本发明涉及一种基于视频的显著目标检测方法，尤其涉及一种基于前景检测和背 景减除的视频显著目标检测方法，属于图像处理技术领域。
【背景技术】
[0002] 显著目标检测在计算机视觉领域是非常重要的。由于安保需要，视频中的安全性 检测越来越被人们所关注。在视频中，检测显著物体以获得人们感兴趣的信息变得尤为重 要。在视频监控系统中，显著目标即画面中第一眼就吸引人们注意的物体。显著物体检测 就是为了在图片或者视频中通过算法找到这样的物体以代替人类视觉功能，以便为后续的 更高层次的视频检测工作做准备。
[0003] 近年来，许多显著检测方法关注在静态图像中检测前景，并取得了非常好的效果。 但是只有少部分学者关注在视频中的显著目标检测。为了提取视频中的显著目标，许多方 法利用了颜色以及光流信息。但是，由于场景光照变化和背景动态变化，这些方法存在一些 问题，例如：目标物体轮廓缺失或不准确等。为了解决上述问题，许多学者提出了显著物体 检测算法包括前景和背景分割算法、获得约束边框算法以及对每个像素进行显著可能性估 计的算法。例如：对背景检测并去除的方法，以凸显目标物体，即用高斯混合模型或核密度 估计来检测背景并进行剪除来获得显著区域。但是，这些技术忽略了像素间的运动信息。最 近的研究例如在图片中检测并凸显显著物体，然后进行背景剪除，取得了较好的效果。其他 检测方法例如在单个图片中基于图结构化的的显著检测技术也取得了非常好的检测结果。 但是这些技术仅仅在静态图片中检测显著物体，没有考虑视频中上下文信息。而本发明能 够很好地解决上面的问题。
【发明内容】
[0004] 本发明目的在于解决了现有视频显著目标检测方法的不足，提供一种基于视频的 显著目标检测方法，该方法在像素级别结合了统计运动信息即光流信息以及静态信息，即 颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到 视频中检测显著目标的目的。
[0005] 本发明解决其技术问题所采取的技术方案是：本发明是基于视频显著目标检测的 方法，该方法包括以下步骤：
[0006] 步骤1 :在图片超像素分割的基础上，分别计算每个超像素的光流信息以构成超 像素的平均光流直方图，并结合基于超像素颜色信息的滤波策略，得到初步的显著目标检 测区域；
[0007] 步骤2 :依据梯度信息，采用接缝裁剪算法，从目标边界的顶（左）边到底（右）边 依次进行垂直（水平）方向搜索，找到每个像素耗费能量最小的接缝，并连接所有能量耗费 最小的接缝，以获得背景信息；
[0008] 步骤3 :融合初步目标检测区域和背景剪除，得到最终的显著目标区域。
[0009] 本发明上述步骤1的超像素分割，包括：
[0010] 对视频帧图片进行超像素分割。超像素是由一系列位置相邻且颜色、亮度、纹理等 特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信 息，且一般不会破坏图像中物体的边界信息。本发明利用简单线性迭代聚类法方法进行超 像素分割。与传统的超像素分割方法相比，此法具有速度快、效果好等优点。此法将K均值 方法应用于超像素分割，主要有两个特点：（1)限制搜索区域到正比于超像素尺寸的区域 内以减少距离计算量。（2)在控制超像素的尺寸和紧密度的同时结合颜色和空间临近信息 来衡量超像素之间区别。得到超像素分割的图片后，本发明进行初步显著目标检测。
[0011] 本发明上述步骤3的初步目标检测是提取物体光流信息，包括：利用了超像素的 光流平均直方图特征。光流平均直方图特征提取如下：假设（U]，V])是一个特定帧中像素I, 的前向光流，那么对于特定超像素A，光流平均直方图（MH0F)定义为下公式：
[0012]
[0013] 其中，对于超像素Γι，hjk)是直方图匕的第k个方向槽的能量。δ，(屮，')是一 个二值化功能，如果输入（ιι,,ν,)被量化到第k个方向则为1，否则为0。在本发明中，本发 明将方向量化到9个槽。由于不同超像素的大小可能不同，本发明通过除以S"进行平均操 作，即除以超像素的总面积。
[0014] 本发明图片的背景信息提取包括：
[0015] 采用接缝焊接（seamcarving)技术。此技术的目的是通过从边界的顶（左）到 底（右）搜索垂直（水平）的，拥有最小接缝消耗的接缝来得到背景区域。本发明为每个 像素找到接缝，并且这个接缝始于固定边界像素到此像素。
[0016] 为了最小化接缝耗费，本发明定义了一个能量函数△，由下面公式所示。其定义为 由Sobel算子提取的显著目标图片的梯度图：
[0017]
[0018] 本反明按卜米将评还卯例73每个像素找到它的相关接缝。本发明搜索最优接缝， 即搜索最小化焊接耗费的接缝。
[0019] 以顶部边界为例，搜索步骤如下：从第二行到最后一行穿过图片，并为每个像素 (i，j)的可能连接的所有接缝计算最小累积能量CE1:
[0020] CEi(i，j) =Δ(i，j)+min(CEi(i-1，j-1)，CEi(i-1，j)，CEi(i-1，j+1))
[0021] 其中，i表示行，j表示列。在第一行时，CE#Δ相等。由于CEji，j)是累积方 式而得的，所以它是从固定的顶部边界像素到像素（i，j)的最小焊接消耗。
[0022] 由于目标物体的边界梯度值较高，所以路径必须穿过物体边界并最终达到图像边 缘的目标物体像素的接缝耗费将大大提升。所以，像素到底部、左边、右边的边界的接缝耗 费可由同样的方式得到。因此，本发明得到了CE2，CE3，CE4。最后的背景抑制图由下面公式 得出：
[0023] CEb (i,j) =min(CEi(i,j),CE2 (i,j),CE3 (i,j),CE4 (i,j))
[0024] 对于每个像素，选择它的四个相关接缝耗费的最小值作为最后的背景剪除图。
[0025] 本发明上述步骤3具体包括如下各子步骤：
[0026] 所述的初步目标检测，由下式得出：
[0027] Sal(i,j) =Df(i,j)XDb(i,j)
[0028] 其中，Sal标准化到[0, 1]范围。结合步骤在背景剪除方面有很重要的影响。上 述的非线性结合能很好的抑制背景，但是仍可能出现显著物体凸显失败的情况。所以本发 明再次引入滤波策略：
[0029]
[0030] 其中，Sal(ri)，Sal(r])是超像素rjPr,的平均显著值， 作为一个标准化规则。
[0031] 有益效果：
[0032] 1、本发明能够更加精确地检测出显著目标，在像素级别结合了统计运动信息，即 光流信息以及静态信息即颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索 以及背景线索，最终达到视频中检测显著目标的目的。
[0033] 2、本发明具有速度快、效果好优点，该方法将K均值方法应用于超像素分割，有两 个特点：（1)限制搜索区域到正比于超像素尺寸的区域内以减少距离计算量。（2)在控制超 像素的尺寸和紧密度的同时结合颜色和空间临近信息来衡量超像素之间区别，得到超像素 分割的图片后，再进行初步显著目标检测。
[0034] 3、本发明根据前景以及背景的特点进行目标检测。首先对图片进行超像素分割， 并将显著检测分成两部分，即先突出前景然后进行背景剪除。
[0035] 4、本发明在像素级别结合了统计运动信息即光流信息以及静态信息即颜色和梯 度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到视频中检 测显著目标的目的。
[0036] 5、本发明实现了像素级检测显著，在目标图像中，其背景往往表现出部分或全局 的连通性，其前景具有一致性。
【附图说明】
[0037] 图1为本发明的方法流程图。
[0038] 图2(a)为原图像，图2(b)为分割后的图像。
[0039] 图3为基于光流平均直方图的显著性目标检测结果示意图。
[0040] 图4为基于梯度信息的背景提取结果示意图。
[0041] 图5为优化的显著性目标检测结果示意图。
【具体实施方式】
[0042] 下面结合说明书附图对本发明创造作进一步的详细说明。
[0043] 本发明提供了一种基于视频的显著目标检测方法，其实现过程为：首先，对图片进 行超像素分割，并利用光流信息和颜色信息，得到初步的显著目标检测区域；然后，根据梯 度信息，获取图片背景信息；最后，融合初步目标检测区域和背景剪除，得到最终的显著目 标区域。
[0044] 本发明的基于视频的显著目标检测方法的一个优选实施方式，具体包括以下步 骤：
[0045] 步骤1 :对图片进行超像素分割，并利用光流信息和颜色信息，得到初步的显著目 标检测区域。
[0046] 1、超像素分割
[0047] 首先，对视频帧图片进行超像素分割。超像素是由一系列位置相邻且颜色、亮度、 纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有 效信息，且一般不会破坏图像中物体的边界信息。本发明利用简单线性迭代聚类法方法进 行超像素分割。与传统的超像素分割方法相比，此法具有速度快、效果好等优点。此方法将 K均值方法应用于超像素分割，主要有两个特点：（1)限制搜索区域到正比于超像素尺寸的 区域内以减少距离计算量。（2)在控制超像素的尺寸和紧密度的同时结合颜色和空间临近 信息来衡量