一种基于最小生成树的视频显著对象检测方法与流程

本发明涉及一种基于最小生成树的视频显著对象检测方法，属于视频检测的技术领域。

背景技术：

目标检测技术是计算机视觉与模式识别领域研究的一个热门课题，受到国内外学者的普遍关注，具有广泛的应用前景。目标检测所要实现的目标是，用计算机将目标物体从含有其它物体背景的二维图像中检测出来针对计算机视觉领域中的相同目标，显着性检测是通过模拟人类视觉系统来预测在人类中最吸引人类的事物，使得可以有效且有效地减少用于进一步处理的场景分析的复杂性。它在图像重定向，图像和视频压缩，对象识别，图像分类和图片拼贴等领域的广泛应用已经研究了很长时间。

目标的检测是视频监控系统图像分析的基础，在准确检测出目标的情况下，才可以提取有效特征。通过检测和跟踪，可以方便地获得运动目标的姿态和行为参数，为图像理解提供技术支持。检测也是视觉测量的基础。检测总是与跟踪联系在一起，在视频监控中占有重要的地位。从视觉技术诞生之日起，目标检测就得到了高度重视，并且积累了大量研究成果，同时，运动目标的检测也是视觉研究中极富挑战性的问题，有许多理论和实际的技术难点需要解决。虽然目标检测的研究取得了一定的进展，但仍然存在显著性目标在光照差异，复杂背景和尺度变化时引起的漏检、误检和效率不高的问题，究其原因，主要是在研究中存在视点变化，复杂背景和光照差异等几个方面的困难或挑战。

技术实现要素：

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于最小生成树的视频显著对象检测方法，解决目标间由于显著性目标在光照差异，复杂背景和尺度变化时引起的漏检、误检和效率不高的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种基于最小生成树的视频显著对象检测方法，包括以下步骤：

步骤a、对输入图像进行超像素分割，计算每个超像素到边界的距离，并构造图像的最小生成树；将建立的图像最小生成树距离变换规则和利用快速轮廓检测方法提取的外轮廓信息结合，提取获得初步显著图；

步骤b、利用建立的模糊色差直方图特征对步骤a所得初步显著图的非固定外轮廓进行模糊处理，得到轮廓清晰的显著图；

步骤c、对步骤b所得轮廓清晰的显著图中显著对象采用适应于行人窗口的采样特征网格的多尺度检测，并将其结合到最终显著图。

进一步地，作为本发明的一种优选技术方案，所述步骤a中建立图像最小生成树距离变换规则采用自底向上遍历和自顶向下遍历。

进一步地，作为本发明的一种优选技术方案，所述步骤a中建立模糊色差直方图特征，具体为:将图像色彩强度i量化为w级，在局部相邻区域中计算色彩差分；

将所述色彩差分经过高斯成员函数进行模糊化，及在局部区域计算色彩差分直方图；

利用模糊c-means聚类和色彩差分直方图形成模糊色彩差分直方图特征。

进一步地，作为本发明的一种优选技术方案，所述步骤b中利用快速轮廓检测方法提取的外轮廓信息，具体为:

将输入图像分解成若干分量；

对每个分量执行形态学算子生成具有轮廓信息的区域；

计算每个区域的轮廓，及选取最大的轮廓后计算其中每个像素的显著性。

进一步地，作为本发明的一种优选技术方案，所述每个区域的轮廓采用公式计算：

其中，r0是区域r的外轮廓，|r0|是r0轮廓的长度，并且e(x)是像素x的轮廓置信度。

本发明采用上述技术方案，能产生如下技术效果：

本发明提供的方法，首先对图像进行超像素分割，接着计算每个超像素到边界的距离，并通过距离变换来生成最小树，初步提取显著对象，然后通过快速轮廓检测方法提取外轮廓信息，最后，用模糊色差直方图特征对非固定外轮廓进行模糊处理生成显著图并将其结合到最终显著图。本发明基于最小生成树的实时显著对象检测方法能够不受光照变化等外界干扰因素的影响，寻找到一种有效的、鲁棒性强的人体行为特征描述，通过一种计算量小、实时性高并有较好预测功能的算法主要解决目标间由于显著性目标在光照差异，复杂背景和尺度变化时引起的漏检、误检和效率不高的问题。本发明的检测速度相较于现有方法更高，综合检测速度和准确率本发明的性能优于其他现有方法。

附图说明

图1为本发明基于最小生成树的视频显著对象检测方法的流程示意图。

图2(a)为本发明的图像最小生成树构造中图像超像素并且边缘通过相邻像素之间的颜色/强度差来加权的平面图；图2(b)为通过顺序地去除具有大权重的边来构造mst示意图；图2(c)为两个空心节点的距离在树路径上定义示意图。

图3(a)为本发明距离变换算法中初始阶段最小生成树示意图；图3(b)为本发明中自下而上更新遍历的示意图；图3(c)为本发明中自上而下的更新遍历的示意图。

图4为本发明提出的基于最小生成树的显著性检测过程的示意图。

图5为本发明适应于行人窗口的采样特征网格的多尺度检测的示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明提出一种基于最小生成树的视频显著对象检测方法，该方法具体包括以下步骤：

步骤a、对输入图像进行超像素分割，计算每个超像素到边界的距离，并构造图像的最小生成树；将建立的图像最小生成树距离变换规则和利用快速轮廓检测方法提取的外轮廓信息结合，提取获得初步显著图。

具体地，本发明首先定义对输入图像进行最小生成树构造，本发明将图像i作为标准4连接的无向平面图，其中节点都是图像超像素，并且相邻超像素之间的边缘通过颜色/强度差来加权，其为绝对梯度，可以依据kruskal的算法通过顺序地去除具有大权重的边来构造最小生成树，留下通过所有像素连接的剩余边缘作为树。更具体地，令p和q是一对相邻超像素，p和q之间的权重是：

ω(p,q)＝ω(q,p)＝|i(p)-i(q)|.¹(1)

本实施例在图2(a)示出了5×5像素的简单示例。图2(a)是其中节点是图像超像素并且边缘通过相邻像素之间的颜色/强度差来加权的平面图。图2(b)是通过顺序地去除具有大权重的边来构造最小生成树。图2(c)是两个红色节点的距离在树路径上定义，即虚线表示。在树构造期间，如果两个相邻超像素具有大的梯度，则这两个节点之间的边缘可能被去除，并且遍历一个节点到另一个节点的路径将是长的，如图2(c)所示。结果，对于这两个节点，最小生成树上的距离将是大的。相反，如果两个节点的外观相似，则它们可能在最小生成树上连接，并且距离将很短。

本发明使用最小生成树进行距离变换，是一种基于一幅图片的最小生成树表示的新颖的距离变换。所提出的算法能够应用测地距离和势垒距离两种距离度量。本发明提出在最小生成树上找到最短路径。所提出的基于最小生成树的距离变换是在树上定义的距离的精确方法。它包括两个遍历：自底向上遍历和自顶向下遍历。图3(a)至图(c)给出了使用测地距离的示意图。使用势垒距离是类似的。给定一组种子节点s，本发明将种子节点的距离值初始化为0，将所有其他节点的距离值初始化为∞，如图3(a)所示。图3(b)和(c)分别是自下而上的遍历和自顶向下的遍历。

对于自下而上的遍，本发明从叶节点开始，并用下式更新其父节点的距离值：

m(p)＝min{m(p),f(ζυ∪p)}(2)

其中，p表示υ的父节点，ζυ表示将υ连接到其最近的种子节点的当前最佳路径，ζυ∪p表示相同的路径加一步进一步到达其父p。由于最近的种子节点p可以来自其底部或从其顶部，公式2从底部测试可能的解决方案。如果p有多个子节点，公式(2)将针对每个子节点进行评估，并且存储最小距离。图3(b)是根节点的一个示例。简而言之，在每个节点中以广度优先搜索(bfs)顺序进行更新处理。自底向上遍历直到它到达根节点。

从根节点开始，自上而下的过程是类似的。对于每个节点，本发明访问其子节点并用下式更新它们的距离值：

m(υ)＝min{m(υ),f(ζp∪υ)}(3)

其中，公式(3)不仅从顶部测试可能的解决方案，而且可以从其他分支传播潜在的更好的解决方案。可以看到图3(b)中的图示。在自下而上的过程之后，许多节点和种子节点的距离仍然是∞。到某一节点的最近的种子节点可能位于顶部或在从其上方的节点分离的分支处。在自底向上通过之后，期望分割节点记录来自其分支之一的最佳距离值。在自上而下的过程中，最优解将向下传播到其他分支，如图3(c)所示。

根据上述两种遍历方式可以确定超像素之间的距离计算方法，根据该方法可以得到两个超像素节点之间的距离值。具体为：首先，节点υ1的距离由种子节点υ2唯一地确定。这是基于以下事实：行进通过种子节点有机会增加测地距离和势垒距离的距离,因此υ2是υ1的最优种子节点。对于测地距离，行进一步再增加一个绝对梯度项到其距离计算，所以更新的距离是不减少。对于势垒距离，跟踪每个节点的最大值和最小值。遍历一个节点可以更新最大值或最小值，从而增加势垒值，因此最终距离也不减少。这意味着跨越种子节点或更新种子节点的距离将不会给出更好的结果，因此是不必要的。

在此基础上，本发明可以根据上述计算出的两个超像素节点之间的距离值再进行距离变换规则的过程。建立图像最小生成树距离变换规则过程具体为：

(1)执行自底向上遍历，然后执行自顶向下遍历，得到最佳距离变换。

(2)如果种子节点是唯一的种子节点并且位于子树的根节点，则子树上的节点的距离变换由该种子节点唯一地确定。将在自上而下的过程中获得相应的距离变换。

(3)在遍历期间，可以忽略种子节点在公式(2)和公式(3)中的更新步骤。

本发明测量边界连通性，为了补充距离变换的短缺，引入一个边界辅助图，利用快速轮廓检测方法提取的外轮廓信息，通过逐节点色彩相似性测量计算，以提高显著性检测质量。其具体过程如下：

将输入图像分解成若干分量，对每个分量执行形态学算子生成具有相似外观和轮廓信息保存的区域。如果显著性对象所在区域被其他区域完全包围，则区域的包围度为1，而如果位于图像边界上则区域的包围性为0，这对位于图像边界上的显著区域不公平。基于围绕区域倾向于具有强外轮廓的观察，本发明提出适度测量以确定区域的包围程度，并且通过其外轮廓的平均轮廓置信度来测量。通过快速轮廓检测方法产生轮廓置信图e。对于布尔映射b中的每个连接区域r，通过以下公式计算轮廓：

其中，r0是区域r的外轮廓，|r0|是r0轮廓的长度，并且e(x)是像素x的轮廓置信度。

为了进一步抑制位于图像边界上的区域的包围，对等式(4)添加惩罚：

其中，iborder是设置在图像边框上的像素。外轮廓像素在图像边界区域上越多，惩罚项越大。如果该区域远离图像边界，则惩罚项为零。最后，本发明通过以下公式计算每个像素x的显著性：

ss(x)＝max{s1(x),...,s|b′|(x)}(6)

步骤b、利用建立的模糊色差直方图特征对步骤a所得初步显著图的非固定外轮廓进行模糊处理，得到轮廓清晰的显著图，如图4所示。

先将图像色彩强度i(u,v,ch)量化为w级，i∈{0,1…,w-1},(u,v)为坐标，ch为色彩信道。第ch个色彩信道的强度以(u,v)为中心，i(p,q,ch)表示相邻像素的强度。

首先，计算图像的色彩直方图：hg(i,j,k)是像素在以坐标(u,v)为中心大小为m×m的局部区域的可能性，具体为：

其次，计算色彩差分直方图：可以感知两个像素的均匀色彩差分，在一个小的局部相邻区域r×r中计算色彩差分：

其中，色彩差分d用高斯成员函数进行模糊化：

接着，在局部区域m×m计算色彩差分直方图：

最后，获得图像的模糊色差直方图：

利用模糊c-means聚类和色彩差分直方图形成模糊色差直方图特征。

模糊c-means聚类将n个局部直方图x＝{x1,x2,...,xn}用模糊成员函数分为c个以υi为中心的聚类，可用迭代最小化成本函数得到：

c维度的fcdh向量h：

hc×1＝γc×nhn×1(12)

因此，利用模糊色差直方图特征对初步显著图的非固定外轮廓进行模糊处理得到轮廓清晰的显著图，其中轮廓清晰的显著图具有多个不同大小的显著对象。

步骤c、对步骤b所得轮廓清晰的显著图中显著对象采用适应于行人窗口的采样特征网格的多尺度检测，并将其得到最终显著图。

传统方法对于固定尺寸的行人模型使用单个分类器，并且依赖于在多个尺度上的图像特征的重新计算或近似。为了检测多个尺度处的行人，本发明计算原始尺度的过滤通道，并使用1.07的比例因子在多个尺度应用滑动窗口，每半个八度大约10个尺度，利用多尺度应用在本发明的视频检测中，提高显著性目标在视频中远近变化时的鲁棒性。如图5所示，本发明通过以网格方式从过滤的通道采样来提取分类特征。网格适应于检测窗口的大小。这样，对于任何尺寸的行人，使用不同的网格间隔获得相同数量的特征。在分类器训练的情况下，仅在原始尺度计算图像特征，并且不调整行人图像。特征采样在图5中示出，其中可以在所得轮廓清晰的显著图中将多个不同大小的显著对象检测出，且结合到显著图中最终显示。

对于滑动窗口，本发明使用以下自适应步长率：水平窗口宽度的1/16和垂直窗口高度的1/16。通过将窗口中心调节到行140和300之间，搜索空间减小了35％。

滤波的信道特征不是尺度不变的，并且不同尺度的行人将具有不同的表示。行人对于不同的照明，方向或遮挡情况也具有显着不同的表示，并且由数千个弱学习者组成的单个增强分类器仍然能够提供一致的结果。本发明可以针对不同大小的行人能够独立学习相关的分类功能为不同的行人表示。

综上，本发明基于最小生成树的实时显著对象检测方法，能够不受光照变化等外界干扰因素的影响，寻找到一种有效的、鲁棒性强的人体行为特征描述。本发明的检测速度相较于现有方法更高，综合检测速度和准确率本发明的性能优于其他现有方法。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。