一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
【专利摘要】本发明涉及一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法，属于图像处理和计算机视觉技术领域。本发明首先提取小波域高尺度目标特征，并计算运动和空域边缘响应，将小波域、空域和时域边缘特征融合得到多尺度组合概率边缘响应，然后建立组合边缘内部映射权重总变分能量泛函模型，利用交替方向计算权重总变分泛函模型凸优化，并据此定义超像素尺度空时马尔科夫随机场的一元能量函数项和二元空域能量函数，最后通过图切分一步迭代推理得到图像序列的后验概率分割结果。本发明能够有效的将外观颜色不一致且形状随时间发生变化的复杂目标从动态场景中分割出来。
【专利说明】
一种基于多尺度组合特征凸优化的复杂目标动态场景无监督 分割方法
技术领域
[0001] 本发明涉及一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方 法，属于图像处理和计算机视觉技术领域。
【背景技术】
[0002] 图像序列分割是提取各帧图像内语义前景目标所在的位置区域的技术，广泛应用 于目标识别、跟踪、图像理解以及视觉导航等计算机视觉和机器人视觉领域。实际当中，由 于光照和环境的变化以及相机自身的运动，造成实际的背景是动态变化的而且这种变化是 随机的；另外，通常情况下前景目标的特征也具有复杂性，目标的外观颜色即使在同一时刻 也可能不一致，目标的拓扑结构也会随时间发生变化。因此，动态场景下复杂目标的自动分 割技术成为各国顶尖科研机构竞相追逐的难点和热点问题。
[0003] 图像序列分割方法可以主要的被分为两类，即有监督方法和无监督方法。早期的 图像分割方法需要人为标注在某些帧的前景目标。这些方法很耗费人力，因为这需要手工 分割训练集来处理图像序列。有监督图像序列分割方法通常需要使用者选择关键帧中的语 义区域。虽然这些方法获得了一定程度上的分割结果，但是却存在一定的局限性，主要表现 在分割结果严重依赖标注的关键帧的选择。无监督图像分割方法无需使用人工标注的图像 进行训练，而是由计算机自动提取语义前景目标的相关区域。
[0004] 近期的图像序列无监督分割方法使用了动态背景纹理模型，通过对比它的当前值 和过去的值决定一个像素是否属于背景，并且传播一个背景像素的值进入到背景提取模 型。使用Dirichlet处理高斯混合模型来估计背景分布，并且使用它们作为对随着场景变化 的连续更新的一个模型学习过程的输入。这种方法是基于一个典型的前提假设，即背景变 化的很平稳和缓慢，这就限制了这类算法在动态场景下的图像分割。
[0005] 快速目标分割算法尝试构建目标的动态外形模型，并且假设背景随时间的变化是 平滑的。这个方法的一个优点是它有可能处理在标记求精阶段中图像块上的时空线索，然 而初始化仅仅在运动边界上目标内的点，可能会产生大量的误报种子点，特别是在动态场 景中。通过树来结合分层线索以构建时空分割的方法允许从粒度的变化层级中做随后的选 择。虽然这个方法对处理分层外形线索有效，但是还是有一个很强的局限性，造成场景的过 分割，并不能解决问题自身的前景分割任务。
[0006] 另一类无监督图像序列分割方法是采用目标假定区域的结构化学习进行排序。使 用外形和动作一致性在类目标区域间多假设分组排序，在加权区域图形中引入帧内和帧间 的约束去寻找最大加权超像素。或使用图割和颜色线索来实现分割，并且区域通过基于一 个多元模型的形态线索的分类来排序。虽然目标假定能有利于图像块层级排序，实际当中 这类方法都由于存在不同图像区域的高冗余分割，即使一个适中的图像序列也会遭受到选 择目标假定的较高存储和计算代价。
[0007] 本发明由国家自然科学基金项目（61461022,61302173)资助研究，主要在于探索 整体与局部特征多尺度耦合机制以及多尺度感知误差测度鲁棒融合算法，解决分割后验与 真实分布不一致难题，为视觉计算平台在动态场景下复杂前景目标的准确分割提供理论和 方法依据。
【发明内容】
[0008] 基于以上问题，本发明提供了一种基于多尺度特征凸优化的动态场景无监督分割 方法，解决了外观颜色不一致而且形状拓扑随时间发生变化的复杂对象，当目标处于由于 外界环境变化和相机运动造成的动态背景时，其他无监督分割技术也都难以对前景目标进 行有效分割的问题。
[0009] 本发明的技术方案是:一种基于多尺度组合特征凸优化的复杂目标动态场景无监 督分割方法，首先提取小波域高尺度目标特征，并计算运动和空域边缘响应，将小波域、空 域和时域边缘特征融合得到多尺度组合概率边缘响应，然后建立组合边缘内部映射权重总 变分能量泛函模型，利用交替方向计算权重总变分泛函模型凸优化，并据此定义超像素尺 度空时马尔科夫随机场的一元能量函数项和二元空域能量函数，最后通过图切分一步迭代 推理得到图像序列的后验概率分割结果。
[0010] 所述基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法的具体步 骤如下：
[0011 ] St印1、小波域高尺度目标轮廓特征提取;在图像序列丨/匕每个时刻t的图像P中， 首先探明前景小波域高尺度目标轮廓在各个像素位置(i，j)处的最大边缘响应，T为视频的 总帧数；
[0012] 所述步骤Stepl中，小波域高尺度目标轮廓各个像素处的最大边缘响应定义为：
[0013] Bst(i,j)=max(Hst(i,j),Vst(i,j),Ds t(i,j))
[0014] 其中，Η，、ν，和D，分别表示图像经过小波变换后在尺度s位置（ij)的水平、竖直 和对角方向上的小波系数。
[0015] Step2、计算相邻时刻的两幅图像P和It+1的变分光流矢量场/(/\严>，通过梯度 算子计算变分光流矢量场幅值的梯度v II Λ/',/?+1) ?μ对光流梯度进行线性归一化处理得到 运动边缘 V;:'+1(z·，-/);
[0016] Step3、建立由N个树tree构成的结构化随机森林F，通过标准的信息增益最大化计 算每个树上的分叉函数。将图像P输入结构化随机森林F进行非线性类别预测F(r)，根据每 个树tree的预测情况p( P | tree)，统计结构化随机森林的非线性预测结果
，进行归一化处理得到图像各个像素的空域边缘响应Ft(i，j);
[0017] Step4、将高尺度小波系数最大边缘响应投影到像素尺度，并线性组合精细尺度的 运动与空域边缘特征，融合得到多尺度组合概率边缘响应：
[0018] Γ' 11 (/，./) + Γ (/，./)
[0019] St印5、将图像序列{/匕过分割构成超像素集合G，连接空域相邻的区域(i，j)Bs 和时域相邻的超像素区域(i，j，t) e εt, t+1，从而构建空时马尔科夫随机场；
[0020] Step6、根据组合边缘内部映射的凸优化结果确定马尔科夫随机场的一元能量函 数项US由所有图像帧的外观模型来判断一个超像素 i eG的类标签h是前景或是背景的可 能性；
[0021] 所述步骤Step6中，根据组合边缘内部映射的凸优化结果确定马尔科夫随机场的 一元能量函数项1^的主要步骤如下：
[0022] Step6.1、根据组合概率边缘的内部映射种子点在精细尺度上的投影M，建立图像 序列中的前景目标映射权重总变分能量泛函模型：
[0024]其中第一项为权重总变分项，第二项为区域平滑项，二者之间的相对重要性通过 参数P来平衡；
[0025] Step6.2、将像素级精细尺度的权重总变分分割问题转化为约束最小化问题:u* = argminu,v H(u，v)，约束条件为ue[0，l]，ve[0，l];
[0026] Step6.3、两个交替变量u和v之间用内部种子点映射矩阵Μ施加线性约束，通过乘 子交替方向凸优化算法，依次迭代更新得到最小化变量u*;
[0027] Step6.4、根据凸优化结果u*，训练高斯混合模型前景参数Θ F和背景参数Θ β，得到 凸优化平滑后马尔科夫随机场模型的一元能量函数项= Π (/, | W);
[0028] Step6.5、计算当前超像素 RGB颜色向量的后验概率，定义超像素外形似然为五成 分高斯混合模型的色彩特征的负对数似然函数：
[0030]其中Pr为概率密度分布函数。
[0031] Step7、确定马尔科夫随机场二元空域能量函数V和二元时域能量函数W，分别计算 在空间邻域(i，j)e^和时间邻域（1，」，〇6^,*+1连线上两端的两个超像素分别取类标签 liEL和ljGL的可能性；
[0032] 所述步骤Step7中，确定马尔科夫随机场二元空域能量函数V和二元时域能量函数 W的主要步骤如下：
[0033] Step7.1、二元项编码的一致性体现在空间和时间线索上，用一个标准的对比调节 函数定义二元空域能量函数V:
[0035] 其中dist表示两个超像素Ci，Cj几何中心和Cg)之间的欧式距离；
[0036] Step7.2、通过二元平滑势函数W使时间上的目标动作在图像序列上保持一致性， 使用重叠和外观信息来编码二元时域能量函数W:
[0038] Step7.3、通过光流联系的两个超像素具有相同像素的百分比Φ的具体计算方式 为：
[0040] 其中#表示像素的数目。
[0041] StepS、超像素尺度空时随机场后验概率分类似然推理。将图像序列{/}f=1过分割 构成超像素集合G，连接空域相邻的区域(i，j) e es和时域相邻的区域(i，j，t) e et,t+1。定义 超像素 Markov随机场能量函数E(L)来求解前景-背景类标签最优化分类结果L:
[0043] -元数据项Ut根据组合边缘内部映射的凸优化结果，由所有图像帧的外观模型估 计一个超像素是前景或是背景的可能性。二元项V和W计算在空间邻域和时间邻域施加不同 类标签1 e L的惩罚。一元权重参数λ的取值范围为[1，2 ];
[0044] Step9、通过图切分法一步迭代推理所述能量函数E(L)的后验概率分类似然分布， 输出为一个使能量函数最小化的标签f
[0045] L* = argminLE(L)
[0046] 输出得到动态场景图像序列的最终分割结果。
[0047]本发明的有益效果是：
[0048] 1)本发明利用多尺度变换域、空间域和时间域线索融合，得到一种全新的目标轮 廓特征的组合概率边缘提取方法，能在多个尺度上有效的提取出动态背景图像序列中前景 目标轮廓的最大边缘响应。
[0049] 2)本发明所述方法提出的利用组合边缘内部映射总变分凸优化建立的马尔科夫 随机场能量函数，能够有效的将外观颜色不一致且形状随时间发生变化的复杂目标从动态 场景中分割出来。
【附图说明】
[0050]图1是本发明的流程不意图；
[0051] 图2是本发明用于测试的6帧复杂目标动态场景图像序列数据；
[0052] 图3是本发明在尺度1检测到的最大化小波系数边缘；
[0053]图4是本发明检测到并归一化处理后的运动边缘；
[0054]图5通过结构化随机森林检测到并归一化处理后的空域边缘；
[0055] 图6是本发明提出的组合边缘多特征融合结果；
[0056] 图7是本发明通过所提出的组合边缘特征计算得到的前景内部映射；
[0057] 图8是本发明在熊猫图像序列数据中得到的分割结果。
【具体实施方式】
[0058] 实施例1:如图1-8所示，一种基于多尺度组合特征凸优化的复杂目标动态场景无 监督分割方法，首先提取小波域高尺度目标特征，并计算运动和空域边缘响应，将小波域、 空域和时域边缘特征融合得到多尺度组合概率边缘响应，然后建立组合边缘内部映射权重 总变分能量泛函模型，利用交替方向计算权重总变分泛函模型凸优化，并据此定义超像素 尺度空时马尔科夫随机场的一元能量函数项和二元空域能量函数，最后通过图切分一步迭 代推理得到图像序列的后验概率分割结果。
[0059] 所述基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法的具体步 骤如下：
[0060] step1、小波域高尺度目标轮廓特征提取;在图像序列每个时刻t的图像P中， 首先探明前景小波域高尺度目标轮廓在各个像素位置(i，j)处的最大边缘响应，T为视频的 总帧数；
[0061] 所述步骤Stepl中，小波域高尺度目标轮廓各个像素处的最大边缘响应定义为：
[0062] Bst(i,j)=max(Hst(i,j),Vst(i,j),Ds t(i,j))
[0063] 其中，Η，、ν，和D，分别表示图像经过小波变换后在尺度s位置（ij)的水平、竖直 和对角方向上的小波系数。
[0064] Step2、计算相邻时刻的两幅图像Γ和Γ+1的变分光流矢量场/gV，，通过梯度 算子计算变分光流矢量场幅值的梯度VII /cr,/'+1) II，对光流梯度进行线性归一化处理得到 运动边缘vy+w，））；
[0065] Step3、建立由N个树tree构成的结构化随机森林F，通过标准的信息增益最大化计 算每个树上的分叉函数。将图像P输入结构化随机森林F进行非线性类别预测F(r)，根据每 个树tree的预测情况p( P | tree)，统计结构化随机森林的非线性预测结果
，进行归一化处理得到图像各个像素的空域边缘响应Ft(i，j);
[0066] Step4、将高尺度小波系数最大边缘响应投影到像素尺度，并线性组合精细尺度的 运动与空域边缘特征，融合得到多尺度组合概率边缘响应：
[0068] St印5、将图像序列丨/|^过分割构成超像素集合G，连接空域相邻的区域(i，j)ees 和时域相邻的超像素区域(i，j，t) e εt, t+1，从而构建空时马尔科夫随机场；
[0069] Step6、根据组合边缘内部映射的凸优化结果确定马尔科夫随机场的一元能量函 数项US由所有图像帧的外观模型来判断一个超像素 i eG的类标签h是前景或是背景的可 能性；
[0070] 所述步骤Step6中，根据组合边缘内部映射的凸优化结果确定马尔科夫随机场的 一元能量函数项1^的主要步骤如下：
[0071] Step6.1、根据组合概率边缘的内部映射种子点在精细尺度上的投影M，建立图像 序列中的前景目标映射权重总变分能量泛函模型：
[0073]其中第一项为权重总变分项，第二项为区域平滑项，二者之间的相对重要性通过 参数P来平衡；
[0074] Step6.2、将像素级精细尺度的权重总变分分割问题转化为约束最小化问题:u* = argminu,v H(u，v)，约束条件为ue[0，l]，ve[0，l];
[0075] Step6.3、两个交替变量u和v之间用内部种子点映射矩阵Μ施加线性约束，通过乘 子交替方向凸优化算法，依次迭代更新得到最小化变量u*;
[0076] Step6.4、根据凸优化结果u*，训练高斯混合模型前景参数Θ F和背景参数Θ β，得到 凸优化平滑后马尔科夫随机场模型的一元能量函数项K (() = Π (/, I 0);
[0077] Step6.5、计算当前超像素 RGB颜色向量的后验概率，定义超像素外形似然为五成 分高斯混合模型的色彩特征的负对数似然函数：
[0079]其中Pr为概率密度分布函数。
[0080] Step7、确定马尔科夫随机场二元空域能量函数V和二元时域能量函数W，分别计算 在空间邻域(i，j)e^和时间邻域（1，」，〇6^,*+1连线上两端的两个超像素分别取类标签 liEL和ljGL的可能性；
[0081] 所述步骤Step7中，确定马尔科夫随机场二元空域能量函数V和二元时域能量函数 W的主要步骤如下：
[0082] Step7.1、二元项编码的一致性体现在空间和时间线索上，用一个标准的对比调节 函数定义二元空域能量函数V:
[0084]其中dist表示两个超像素 Ci，Cj几何中心Ci 和C 之间的欧式距离；
[0085] Step7.2、通过二元平滑势函数W使时间上的目标动作在图像序列上保持一致性， 使用重叠和外观信息来编码二元时域能量函数W:
[0087] Step7.3、通过光流联系的两个超像素具有相同像素的百分比Φ的具体计算方式 为：
[0089]其中#表示像素的数目。
[0090] StepS、超像素尺度空时随机场后验概率分类似然推理。将图像序列过分割 构成超像素集合G，连接空域相邻的区域(i，j) e es和时域相邻的区域(i，j，t) e et,t+1。定义 超像素 Markov随机场能量函数E(L)来求解前景-背景类标签最优化分类结果L:
[0092] -元数据项Ut根据组合边缘内部映射的凸优化结果，由所有图像帧的外观模型估 计一个超像素是前景或是背景的可能性。二元项V和W计算在空间邻域和时间邻域施加不同 类标签1 e L的惩罚。一元权重参数λ的取值范围为[1，2 ];
[0093] Step9、通过图切分法一步迭代推理所述能量函数E(L)的后验概率分类似然分布， 输出为一个使能量函数最小化的标签f
[0094] L* = argminLE(L)
[0095] 输出得到动态场景图像序列的最终分割结果。
[0096] 实施例2:如图1-8所示，一种基于多尺度组合特征凸优化的复杂目标动态场景无 监督分割方法，输入含目标信息以及目标所处动态场景信息的图像序列数据，计算多尺度 小波边缘特征，结构化随机森林空间边缘特征以及运动梯度特征，通过动态图像序列中前 景目标轮廓的最大边缘响应提取目标轮廓特征的组合概率边缘;在精细尺度上构建前景位 置映射种子点总变分凸优化模型，通过变量交替更新来平滑在高尺度上提取的目标轮廓特 征组合概率边缘内部映射种子点，根据平滑后的目标位置映射建立马尔科夫随机场的一元 数据能量函数与二元空间、时间能量函数项，利用图切分一次迭代完成超像素级空时马尔 科夫随机场后验概率推理从而实现动态场景图像序列的像素级分割。
[0097] 本发明克服现有技术的不足，提供一种基于多尺度组合特征凸优化的复杂目标动 态场景图像序列无监督分割方法。本发明的流程示意图如图1所示。所述基于多尺度组合特 征凸优化的复杂目标动态场景图像序列无监督分割方法的具体实施步骤如下：
[0098] 首先输入所获取的动态图像序列数据，对获取图像时场景环境的光照变化、前景 和背景对比度、背景的运动以及相机自身的运动等成像条件没有具体的约束和要求。图2是 本发明用于测试的6帧复杂目标动态场景图像序列数据，其中前景目标外观颜色不均匀而 且前景形状随时间变化，存在明显的相机运动，前景与背景之间时而相对静止，时而相对运 动，背景情况较为斑杂。
[0099] (1)然后完成高尺度目标轮廓特征提取。在图像序列每帧图像Γ中探明前景 高尺度目标轮廓在小波域的最大边缘响应。根据本发明提出的高尺度目标边缘定义：
[0100] Bst(i,j)=max(Hst(i,j),Vst(i,j),Ds t(i,j))
[0101] 提取前景高尺度目标轮廓在小波域的最大边缘响应。本发明所述方法在尺度1检 测到的最大化小波系数边缘如图3所示。
[0102] (2)计算相邻时刻的两幅图像It和It+1的变分光流矢量场/(广广1)，通过梯度算子 计算变分光流矢量场幅值的梯度▽ || ||，对光流梯度进行线性归一化处理得到运动 边缘Vf1仏./)。本发明所述方法检测到并归一化处理后的运动边缘如图4所示。
[01 03 ] (3)建立由N个树tre e构成的结构化随机森林F，通过标准的信息增益最大化计算 每个树上的分叉函数。将图像P输入结构化随机森林F进行非线性类别预测F(r)，根据每个 树t r e e的预测情况p ( I t I t r e e )，统计结构化随机森林的非线性预测结果
，进行归一化处理得到图像各个像素的空域边缘响应产(i，j)。本发明 所述方法通过结构化随机森林检测到并归一化处理后的空域边缘如图5所示。
[0104] (4)将高尺度小波系数最大边缘响应投影到像素尺度，并线性组合精细尺度的运 动与空域边缘特征，融合得到多尺度组合概率边缘响应：
[0105] 〇,,])=Β：α,])+νψι{?,])^Ε{?,η
[0106] 本发明提出的组合边缘多特征融合结果如图6所示。
[0107] (5)根据组合概率边缘的内部映射种子点在精细尺度上的投影Μ，建立图像序列中 的前景目标映射权重总变分能量泛函模型：
[0109] 权重总变分项和区域平滑项二者之间的权重参数ρ取值为1.8。
[0110] (6)将像素级精细尺度的权重总变分分割问题转化为约束最小化问题：u* = argminu,v H(u，v)，约束条件为[0, 1][0, 1]。
[0111] (7)两个交替变量u和v之间用内部种子点映射矩阵Μ施加线性约束，通过乘子交替 方向凸优化算法，依次进行交替变量之间的近端投影运算，迭代更新得到最小化变量u*。本 发明所述通过组合边缘特征计算得到的前景内部映射如图7所示。
[0112] (8)根据凸优化结果u*，训练高斯混合模型前景参数ΘΡ和背景参数ΘΒ，得到凸优 化平滑后Markov随机场模型的一元数据能量函数项W (/,) =「!(/>·，,.
[0113] (9)计算当前超像素 RGB颜色向量的后验概率，定义超像素外形似然为五成分高斯 混合模型的色彩特征的负对数似然函数：
[0115] (10)二元项编码的一致性体现在空间和时间线索上，用贝叶斯分割系统并且定义 空间二元项V，作为一个标准的对比调节项：
[0117] 其中dist表示两个超像素 Cl，Cj几何中心之间的欧式距离，参数〇取 值设定为2.8。
[0118] (11)通过二元平滑势函数W使时间上的目标动作在图像序列上保持一致性，使用 重叠和外观信息来编码时间约束：
[0120]其中，参数β取值设定为1.6。
[0121] (12)计算通过光流联系的两个超像素具有相同像素的百分比Φ :
[0123] 其中#表示像素的数目。
[0124] (13)超像素尺度空时随机场后验概率分类似然推理。将图像序列{/(}^:过分割构 成超像素集合G，连接空域相邻的区域(i，j) e es和时域相邻的区域(i，j，t) e et,t+1。定义超 像素马尔科夫随机场能量函数E(L)来求解前景-背景类标签最优化分类结果L:
[0126] -元数据项Ut根据组合边缘内部映射的凸优化结果，由所有图像帧的外观模型估 计一个超像素是前景或是背景的可能性。二元项V和W计算在空间邻域和时间邻域施加不同 类标签1 e L的惩罚。一元权重参数λ的取值范围为[1，2 ]。
[0127] (14)通过图切分法一步迭代推理所述能量函数E(L)的后验概率分类似然分布，输 出为一个使能量函数最小化的标签f
[0128] L* = argminLE(L)
[0129] 输出C得到动态场景图像序列的最终分割结果。本发明所述基于多尺度组合特征 凸优化的复杂目标动态场景无监督分割方法在熊猫图像序列数据中得到的分割结果如图8 所示。由图可见，在由于相机运动和环境变化造成的动态背景图像中，外观颜色不均匀而且 形状随时间变化的前景熊猫语义目标区域在全部六个时刻都能够得到有效分割。
[0130]上面结合附图对本发明的【具体实施方式】作了详细说明，但是本发明并不限于上述 实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前 提下作出各种变化。
【主权项】
1. 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法，其特征在 于:首先提取小波域高尺度目标特征，并计算运动和空域边缘响应，将小波域、空域和时域 边缘特征融合得到多尺度组合概率边缘响应，然后建立组合边缘内部映射权重总变分能量 泛函模型，利用交替方向计算权重总变分泛函模型凸优化，并据此定义超像素尺度空时马 尔科夫随机场的一元能量函数项和二元空域能量函数，最后通过图切分一步迭代推理得到 图像序列的后验概率分割结果。2. 根据权利要求1所述的基于多尺度组合特征凸优化的复杂目标动态场景无监督分割 方法，其特征在于:所述基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 的具体步骤如下： Stepl、小波域高尺度目标轮廓特征提取;在图像序列{/%每个时刻t的图像P中，首先 探明前景小波域高尺度目标轮廓在各个像素位置(i，j)处的最大边缘响应，T为视频的总帧 数； Step2、计算相邻时刻的两幅图像Ρ和It+1的变分光流矢量场/V+1>，通过梯度算子计 算变分光流矢量场幅值的梯度v li Λ/2, /?+1> ιμ对光流梯度进行线性归一化处理得到运动边 缘穿疒(Uh Step3、建立由N个树tree构成的结构化随机森林F，通过标准的信息增益最大化计算每 个树上的分叉函数。将图像P输入结构化随机森林F进行非线性类别预测F(r)，根据每个树 t r e e的预测情况p ( I t | t r e e )，统计结构化随机森林的非线性预测结果1，进行归一化处理得到图像各个像素的空域边缘响应Ft(i，j); Step4、将高尺度小波系数最大边缘响应投影到像素尺度，并线性组合精细尺度的运动 与空域边缘特征，融合得到多尺度组合概率边缘响应：Step5、将图像序列丨过分割构成超像素集合G，连接空域相邻的区域(i，j)ees和时 域相邻的超像素区域(i，j，t) e εt, t+1，从而构建空时马尔科夫随机场； Step6、根据组合边缘内部映射的凸优化结果确定马尔科夫随机场的一元能量函数项 US由所有图像帧的外观模型来判断一个超像素i EG的类标签h是前景或是背景的可能性； Step7、确定马尔科夫随机场二元空域能量函数V和二元时域能量函数W，分别计算在空 间邻域(i，j)&s和时间邻域(1，」，〇&〃+1连线上两端的两个超像素分别取类标签1^1^ 和ljEL的可能性； StepS、定义超像素马尔科夫随机场能量函数E(L)来求解前景-背景类标签最优化分类 结果L:一元权重参数λ的取值范围为[1，2]; Step9、由式I^iargminLElX)-步迭代推理所述能量函数E(L)的后验概率分类似然，输 出得到最终的动态场景图像序列分割结果。3. 根据权利要求2所述的基于多尺度组合特征凸优化的复杂目标动态场景无监督分割 方法，其特征在于:所述步骤Stepl中，小波域高尺度目标轮廓各个像素处的最大边缘响应 定义为： Bs^i, j)=max(Hst(i, j) .Vs^i, j) .Ds^i, j)) 其中，Η，、ν，和D，分别表示图像经过小波变换后在尺度s位置（ij)的水平、竖直和对 角方向上的小波系数。4. 根据权利要求2所述的多尺度组合特征凸优化的复杂目标动态场景图像序列无监督 分割方法，其特征在于:所述步骤Step6中，根据组合边缘内部映射的凸优化结果确定马尔 科夫随机场的一元能量函数项m的主要步骤如下： Step6.1、根据组合概率边缘的内部映射种子点在精细尺度上的投影M，建立图像序列 中的前景目标映射权重总变分能量泛函樽塑：其中第一项为权重总变分项，第二项为区域平滑项，二者之间的相对重要性通过参数P 来平衡； Step6.2、将像素级精细尺度的权重总变分分割问题转化为约束最小化问题：u* = argminu,v H(u，v)，约束条件为ue[〇，l]，ve[〇，l]; Step6.3、两个交替变量u和v之间用内部种子点映射矩阵Μ施加线性约束，通过乘子交 替方向凸优化算法，依次迭代更新得到最小化变量u*; Step6.4、根据凸优化结果u*，训练高斯混合模型前景参数ΘΡ和背景参数ΘΒ，得到凸优 化平滑后马尔科夫随机场模型的一元能量函数项W (/,.) = Π(/, | P); Step6.5、计算当前超像素RGB颜色向量的后验概率，定义超像素外形似然为五成分高 斯混合模型的色彩特征的负对数似然函数：其中Pr为概率密度分布函数。5. 根据权利要求2所述的多尺度组合特征凸优化的复杂目标动态场景图像序列无监督 分割方法，其特征在于:所述步骤Step7中，确定马尔科夫随机场二元空域能量函数V和二元 时域能量函数W的主要步骤如下： Step7.1、二元项编码的一致性体现在空间和时间线索上，用一个标准的对比调节函数 定义二元空域能量函数V:其中dist表示两个超像素Cl，Cj几何中心C(c0和之间的欧式距离； Step7.2、通过二元平滑势函数W使时间上的目标动作在图像序列上保持一致性，使用 重叠和外观信息来编码二元时域能量函数W:Step7.3、通过光流联系的两个超像素具有相同像素的百分比Φ的具体计算方式为：其中#表示像素的数目。
【文档编号】G06T7/00GK105869178SQ201610261547
【公开日】2016年8月17日
【申请日】2016年4月26日
【发明人】张印辉, 何自芬, 伍星, 张云生, 王森
【申请人】昆明理工大学