用于生成时间一致的超像素的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及用于生成视频序列的时间一致的超像素的方法和装置。更具体地，描 述使用轮廓演化的用于生成时间一致的超像素的方法和装置。
【背景技术】
[0002] 超像素算法表示用于范围广泛的计算机视觉应用（诸如视频分割、跟踪、多视图 对象分割、场景流、室内场景的3D布局估计、交互式场景建模、图像解析和语义分割等）的 非常有用并且日益普及的预处理步骤。将相似的像素分组为所谓的超像素导致图像基元的 大幅减少。这导致后续处理步骤的增加的计算效率，允许在像素级别上的计算上不可行的 更复杂的算法，并且为基于区域的特征创建空间支持。
[0003] 超像素算法将像素分组为超像素。如在[1]中所指示的那样，超像素是局部的、相 干的，并且保留以感兴趣的比例进行分割所需的大部分结构。超像素应当在大小和形状上 是大致均质的。虽然很多超像素方法主要针对静止图像，并且因此当被应用于视频序列时 仅提供有限的时间一致性或根本不提供时间一致性，但是一些方法针对视频序列[2] [3]。 这些方法开始处理时间一致性的问题。
[0004] 超像素生成本身未必导致空间相干的超像素。因此，需要后处理步骤以确保在簇 中所包括的像素的空间连通性，并且因此而确保超像素的空间连通性。此外，在[4]中陈述 了在[5]中所提出的后处理方法将所隔离的超像素碎片（fragment)分配给任意邻近的超 像素，而不考虑碎片与它们被分配给的超像素之间的任何相似度测度。在[4]中所提出的 轮廓演化方法可以克服该缺点，往往以很高数量的迭代为代价。此外，它们往往关注于静止 图像，并且因此留下时间一致性问题未解决。
【发明内容】
[0005] 本发明的目的是提出一种用于生成与图像序列中的图像相关联的时间一致的超 像素的改进的解决方案。
[0006] 根据本发明，一种用于生成图像序列的时间一致的超像素的方法包括：
[0007] -生成所述图像序列中的第一图像的簇分配；
[0008] -使用反向光流（backward optical flow)基于标签传播来初始化后续图像；以 及
[0009] -对于所述图像序列中的后续图像，仅对轮廓像素关于它们的簇分配进行处理。
[0010] 相应地，一种被配置为生成图像序列的时间一致的超像素的装置包括：
[0011]-簇分配生成器，被配置为生成所述图像序列中的第一图像的簇分配；
[0012] -标签传播器，被配置为使用反向光流基于标签传播来初始化后续图像；以及
[0013] -轮廓像素处理器，被配置为对于所述图像序列中的后续图像，仅对轮廓像素关于 它们的簇分配进行处理。
[0014] 此外，一种计算机可读存储介质在其中存储能够生成图像序列的时间一致的超像 素的指令，其中，所述指令在被计算机执行时使所述计算机：
[0015] -生成所述图像序列中的第一图像的簇分配；
[0016] -使用反向光流基于标签传播来初始化后续图像；以及
[0017] -对于所述图像序列中的后续图像，仅对轮廓像素关于它们的簇分配进行处理。
[0018] 此外，一种计算机程序包括能够生成图像序列的时间一致的超像素的指令，其中， 所述指令在被计算机执行时使所述计算机：
[0019] -生成所述图像序列中的第一图像的簇分配；
[0020] -使用反向光流基于标签传播来初始化后续图像；以及
[0021] -对于所述图像序列中的后续图像，仅对轮廓像素关于它们的簇分配进行处理。
[0022] 所提出的解决方案针对在[6]中所描述的基于聚簇的超像素方法引入基于轮廓 演化的策略。代替在聚簇期间处理视频容积（video volume)中的所有像素，仅处理轮廓像 素。因此，在每次迭代中，仅轮廓像素能够被改变，即被分配给不同的簇。其他像素保持它 们的先前的分配。通过利用反向流信息传播最后的图像的轮廓来初始化进入视频容积的新 图像。
[0023] 在一个实施例中，生成所述图像序列中的第一图像的簇分配包括将所述第一图像 的像素聚簇为超像素。
[0024] 在另外的实施例中，生成所述图像序列中的第一图像的簇分配包括检索所述第一 图像的初始簇分配并且仅对轮廓像素关于它们的簇分配进行处理。通过使用几何形状（例 如可以是正方形、矩形或六边形）的图像的曲面细分（tessellation)来创建所述第一图像 的初始簇分配。相同形状所覆盖的所有像素被分配给相同的簇。这最终得到初始簇分配。
[0025] 提出一种用于视频序列上的超像素的完全基于轮廓的方法，其被表示在期望最大 化（EM)框架中，并且生成空间相干并且时间一致的超像素。使用反向光流的高效标签传播 鼓励在适当的时候保留超像素形状。
[0026] 通过所提出的方法，一般无需后处理步骤来确保聚簇之后的空间相干性。同时，所 生成的超像素示出高的边界/轮廓精度和高的时间一致性。此外，所述方法由于选择性处 理而工作得相当快。所生成的超像素有益于范围广泛的计算机视觉应用，其范围从分割、图 像解析到分类等。
[0027] 为了更好地理解，现在将参照附图在下面的描述中更详细地解释本发明。要理解 的是，本发明不限于该示例性实施例，并且还可以方便地组合和/或修改指定特征，而不脱 离所附权利要求所限定的本发明的范围。
【附图说明】
[0028] 图1示出具有时间一致性的超像素的示例；
[0029] 图2示出两个超像素之间的5X5像素邻域；
[0030] 图3示出到新的帧的超像素标签传播的可能的变型；
[0031] 图4解释在通过光流传播全部超像素时出现的问题；
[0032] 图5示意性地示出根据本发明的方法；以及
[0033] 图6示意性地示出被配置为执行根据本发明的方法的装置。
【具体实施方式】
[0034] 图1示出具有时间一致性的超像素的示例。在图I (a)图示原始图像的同时，在图 1(b)中，执行视频的完全分割，并且超像素的子集在一个图像中被手动地选择并且具备用 于可视化的灰度值。图I(C)示出在若干图像之后的相同子集。相同的灰度值意味着时间 连通性。
[0035] 为了更好地理解主要思想，下面首先针对静止图像简要地描述基于轮廓演化的方 法，然后使用稍微不同的说明性方法将其扩展到视频。
[0036] 针对静止图像的简要描述
[0037] 对于基于聚簇的方法，图像的像素被看作多维特征空间中的数据点，其中每个维 度对应于像素的色彩通道或图像坐标。超像素由该多维特征空间中的簇表示，并且每个数 据点可以只分配给一个簇。该分配最终确定过分割（over-segmentation)，并且因此确定超 像素生成。
[0038] 为了使用完全基于轮廓演化的方法来找到该分配问题的最优解，定义能量函数 Etotal，其总计将轮廓像素
分配给_
;所需的能量E(n，k):
[0040] 其中，J\Tf:.是图像中的轮廓像素的集合，、是与轮廓像素 η以及轮廓像素 η所分 配到的簇相邻的簇的集合。能量E (n，k)可以进一步精细化为色差（color-difference)相 关的能量E。(n，k)和空间距离相关的能量Es (n，k)的加权和：
[0041] E(n,k) = (I-a ) Ec (n, k) + a Es (n, k)
[0042] 能量E>，k)直接与轮廓像素 η和所选取的色彩空间中的簇k的色彩中心之间的 欧几里德距离成比例。同样地，Es (n，k)与η的空间位置和簇k的中心的空间位置的欧几里 德距离成比例。为了使结果独立于图像大小，用因子
'来调整（scale)空 间距离，其中，I · I是集合中的元素的数量，J\T是图像中的所有像素的集合，％'是图像中 的所有簇的集合。通过参数α，用户可以操纵分割结果操控，使其更紧凑或者对于精细粒度 的图像结构更敏感。对于簇的给定数量
和用户定义的α，可以通过找到使Etotal最小 化的簇的群集（constellation)来确定就能量而言的最优过分割。
[0043] 通过应用收敛到局部最优解的迭代Lloyd算法来求解分配问题。在空间的子空间 中，例如将簇初始化为均匀分布的、不重叠的矩形或正方形。为了使得能量项E tC]tal最小化， 该算法迭代两个交替步骤：分配步骤和更新步骤。在分配步骤中，每个轮廓像素 η被分配给 簇
其中，给定集合能量项E(n，k)具有其最小值。非轮廓像素的其他像素保 持