用于图像处理的装置、方法和计算机程序的制作方法
【技术领域】
[0001] 本发明涉及用于图像处理的装置、方法和计算机程序。
【背景技术】
[0002] 该部分旨在提供在权利要求书中陈述的本发明的背景或上下文。此处的描述可W 包含可W被追求的构思，但该构思不是必须是先前已设想或追求的构思。因此，除非此处另 外指出，否则该部分所述的内容不是本申请中的说明书和权利要求书的现有技术，并且不 通过被包含在该部分中而承认其为现有技术。
[0003] 当前正在研究和开发用于提供H维（3D)视频内容的各种技术。在各种多视角 (mu 11iView)应用上，观看者从特定的视点能够看到仅一对立体视频，W及从不同的视点看 到另一对立体视频。在一些方法中，仅有限数量的输入视图，例如单一（mono)或立体视频 加上一些补充数据，被提供给解码器侧，W及所有要求的视图于是由该解码器本地地撞染 (即合成）W在显示器上显示。
[0004] 在3D视频内容的编码中，能够使用视频压缩系统，诸如高级视频编码标准H. 264/ AVC或H. 264/AVC的多视角视频编码MVC扩展。
[0005] 可W由两个水平对齐和同步的相机来执行立体视频的捕获。相机的光学中也之 间的距离被称为基线距离。立体对应性指的是在两个相机中反射相同场景点的像素。知 道相机参数、基线和对应点，能够通过应用例如H角测量类型的估计来找到场景点的H维 (3D)坐标。针对两个相机图像中的所有像素应用相同的过程，能够获得密集的相机中也距 图（深度图）。它提供了场景的3D地理模型W及能够在许多3D视频处理应用（诸如编码、 再利用、虚拟视图合成、3D扫描、对象检测和识别、在真实场景中嵌入虚拟对象（增强现实） 等中使用。
[0006] 在多视角应用中，可W有超过两个相机，可W在逻辑上将它们布置成多对相机。因 此，可W由该些相机捕获相同场景，给予提供来自相同场景的不同视角的立体视频的可能 性。
[0007] 在深度图估计中的问题是如何可靠地找到两个相机视图中的像素之间的对应性。 通常，可W矫正相机视图，W及对应性被限制为在水平线中出现。此类对应性被称为视差。 找到视差图的过程（在两个矫正的图像视图的像素之间的对应性）被称为立体匹配。一些 立体匹配方法受制于一些面向应用的约束来应用局部或全局优化准则W处置在真实世界 立体图像中的特定问题。
[0008] 许多立体匹配算法搜索视差范围内的匹配。针对任意立体图像的正确视差搜索范 围的选择可能是个问题，尤其是在真实世界和室外应用（其中手工范围选择可能是相当不 切实际的）的情况下。太窄的搜索范围选择可能导致不希望的估计视差的质量降级。同时， 针对立体匹配的非常宽（例如，无约束）的范围可能增加不必要的计算复杂度。取决于所 寻求的视差级别（假设）的数量，现代立体匹配技术的复杂度可W是线性的。即使使用预 先选择的视差范围，在场景捕获期间（例如，立体摄影或视频拍摄），场景可W变化，因此改 变所使用（预先选择的）视差范围。
【发明内容】
[0009] 本发明涉及用于图像处理的装置、方法和计算机程序，其中图像对可W被下采样 到较低分辨率的图像对，W及还获得表示在该图像对中的像素的至少子集之间的估计视差 的视差图像。可W获得视差估计的置信度并将它插入到置信图中。可W通过使用像素位置 的空间邻域对视差图像和置信图进行联合过滤W获得过滤的视差图像和过滤的置信图。可 W通过过滤的视差图像和置信图来获得该图像对的估计视差分布。
[0010] 一些实施例提供用于矫正立体视频内容的自动的、独立于内容的视差范围选择算 法。
[0011] 本发明的一些实施例使用金字培方法。然而，不是仅使用针对视差范围确定的置 信度，可W应用针对高效异常值移除的第一视差估计和置信图的空间过滤。因此，可W需要 仅很少层。在一些示例实施例中，可W使用仅两层金字培。
[0012] 在W下，简要呈现根据本发明的一些实施例的视差范围估计中的一些特征。
[0013] 可W使用常数复杂度的绝对误差和（SAD)匹配，其允许对计算复杂度没有影响或 仅较小影响来改变匹配窗口大小。
[0014] 替代很少层的金字培，可W使用单个下采样步骤。该可W导致可预测性和稳定的 过程行为。还可能的是，通过改变下采样因子来调节计算速度。
[0015] 对初始视差估计的合适的空间过滤可W用于更好的异常值移除。
[0016] 可W使用没有应用于连续视频峽的特定时间过滤的时间对应性假设。
[0017] 本发明的各种方面包含；方法、装置、计算机程序、编码器和解码器，它们的特征在 于在独立权利要求中阐述的内容。在从属权利要求中公开了本发明的各种实施例。
[0018] 根据第一方面，提供了一种方法，所述方法包括：
[0019] 将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
[0020] 估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子 集之间的视差，将该视差放入到视差图像中，
[0021] 估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置 信度放入置信图中，
[0022] 过滤所述视差图像和所述置信图W获得过滤的视差图像和过滤的置信图，其中所 述过滤使用将被过滤的像素的像素位置的空间邻域，W及
[0023] 通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
[0024] 根据第二方面，提供了一种装置，所述装置包括至少一个处理器和包含计算机程 序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述 至少一个处理器使得所述装置执行至少W下：
[00巧]将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
[0026] 估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子 集之间的视差，将该视差放入到视差图像中，
[0027] 估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置 信度放入置信图中，
[0028] 过滤所述视差图像和所述置信图W获得过滤的视差图像和过滤的置信图，其中所 述过滤使用将被过滤的像素的像素位置的空间邻域，W及
[0029] 通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
[0030] 根据第H方面，提供了一种计算机程序产品，所述计算机程序产品包含一个或多 个指令的一个或多个序列，其中当由一个或多个处理器执行所述一个或多个指令的一个或 多个序列时，所述一个或多个指令的一个或多个序列使得装置执行至少W下：
[0031] 将输入图像对下采样为一对较低分辨率的第一图像和第二图像，
[0032] 估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至少子 集之间的视差，将该视差放入到视差图像中，
[0033] 估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将该置 信度放入置信图中，
[0034] 过滤所述视差图像和所述置信图W获得过滤的视差图像和过滤的置信图，其中所 述过滤使用将被过滤的像素的像素位置的空间邻域，W及
[0035] 通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分布。
[0036] 根据第四方面，提供了一种装置，所述装置包括：
[0037] 下采样器，其适用于将输入图像对下采样为一对较低分辨率的第一图像和第二图 像，
[0038] 视差估计器，其适用于估计在所述第一图像中的像素的至少子集和在所述第二图 像中的像素的至少子集之间的视差，将该视差放入到视差图像中，
[0039] 置信度估计器，其适用于估计针对在所述视差图像中的像素的至少子集的所述视 差估计的置信度，将该置信度放入置信图中，
[0040] 滤波器，其适用于过滤所述视差图像和所述置信图W获得过滤的视差图像和过滤 的置信图，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，W及
[0041] 视差分布估计器，其适用于通过所述过滤的视差图像和所述过滤的置信图来估计 所述图像对的视差分布。
[0042] 根据第五方面，提供了一种装置，所述装置包括：
[0043] 用于将输入图像对下采样为一对较低分辨率的第一图像和第二图像的构件，
[0044] 用于估计在所述第一图像中的像素的至少子集和在所述第二图像中的像素的至 少子集之间的视差，将该视差放入到视差图像中的构件，
[0045] 用于估计针对在所述视差图像中的像素的至少子集的所述视差估计的置信度，将 该置信度放入置信图中的构件，
[0046] 用于过滤所述视差图像和所述置信图W获得过滤的视差图像和过滤的置信图的 构件，其中所述过滤使用将被过滤的像素的像素位置的空间邻域，W及
[0047] 用于通过所述过滤的视差图像和所述过滤的置信图来估计所述图像对的视差分 布的构件