专利名称：图像增强的制作方法
技术领域：
本发明涉及一种将第 一样本结构增强为第二样本结构的方法，第一 和第二结构二者都表示场景的第 一属性并且具有第 一分辨率。
本发明进一 步涉及一种用于将第 一样本结构增强为第二样本结构 的图像增强单元，第一和第二结构二者都表示第一属性并且都具有第一 分辨率。本发明进一步涉及一种包括这样的图像增强单元的图像处理设备。
本发明进一 步涉及一种包括存储在计算机可读介质上的程序代码
方法(program code means)的计算机程序产品，所述程序代码方法被 设置为当所述程序代码方法(means)在计算4几上运行时#1行上述方 法的步骤。
背景技术：
运动矢量场的产生和来自运动视频的视差图(map) 4艮早以前就引 起了学术界以及消费型电子产业的注意。通过在视频压缩中使用运动估 计和补偿技术，在运动矢量生成方面的兴趣得到本质上的增强。
3D电视机和/或多视图(multi-view)呈现装置的即将引入已经类 似地增加了在深度图和视差图生成方面的兴趣。视差图和深度图共同用 于从单个序列的视频图像生成多视像，并且能够使得2D视频内容 转换为适合3D电视机和/或多视图呈现装置的格式。
运动估计可以用作深度估计的开始点。用于运动矢量域的估计方法 通常依赖于连续图像的相似图像部分的确定。因为单个像素值的可辨识 性不足以建立相似性，所以典型地使用一组像素来建立连续图像的各图 像部分之间的对应性。结果，由这种估计方法生成的运动矢量域通常具 有比原始图像更低的分辨率。 一些用于计算运动矢量域的技术计算8 x 8 像素网格的运动矢量。因此，当这种运动矢量域用于计算深度图时，对
于高质量呈现来说分辨率通常太粗糙，并且通常将会导致在对象边缘处 产生如晕圏可见的可见伪影。
用于深度图生成的其他技术(比如WO2005/013623所提出的"多视
6像生成，，)以相对较低的计算代价提供了全分辨率深度图估计。在 图像内建立第一边缘，并且在此基础上通过将各个深度图值分配给该边 缘的相应的侧来生成深度图。虽然这种深度图的分辨率明显高于基于块 的深度图的分辨率，但是所生成的深度图的质量可以被进一步改进。
发明内容
本发明的目的是提供一种增强表示第 一属性的第 一样本结构的方 法，平均来说该方法产生增强的样本结构。
本发明的目的可以通过根据权利要求1的方法来实现。根据权利要 求1的方法增强了第一样本结构，从而导致第二样本结构。第一和第二 结构二者都表示第一属性(例如深度)并且第一和笫二结构都具有第一 分辨率。基于表示第二属性(例如颜色)并具有第一分辨率的第三样本 结构来增强笫 一结构。第 一属性和第二属性分别表示基本相同的场景的 不同属性。
第一样本结构可以被看作输入结构，第二样本结构表示输出结构。 第一和第二结构的样本表示场景的同一个属性的样本，比如深度图、视
差图或运动矢量域。第三样本结构可以被看作参考结构，其用于生成笫 二样本结构。参考结构表示不同的属性，比如场景的亮度、颜色或紋理。 第一、第二和第三结构都具有相同的分辨率。
为了增强第一样本结构，通过压缩(down scale)第一样本结构的 样本以生成第四样本结构的样本，来生成表示第一属性的第四样本结构 的样本。第四样本结构可以被看作通过压缩第一结构而产生的中间结 构。通过压缩第一结构，笫一样本结构的多个样本将促成第四样本结构 的相应的样本。因此，由第四结构的各个样本所表示的估计的质量平均 来说可能预期高于第 一结构的各个样本所表示的估计的质量，因为各个 像素中的噪声因素被去除。这个在质量方面的增益的获得是以降低空间 分辨率为代价的。
通过使用以具有第 一分辨率的第三结构(其提供关于对象边界的精 确信息)为形式的已知结构，可以使用来自第三结构的出色的细节以图 像自适应方式扩大(up-scale)第四结构的更高质量的样本。结果，使 用导致在第 一分辨率处的第 一属性的改进估计的第四结构的(平均来 说)较高质量的样本(平均来说)来重新引入出色的细节。此外，该方法也消除了对象内部出现的更细微的紋理。因此，由边缘限定的对象典 型地具有更均匀的填充。
典型地，样本结构对应于数据元素的矩阵。然而，所述样本结构可 以对应于数据元素的可替代的布局。
本发明的其他目的是提供一种在起始段落中所描述的类型的图像 增强单元、 一种图像处理设备和一种计算机程序产品，它们提供了图像 增强。
本发明的这些目的可以分别通过如权利要求16、 17和18分别地所 述的图像增强单元、图像处理设备和计算机程序产品来实现。
在优选实施例中，分配给第四样本结构的各个样本的权重系数基于 第三样本结构的样本与第三样本结构的低通滤波的样本之间的差异。在 第三样本结构的各个样本与第三结构的各个低通滤波的样本之间的差 异提供了这样的指示在较低空间分辨率下的第二属性的样本如何与在 第一分辨率下的样本关联。
更优选地，低通滤波包括将第三结构的样本从第一分辨率压缩到第 二分辨率。因此，基于来自表示第二属性的第二样本结构的结构信息， 来扩大存储在第四样本结构中的第 一属性的更可靠的估计，从而允许该 扩大基本上采用在第三样本结构中找到的对象边界。
更优选地，生成表示第二属性的笫五样本结构，该第五结构具有第 二分辨率。通过压缩第三样本结构的样本以形成第五样本结构的样本来 形成第五结构。分配给第四样本结构的各个样本的权重系数基于第五样 本结构的样本与第三样本结构的样本之间的差异。在第三样本结构的各 个样本与第五结构的样本之间的差异提供了更可靠的指示在第二分辨 率下的第二属性的样本如何与在第 一分辨率下的样本关联。
在另 一个实施例中，第 一样本结构表示在第 一时间戳的场景的第一 属性，而第三样本结构表示在第二时间戳的场景的第二属性，其中第二 时间戳在时间上近似于第 一时间戳，从而第 一样本结构形成表示在笫二 时间戳处的笫 一属性的另 一个样本结构的估计。本实施例实现了例如将 先前的(或将来的)深度图作为估计来使用以便生成当前的深度图。通 过首先将导致第四结构的第一结构压缩，并且计算用于第四结构的样本 而不是第一结构样本的权重系数，可以减少预测当前深度图所需的计算 次数。所述图像增强单元的修改及其改变可以对应于下面所描述的图像 处理设备、方法和计算机程序产品的修改和变化。
通过结合下面所描述的实现方式和实施例并参照附图，根据本发明 的图像增强单元、图像处理设备、方法和计算机程序产品的这些和其他
特性将变得显然并被阐明，其中 图1A示出全分辨率的亮度图像； 图1B示出全分辨率的估计的深度图； 图1C示出较低分辨率的估计深度图的压缩版本； 图1D示出了根据本发明使用图1A和1C生成的增强的深度图； 图2A示意性示出五个样本结构，其中尚未计算出第二样本结构的
值；
图2B示意性示出基于第一差异的第一权重系数的分配，该第一权 重系数用于计算第 一输出样本；
图2C示意性示出具有各个差异的多个权重系数的分配；
图2D示意性示出基于第一差异的第一权重系数的分配，该第一权 重系数用于计算第二输出样本；
图2E示意性示出图2A的五个样本结构，其中已经计算了第二样本 结构的值；
图2F示意性示出五个样本结构，其中两个是计算第二样本结构的 样本所需的；
图3示意性示出7个样本结构； 图4A示意性示出第一滤波孔； 图4B示意性示出第二滤波孔；
图5A示意性示出用于增强估计的深度图、视差图或运动矢量域的
本发明的实施例；
图5B示意性示出用于增强深度图的本发明的实施例； 图6A示意性示出根据本发明的图像增强单元； 图6B示意性示出根据本发明的图像增强单元； 图7示意性示出多视像生成单元；以及 图8示意性示出根据本发明的图像处理设备。在整个附图中，相似的附图标记用于表示相似的部件。
具体实施例方式
使用 一 系列图像最佳地说明了在本发明中实际实施的图像增强的
潜力。图1A示出全分辨率的亮度图像。图1B示出相同分辨率的估计的 深度图。更靠近观察者的对象显示高亮度，而更远的对象更暗。在区域 201内，各种边缘被高亮显示，其中包括深度图值，可以使用根据标题 为 "Multi—view Image Generation"的WO2005/013623和才示题为 "Creating a depth map"的WO2005/083630的方法来生成与图IB中 示出的深度图相似的深度图。区域202示出表示对象内的结构的多个更 加细化的边缘，但是同样这些边缘是同一个对象的一部分。从该图中将 会显而易见，在估计期间边缘以及更加细微的深度变化被引入，深度变 化没有准确地反应实际深度。
这里使用压缩因子8来压缩如图1B所示的深度估计。图IC表示压 缩的图像，这里示出的被压缩的图像使用导致具有与其他图像相同尺寸 的图像的样本副本而延伸。随后，使用来自图1A的亮度信息以图像自 适应方式来扩大压缩的深度图的估计，从而生成图1D。区域201和202 内的边缘已经^L^本去除，并且位于各个对象内的深度值已经基本上在 对象中被传播。如图ID所描绘的所生成的深度图清楚地提供了对图IB 所描绘的深度图的改进。
虽然压缩因子8特别有利，但是当使用2-16的范围内的压缩因子 时可以看到改进。依赖于原始分辨率和所得到的深度图的所希望的间隔 尺寸(granularity)，可以使用更大的压缩因子，这是以更多的细节 损失为代价的。
结合图2A到图2F,描述根据本发明的方法的实施例。图2A到图 2F示意性示出
-表示第一属性的第一样本结构SI;第一结构具有第一分辨率； -表示第一属性的第二样本结构S2;第二样本结构S2具有第一分 辨率；
-表示第二属性的第三样本结构S3;第三样本结构S3具有第一分 辨率；
-表示第一属性的第四样本结构S4;第四样本结构S4具有第二分辨率，笫二分辨率低于第一分辨率；以及
-表示第二属性的第五样本结构S5;第五样本结构S5具有第二分 辨率；
根据本发明的方法的目的在于，增强第一样本结构Sl,从而通过以 下操作生成第二样本结构S2:
-通过压缩第一样本结构Sl的第一样本以形成第四样本结构S4的 第四样本从而生成第四样本结构S4的第四样本；
-通过压缩第三样本结构S3的笫三样本以形成第五样本结构S5的 第五样本从而生成第五样本结构S5的第五样本；
-将第四样本结构S4扩大为第二样本结构S2;基于第三样本结构 S3和第五样本结构S5。该扩大包括
i )基于第三样本结构S3的各个第三样本与第五样本结构S5的第 五样本之间的差异，来将权重系数分配给第四样本结构S4的第一样本； 以及
ii)基于第四样本结构S4的第四样本和相应的所分配的权重系数 来计算第二样本结构S2的第二样本。
图2A示意性示出五个样本结构S1-S5,其中尚未计算第二样本结构 S2的值。这可以被看作是压缩了笫一和第三样本结构之后的状态。
典型地，基于第一样本结构Sl的第一样本来计算第四样本结构S4 的第四样本。换句话说，通过低通滤波第一样本结构Sl (即通过压缩 (down-scaling))来计算笫四样本结构S4。可以使用例如sin (x) /x滤波器或箱式(box)平均滤波器且随后进行压缩来生成第四样本结 构S4的第四样本。而且该压缩滤波器仅仅可以应用于笫一样本结构Sl 的第一样本的一个子集。
典型地，基于第三样本结构S3的第三样本来计算第五样本结构S5 的第五样本。换句话说，通过低通滤波第五样本结构S5来计算第五样 本结构S5。可以使用例如sin (x) /x滤波器或箱式平均滤波器且随后 进行压缩来生成第五样本结构S5的第五样本。而且该压缩滤波器仅仅 可以应用于第三样本结构S3的笫三样本的一个子集。
虽然为了清楚起见，在这里整个第四结构S4和第五结构S5被预计 算，但是当需要各个第四和第五样本时，可以实时地计算第四和第五样 本。因此，可以以潜在的重复计算为代价来降低对存储器的要求。笫一属性可以对应于深度值、视差值或运动矢量。相应地，第四样
本结构S4可以对应于估计的、合成的深度图、视差图或运动矢量域。 可替代地，第四样本结构S4可以对应于其中一部分深度图。
第二属性可以对应于亮度、颜色和/或彩色紋理。第三样本结构S3 典型地对应于高分辨率亮度/彩色图像。可替代地，第三样本结构S3对 应于相对较高分辨率的亮度/彩色图像的一部分。第五样本结构S5可以 对应于相对较低分辨率的亮度/彩色图像。这意味着其分辨率低于第三 结构S3。可替代地，第五样本结构S5对应于相对较低分辨率的亮度/ 彩色图像的一部分。
图2A-2F中的不同灰度值分别表示第一属性和第二属性的不同值，
比如亮度/颜色和深度值/运动矢量。
图2B示意性示出基于第一差异的对第一个笫四样本306的第一个 权重系数的分配，第一个权重系数将应用于计算第一输出样本300。第 一输出样本300对应于第二样本结构S2的第二样本之一。
对第 一个第四样本306的第 一个权重系数的分配是基于第 一个第三 样本302与第一个第五样本304之间的第一差异而进行的。优选地，不 同样本之间的关系如下
-第一个第四样本306与第一个第五样本304的各自的坐标彼此相 等。通过第一个第四样本306与笫一个第五样本3(M之间的具有附图标 记307的虛线来指示各自坐标之间的对应性；以及
-第一个第三样本302与第一个第二样本300的各自的坐标彼此相 等。通过第一个第三样本302与第一个第二样本300之间的具有附图标 记309的虚线来指示各自坐标之间的对应性。
因为第一个第五样本304与第一个第三样本302之间的第一差异相 对较低，所以第一个权重系数相对较高。这在图2B中通过用于第一个 第四样本306的"翘拇指符号"来指示。
在图2C中示意性指示了其他第一样本的其他权重系数的分配。例 如，第二个第四样本318的第二个权重系数的分配是基于第二个第五样 308与第一个第三样本302之间的第二差异而进行的。笫二个第一样本 318与第二个第五样本308的各自的坐标彼此相等。通过具有附图标记 311的虚线来指示所述各自坐标之间的对应性。因为第二个第五样本308 与第 一个第三样本302之间的第二差异相对较低，所以第二个权重系数
12相对较高。这在图2C中通过用于第二个第四样本318的"翘拇指符号"
来指示。
第三个第四样本316的第三个权重系数的分配是基于第三个第五样 310与第一个第三样本302之间的第三差异而进行的。第三个第四样本 316与笫三个第五样本310的各自的坐标彼此相等。通过具有附图标记 313的虚线来指示所述各自坐标之间的对应性。因为第三个第五样本310 与第 一个第三样本302之间的第三差异相对较高，所以第三个权重系数 相对较低。这在图2C中通过用于第三个第四样本316的"翘拇指符号，， 来指示。
在分配权重系数之后，可以基于第四样本结构S4的第四样本与相 应的所分配的权重系数来计算第二样本结构S2的第二样本。
接下来，将通过数学方法来描述第二结构S2的第二样本的计算。 假设第四属性对应于深度，并且第四样本由《表示，其中d表示深度， 上标2是指第二分辨率而下标j对应于第四样本结构中的索引。第二样 本由《表示，其中d表示深度，上标l是指第一分辨率而下标i对应于 第二样本结构中的索引。为了计算估计的深度值《，使用周围的深度值 《。优选地，使用下列加权均值滤波器
~~ (1)
该公式用于计算深度值《，即第二样本结构S2的第二样本的值。 对于每个深度值《，使用j周围的深度值《。基于对应于第二属性的各 个值之间的差异来确定权重系数,.。例如第二属性对应于亮度。这意味 着，将第五结构S5的亮度值/〗与第三结构S3的亮度值/〗比较。优选地， 下列指数函数用于计算权重系数
其中a的典型值为1/8。
在RGB (红色，蓝色，蓝色)数据的情况下(即第二属性对应于颜 色)，每一种颜色成分可以影响(contribute to) 4又重系数、=2， ，，" (3)
在YUV数据的情况下，U和V数据的影响不如亮度数据1的影响显 著，对应于Y:
^〔l"l4l"H+》)1〕 M、
、=2 、 乂 (4)
除了颜色差异，其他图像属性可以示出在图像内容方面的差异。本 发明人观察到，加入简单的紋理测量也会改进结果。紋理"被定义为在 一组样本中最大和最小的亮度值之间的绝对差。于是，权重系数可以定 义为
显然，必须计算第二样本结构S2的所有样本。在计算了第二样本 结构S2的第一个300第二样本之后，将计算第二样本结构S2的第二个 322第二样本。再次地，这是基于分配权重系数，随后基于所分配的 权重系数来滤波。
图2D示意性示出基于另一个差异而对另一个权重系数的分配，以 用于计算第二输出样本，即第二样本结构S2的第二个322第二样本。
第一个第四样本306的另一个权重系数的分配是基于第一个第五样 本304与第二个笫三样本320之间的另一个差异而进行的。优选地，不 同样本之间的关系如下
-第一个第四样本306与第一个第五样本304的各自的坐标彼此相 等。通过第一个第四样本306与第一个第五样本304之间的具有附图标 记307的虛线来指示各自坐标之间的对应性；以及
-第二个第三样本320与第二个第二样本322的各自的坐标彼此相 等。通过第二个第三样本320与第二个第二样本322之间的具有附图标 记321的虛线来指示各自坐标之间的对应性。
因为第 一个第五样本304与第二个第三样本320之间的另 一个差异 相对较低，所以另一个(futher one)权重系数相对较高。这在图2D 中通过用于第一个第一样本306的"翘拇指符号"来指示。与上面结合图2C所公开的事实相似，将计算用于计算第二样本结
构S2的第二个322第二样本的后续权重系数。
图2E示意性示出图2A的样本结构，以及已经计算的第二样本结构 的值。换句话说，图2E示意性示出第二样本结构S2的第二样本的计算 结果。图2E示意性示出第二样本的值是基于第四结构S4的第四样本的 值(灰度值)的。在第二结构S2中的"对象"的"形状，，对应于第三 结构S3中的"对象"的"形状"；压缩的输入图像的深度值适于对应
的图像的亮度值。
可选地，额外因子被应用于加权所述各种权重系数^，其中该额外 因子与第一样本的值的可靠性有关。
w; = (6)
随后，修改的权重系数用于取代先前所指定的权重系数(参见公式 2-5)。这种可靠性因子可以例如从运动估计器/深度估计器获得。所述 估计器可以确定去闭塞(deocclusion)区域。这些区域中的值是不可 靠的，所以应当以更小的权重计数。可替代地，可靠性因子是直接基于 估计器的输入图像的亮度值的不太相信与均匀的图像区域相关的运动 矢量和深度值。也可以从深度信号中获得可靠性因子解码深度信号的 解码器可以指示在编码期间何时应用高量子化，在该情况下深度也可能 不太可靠。
图2F示出五个样本结构，从图2A-2E可以观察到，用于计算第二 样本结构S2的第二样本的所有信息都包括在第一样本结构Sl和第三样 本结构S3中。为了计算第二样本结构的样本，需要计算两个中间样本 结构；这里使用虚线表示法来指示第四和笫五样本结构。显然，即使当 没有明确地生成第四和第五结构并将其存储在存储器中时，根据本发明 的样本的计算和后续使用也在本发明的范围之内。
虽然在前面的实例中为了清楚起见，生成第五样本结构S5，但是包 括在第五样本结构S5中的所有信息可以从第三样本结构S3获得。严格 来说，不需要计算第五样本结构S5,并且可以仅仅基于第三样本结构来 分配第四样本结构的第四样本的权重系数。
例如，为了建立第二样本结构S2的第二样本390,我们首先使用由 虛线391所示的相关性来建立第三样本结构S3的对应的第三样本393。随后，计算用于第四样本结构S4的各个样本的权重系数。进行这
些操作的一种方法是，首先建立第三样本结构S3的样本如何关联于第 四样本结构S4的相应的样本。在该实例中，第四样本结构S4的一个样 本对应于第三结构S3的四个样本，如由网才各392所示。可以通过使第 三样本393与对应于第四样本结构S4的第四样本394的第三结构的样 本相关联，来确定用于第四样本结构S4的第四样本394的相应的权重 系数。
在这种情况下，对应于笫四样本结构S4的第四样本395与第三样 本393相同。这明确地表示高的相关性，并且因此将把相对较高的权重 系数分配给由"翘拇指符号"所示的第四样本394。可以设想各种方式 来建立该相关性，其中之一可以是根据样本395来确定所述部分样本， 其在第三样本393的预定阈值内。
在这种方式下，可以在不必明确建立对应于第五样本结构的第五样 本的情况下计算第二样本结构S2的第二样本392。
图3示意性示出7个样本结构S1-S7。如结合图3A-3F所阐述的， 根据本发明的方法的目的在于通过首先压缩笫一样本结构以获得第四 样本结构并且随后将第四样本结构S4扩大为第二样本结构S2,基于第 三样本结构S3和第五样本结构S5,来增强第一样本结构Sl。典型地扩 大第四样本结构S4包括多个步骤，其中之一是第一步骤U1。在第一扩 大步骤U1之后，可以跟随第二扩大(up-scaling)步骤U2。甚至可以 执行两个以上的扩大步骤(未描述)。第二扩大步骤U2与第一扩大步 骤U1相似。因此，第二扩大步骤U2意味着基于第六样本结构S6和第 三样本结构S3来将第七样本结构S7扩大为第二样本结构S2。随后第一 扩大步骤U1的输出(即第七样本结构S7)被用作第二扩大步骤U2的输 入。
典型地，在整个缩放处理开始时，第二属性的样本在较高分辨率下 是可用的。例如存在用样本结构S3表示的输入图像，其为1024 x 1024 个元素的矩阵。通过压缩或可选地压缩步骤D2和D3的级联，可以计算 出多个附加样本结构，S6和S5。这些是包括在根据本发明的方法中的 相应的扩大步骤U1和U2所需的。例如，通过因子2将第三样本结构S3 压缩D2为第六样本结构S6，其为512 x 512个元素的矩阵。随后，将第 六样本结构S6压缩一般，得到第五样本结构S5，其为256 x 256个元素的矩阵。可替代地，可通过因子4直接将第三样本结构S3压缩1/3,得 到第五样本结构S5。
显然，所述压缩步骤与扩大步骤相关，因为对应分辨率的扩大需要 不同属性的样本。虽然优选的是，递归地执行扩大，例如从8x8到4 x 4到2 x 2到1 x 1,但是也可以在一个步骤中执行扩大，例如从8 x 8 到lxl。这里，xxx是指对应于各个低分辨率样本的高分辨率样本的数量。
如应用于根据本发明的图像增强的方法中的图像自适应扩大典型 地是基于滤波多个输入样本(即第四样本结构S4的第四样本)以计算 输出样本(即第二样本结构S2的第二样本)的。如上所指定的，使用 相应的权重系数来加权输入样本，这基于与第二属性相关的各个样本之 间的差异。为计算特定输入样本而考虑的输入样本的配置被称为滤波孔 (filter aperture)。该滤波孔确定哪些输入样本用于计算特定输出 样本。图4A示意性示出第一滤波孔，而图4B示意性示出第二滤波孔， 滤波孔中的变灰的像素(grayed pixel)形成输出像素。
由于第一扩大U1 (例如从8x8到4x4)中的误差影响多个输出像 素以及其他扩大步骤，所以似乎合理的是，花费更多的精力来设法避免 该第一步骤中的错误。而且，该第一步骤在粗网格上执行，所以要被处 理的样本的数量相对较小。在每一个扩大步骤中，增加了作为所包含的 样本数量的分辨率。在扩大因子为2 (在两个方向)的情况下，样本的 数量增加4倍。因此，有利的是，使用更先进的方法来建立权重系数， 比如使用多个颜色分量，并且/或者仅仅在较粗糙的分辨率处使用可靠 性因子。这种更先进的方法改进了权重系数的质量，因为这些方法限制 了不可靠像素在权重系数上可能产生的影响。根据这些更先进的方法， 可以使用更宽的滤波孔。例如，我们发现可以在8个方向上使用半径 (radius)为6的(8x8)样本。这在图4A中用阴影块示出。相反地， 图4 B示出在随后的扩大步骤中适合于更精细分辨率的简化的孔。
图5A以根据本发明的图像增强单元610的形式给出了另一个实施 例，该图像增强单元用于增强图像序列中一个图像的深度图的估计。在 之前的实施例中，根据本发明的方法用于使用表示第二属性的第三样本 结构S3来增强表示第一属性的估计的第一样本结构Sl。图5A所示的该 实施例的不同之处在于它包4舌时间方面。图5A中示出的图像增强单元610使用表示在第一时间戳的第一属 性的第一样本结构Sl ( tl )作为在第二时间戳的第一属性的另一个第一 结构的估计。随后本发明可以用于基于表示在时间戳t2的第二属性的 第三样本结构S3 ( U)来增强该估计。
图5A示出的实施例使用与在时间戳tl的场景相关联的第一深度图
51 (tl),作为与在时间戳t2的该场景相关联的第二深度图的估计。 使用第一深度图Sl ( tl )作为第二深度图的估计的基本原理是在序列 图像的相邻图像中，在相应的深度图之间典型地存在强相关。然而，由 于例如场景的变化和/或场景成像方式(例如摇摄(pan)和/或变焦
(zoom))的变化，在笫一时间戳tl处的深度图通常与第二时间戳t2 处的深度图不相同，而仅仅提供在第二时间戳t2处的深度图的估计。 如果第一时间戳和第二时间戳在时间上足够近似(例如，在所述时间戳 与相邻帧相关的情况下)或者在彼此的预定阈值之内，则第一深度图Sl
(tl )可以典型地用作在第二时间戳t2处的深度图的估计。
本发明可以用于根据本发明使用在第二时间戳t2处的颜色图S3
(t2)来增强在第一时间戳tl处的第一深度图Sl ( tl )，以产生可以 用作用于呈现在时间戳t2处的场景的深度图i; (t2)的增强的深度图。 首先，在第一时间戳tl处的第一深度图Sl ( tl )被压缩620,从而形 成在第一时间戳tl处的第四样本结构S4 (tl)。随后，基于在第二时 间戳t2处的第三样本结构S3 ( t2),在第一时间戳tl处的第四样本结 构S4 ( tl )被扩大630,从而形成在第二时间戳t2处的第二样本结构
52 (t2)。可选地，为了进一步改进所述增强的深度图的质量，可以将 第二结构S2 ( t2 )与在第二时间戳t2处的深度图的另 一个估计Sn ( t2 ) 结合，从而形成在第二时间戳t2处的深度图的最终估计4 (t2)。
上面的实施例示出本发明可以如何用于增强深度图的时间估计。本 发明还可以有利地用于增强视差图或运动矢量域。应当进一步注意，当 时间戳tl在t2之前时可以应用本发明，而当时间戳t2在tl之前时也 可以使用本发明。
图5B示意性示出一种更有利的图像增强单元610,其不仅使用在笫 二时间戳t2处的第三样本结构S3 ( t2),而且还使用在第一时间戳tl 处的第五样本结构S5 ( tl )来扩大630在第一时间戳tl处的第四结构 S4 ( tl )。在第一时间戳tl处的第五结构S5 ( tl )在这里用于代替在第二时间戳t2处的第五结构S5 (t2),其可以从在第二时间戳t2处的 第三结构S3 (U)导出。在使用第一时间戳tl处的第五结构S5 (tl) 之后的关系(ratio)是，来自第四和第五结构的样本现在都与相同的 时间戳tl相关。随后，当第二时间戳t2处的第三结构S3 (t2)与第一 时间戳tl处的第五结构S5 ( tl)之间的差异被确定时，该差异提供了 用于加权第一时间戳tl处的第四结构S4 (tl)的更精确的权重系数， 从而使得平均来说改进了增强。
虽然图5 B所描述的实施例示出具有用于第 一 时间戳11处的第三样 本结构S3 (tl)的输入端的图像增强单元610,输入端后面跟的是压缩 单元620,但是这不是强制性的。可选地，可以设想具有用于在时间戳 tl处的第五结构S5 (tl)的输入端的可替代的图像增强单元610。
在特别有利的实施例中，使用以下结构来生成第二时间戳t2处的
深度图的最终估计i;(:
-第一时间戳tl处的第一结构Sl (tl)，其被增强从而形成第二 时间戳"处的第二结构S2 (U)(参见图SB),以及
-另一个结构Sn(t2),其表示第二时间戳t2处的第一属性，这 基于第二时间戳t2处的第三样本结构。
在上述实施例的实例中，第一属性是深度，而第二属性是亮度。所 述另一个结构Sn( t2)表示可以通过使用如结合图2A-2F所描述的根据 本发明的方法来增强时间戳t2处的深度图的估计从而生成的深度图。 所述估计又可以例如通过使用根据例如WO2005/013623的深度图生成方 法来生成。
例如通过混合两个结构S2 (t2)和Sn (t2)来组合这两个结构， 从而形成第二时间戳t2处的深度图的最终估计4 (U)。通过将来自 第 一 时间戳11的时间传播的深度图信息与用于第二时间戳12的最新估 计的深度图组合，限制了有错误的深度图信息的误差传播并且提高了所 生成的深度图的时间一致性。因此，该实施例特别有利于生成用于视频 序列的深度图。图6A示意性示出根据本发明的图像增强单元700。该图 像增强单元700被设置为基于表示笫二属性的第三样本结构S3将表 示第一属性的第一样本结构Sl增强为表示第一属性的第二样本结构 S2,第一结构Sl具有第一分辨率，而第二结构S2具有第二分辨率。
图像增强单元700包括用于接收笫一样本结构Sl的第一样本的第一输入连接器714、用于接收第三样本结构S3的第三样本的第二输入连 接器710、以及用于提供第二样本结构S2的第二样本的第一输出连接器 716。图像增强单元700包括-生成单元740,其被设置为通过压缩第一样本结构Sl的第一样 本以形成第四样本结构S4的第四样本，来生成表示第一属性的第四样 本结构S4的第四样本，该笫四结构S4具有低于第一分辨率的第二分辨 率；以及-扩大单元750,其被设置为基于第三样本结构S3将表示第一属 性的第四样本结构S4扩大为第二结构S2,该扩大单元750包括-权重系数分配单元702,其被设置为基于第三样本结构S3的第 三样本，来将权重系数分配给第四样本结构S4的各个的第四样本；以 及-第一计算单元704,其被设置为基于第四样本结构S4的第四样 本和相应的权重系数来计算第二样本结构S2的第二样本。优选地，权重系数分配单元702包括第二计算单元708,其被设 置为计算第三样本结构S3的第三样本与第三样本结构S3的低通滤波 的第三样本之间的差异。更优选地，所述低通滤波包括通过压缩第三样 本结构S3来生成第五样本结构S5。优选地，权重系数分配单元702进一步包括映射单元706,其用于 将由第二计算单元708计算的差异映射到相应的权重系数。甚至更优选 地，映射单元706 ^C设置为执行非线性函数以用于将输入值(即差) 映射为输出值(即权重系数)。优选地，该非线性函数是指数函数，其 将相对较大的差转换为相对较小的权重系数。优选地，通过LUT(查询 表)来实现该映射单元706。可选地，图像增强单元700包括第四输入连接器718，其用于接收 如结合公式6所述的可靠性值。可以使用一个处理器实现生成单元740和扩大单元750。通常，这 些功能在软件程序产品的控制下执行。在执行期间，通常该软件程序产 品载入到存储器(如RAM)并在此处被执行。该程序可以从背景存储器 载入，比如ROM、硬盘或磁性和/或光学存储器，或者可以经如互联网的 网络载入。可选地， 一种专用集成电路提供了所公开的功能。图6B示出根据本发明的另 一个图像增强单元7 00,其装有另 一个输 入连接器722以用于接收表示具有第一分辨率的另一个样本结构Sx,该 结构Sx表示代表笫一属性的另一个结构。随后在进一步处理之前，例 如通过加权相加，将第一结构Sl与所述另一个结构Sx结合730为单个 样本结构。以这种方式，可以有利地结合多个深度图的估计。 图7示意性示出多视像生成单元800,其包括 -深度图生成单元802,其用于基于图像生成各个输入图像的深度 图。该深度图包括表示到观察者的距离的深度值，并且其中深度图的分辨率等于输入图像的分辨率；-如结合图6A所述的图像增强单元700,其用于基于输入图像将深 度图增强为增强的深度图。该增强深度图的分辨率对应于输入图像的分 辨率；以及-呈现单元806,其用于基于输入图像和相应的由图像增强单元1M 提供的改进的深度图来呈现多视像。多视像生成单元8 0 0被设置以基于视频图像序列来生成多视图 图像序列。多视像生成单元800分别在输入连接器808处设有视频 图像流，以及在输出连接器810和812处提供两个相关视频流。这两个 相关视频图像流被应用于多视图显示设备，该显示设备被设置为基于 所述相关视频图像流的笫 一个视频图像流显现第 一 系列视图，并且基于 所述相关视频图像流的第二个视频图像流显示第二系列视图。如果用户 (即观察者)使用其左眼观看第一系列视图，同时使用其右眼观看第二 系列^L图，则他(她)可以感知到3D印象(impression)。所述相关 视频图像流的第一个视频图像流可能对应于所接收到的视频图像序列， 并且所述相关视频流的第二个视频图像流可以基于所接收到的视频图 像序列而被呈现。优选地，视频图像的两个视频图像流都基于所接收的 视频图像序列而被呈现。例如在关于声学、语音和信号处理的国际会议 的会刊 (Proceedings of International Conference on Acoustics,Speech,and Signal Processing) ,Vol, IV， ISBNO-8186-7919-0，第2749-2752页，IEEE Computer Society, Los Alamitos, California, 1997中的由P丄Redert, E. A. Hendriks, 和J. Biemound撰写的文章 "Synthesis of multi viewpoint images at non-intermediate position" 中描述了该呈现。在另一个实施例中,如在Proceedings Eurographics, Granada, 2003, Short Note 124中 由R. P. Berretty和F. E. Ernst发表的"High-qual i ty images from 2. 5D video" 中描述了该呈现。在另一个实施例中，在Proceedings Eurographic， Granada, 2003，Shot Note 124 由R. P. Berretty和 F.E.Ernst所著的 "High-qual i 1 ty images from 2. 5D video" 中描述 了所述呈现。图8示意性示出根据本发明的图像处理设备900的实施例，该设备 包括-接收装置902,其用于接收表示输入图像的信号； -如结合图7所述的多一见像生成单元800;以及 -显示设备906，其用于显示多视像生成单元800的输出图像。 所述信号可以是经天线或电缆接收的广播信号，也可以是来自存储 器设备(比如VCR (盒式录像机)或DVD (数字通用盘))的信号。该 信号在输入连接器910处提供。图像处理设备900可以是例如TV。可替 代地，图像处理设备900不包括可选显示设备，但是其将输出图像应用 至包括显示设备906的设备。随后图像处理设备900可以是例如机顶盒、 卫星调谐器、VCR播放器、DVD播放器或录音机。可选地，图像处理设 备900包括存储器装置，比如硬盘或用于在可移动介质上存储的装置， 例如光盘。图像处理设备900还可以是由电影工作室或广播设备所使用 的系统。应当注意，上述实施例说明而非限制本发明，并且本领域技术人员 将能够涉及可替代的实施例，而不脱离所附权利要求的范围。在权利要 求中，置于括号中的任何附图标记不应该被解释为限制该权利要求。文 字"包括"不排除未在权利要求中列出的元件或步骤的存在。元件前面 的文字"一个，，不排除多个这样的元件的存在。可以通过包括多个离散 元件的硬件并通过合适的可编程计算机来实现本发明。在列举了几个装 置的单元权利要求中，可以通过同一项硬件或软件来实现这些装置中的 几个。文字第一、第二和第三等的使用不表示任何次序。这些文字应当 被解释为名称。除非特别指示，不要求动作的特定顺序。
权利要求
1. 基于表示第二属性并具有第一分辨率的第三样本结构(S3)而将第一样本结构(S1)增强为第二样本结构(S2)的方法，所述第一和第二结构都表示场景的第一属性并具有第一分辨率，所述第一属性和第二属性分别表示基本相同场景的不同属性，该方法包括-通过压缩第一样本结构(S1)的第一样本以形成第四样本结构(S4)的样本从而生成(620)表示第一属性的第四样本结构(S4)，第四样本结构(S4)具有低于第一分辨率的第二分辨率；-基于第三样本结构(S3)将表示第一属性的第四样本结构(S4)扩大(630)为第二样本结构(S2)，该扩大(630)包括i)基于第三样本结构(S3)的样本将权重系数分配(702)给第四样本结构(S4)的相应的样本；以及ii)使用第四样本结构(S4)的样本和它们的被分别分配的权重系数来计算(704)第二样本结构(S2)的样本。
2. 权利要求1的方法，其中分配给第四样本结构(S4)的各个样本 的权重系数是基于下面二者之间的差异的-第三样本结构(S3)的第三样本；以及-第三样本结构(S3)的低通滤波的第三样本。
3. 权利要求2的方法，其中将权重系数分配给第四样本结构(S4) 的各个样本进一步包括-通过压缩(620 )第三样本结构(S3)的样本以形成笫五样本结 构(S5)的样本从而生成表示第二属性的第五样本结构(S5)，该第五 样本结构(S5)具有第二分辨率，并且其中-分配给第四样本结构(S4)的各个样本的权重系数基于第五样本 结构(S5)的样本与第三样本结构(S3)的样本之间的差异。
4. 权利要求1的方法，其中基于所述差异的非线性函数来确定权重 系数。
5. 权利要求1的方法，其中所述非线性函数是指数函数。
6. 权利要求4或5中任意一项的方法，其中所述函数将相对较大的 差异转换为相对较小的权重系数。
7. 权利要求2到6中任意一项的方法，其中基于第三结构(S3)的第一个样本(302 )与第五结构(S5)的第一个样本(304 )之间的笫一差异来分配第四结构(S4)的第一个样本 (306 )的第一个权重系数，以用于计算第二结构(S2)的第一个样本 (300 ),第二结构(S2)的第一个样本(300 )与第三结构(S3)的第一个样本(302 )的相应的坐标彼此相同。
8. 权利要求2到7中任意一项的方法，其中基于第三结构(S3)的第一个样本(30"与第五结构(S5)的第 一个样本(304 )之间的第一差异来分配第四结构(S4)的第一个样本 (306 )的第一个权重系数，以用于计算第二结构(S2)的第一个样本 (300 ),第五结构(S5)的第一个样本(3(H)与第四结构的第一个样 本(306 )的相应的坐标《皮此相同。
9. 权利要求1的方法，其中所述扩大(630 )包括多个缩放步骤， 缩放步骤包括-缩放步骤(Ul),其用于获得表示第一属性的中间样本结构，该 中间样本结构具有高于第二分辨率且低于第 一分辨率的中间分辨率；以 及-另一个缩放步骤(U2),其用于基于所述中间样本结构来获得第 二样本结构。
10. 权利要求1的方法，其中第一属性是下列属性之一 -深度；-视差；以及 —运动
11. 权利要求1的方法，其中第二属性是下列属性之一 -颜色；-亮度；以及 -彩色紋理。
12. 权利要求1的方法，其中从第四样本结构(S4)生成(620 )样 本包括结合来自第一样本结构(Sl)的多个样本。
13. 权利要求1的方法，其中压缩包括使用箱式滤波器。
14. 权利要求1的方法，其中-所述第一样本结构(Sl ( tl ))表示第一时间戳(tl )处的场景 的第一属性；-所述第三样本结构(S3 (t2))表示第二时间戳(U)处的场景的第二属性；以及-第二时间戳(t2)在时间上与笫一时间戳(tl )近似，从而使得在第一时间戳(tl )处的第一样本结构(Sl ( tl ))形成表示在第二时间戳(t2)处的第一属性的第二样本结构(S2 (t2))的估计。
15. 权利要求14的方法，其中将权重系数分配给第一时间戳(tl)处的第四样本结构(S4 (tl))的各个样本进一步包括-通过压缩第一时间戳(tl)处的第三样本结构(S3 (tl))的样本以形成第一时间戳(tl)处的第五样本结构(S5 (tl)的样本，从而生成表示在第一时间戳(tl )处的第二属性的第五样本结构(S5 ( tl ))，第一时间戳(tl )处的第五样本结构(S5 ( U ))具有第二分辨率。并且其中-分配给第一时间戳(tl)处的第四样本结构(S4 (tl))的各个样本的权重系数基于第一时间戳(tl)处的第五样本结构(S5 (tl))的样本与第二时间戳(t2)处的第三样本结构(S3 (U))的样本之间的差异。
16. 图像增强单元(700 ),其用于基于表示第二属性并具有第一分辨率的第三样本结构(S3)而将第一样本结构(SI)增强为第二样本结构(S2),第一结构和第二结构都表示场景的第一属性并具有第一分辨率，第一属性和第二属性分别表示基本相同的场景的不同属性，所述增强单元(700 )包括-生成单元(740 ),其被设置为通过压缩第一样本结构(SI)的第一样本以形成第四样本结构(SO的样本，来生成表示第一属性的第四样本结构(S4)的样本，该第四结构(S4)具有低于第一分辨率的第二分辨率；-扩大单元(750 ),其被设置为基于第三样本结构(S3)将表示第一属性的第四样本结构(SO扩大为笫二结构(S2),该扩大单元(750 )包括-权重系数分配单元(702 )，其被设置为基于第三样本结构(S3)的样本，来将权重系数分配给第四样本结构(S4)的各个样本；以及-第一计算单元(704 ),其被设置为使用第四样本结构(SO的样本和它们的分别被分配的权重系数来计算第二样本结构(S2)的样本。
17. 图像处理设备，包括权利要求16的图像增强单元。
18. 视频显示设备，包括权利要求16的图像增强单元。
19. 一种由计算机装置载入的计算机程序产品，其包括存储在计算机可读介质上的程序代码方法(means)，所述程序代码方法祐二没置为当所述程序代码方法在计算机上运行时，其执行权利要求1到15中任意一项的方法的步骤。
全文摘要
本发明涉及一种图像增强单元和一种基于第三样本结构(S3)而将第一样本结构(S1)增强为第二样本结构(S2)的方法，第一和第二结构二者都表示场景的第一属性并且具有第一分辨率，第三结构(S3)表示第二属性并具有第一分辨率，第一属性和第二属性分别表示基本相同的场景的不同属性。该方法包括通过压缩第一样本结构(S1)的第一样本以形成第四样本结构(S4)的样本从而生成表示第一属性的第四样本结构(S4)，第四样本结构(S4)具有低于第一分辨率的第二分辨率。该方法进一步包括基于第三样本结构(S3)将表示第一属性的第四样本结构(S4)扩大到第二结构(S2)，该扩大操作包括基于第三样本结构(S3)的样本将权重系数分配给第四结构(S4)的各个的样本；以及使用第四样本结构(S4)的样本和它们的被分别分配的权重系数来计算第二样本结构(S2)的样本。本发明进一步涉及一种包括根据本发明的图像增强单元的图像处理单元，以及涉及一种计算机程序产品。
文档编号G06T5/00GK101523434SQ200780037524
公开日2009年9月2日 申请日期2007年10月2日 优先权日2006年10月4日
发明者C·瓦尔坎普, E·P·芬克, M·S·B·G·鲍维尔, O·P·冈瓦尔 申请人:皇家飞利浦电子股份有限公司