专利名称：向上尺度变换的制作方法
向上尺度变换
本发明涉及一种将代表第一属性的第一样本结构向上尺度变换
(up-scale)成代表该第一属性的第二样本结构的方法，所述第一结 构具有源分辨率，所述第二结构具有目标分辨率。
本发明还涉及一种用于将代表第一属性的第一样本结构向上尺度 变换成代表该第一属性的第二样本结构的向上尺度变换单元，所述第 一结构具有源分辨率，所述第二结构具有目标分辨率。
本发明还涉及一种包括这种向上尺度变换单元的图像处理设备。 本发明还涉及通过计算机装置加载的计算机程序产品，其包括用
于将代表第一属性的第一样本结构向上尺度变换成代表该第一属性的 第二样本结构的指令，所述第一结构具有源分辨率，所述第二结构具 有目标分辨率，所述计算机装置包括处理装置和存储器。
诸如运动估计和/或深度估计之类的估计方法依赖于对连续图像 的相似图像部分的确定。由于单个像素值不足以进行区别，因而通常 使用一组像素来建立连续图像的图像部分之间的对应。结果，估计方 法的输出，例如运动估计情况下的运动矢量场，具有比所述图像的分 辨率更低的分辨率。 一般而言，运动矢量是根据像素块(例如基于8x8 像素网格)来计算的。
通常，对于图像的所有各个像素都需要运动矢量，即处于图像分 辨率下。美国专利US 5148269 />开了一种用于块腐蚀(block erosion) 以提高运动矢量场的分辨率的方法。块腐蚀过程旨在将矢量场细化到 图像的像素网格。这一般是递归过程在第一腐蚀步骤中，将所述网 格从8x8细化到4x4网格。在下一个步骤中，将其从"4细化到h2，等等。
图1A示出了一系列图像的图像之一 100。图1B示出了为图1A的 图像100计算的深度图102，由此深度图102的深度值与估计的运动矢 量直接相关。靠近观察者的物体表现出高亮度(白色)，而远处的物 体较暗。注意到块效应，显然可知深度图102的分辨率低于图像100 的分辨率。图2A示出了根据用于计算图1B的深度图102的相同的估计运动 矢量为图像100计算的另一幅深度图204。如图2A所示的深度图204 是借助于美国专利US 5148269中公开的腐蚀来计算的。由图可知，该 深度图204的分辨率高于如图1B所示的深度图102的分辨率。然而， 该深度图204的质量仍然不足以用于再现高质量立体图的目的。例如， 区域204显示出伪像。通过比较图2A和图1A可知，边缘并不匹配。 图2B示出了依照本发明的方法计算的深度图202。
本发明的一个目的是提供如开篇段落中所描述类型的方法，其提 供了改进的向上尺度变换。
本发明的这个目的的实现在于，所述尺度变换基于代表第二属性 的第三样本结构并且基于代表第二属性的第四样本结构，所述第三结 构具有源分辨率，所述第四样本结构具有目标分辨率，该方法包括
-根据第三样本结构的相应第三样本和第四样本结构的相应第四 样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以 及
-根据第一样本结构的所述第一样本以及相应的权重因子计算第 二样本结构的第二样本。
依照本发明的向上尺度变换基于代表第二属性的数据样本的使 用。依照本发明的尺度变换的另一个相关方面是多维方法。为了将具 有源分辨率的第一样本结构尺度变换成具有目标分辨率的第二样本结 构，应用具有源分辨率的第三样本结构以及具有目标分辨率的笫四样 本结构。
一般而言，样本结构对应于数据元素的矩阵。然而，样本结构可 以对应于数据元素的可选构造。
本发明的其他目的是提供如开篇段落中所描述类型的向上尺度变 换单元、图像处理设备以及计算机程序产品，其提供了改进的向上尺 度变换。
本发明的这些目的是分别通过如权利要求15、 16和17中所述的 向上尺度变换单元、图像处理设备以及计算机程序产品来实现的。
向上尺度变换单元的修改及其变型可以对应于所描述的图像处理 设备、所述方法以及计算机程序产品的修改及其变型。依照本发明的向上尺度变换单元、图像处理设备、所迷方法以及 计算机程序产品的这些和其他方面根据以下描述的实现方式和实施例 以及参照附图将变得显而易见，并且将参照这些实现方式和实施例以
及附图来进行阐述，在附图中 图1A示出了一幅图像；
图1B示出了为图U的图像计算的深度图； 图2A示出了借助于腐蚀为图1A的图像计算的另一个深度图； 图2B示出了依照本发明的方法计算的深度图； 图3A示意性地示出了四种样本结构，由此尚未计算第二样本结构 的值；
图3B示意性地示出了根据第一差值分配第一权重因子以便用于计
算第一输出样本；
图3C示意性地示出了根据相应差值分配许多权重因子；
图3D示意性地示出了根据第一差值分配笫一权重因子以便用于计
算笫二输出样本；
图3E示意性地示出了图3A的四种样本结构，由此计算了第二样
本结构的值；
图4示意性地示出了六种样本结构；
图5A示意性地示出了第一滤波孔径；
图5B示意性地示出了第二滤波孔径；
图6示意性地示出了依照本发明的向上尺度变换单元；
图7示意性地示出了多视点(multi-view)图像生成单元；以及
图8示意性地示出了依照本发明的图像处理设备。
在全部附图中，相同的附图标记用来表示相似的部分。
下面将结合图3A-图3E描述依照本发明的方法的实施例。图3A-图3E示意性地示出了
-代表第一属性的第一样本结构Sl，该第一样本结构Sl具有源分 辨率；
-代表第一属性的第二样本结构S2，该第二样本结构SZ具有目标
分辨率；-代表第二属性的笫三样本结构S3,该第三样本结构S3具有源分 辨率；
-代表第二属性的第四样本结构S4，该第四样本结构S4具有目标 分辨率。
依照本发明的方法旨在 基于
-第三样本结构S3和第四样本结构S4将第一样本结构Sl向上尺 度变换成第二样本结构S2。 该方法包4舌
-根据第三样本结构S3的相应第三样本和第四样本结构S4的相 应第四样本之间的差值将权重因子分配给第一样本结构Sl的相应第一
样本；以及
-根据第一样本结构Sl的所述笫一样本以及相应的分配的权重因 子计算第二样本结构S2的第二样本。
图3A示意性地示出了四种样本结构Sl-S4，由此尚未计算第二样 本结构S2的值。这可以视为依照本发明的方法的初始情形。
一般而言，第三样本结构S3的第三样本是根据第四样本结构S4 的第四样本来计算的。换言之，样本结构S3是通过对第四样本结构S4
进行低通滤波(即向下尺度变换)来计算的。人们发现，最佳的滤波 器不是理论上理想的sin(x)/x滤波器，而箱式平均滤波器对于这种特 定的向下尺度变换的性能异常地好。此外，这种向下尺度变换滤波器 可以仅应用到第四样本结构S4的第四样本的子集上。
第一属性可以对应于深度值或者运动矢量。相应地，第一样本结 构Sl可以对应于输入深度图或者运动矢量场。可选地，第一样本结构 Sl可以对应于输入深度图或者运动矢量场的一部分。
第二属性可以对应于亮度和/或颜色。第三样本结构S3可以对应 于低分辨率亮度/颜色图像。可选地，第三样本结构S3对应于相对较 低分辨率亮度/颜色图像的一部分。第四样本结构S4可以对应于相对 较高分辨率亮度/颜色图像。这意味着比第三结构S3的低分辨率更高 的分辨率。可选地，第四样本结构S4对应于相对较高分辨率亮度/颜 色图像的一部分。
图3A-3E中的不同灰度值分别代表第一属性和第二属性(即亮度/颜色以及深度值/运动矢量)的不同值。
图3B示意性地示出了根据第一差值分配第一个第一样本306的第 一个权重因子，所述第一个权重因子用于计算第一输出样本300。第一 输出样本300对应于第二样本结构S2的其中一个第二样本。
第一个第一样本306的第一个权重因子的分配基于第一个第三样 本304和第一个第四样本302之间的第一差值。优选地，不同样本之 间适用下列关系
-笫一个第一样本306和第一个第三样本304的相应坐标相互相 等。相应坐标之间的对应由第一个第一样本306和第一个第三样本304 之间的附图标记为307的虚线表示；以及
-第一个笫四样本302和第一个第二样本300的相应坐标相互相 等。相应坐标之间的对应由第一个第四样本302和第一个第二样本300 之间的附图标记为309的虚线表示。
由于第一个第三样本304和第一个第四样本302之间的第一差值 相对较低，因而第一个权重因子相对较高。这在图邛中用对于第一个 第一样本306的"正拇指符号"表示。
图3C中示意性地表示了另外的第一样本的另外的权重因子的分 配。例如，第二个第一样本318的第二个权重因子的分配基于第二个 第三样本308和第一个笫四样本302之间的第二差值。第二个第一样 本318和第二个第三样本308的相应坐标相互相等。所述相应坐标之 间的对应由附图标记为311的虛线表示。由于第二个第三样本308和 第一个第四样本302之间的第二差值相对较低，因而第二个权重因子 相对较高。这在图3C中用对于第二个第一样本318的"正拇指符号" 表示。
第三个第一样本316的第三个权重因子的分配基于第三个第三样 本310和第一个第四样本302之间的第三差值。第三个第一样本316 和第三个第三样本310的相应坐标相互相等。所述相应坐标之间的对 应由附图标记为313的虚线表示。由于笫三个第三样本310和第一个 第四样本302之间的第三差值相对较高，因而第三个权重因子相对较 低。这在图3C中用对于笫三个笫一样本316的"负拇指符号，，表示。
分配了权重因子之后，第二样本结构S2的第二样本可以根据第一 样本结构Sl的第一样本以及相应的分配的权重因子来计算。接下来，将从数学上描述第二结构S2的第二样本的计算。假定第 一属性对应于深度并且第一样本用《表示，由此d代表深度，上标S
表示源分辨率，下标y对应于第一样本结构中的索引。第二样本用《表 示，由此rf代表深度，上标r表示目标分辨率，下标/对应于第二样本
结构中的索引。为了计算估计的深度值《，使用周围深度值《。优选
地，使用加权平均滤波器 <formula>formula see original document page 10</formula>
这个等式用来计算深度值《，即第二结构S2的第二样本的值。对
于每个深度值《，使用y个周围深度值《。根据与第二属性对应的值之 间的差值来确定权重因子 。例如，第二属性对应于亮度。这意味着
笫四结构S4的亮度值/f与第三结构S3的亮度值//进行比较。优选地， 使用以下指数函数来计算权重因子
<formula>formula see original document page 10</formula>(2) 式中a通常具有比如1/8的值。
在RGB(红、绿、蓝)数据的情况(即第二属性对应于颜色)下， 每个颜色分量都可以对权重因子产生贡献
<formula>formula see original document page 10</formula> (3) 在YUV数据的情况下，U和V数据的贡献不及对应于Y的亮度数据 /的贡献重要
<formula>formula see original document page 10</formula> (4)
除了颜色差值，其他图像属性也可以反映图像内容中的差异。本 发明的发明人注意到，加入简单的紋理度量也会改善结果。紋理《定义 为一组样本中的最大和最小亮度值之间的绝对差值。于是，权重因子 可以定义为
=2 (5) 显然，必须计算第二样本结构S2的所有样本。因此，在计算了第二结构S2的第一个第二样本300之后，将计算第二结构S2的第二个 第二样本322。同样，这基于分配权重因子以及随后根据分配的权重因
子进4于滤:波。
图3D示意性地示出了根据第四差值分配笫四权重因子，其用于计 算第二输出样本，即第二样本结构S2的第二个第二样本322。
笫一个笫一样本306的第四个权重因子的分配基于第一个第三样 本304和第二个第四样本320之间的第四差值。优选地，不同样本之 间适用以下关系
-第一个第一样本306和第一个第三样本304的相应坐标相互相 等。相应坐标之间的对应由笫一个笫一样本306和第一个第三样本304 之间的附图标记为307的虚线表示；以及
-第二个第四样本320和第二个第二样本322的相应坐标相互相 等。相应坐标之间的对应由第二个第四样本320和第二个第二样本322 之间的附图标记为311的虚线表示。
由于第一个第三样本304和第二个第四样本320之间的第四差值 相对较低，因此第一个权重因子相对较高。这在图3D中用对于第一个 第一样本306的"正拇指符号"表示。
与上面结合图3C所公开的类似，下面将计算后续的用于计算第二 结构S2的第二个第二样本322的权重因子。
图3E示意性地示出了图3A的四种样本结构，由此计算了笫二样 本结构的值。换言之，图3E示意性地示出了第二结构S2的第二样本 的计算结果。图3E示意性地示出了第二样本的值基于笫一样本的值(灰 度值)。第二结构S2中的"物体"的"形状，，对应于第四结构S4中 的"物体，，的"形状"。这意味着，在这个实例中，深度值适应于相 应图像的亮度值。
《壬选^ko应用额外的因子来加权各个权重因子,，由此该额外的 因子与第一样本的值的可靠性有关。
然后，使用这些修改的权重因子而不是先前规定的权重因子(参 见等式2-5)。这种可靠性因子例如可以从运动估计器/深度估计器获 得。所述估计器能够确定去遮挡(de-occlusion)区域位于何处。这些区域中的值不那么可靠，因此应当用较低的权重计算。可选地，可
靠性因子直接基于所述估计器的输入图像的亮度值与均匀图像区域 有关的运动矢量和深度值所受信任更少。可靠性因子也可以从深度信 号导出解码深度信号的解码器可以指示在编码期间何时应用了高量 化，在这种情况下深度的可靠性也可能较低。
图4示意性地示出了六种样本结构S1-S6。如结合图3A-3E所解释 的，依照本发明的方法旨在根据第三样本结构S3和第四样本结构S4 将第一样本结构Sl向上尺度变换Ul成第二样本结构S2。 一般而言， 所述向上尺度变换是来自向上尺度变换步骤序列的第一步骤Ul。在第 一向上尺度变换步骤U1之后；可以跟随第二向上尺度变换步骤U2。更
有甚者，可以执行多于两个的向上尺度变换步骤(未示出)。第二向 上尺度变换步骤U2类似于第一向上尺度变换步骤U1。因此，第二向上 尺度变换步骤U2是指根据第四样本结构S4和第六样本结构SG将第二 样本结构S2向上尺度变换成第五样本结构S5。第一向上尺度变换步骤 Ul的输出即第二样本结构S2，被用作第二向上尺度变换步骤U2的输 入。该向上尺度变换是递归过程。
一般而言，在总尺度变换过程开始时第二属性的样本在相对较高 的分辨率下可用。例如，存在由样本结构S6表示的输入图像，其为 1024*1024元素的矩阵。通过下采样或者任选地通过一连串下采样步骤 D1和D2，计算许多附加的样本结构S3和S4，所述样本结构是依照本 发明的方法的相应向上尺度变换步骤Ul和U2所需的。例如，利用因 子2将第六样本结构S6向下尺度变换Dl成第四样本结构S4，该笫四 样本结构S4为512*512元素的矩阵。随后，利用因子2将第四样本结 构S4向下尺度变换D2成第三样本结构S3，该第三样本结构S3为 256*256元素的矩阵。可选地，利用因子4直接将第六样本结构S6向 下尺度变换成第三样本结构S3。
显然，向下尺度变换步骤与向上尺度变换步骤有关，因为对于向 上尺度变换而言，要求具有不同属性的、具有相应分辨率的可用样本 结构。优选地，第三样本结构S3的分辨率和笫一样本结构Sl的分辨 率相互相等。对于第二样本结构S2和第四样本结构S4以及对于第五 样本结构S5和第六样本结构S6,情况也是如此。
尽管优选的是递归地执行向上尺度变换，例如从8*8到4*4到2*2到1*1，但是也可以在一个步骤中执行向上尺度变换，例如从8*8到 1*1。在这里，xtx表示与高分辨率相比的低分辨率。
依照本发明的向上尺度变换基于对许多输入样本(即第一样本结 构的第一样本Sl )进行滤波以便计算输出样本(即第二样本结构S2的 笫二样本)。如以上所规定的，利用相应权重因子加权输入样本，所 述权重因子基于与第二属性相关的样本之间的差值。考虑用于计算特 定输出样本的输入样本的构造称为滤波孔径。滤波孔径确定哪些输入 样本被用于计算该特定的输出样本。图5A示意性地示出了第一滤波孔 径，图5B示意性地示出了第二滤波孔径。
由于第一向上尺度变换Ul (例如从8x8到4x4)中的误差显然比 之后的步骤中的误差更加明显且令人厌烦，因此似乎合乎逻辑的是， 在该第一步骤中花费更多的努力来试图避免错误。此外，该第一步骤 在粗网格上执行，因而要处理的样本量相对较少(在每个步骤中，如 果在两个方向上所述向上尺度的变换因子为2，那么样本量增加到4 倍)。因此，有利的是应用更先进的保护方法(使用多颜色分量和/或 使用可靠性因子)。利用这些保护方法，可能使用宽的滤波孔径。例 如，我们发现甚至可以在8个方向上使用6 (8x8)样本的半径。这在 图5A中用阴影框表示。图5B示出了更适用于后续步骤的简化的孔径。
图6示意性地示出了依照本发明的向上尺度变换单元600。向上尺 度变换单元600被设置成根据代表第二属性的第三样本结构S3并且根 据代表第二属性的第四样本结构S4将代表第一属性的第一样本结构 Sl尺度变换成代表第一属性的第二样本结构S2，所述第一结构Sl具 有源分辨率，所述第二结构S2具有目标分辨率，所述第三结构SS具 有源分辨率，所述第四样本结构S々具有目标分辨率。
向上尺度变换单元600包括用于接收第一样本结构Sl的第一样本 的第一输入连接器614、用于接收第三样本结构S3的第三样本的第二 输入连接器610、用于接收笫四样本结构S4的第四样本的第三输入连 接器612以及用于提供笫二样本结构S2的第二样本的笫一输出连接器 616。
向上尺度变换单元600包括
-权重因子分配单元602，用于根据第三样本结构的相应第三样本 和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应笫一样本；以及
-计算单元604，用于根据第一样本结构的所述第一样本以及相应 的权重因子计算第二样本结构的第二样本。
权重因子分配单元602包括
-减法单元608，用于计算相应的第三样本和第四样本之间的差值。 优选地，减法单元被设置成计算绝对差值；以及
-映射单元606，用于将减法单元608计算的差值映射成相应的权 重因子。优选地，映射单元606被设置成执行用于将输入值(即差值) 映射成输出值(即权重因子)的非线性函数。优选地，该非线性函数 是指数函数，其将相对较大的差值变换成相对较小的权重因子。优选 地，映射单元606通过LUT (查找表)来实现。
任选地，向上尺度变换单元600包括用于接收如结合等式6所描 述的可靠性值的第四输入连接器618。
权重因子分配单元602和计算单元604可以使用一个处理器来实 现。通常，这些功能是在软件程序产品的控制下实现的。在执行期间， 通常将该软件程序产品加载到比如RAM的存储器中并且在那里执行。 所述程序可以从比如ROM、硬盘或磁和/或光存储器的后台存储器中加 载，或者可以通过像因特网那样的网络加栽。任选地，专用集成电路 提供所公开的功能。
图7示意性地示出了多视点图像生成单元700，其包括
-深度图生成单元702，用于基于各个输入图像产生这些图像的深 度图。深度图包括对于所述图像各个像素块的、表示到观察者的距离 的深度值。因此，深度图的分辨率低于输入图像的分辨率。
-如结合图6所描述的向上尺度变换单元600，用于根据输入图像 将深度图向上尺度变换成更高分辨率的深度图。所述更高分辨率的深 度图的分辨率对应于输入图像的分辨率；以及
-再现单元706，用于根据输入图像以及由向上尺度变换单元600 提供的相应的更高分辨率的深度图再现多视点图像。
多视点图像生成单元700被设置成根据视频图像序列产生多视点 图像序列。在输入连接器708处给多视点图像生成单元700提供视频 图像流并且在输出连接器710和712处多视点图像生成单元700分别 提供两个相关的视频图像流。这两个相关的视频图像流提供给多视点显示器件，所述多视点显示器件被设置成根据所述相关的视频图像流 中的第 一个可视化第 一 系列视图并且根据所述相关的视频图像流中的 第二个可视化第二系列视图。如果用户(即观察者)用其左眼观察第
一系列视图并且用其右眼观察第二系列视图，那么他将觉察到3D印象。 可能的是，所述相关的视频图像流中的第一个对应于接收的视频图像 序列，并且所述相关的视频图像流中的第二个是根据所接收的视频图 像序列再现的。优选地，两个视频图像流都是根据所接收的视频图像 序列再现的。所述再现例如像P丄 Redert， E丄 Hendriks和J. Biemond 的文章 "Synthesis of multi viewpoint images at non-intermediate positions" ， in Proceedings of International Conference on Acoustics, Speech, and Signal Processing， Vol. IV， ISBN 0-8186-7919-0， pages 2749-2752, IEEE Computer Society, Los Alamitos， California, 1997中所描述的。可选地，所述再现如 R. P. Berretty和F. E. Ernst的"High-qual i ty images from 2. 5D video" ， in Proceedings Eurographics， Granada, 2003, Short Note 124中所描述的。
图8示意性地示出了依照本发明的图像处理设备800的实施例， 该i殳备包括
-接收装置802，用于接收代表输入图像的信号； -如结合图7所描述的多视点图像生成单元700;以及 -显示器件806，用于显示多视点图像生成单元700的输出图像。 所述信号可以是经由天线或线缆接收的广播信号，但是也可以是 来自像VCR (录像机)或数字多功能盘(DVD)那样的存储器件的信号。 所述信号在输入连接器810处提供。图像处理设备800可以是例如TV。 可选地，图像处理设备800不包括任选的显示器件，而是向确实包括 显示器件806的设备提供输出图像。于是，图像处理设备800可以是 例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或刻录机。任选地， 图像处理设备800包括像硬盘那样的存储装置或者用于存储到可移除 介质(例如光盘)上的装置。图像处理设备800还可以是由摄影棚或 广播公司所应用的系统。
上面已经在多视点图像应用中描述了本发明，但是本发明也可以 应用于其他应用中，所述其他应用例如运动补偿扫描率转换，由此在8*8块的基础上计算运动矢量。依照本发明的向上尺度变换可以用来计 算每像素的运动矢量，以便对中间图像进行插值。
应当注意的是，上述实施例说明而不是限制了本发明，并且本领 域技术人员将能够在不脱离所附权利要求书的范围的情况下设计出可 选实施例。在权利要求中，置于括号中的任何附图标记都不应当被视 为对该权利要求的限制。措词"包括"并没有排除存在权利要求中未 列出的元件或步骤。元件之前的措词"一"或"一个"并没有排除存 在多个这样的元件。本发明可以借助于包括若干不同元件的硬件以及 借助于经过适当编程的计算机来实现。在列举了若干装置的单元权利 要求中，这些装置中的一些可以由同一硬件或软件项实施。措词"第 一"、"第二，，、"第三，，等等的使用并不意味着任何排序。这些措
词应当解释成命名。除非有明确的说明，否则并不期望要求特定的动 作顺序。
权利要求
1. 一种根据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的方法，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源分辨率，所述第四样本结构具有目标分辨率，该方法包括-根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及-根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。
2. 如权利要求1所述的向上尺度变换方法，其中权重因子根据所 述差值的非线性函数来确定，
3. 如权利要求2所述的向上尺度变换方法，其中所述非线性函数 是指数函数。
4. 如权利要求2-3中任何一项所述的向上尺度变换方法，其中所 述函数将相对较大的差值变换成相对较小的权重因子。
5. 如权利要求l-4中任何一项所述的向上尺度变换方法，其中基于第一个第三样本和第一个第四样本之间的第一差值分配第一个第一 样本的第一个权重因子，以用于计算第一个第二样本，所述第一个第 一样本和所述第一个第三样本的相应坐标相互相等。
6. 如权利要求1-5中任何一项所述的向上尺度变换方法，其中基于第一个第三样本和第一个第四样本之间的第一差值分配第一个第一 样本的第一个权重因子，以用于计算第一个第二样本，所述第一个第 四样本和所述第一个第二样本的相应坐标相互相等。
7. 如权利要求1-8中任何一项所述的向上尺度变换方法，其中第 一属性对应于深度。
8. 如权利要求1-8中任何一项所述的向上尺度变换方法，其中第 一属性对应于运动。
9. 如权利要求1-10中任何一项所述的向上尺度变换方法，其中 第二属性对应于颜色或亮度。
10. 如权利要求1-10中任何一项所述的向上尺度变换方法，其中第二属性基于颜色紋理。
11. 如权利要求1-12中任何一项所述的向上尺度变换方法，该方 法包括将第四样本结构向下尺度变换成第三样本结构。
12. —种如权利要求13所述的向上尺度变换方法，其中箱式滤波器用于向下尺度变换。
13. 如权利要求1-14中任何一项所述的向上尺度变换方法，其中基于第一样本结构的所述第一样本的相应可靠性值将权重因子分配给 第一样本结构的相应第一样本。
14. 如权利要求1-15中任何一项所述的向上尺度变换方法，所述 向上尺度变换包括-第一尺度变换步骤，用于获得代表第一属性的中间样本结构， 所述中间结构具有高于源分辨率并且低于目标分辨率的中间分辨率； 以及-第二尺度变换步骤，用于基于中间样本结构获得第二样本结构， 其中在第一尺度变换步骤应用的第一滤波器构造和在第二尺度变换步 骤应用的第二滤波器构造互不相同。
15. —种用于根据代表第二属性的第三样本结构并且根据代表第 二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换 成代表第一属性的第二样本结构的向上尺度变换单元，所述第一结构 具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源 分辨率，所述第四样本结构具有目标分辨率，该向上尺度变换单元包 括-权重因子分配单元，用于根据第三样本结构的相应第三样本和 第四样本结构的相应第四样本之间的差值将权重因子分配给笫 一样本结构的相应第一样本；以及-计算单元，用于根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。
16. —种图像处理设备，包括如权利要求15所述的向上尺度变换单元。
17. —种通过计算机装置加载的计算机程序产品，其包括用于根 据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结 构将代表笫一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的指令，所述第一结构具有源分辨率，所述第二结构具有 目标分辨率，所述第三结构具有源分辨率，所述第四结构具有目标分 辨率，所述计算机装置包括处理装置和存储器，该计算机程序产品在加载之后向所述处理装置提供执行以下步骤的能力-根据第三样本结构的相应第三样本和第四样本结构的相应第四 样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及-根据第一样本结构的所述第一样本以及相应的权重因子计算第 二样本结构的第二样本。
全文摘要
一种根据代表第二属性的第三样本结构并且根据代表第二属性的第四样本结构将代表第一属性的第一样本结构向上尺度变换成代表第一属性的第二样本结构的方法，所述第一结构具有源分辨率，所述第二结构具有目标分辨率，所述第三结构具有源分辨率，所述第四样本结构具有目标分辨率，该方法包括根据第三样本结构的相应第三样本和第四样本结构的相应第四样本之间的差值将权重因子分配给第一样本结构的相应第一样本；以及根据第一样本结构的所述第一样本以及相应的权重因子计算第二样本结构的第二样本。
文档编号G06T3/40GK101443810SQ200780017005
公开日2009年5月27日 申请日期2007年5月7日 优先权日2006年5月9日
发明者A·K·里门斯, B·G·B·巴伦布鲁格, C·瓦雷坎普, P·F·马查多, R·-P·M·伯里迪 申请人:皇家飞利浦电子股份有限公司