用于经采样复用的图像和视频数据的增强方法与流程

本申请要求于2010年7月19日提交的美国临时专利申请第 61/365,743号的优先权，其全部内容通过引用合并于此。

技术领域

本公开内容总体上涉及用于对图像和视频数据进行处理的方法及系统。更具体地，本发明的实施例涉及用于经采样复用的图像和视频数据的增强方法。

背景技术：

通常以矩形光栅扫描图案来对图像和多维数据进行采样。在本说明书的全文中，本领域的普通技术人员应当理解，术语“采样”可以是指下采样或上采样。对图像或视频帧进行下采样减小了图像或视频帧的分辨率或像素数量。另一方面，对图像或视频帧进行上采样增大了图像的分辨率或像素数量。采样可以包括采用或不采用任何滤波来选择全部或部分样本的处理。可以根据不同的采样间隔或采样率、线性函数或非线性函数来执行采样。此外，本领域的普通技术人员应当理解，术语“重采样”可以是指将采样图像或视频帧恢复回其在被采样之前的先前状态。

对图像或视频数据进行采样的原因很多。这些原因包括但不限于：（a）由于样本的数量现在较少，所以较容易存储。（b）由于例如较快地计算傅里叶变换或者对相比于原始样本大小的例如四分之一的原始数据进行运动估计和补偿，所以计算量较小。（c）适当地进行的采样（例如，在进行低通滤波之前）还可以增加数据的压缩率（不考虑样本大小也较小的事实）。（d）对于例如图案识别或匹配，采样在对数据进行表示和分类方面有所帮助。精细的采样能够识别在图像或视频数据的表示方面最关键的那些样本。由于采样，不仅减小了计算量而且甚至特定算法的成功率也极大地受益。（e）可能需要以如下图案对数据进行采样：该图案使得随后恢复丢失/丢弃样本变得容易。

附图说明

并入且构成本说明书的一部分的附图示出了本公开内容的一个或多个实施例，并且连同对示例实施例的描述一起用于说明本公开内容的原理和实现。

图1示出了在垂直维度上以比率2进行子采样的采样图案。

图2示出了在水平维度上以比率2进行子采样的采样图案。

图3示出了在两个维度上以比率2进行子采样的采样图案。

图4示出了梅花形采样图案。

图5示出了被称为CB的用于传输立体素材（material）的棋盘格交织布置。

图6示出了被称为“象限-梅花形（quadrant-quincunx）”或（高度/2）×（宽度/2）梅花形采样图案的、梅花形样本的重新布置的示例。

图7示出了被称为“并排-梅花形（side by side-quincunx）”的梅花形样本的替选布置，其中，视图被并排打包并且“偶数”梅花形样本的行与“奇数”梅花形样本的行交替。

图8示出了使用列交织对样本进行复用。

图9示出了使用并排-列（side by side-column）对样本进行复用。

图10示出了使用上下（top-bottom）行交织对样本进行复用。

图11示出了使用行交织对样本进行复用。

图12示出了被垂直块边缘分割的单个行中的要去块的样本的示例。

图13示出了要去块的样本不一定属于同一视图的示例。这可能导致交叉视图污染。在该图的示例中，两个阴影线类型表示两个不同的视图。

图14示出了关于象限-梅花形视频数据的去块问题。

图15示出了关于并排-梅花形布置的垂直边缘的去块问题。

图16示出了关于并排-梅花形布置的水平边缘的去块问题。

图17示出了并排-列问题。

图18示出了上下-行问题。

图19A示出了根据本公开内容的实施例执行对图像或视频样本的处理的示意图。

图19B示出了利用完全解复用和插值对经梅花形采样和打包的内容去块的示例。小写字母表示被插值的值。y’表示去块后的样本y。

图20示出了分析引导去块的示例。

图21示出了对经梅花形采样和打包的数据的双线性插值滤波器的去块策略。斜体字母表示必须被插值的值。

图22示出了关于经打包的梅花形采样视频数据的去块策略。

图23示出了对角线去块（diagonal deblocking）的示例。

图24示出了用于使用双线性滤波器的插值的联合去块与解复用。

图25示出了使用超完备去噪声原理的联合解复用插值与去块。未加阴影线的示例被插值。去块影响在块边界附近的所有阴影线样本。

图26示出了采用超完备去噪声方法对丢失样本进行恢复的示例。

图27示出了用于对全分辨率视图进行预处理的去块的示例。

图28示出了用于视频编码器中的经梅花形采样的视频数据的环内（in-loop）滤波的示例。

图29示出了用于视频解码器中的经梅花形采样的视频数据的环内滤波的示例。

图30示出了用于分辨率可伸缩3D立体视频编码器中的采样数据的环路滤波的示例。

图31示出了用于分辨率可伸缩3D立体视频解码器中的采样视频数据的环路滤波的示例。

图32示出了用于分辨率可伸缩3D立体视频编码器中的采样视频数据的环路滤波的示例。

图33示出了用于分辨率可伸缩3D立体视频解码器中的采样视频数据的环路滤波的示例。

图34示出了用于分辨率可伸缩3D立体视频编码器中的采样视频数据的环路滤波的示例。

图35示出了用于分辨率可伸缩3D立体视频解码器中的采样视频数据的环路滤波的示例。

图36示出了使用来自基本层的样本的增强层去块的示例。

图37示出了环外（off-loop）后处理的示例。

图38示出了输入视频样本在两个不同分支中被单独处理、然后被组合在一起的另一示例。

图39示出了讨论了处理操作的加速的另一示例。

图40示出了用于具有多个增强层的分辨率可伸缩视频解码器中的采样数据的环路滤波的示例。

图41示出了用于具有多个增强层的分辨率可伸缩视频解码器中的采样视频数据的环路滤波的示例。

具体实施方式

本公开内容涉及用于经采样复用的图像和视频数据的增强方法。

根据第一方面，提供了一种用于对合成采样图像或视频数据进行处理的方法，该合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，该方法包括：将合成采样图像或视频数据解复用为多个组成画面；单独地处理每个组成画面；以及对单独地处理后的组成画面一起进行采样和复用。

根据第二方面，提供了一种用于对合成采样图像或视频数据进行处理的方法，该合成采样图像或视频数据包括与多个图像或视频分量或类别有关的复用图像或视频数据的，该方法包括：通过将与合成采样图像或视频数据的每个元素有关的图像或视频分量或类别纳入考虑，对每个元素进行处理，从而区分对与一个图像或视频分量或类别有关的合成数据的处理和对与另一图像或视频分量或类别有关的合成数据的处理。

根据第三方面，提供了一种用于对合成采样图像或视频数据进行处理的方法，所述合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，包括：将合成采样图像或视频数据解复用为多个组成画面，同时对采样图像或视频数据进行处理，其中，该处理选自去块、去噪声、去模糊、去鸣振和滤波。

根据第四方面，提供了一种用于对合成采样图像或视频数据进行处理的方法，该合成采样图像或视频数据包括与多个图像或视频类别有关的复用图像或视频数据，该方法包括：提供相同类别的现有样本的初始块；对该初始块的样本应用变换；使用该初始块的变换系数来估计两倍大小的块的变换系数，该两倍大小的块包含初始块的相同的现有样本和现有样本的相同类别的丢失样本；对所估计的、其他两倍大小的块的变换系数进行调整；以及对两倍大小的块的样本应用逆变换。

根据第五方面，提供了一种用于对图像或视频数据进行处理的方法，包括：单独地对要交织或复用的图像或视频的图像或视频分量进行预处理；单独地对预处理后的图像或视频分量进行采样；对所采样的预处理后的图像或视频分量进行交织或复用，从而形成合成图像或视频；以及对合成图像或视频进行处理。

根据第六方面，提供了一种用于对可伸缩视频编码系统的合成采样图像或视频数据进行处理的方法，该可伸缩视频编码系统具有基本层和一个或多个增强层，该合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，该方法包括：将一个或多个增强层中的一个或多个的合成采样图像或视频数据解复用为多个增强层组成画面；用来自基本层的样本替换每个增强层组成画面的丢失样本；在进行替换之后，单独地处理每个增强层组成画面；以及对单独地处理后的增强层组成画面一起进行采样和复用。

根据第七方面，提供了一种用于对可伸缩视频编码系统的合成采样图像或视频数据进行处理的方法，该可伸缩视频编码系统具有基本层和一个或多个增强层，合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，该方法包括：将一个或多个增强层中的一个或多个的合成采样图像或视频数据解复用为多个增强层组成画面；使用来自基本层的预测来单独地对每个增强层组成画面进行编码；单独地处理编码后的每个增强层组成画面；以及对单独地处理后的组成画面一起进行采样和复用。

根据第八方面，提供了一种用于对图像的视频样本进行处理的方法，包括：对视频样本执行两组单独的操作，第一组操作包括对视频样本进行上采样、随后对上采样后的视频样本进行处理以提供第一输出，而第二组操作包括对视频样本进行处理、随后对处理后的视频样本进行上采样以提供第二输出；以及将第一输出与第二输出进行组合。

根据第九方面，提供了一种用于增大对合成图像或视频布置的样本的处理操作的计算速度的方法，包括：将合成图像或视频布置的样本解复用为构成合成图像或视频布置的分量的单独样本；单独地处理每个分量；以及对单独地处理后的分量一起进行复用。

通常以矩形光栅扫描图案来对图像和多维数据进行采样。在本说明书中，本领域的普通技术人员应当理解，术语“采样”可以是指下采样或上采样。对图像或视频帧进行下采样减小了图像或视频帧的分辨率或像素数量。另一方面，对图像或视频帧进行上采样增大了图像的分辨率或像素数量。采样可以包括采用或不采用任何滤波来选择全部或部分样本的处理。可以根据不同的采样间隔或采样率、线性函数或非线性函数来执行采样。此外，本领域的普通技术人员应当理解，术语“重采样”可以是指将采样图像或视频帧恢复回其在被采样之前的先前状态。

对图像或视频数据进行采样的原因很多。这些原因包括但不限于：（a）由于样本的数量现在较少，所以较容易存储。（b）由于例如较快地计算傅里叶变换或者对相比于原始样本大小的例如四分之一的原始数据进行运动估计和补偿，所以计算量较小。（c）适当地进行的采样（例如，在进行低通滤波之前）还可以增加数据的压缩率（不考虑样本大小也较小的事实）。（d）对于例如图案识别或匹配，采样在对数据进行表示和分类方面有所帮助。精细的采样能够识别在图像或视频数据的表示方面最关键的那些样本。由于采样，不仅减小了计算量而且甚至特定算法的成功率也极大地受益。（e）可能需要以如下图案对数据进行采样：该图案使得随后恢复丢失/丢弃样本变得容易。

包括去噪声、去块和增强滤波的大多数信号处理算法对规则的光栅扫描网格起作用。将简要描述采样布置的一些示例。在矩形光栅扫描网格中，可能希望水平地保持所有像素并且垂直地保持二分之一的像素。如果认为一个维度比其余维度重要，那么可以降低采样率，以保留更多原始信息。图1中示出了这样的采样图案（10）。在不同的应用中，可以优选水平采样而非垂直采样（图2中示出了水平采样图案（20））。然而，对于很多应用，可能希望对于两个维度保留等量信息。这可以如图3所示那样通过在两个维度上都采用相等的采样率来实现，图3中示出了四分之一采样（quarter sampled）图像（30）。

替选的采样图案为图4中描绘的梅花形采样图案，图4中示出了梅花形采样图像（40）。每个丢失样本均与其最接近的相邻的现有样本是等距离的，这会有益于对丢失样本的插值。对插值处理的进一步改进可以在参考文献[9]中得到支持。实际上，水平维度和垂直维度在重要性方面不是等同的。可能希望在垂直维度上而不是水平维度上保持较高分辨率。虽然图1的采样图案保留了与图4中的图案相同数量的样本，但是插值没有如同梅花形采样一样效率高。梅花形采样保留了信号特征和频率信息的较大部分，并且导致其本身对丢失样本的更高效插值。梅花形采样已用于对 3D立体图像序列的左视图和右视图（立体对）进行采样，并且将它们一起打包成棋盘格状（CB）布置。得到的该CB画面包含来自两个视图的信息，并且与基于数字光处理（DLP）技术的当前可利用的3D显示器和系统中的一些3D显示器和系统兼容[参见参考文献1、2，其全部内容通过引用合并于此]。

图5中示出了还被称为“CB”或“梅花形-梅花形”的这样的采样和交织布置以及所得到的CB画面（50）。“CB”需要梅花形采样和棋盘格交织（在整个本公开内容中，可以可交换地使用术语“交织”和“复用”）。现今，随着例如具有存储压缩信号所需的容量的蓝光光盘的使用，CB格式化内容向CB兼容的显示器（诸如，DLP（数字光处理）显示器）的传输是可能的。通过蓝光规范（诸如，H.264/MPEG-4AVC[参见参考文献4，其全部内容通过引用合并于此]视频编码标准以及SMPTE VC-1[参见参考文献5，其全部内容通过引用合并于此]编码标准）所支持的任意编码解码器来使压缩更容易。因此，可以使用市售的现成设备来实现对CB格式化内容的压缩、传输、回放和显示。也可以通过采用适于CB格式化内容的方法来实现更好的压缩性能[参见参考文献7，其全部内容通过引用合并于此]。

可以以棋盘格布置之外的一些其他布置对经梅花形采样的3D视频数据一起进行采样和复用。这包括打包格式（水平并排-梅花形、或垂直并排-梅花形）、以及图像的每个象限表示来自不同视图的奇数行或偶数行样本的基于象限的方法[参见参考文献9，其全部内容通过引用合并于此]。在图6中描绘了基于象限的打包格式（60）的一个示例。在这种情况下，图4中的每个视图的梅花形图案样本被分成两种类别，并且被一起打包以形成两个子图像。这两个子图像对应于同一视图。一个子图像包含用深色区分的具有“偶数”索引的样本或“上部”梅花形图案样本，而另一子图像包含采用浅色的具有“奇数”索引的样本或“下部”样本。使用这种格式，每个子图像中的样本基本上对应于原始视图中的矩形图案样本。这不是唯一可能的替选打包格式。实际上，可以将图4的采样图案定义为1×1 梅花形采样图案，其中3D CB画面中的每个2×2像素组为四个子图像的集合。以相同的方式，将图6的采样图案定义为（高度/2）×（宽度/2）梅花形采样图案，这总共产生4个子图像。一般化的（高度/N）×（宽度 /M）的N和M的中间值产生N×M个子图像的集合或等效地产生（N×M） /4个四子图像组。由于这种安排涉及梅花形采样和基于象限图像的交织，因此后面将称为“象限-梅花形”。

梅花形样本的替选布置被称为“并排-梅花形”。采样基于梅花形，并且并排地进行交织。对于3D立体内容，对视图进行并排打包，并且“偶数”梅花形样本的行与“奇数”梅花形样本的行交替。图7中示出了这种布置，其中示出了可能的梅花形样本布置（70）。“象限-梅花形”布置和“并排-梅花形”布置两者与“CB”布置的不同之处在于，视图被单独打包而没有被交织。“象限-梅花形”布置与“并排-梅花形”布置的不同之处在于，当以全分辨率网格来考虑时，所有的样本沿垂直方向对准。相反，“并排-梅花形”布置的样本仅每隔一行垂直对准。垂直方向上的相邻样本水平地偏移一个像素，因此稍微（而非有意地）未对准。

采样和交织不必限于梅花形图案。不同的布置也是可以的。图8中描绘了包括列采样和列交织的一个这样的布置（80）。图9中示出了采用列采样和并排交织的、被称为“并排-列”的另一布置（90）。图10中示出了使用行采样和上下交织的、还被称为“上下-行（top bottom-row）”或“叠排（over-under）”的布置（100）。最后，图11中示出了应用行采样和行交织的、还被称为“行交织”或“行-行”的布置（110）。

所有上面提到的采样布置都产生与原始图像或视频数据的特征非常不同的信号特征。尽管在上文已讨论3D立体数据，但是当考虑例如以时域内的行采样和行交织为特征的交织信号时，也得出类似的结论。另一应用是对从原始源采样（例如，以二为因子进行下采样）的单视图数据进行处理。必须修改其中诸如去噪声、去块、增强、通用的低通或高通滤波、维纳滤波器等算法，以确保预期的结果。

现在将讨论对于梅花形采样画面的去块的情况。

可以利用多种视频编解码器来对经采样交织的视频数据（如图5的 CB画面）进行压缩[参见参考文献3，其全部内容通过引用合并于此]，多种视频编解码器包括ITU-T H.264/ISO MPEG-4AVC[参见参考文献4，其全部内容通过引用合并于此]视频编码标准、MPEG-2和SMPTE VC-1[参见参考文献5，其全部内容通过引用合并于此]视频编码标准等。很多视频编码标准的部分是使用去块和其他滤波机制，其两者都可以是“环内”或“环外”的。环内处理通常是指应用于随后用于预测其他样本的样本的处理。该处理必须在编码器和解码器两者处呈镜像，使得最终结果相同。环外处理是指在对样本编码之前或者在样本已经离开编码链且正送往显示器或一些其他后续处理阶段之后应用于样本的处理。前者通常被称为预处理，而后者被称为后处理。中间“处理”步骤包括可以影响样本的任何操作（包括编码和重构）。环内去块阶段对于很多应用而言会很关键，因为该阶段可以去除块伪像（blocking artifact），块伪像为基于块的预测（例如，帧内运动补偿预测或基于块的混合运动补偿预测）以及为大多数编码标准的基础的基于块的变换和量化处理的结果。

在帧间预测中，块运动补偿用于利用一个或多个参考画面中的矩形块来预测当前画面中的每个块。预测块不必与当前块处于同一位置。可以使用包括平移模型、仿射模型和透视模型的预测模型来得到预测块。参考画面可以从过去的、未来的或将来的编解码器中得到，预测块甚至可以来源于相同的画面。在帧内预测中，仅根据当前画面中的已重构或已解码的样本来预测当前画面中的块。该预测可以与例如复制可利用的高样本值或者使用预测模型来用在例如相同画面的遥远区域中的样本预测当前块一样简单。

帧内预测和帧间预测构成大多数实用和商业的视频编解码器的主干。对于预测残差的粗略量化，预测处理的块性质会沿块边界产生被称为块伪像的视觉伪像。块伪像表现为沿水平和/或垂直块边界的视觉不连续性。除了视觉降低外，这些伪像也可以降低基于块的运动补偿的预测效率。因此，视频编解码器可以采用环内去块来抑制这些伪像并提高编码效率。去块也可以是自身可位于显示器中的后处理系统的一部分。通常，当今的去块算法使用抑制块边界处的样本之间的视觉不连续性的自适应滤波器。注意，除了块伪像外，对预测残差应用量化的编码处理导致了若干其他伪像类型。这些包括鸣振、噪声和模糊伪像等。因此，对去块问题的讨论可以扩展到对经采样复用的视频内容应用去模糊、去噪声和去鸣振算法。

图12中示出了示例块边界。假设p_i表示在块边界（120）的左侧的像素，q_i表示在块边界（120）的右侧的像素。虽然所描绘的边界是垂直的，但是可以针对水平块边界（130）进行类似考虑。H.264/MPEG-4AVC去块算法将跨越块边界的那八个像素作为输入，并且基于大量参数对它们进行更新，上述参数包括：编码模式、编码参数、帧内预测方向、残差的能量以及相邻（邻近）块的运动参数、滤波强度、用于对块进行编码的量化参数、输入限制（诸如，切片结构、分量类型和色度子采样结构）、平均色度值、变换类型、编码类型（例如，场编码或帧编码）、以及在组成画面在某一增强层中被编码的情况下来自某一基本层的信息等。去块后的值 p′_i和q′_i是来自块边界的两侧的输入值的函数（目的是要抑制差异：因此，边界p值将和与其邻近的q值混合）。也可以在频域内进行去块。一种这样的技术基于超完备去噪声原理[参见参考文献11，其全部内容通过引用合并于此]。在超完备去噪声方法中，通过超完备（冗余）变换对样本进行变换，然后使用预定义的阈值对其进行调整。随后对阈值变换系数进行逆变换和组合（因为它们是多个冗余/超完备值），以产生最终的去噪声后的样本。为了执行去块，已经采用这些方法，以仅考虑接近于块边界的值。这些方法也可以根据相邻块模式、QP、块的运动以及原始变换系数和量化变换系数等来修改它们的阈值。

去块在作为环内处理步骤来执行时可以有益于压缩效率和视觉质量。另外，当被应用作为后处理步骤时，视觉质量会受益。然而，对经采样交织的视频内容直接应用传统去块算法（诸如以上所提到的那些算法）会导致不期望的结果。考虑例如对图12的像素进行操作的H.264/MPEG-4 AVC去块器的情况。对于对3D视频内容进行采样和交织的情况，图13 示出了这些像素现在属于不同视图。H.264/AVC去块器将根据所有p值和 q值计算新的去块后的值。如果视图之间的立体视差非常高，则该处理会导致极不期望的交叉视图污染：来自视图0（左）的像素会污染来自视图 1（右）的像素，反之亦然。对于其他传统去块方案，也可以得到类似结论，这些去块方案不区分每个视图的像素，诸如SMPTE VC-1编解码器或超完备技术使用的方案。如果在对一个视图的样本进行去块时没有注意避免考虑来自其他视图的样本，那么样本将会被污染。例如，可能会创建假频，并且阈值有可能会使真正的内容归零而保留伪像。尽管这些问题明显影响经1×1梅花形采样和打包的3D数据（CB画面），但是当考虑通用的经（高度/N）×（宽度/M）梅花形采样和打包的3D数据时，出现了类似问题。

不失一般性地，现在考虑对经（高度/2）×（宽度/2）梅花形采样和打包的3D数据的示例。图14中示出了对相同视图的“偶数”和“奇数”子图像（140，150）直接应用去块的情况。相比于图5的1×13D数据打包，在子图像域内，该情况看起来非常不同。子图像中的所有样本属于相同视图，因此可以直接应用现有算法而不需要考虑不同视图的样本。然而，如果考虑图14中也示出的全分辨率网格，则该处理不是那样简单。由于将独立地进行去块，所以一个视图子图像（160）的假想块边界（用虚线示出）与相同视图的其他子图像（170）的假想块边界不重合。此外，由于可以不以类似模式对这些区域进行编码，所以去块的强度会针对各子图像而不同。不一致的去块强度会有助于沿着图14中的全分辨率图像中的假想边界的上下运动的伪像（seesaw artifact）。

类似的问题也影响应用于“并排-梅花形”数据的去块。如同图15中示出的“象限-梅花形”数据一样，该情况对于垂直边缘而言是类似的。可以创建上下运动的伪像等。然而，当考虑对水平边缘的去块时，存在不同的且更严重的问题。在图16中描绘了这种情况。被去块的“行”（180）包括对于每一行在水平方向上偏移一个像素的样本。对这些样本进行滤波而不考虑其在全分辨率网格中的空间位置会导致视觉降低。

这些问题也影响采用“并排-列”采样和交织的数据或仅采用“并排- 列”交织的数据。图17中示出了对于去块或者甚至通用滤波情况的采样位置和全分辨率位置。尽管在考虑全分辨率内容时，垂直方向上的处理保持不变，但是这并不适用于在考虑全分辨率网格（190）时数据现在相距较远的水平方向。另外，也可以观察到，数据距实际块边缘（200）的距离在水平方向上是不同的。如图18中所描绘的，当考虑“上下-行”采样和交织的情况时，也证实了类似的问题。这时，水平方向上的样本与全分辨率数据的位置相对应。相反，垂直方向上的样本具有较大的距离，并且也不与块边缘等距离。在这两种情况下，采样数据具有与原始数据不同的纵横比：2:1/1:2与1:1。对这样的内容直接应用现有的H.264去块算法会导致不理想的压缩效率和主观质量。还应当注意，图18的问题很类似于在对交织图像的顶场或底场进行处理时会遇到的问题。当进行去块时，更好的性能是有可能的，并且通常，处理算法考虑样本在全分辨率网格中的位置。

正如上面也提到的，去块仅是可以应用于经采样复用的数据的可能处理方法之一。为全分辨率数据设计的去噪声方法在应用于采样数据时也将遇到问题。上面已经提到的超完备去噪声方法是一个这样的示例。然而，存在其他同样重要的操作，当以直接方式对采样数据应用这些操作时，这些操作的效率降低。例如，考虑CB画面的分数像素插值的问题。分数像素插值是作为高性能运动补偿预测的基础的环内处理步骤。尽管以像素精度表示样本，但是真实的运动通常具有分数像素分量。分数像素插值通过估计这些值来提高预测效率。以下的简单示例展示可能出现的问题。假定在图5的CB画面中存在两个相邻像素a和b。显然，每个像素属于不同视图。然而，位于a和b之间的丢失样本的半像素插值将考虑两个像素，从而导致交叉视图污染。

本公开内容的若干实施例涉及用于对经采样交织的图像或视频数据进行处理的各种方法。

（a）根据第一实施例，提供了丢失样本的完全解复用和插值，随后使用最初被开发用于全分辨率矩形采样图像或视频数据的可用的现有方法进行处理，并且利用原始的采样图案进行重采样以重新获得最终的处理后样本。在采样处理期间，可以进行另外的滤波。例如，在重采样阶段期间，替代采用样本在采样位置处的值，可以执行动态（on-the-fly）滤波，使得保留的值是在采样位置的样本与可能不一定属于采样位置的其他相邻样本的某种（例如，线性）组合（滤波）。图19A中示出了该处理的第一总图。对采样视频输入（210）进行复用（220）以生成分量表示（例如，单独的左画面和右画面）。然后，对每个分量表示进行插值（230），随后对每个表示进行标准处理（240）。在处理之后，对分量表示一起进行采样（250）和复用或打包（260）。在本公开内容中，术语复用和打包可互换使用。在图19B中示出针对去块（如处理算法）、采样（例如，梅花形）以及复用的情况的该处理的图。如图19B所示，每个分量视图或层中的插值（270，280）是相互独立的。

如图20所示，可以通过对输入的采样画面（例如，“CB”画面）进行分析以及可选地对插值后的全分辨率内容（例如，左视图和右视图）进行分析来进一步改进性能。可以通过图20的分析模块（290，300，310）提取的信息包括但不限于：（a）立体视差的估计，其可用于在对当前视图的样本进行处理时控制来自不同视图的样本的贡献。作为示例，对于低视差，考虑来自另一视图的样本是有意义的，而不管任何潜在污染。（b）可再次用于引导滤波处理的边缘和频率特征。例如，对于高度纹理化的区域，可以使用有限的去块或完全不使用去块。水平和垂直相关性的估计或知识在引导插值滤波器的设计方面也会是有用的（如在交织样本和图17和图 18的那些样本的情况下一样）。（c）平均亮度和色度值也可以引导滤波。例如，高亮度使伪像模糊，而且随后的滤波操作可以解决该问题。

（b）本公开内容的另外的实施例涉及动态地对采样输入的处理，而无需将采样输入完全重采样、解复用或插值成全分辨率图像或视频数据。这些实施例对处理算法进行修改，使得处理算法知道采样画面的每个样本在全分辨率网格中的位置。对于3D立体内容，这意味着处理器对不同视图和/或位置中的样本进行区分。在交织内容的情况下，处理器利用以下事实：当与水平邻居相比时，顶场或底场中的垂直邻居具有两倍的空间距离。对于交织图像或视频数据，处理器将属于一种类别的数据与属于不同类别的数据区分开，并且可以根据处理算法的目的进行选择以避免这些不同类型之间的污染。当对数据进行采样时，处理器利用采样图像或视频数据中的每个样本在全分辨率网格中的实际位置的知识。会存在以下情况：全分辨率网格中的相邻样本位于采样画面中的遥远位置或反之亦然。也可以利用这样的知识。虽然在一些实施例中避免对经采样的输入数据的完全插值，但是在其他实施例中，在处理增益大大超过了计算和存储复杂度增加时，允许有限的插值。例如，在去块的情况下，可以对与块边界相邻的丢失样本进行插值并且在处理阶段进行考虑。下面将考虑一些具体实施例。

考虑对经梅花形采样和交织的3D立体数据（CB）去块的情况。为了正确去块，应当解决交叉视图污染的问题。一个视图的去块后样本不应当被其他视图的样本污染。如图20一样，通过要求在考虑对样本进行去块之前对来自相同视图的样本相比于其他视图的样本分配较大权值（当组合时）或者计算左视图样本与右视图样本之间的相似性度量，可以放宽该限制。由于在去块处理之前，粗量化实际上可能已经将两个视图污染，所以即使考虑具有不同权值的所有样本也是有意义的。可以基于编码参数和统计数据（诸如，量化参数、非零变换系数的百分比、编码模式、块的位置、分量的类型、以及色度子采样类型等）来修改这些权值。

（b1）图21示出了在对“CB”数据进行去块的情况下的该实施例的示例。用于实现的最简单解决方案是通过假设值p₂、p₀、q₁和q₃为跨越p 值与q值之间的边界的连续像素来执行去块。以类似的方式单独对其余的像素p₃、p₁、q₀和q₂进行处理。虽然该第一实施例会避免交叉视图污染，但是由于样本数量现在较少，因此去块性能可能不是同样高效，并且同时它们具有距块边界不同的距离：例如，样本p₃比样本q₂更远离边界。为了更好的结果，这应该在滤波期间被考虑。在不进行插值时，可以通过在滤波或去块期间对每个样本应用不同权值来对此进行解决。例如，对于样本p₂、p₀、q₂和q₃，可以采用取决于其与块边界的距离（考虑每对）的以下权值：7/12、3/4、1/4和5/12。通过可以动态地生成丢失样本中的全部或部分（例如，更接近边缘的丢失样本）并且在执行去块时将其与现有样本联合使用的插值，可以获得改进的性能。在图21的情况下，可以对丢失样本进行如下插值：

在该示例中，不失一般性地，简单的双线性滤波器已用于对丢失样本进行插值。应当注意，当对丢失样本进行插值以在块边界上执行去块时，可以仅考虑属于与要插值的样本位置相同的块边界侧的样本。现在，针对总共八个可用样本，例如利用H.264中所使用的算法来对在边界的每侧的四个连续样本执行去块处理。不利用去块处理来更新在插值位置处的样本。利用值p’₃、p’₁、q’₀和q’₂来仅更新属于当前视图p₃、p₁、q₀和q₂的样本。

不同的实施例可以使用更复杂的插值方法来估计丢失样本，其可以包括边缘自适应滤波[参见参考文献8，其全部内容通过引用合并于此]、具有更长支持的可分离滤波器和不可分离滤波器、或根据未来或过去画面的预测等。相比于传统的插值和解复用，必须注意避免在对在边界的另一侧的样本进行插值时考虑来自边界的一侧的样本。可以仅通过对与块边界最接近的一个或两个样本（在这种情况下为）进行插值来降低复杂度。

（b2）不同的实施例解决对通用的经（高度/N）×（宽度/M）梅花形采样和打包的3D数据的去块。不失一般性地，考虑图14的经（高度/2）×（宽度/2）梅花形采样和打包的3D数据（“象限-梅花形”）的示例。为了最佳的去块性能，在“偶数”子图像中对给定块边缘的去块与对“奇数”子图像中的相同边缘的去块结合。

图22中描绘了该策略的一种可能实施例。为了参考，示出了每个子图像的样本在原始全分辨率网格中的位置。在对“偶数”子图像样本进行去块之前，使用相同视图的相邻的“偶数”样本和“奇数”样本对“A”样本进行插值。类似地，在对“奇数”子图像样本进行去块之前，使用相同视图的相邻的“奇数”样本和“偶数”样本对“B”样本进行插值。插值可以如双线性一样简单并且如内容和边缘自适应、或者甚至图像修补一样复杂。然后，还通过考虑样本“A”的值，并且通过对去块滤波器值进行调整来考虑以下事实来进行对“偶数”子图像的去块：样本距子图像中的块边界的距离在全分辨率网格中不一定等于相等距离。

例如，将x₁和x₂设为位于块边界上的两个“偶数”子图像样本。假设A₁表示也位于相同水平线上的这两个样本之间的插值样本。假定期望通过仅将这两个样本设置为等于其平均值来对这两个样本进行去块：每个像素得到二分之一的权值：x’₁=x’₂=（x₁+x₂）/2。对在该同一水平线上下位于相同边界上的“奇数”子图像样本应用相同处理。这可能产生如前面所提到的上下运动的伪像。更适当的去块过程是修改滤波器权值以考虑全分辨率距离，并且优选地还分别对于“偶数”子图像样本或“奇数”子图像样本考虑“A”样本或“B”样本。最终结果为：x’₁＝x’₂=（2×A₁+x₁+3 ×x₂）/6。

（b3）另外的实施例解决用于如前面图17中所描绘的“并排-列”的滤波（例如，去块）。正如前面所讨论的，经采样交织的图像中的样本具有不同纵横比：以2为因子对水平维度进行子采样，而在垂直方向中保留所有样本。该观察导致对滤波器长度进行修改，使得它们考虑这种差异。假定在采样之前使用逐行扫描获得原始内容，则与垂直方向上的滤波相比，水平方向上的滤波可以考虑一半数量的连续样本。否则，可能引入过多模糊，并且可能在水平方向上丢失大量高频信息。此外，如前面所指出的，样本距全分辨率块边缘的距离对于该边缘的任一侧而言都不相同。将 x₁和x₂设为位于经采样交织的图像（图17的左侧）的块边界上的两个相邻的水平样本。对于例如去块的情况，样本x₂必须被赋予另外的权值。因此，对于简单的双线性滤波器，可以推导出x’₁=x’₂=（x₁+2×x₂）/6。与前面的段落类似，可以对这两个样本之间的丢失的全分辨率样本A进行插值以进一步提高滤波效率。还应当注意，当对其他视图的样本进行处理时，其将是被分配较大权值的x₁。通过在以上讨论中仅用“垂直”替代“水平”（反之亦然），本段落中所描述的实施例也可适用于图18中所描绘的“上下-行”的情况。注意，在例如隔行扫描内容的情况下，会想要在不减少滤波器抽头的数量的情况下使用原始的去块策略。替选地，对于隔行扫描情况，会希望同等地限制在垂直和水平这两个方向上的滤波范围。通常，应当不仅考虑应用于输入内容的采样和复用，而且也考虑输入内容起初是如何引入的（例如，渐进或交织等）。

到目前为止所描述的方法需要对丢失样本的某种有限的或更广泛的插值，以提高去块处理步骤的效率，或者当要求或期望插值时，首先在一个方向上并接着在另一方向上应用可分离的处理步骤（“可分离的”操作）。

（b4）然而，如果处理步骤（例如，去块）的方向被修改为不同于垂直或水平的方向（例如，对角线），则可以避免对丢失样本的插值。图23 中示出了“CB”布置的可视化示例。为了避免来自其他视图的样本的污染以及避免对丢失样本进行插值，沿着对角线样本p₁₀、p₂₁、p₃₂、p₄₃、p₅₄、 p₆₅、p₇₆和p₈₇应用去块（例如，需要跨越块边缘的每侧的四个样本的H.264 算法），或者可以沿着对角线样本p₇₀、p₆₁、p₅₂、p₄₃、p₃₄、p₂₅、p₁₆和p₀₇应用去块，或者替选地，可以首先对第一组对角线样本应用去块、其次对第二组对角线样本应用去块，以避免使去块后的样本沿着单个方向偏置。如上所述，关于对哪个方向应用滤波以及使用多少样品进行插值的决定可以是固定的，或可以用信号通知。通过确定源信号的方位和空间特征的预分析，可以有助于这样的决定。此外，用于对沿着交替方向的样本数据进行处理（例如，去块）的本实施例可适用于任何操作，该操作包括对已根据样本的原始空间位置和分辨率而被采样的样本的处理。

（b5）不同的实施例考虑用于运动补偿预测的经采样交织的数据的插值。该实施例也基于考虑样本在全分辨率网格中的距离以及当前样本所属的类别（例如，视图）。有时，要预测的块包含属于多于一种类别的数据。对于某些运动参数，预测块具有与当前块中的数据的类别匹配的数据。然而，对于其他运动参数，这将不成立。例如，可以参考图24中所示的CB 画面：在要将当前块与参考画面缓冲器中的插值块进行匹配的情况下，在图24中可以观察到，仅每隔两个像素存在视图顺序的对应关系，使得根据来自视图0的像素预测来自相同视图0的像素，并且对于视图1的像素来说类似。当数据没有适当地排列时，由于跨类别污染，这导致运动补偿效率的损失。在本实施例中，通过仅考虑到相同类别的样本来对每种类别的丢失数据进行插值，解决了这样的问题。然后，在预测块的形成期间，选择现有数据或插值数据，使得当前块和预测块的数据类别准确地排列。

（c）在实际系统中，在进行解复用或下采样之前或之后进行处理。在以下实施例中，将示出在单个联合步骤中对处理与解复用或处理与采样同时进行组合的算法。解复用包括对来自优选地相同类别的相邻样本的丢失样本进行插值。本公开内容的实施例旨在对插值滤波器或滤波器系数进行修改，使得它们还同时执行处理步骤的功能（例如，去块）。类似地，当对数据进行采样时，可以使用delta函数或低通滤波器来解决混叠（aliasing）。现在，将对涉及联合的去块与解复用的实施例进行描述。

去块为样本处理阶段，其通常（例如，H.264/MPEG-4AVC和VC-1）被实现为单独的处理模块。可以在得到全分辨率样本的解复用操作之前或者在根据全分辨率数据得到每种类别（例如，形成CB画面）的数据的采样处理（例如，梅花形）之后应用去块。可以将去块与解复用组合或者将去块与采样组合。虽然在将最佳质量作为目标时解复用或采样操作会相当复杂，但是申请人将示出说明可以如何将去块与这些操作组合的示例。与这些操作的单独应用相比，这些组合受益于减少的计算和存储器访问。此外，由于重采样操作利用关于块边界的知识，因此，去块和重采样（至或来自采样信号）的联合应用也会有益于质量。联合的去块与解复用包括在对接近块边界或在块边界处的样本进行处理时对解复用/插值滤波器进行修改。也可以扩展滤波器支持以考虑来自边界的另一侧的更多样本，全部都以最小化跨越块边界的信号转换不一致性的目的。

（c1）图24中示出了双线性插值滤波器和CB画面的情况的实施例。用深色突出显示的样本是已可利用的，并且希望对丢失样本进行插值并且同时对信号进行去块。利用双线性滤波器的传统插值将在位置（3，3）处的样本估计为：在（3，3）处的样本的现有值对应于其他层/视图（视图1），而被平均的四个样本值属于视图0。如果期望在单个步骤中执行去块，则可以考虑插值样本的位置。由于其靠近（在这种情况下，邻近于）块边界，所以对滤波操作进行如下修改，以在单个步骤中执行插值和去块：强加α>β的条件。这确保了在边界的另一侧处的样本的较大权值，以提高跨越块边界的空间一致性。权值取决于大量参数，这些参数包括相邻块的量化参数、块的编码模式和运动参数、以及空间特征（纹理区域与平滑区域）等。相同的处理也可以应用于其他视图以及在块边界的另一侧的相同视图的像素。事实上，在对“CB”画面进行去块和解复用的情况下，由于利用对于给定块的相同编码模式和量化参数对任一视图的像素进行编码，所以上述权值可以计算一次并且用于块内的所有视图的联合的解复用与去块。

（c2）如前面图17和图18所示，类似的实施例也可以被定义用于非梅花形采样内容，诸如“并排-列”和“上下-行”。假定希望对图17的丢失样本A同时进行去块和插值。使用之前介绍的符号并且假定简单的双线性滤波器，导出插值样本为：A=（x₁+x₂）/2。可以导出联合处理后的样本为此外，由于前面段落中阐述的完全相同的原因，强加α>β的条件。两个段落中描述的策略也适用于可与处理操作（诸如，边缘自适应滤波、Lanczos滤波等）组合的更复杂的插值方案。

联合的去块与解复用不仅可以在像素域内进行而且可以在频域内进行。在参考文献11中提到了应用于去块的基于频率的方法，参考文献11 的全部内容通过引用合并于此。相同的超完备去噪声原理之前也已经用于恢复图像中的缺失区域。超完备去噪声基于对相同数据的变换、变换系数的阈值、系数的逆变换以及所得到的值的组合应用多个冗余转移版本以产生最终的处理样本。

（c3）将参照图25。在相同视图的情况下，相同类别的现有样本的两个4×4的重叠“块”（320，330）用不同阴影线突出显示，这两者都标记有“x”。目的是对丢失样本同时进行插值和去块。首先，对每个重叠块应用变换。假定不同纵横比，该变换可以为M×1、1×N或对角线，并且还可以为M×N大小。在所描绘的情况下，该变换为4×4整数离散余弦变换（DCT）或4×4哈达玛（hadamard）变换。然后，使用例如M×N大小的变换系数来估计2M×2N大小变换系数，该系数对应于与M×N大小变换的空间区域相同的、支持的空间区域。在所描绘的情况下，然后，将 4×4变换系数转化为其8×8变换（例如，整数DCT变换）的等值。因此，对由现有样本的4×4“块”（320，330）定界的8×8块（340，350）的频率信息进行估计。应当注意，4×4块（例如，320）和8×8块（例如，340）在完全网格中具有相同的空间范围。4×4块仅包括一种类别的现有样本，而8×8块包括相同类别的现有样本和丢失样本。如下面所说明的，可以例如通过阈值化对这些新的变换系数进行调整，从而在系数高于或低于（通常低于）某个阈值的情况下将系数设置为0。设置阈值以执行去噪声和/或去块等。然后，对修改后的（例如阈值化后的）变换系数进行逆变换，以得到对于8×8样本（现有的和丢失的）中的每一个的估计。应当注意，针对如下情况获得现有样本的估计：想要更新这样的值以确保更加一致的视觉质量并避免伪像。例如，在给出采样图案的情况下，已使用为了显示目的而优化的滤波来生成现有样本，但在对全分辨率网格中的丢失样本进行恢复时并不一定导致相同的视觉质量。每个移位的重叠“块”将对于每个丢失样本产生不同的估计。可以以线性或非线性方式对这些估计进行组合，以产生最终估计。为了同时执行去块，根据大量参数对变换系数进行调整，应用逆变换，并且保留与用于每种移位变换的多个参数对应的、对于每个像素的估计。这是与传统的超完备去噪声不同的因素，该传统的超完备去噪声根据每个移位变换产生对于每个样本的单个估计。然后，根据样本是否靠近块边界，使用与适当的一组参数相对应的适当估计。然后，将该估计与重叠/移位变换的其余部分的最终估计组合。用于对系数进行调整的参数取决于量化参数、编码模式、空间特征、分量和色度子采样类型以及与块边界的接近性等因素。

图26示出了描述对每个块的操作的高级图。如果对移位的块的变换系数的修改使用阈值化参数的单个集合（与上述使用的多个集合相反），并且对所有样本应用处理（与主要对块边界应用处理相反），则也可以将这样的实施例应用于联合的去噪声与解复用。

在根据本公开内容的实施例中可以利用以下参数对去块以及其他预处理、后处理和环内处理操作（诸如，去噪声）进行参数化：（a）用于对与处理后的样本重叠的块进行编码的编码模式，（b）那些块的运动，可以是平移、仿射或某一高阶运动模型，（c）空间统计数据，其包括方差、边缘信息、可以使用大量变换（例如，傅立叶变换、整数离散余弦变换、小波变换、哈达玛变换等）来采集的频率特征、用于对样本进行编码的块大小、用信号通知的滤波强度、滤波器方向、滤波器类型（低通或高通，双线性或Lanczos等）、用于对块进行编码的量化参数、块预测残差、输入限制（诸如，切片结构、分量类型（亮度或色度）以及色度子采样结构）、变换类型以及编码类型（例如，隔行或帧）等。

通常，期望向处理模块用信号通知指令。指令可以是指画面的全部或部分/区域。这些指令包括但不限于以下操作：（a）开启和关闭对指定区域的处理操作。（b）控制在处理期间使用的滤波器的类型（低通或高通、Lanczos、双线性、滤波器方向等）。（c）控制滤波的强度（例如，通过系数）。（d）用信号通知滤波策略（直接对采样画面进行处理或将采样画面上采样为例如全分辨率视图，处理并接着重采样，或者甚至使用超完备去噪声原理）。由于可以基于区域来用信号通知处理指令，所以也可以针对不同区域选择不同的处理算法。这样的决定的标准会是与失真相关的：由于编码器可以使用原始的参考内容并且向处理模块发信号通知对于每个区域最佳的方法，所以编码器可以测试所有可利用的方法。

对于采用并排或上下交织的3D立体内容，一个视图的滤波操作可以用于导出可引导另一视图的滤波操作的滤波参数或阈值。由于如同梅花形交织图案一样，不再基于像素对视图进行交织，所以这是有可能的。具有足够大象限的“象限-梅花形”画面也可以受益于这样的技术。诸如去块滤波器强度、类型、系数和方向等参数以及针对一个视图估计的各种其他滤波阈值或系数可以应用于另一视图。这适用于上述的所有（（a）、（b）和（c））实施例。

上述的用于对经采样交织的数据进行处理的实施例具有若干应用。具体方法和配置的详细描述如下。

（a）预处理。通常在例如进行压缩之前对内容进行预处理。预处理可以包括涉及基于块的运动补偿预测的空间-时间滤波。在进行编码之前，可以对全分辨率内容（例如，左视图和右视图）进行时间滤波，然后进行采样和交织（例如，以“CB”格式）。传统上，在采样和交织处理之前，将对全分辨率内容执行诸如去块或空间滤波的处理。根据本公开内容的实施例中，在使用下面描述的方法进行采样和交织处理之后执行处理。在该阶段进行该处理的好处在于，必须处理的样本较少（约为例如CB立体数据打包的示例的一半），从而导致计算和存储复杂度的显著降低。图27 中示出了该实施例的图。

（b）用于混合视频压缩的环内处理/滤波。在生成画面之后和在将画面存储到参考缓冲器中之前，在编码处理期间可以应用环内滤波。在 H.264/MPEG-4AVC中，通过将预测残差添加到预测画面中来生成画面。在将画面存储到参考画面缓冲器中以使得画面可以用作随后被编码的画面的运动补偿参考之前，画面可以经过去块处理。在编码处理的这个阶段，可以应用本公开内容的教导。图28和图29中分别示出了该方法的编码器和解码器的图。

（c）用于分辨率可伸缩视频编码系统的环内处理/滤波。在这样的系统中，在所谓的基本层（BL）比特流中（例如使用H.264或VC-1编解码器）对全分辨率内容的低分辨率（经采样交织）版本进行编码。例如，使用梅花形图案来采样和交织的CB画面仅保留全分辨率左视图和右视图中的每个视图的一半样本。因此，可以在所谓的基本层（BL）比特流中（例如，使用H.264编解码器）对CB画面进行压缩。然而，基本层不仅仅限于CB画面或3D立体内容传输。例如可以仅对左视图或仅对右视图、单个视图的采样版本进行压缩，或者在通用的立体内容的情况下，可以使用以下可能布置之一：“CB”、“象限-梅花形”、“并排-梅花形”、“并排-列”、“行交织”、或“上下-行”等。除了3D内容外，可以将这样的系统应用于传输常规的单视图内容。基本层可以包括单视图源的采样版本。全分辨率内容可以包括单个或多个视图。

为了恢复丢失的分辨率（样本），可以执行对来自基本层比特流的丢失样本的预测，然后，使用某一采样图案在包括一个或多个增强层（EL）的第二比特流中对丢失样本的预测残差进行编码。另一选择是使用在基本层比特流中被编码的样本来执行对全分辨率样本的预测。当在生成BL样本的采样操作之前执行滤波/处理阶段时，这尤其有用。在这些情况下， BL中的样本不一定保持其如在全分辨率内容中的原始值。应当注意，在具有多个增强层的系统中，对在一个层中被编码的样本的预测可以不仅取决于在基本层中被编码的样本，而且可以取决于在较高优先级的增强层中被编码的样本。如果可以在不需要存储在第二EL比特流中的信息的情况下对EL进行解码，那么EL被认为具有比另一第二EL高的优先级。在根据BL预测EL之前和之后，还期望对输入样本和输出样本执行环内滤波。该滤波处理可以包括低通或高通滤波、去块、去交织、去鸣振、去噪声以及其他增强操作等。至于考虑到基本层，由于基本层操作不受影响，因此这些滤波操作是环外的。然而，当考虑整个可伸缩编码系统时，这些操作是环内的并且需要这些操作来对全分辨率内容进行正确解码。虽然基本层编码器和解码器可以可选地执行去块、去噪声、去鸣振等，但是由于可能存在与在基本层中的编码伪像不相关的编码伪像，所以在一个或多个增强层处执行环路处理（例如，去块）也是可能的且通常是期望的。可利用H.264/MPEG-4AVC视频编码标准的可伸缩视频编码（附录G）或多视图视频编码（附录H）扩展部分来实现上述可伸缩编码策略。通过定义为被规定为可任意使用的（不用于运动补偿预测）增强层帧，也可以使用 H.264/AVC、MPEG-2或VC-1的基本（附录A）规范等来实现分层策略，这样做是为了时间可伸缩性的目的。

诸如去块的处理或滤波算法包括两个单独的步骤：（a）引导滤波处理的参数的推导；以及（b）使用在前一步骤中推导出的参数来对样本施加处理。通常，用于增强层处的处理的参数可以与基本层中的那些参数高度相关。因此，如果基本层信息（重新）用于对增强层处的操作进行初始化和引导，那么操作效率会受益。

增强层可以包含全分辨率内容或在基本层中不被编码的样本。图30 和图31中示出了在增强层中使用梅花形图案采样的基本层和增强层编码和解码系统的图。相同的图也适用于使用对于单视图传输的空间可伸缩性的情况。这并不受限于立体内容的传输。此外，可以使用可利用的采样和交织策略中的任一个。在相同的图中，申请人示出了环内滤波步骤（360， 390）的应用。应当注意，当EL包括全分辨率样本并且目标是3D立体视频传输时，那么EL帧包括全分辨率视图，例如并排。因此，EL帧比在一种可能布置（CB、并排列等）中被复用的BL帧大。这样的实施例可以使用H.264/MPEG-4AVC的SVC扩展部分（附录G）并修改EL的预测和编码处理来实现。如图30和图31所示，根据本公开内容（例如，梅花形环路滤波器）的方法可以应用于可伸缩视频编码系统的一个或多个增强层的环内滤波器（360，390）。此外，这样的方法也可以应用在基本层至增强层预测器之前（370，400）和/或之后（380，410）。本领域技术人员可以理解，参照图30和图31的本公开内容的教导适用于不限于3D CB 的内容。作为示例，它们也可以适用于任意类型的3D复用，诸如并排内容。另外，可以使用这样的策略来实现空间可伸缩性：BL可以对该分辨率的原始信号的一半进行编码，并且EL可以对另一半进行编码（例如，使用列子采样）。因此，应用还包括传统的2D视频传输。

现在，对分辨率可伸缩立体视频编码的其他实施例进行描述。去块处理可以是基本层和增强层的环内处理。在这样的实施例中，与上述系统不同地，在增强层中针对每个视图保持两个单独的内部参考画面缓冲器（420，430）。每个单独的缓冲器接收来自诸如去块滤波器的环路滤波器（440，450）的输入。然而，通过对所存储的视图进行采样和交织来得到从基本层到增强层的预测信号。这种架构包括若干采样步骤、复用步骤和解复用步骤。具体地，参见用沿着预测信号的路径（480，490）的虚线表示的框“解复用和上采样器”（460）和“环路滤波器”（470）。因此，在某些其他实施例中，这些步骤可以如在上述章节（c）中所讨论的那样被组合在一起。图32中示出了用于这样的系统的编码器，以及图33中示出了用于这样的系统的解码器。

图34和图35中示出其编码器和解码器的另外的系统仍保持两个单独的画面缓冲器并且在全分辨率域内执行预测，随后对预测视图进行采样。可以在增强层处以及在根据基本层的画面对增强层画面进行预测期间应用环路滤波（例如，去块）。具体地，图34（编码侧）和图35（解码侧）的一个或多个增强层中的一个或多个包括两个采样器（500，510）和复用器（520）等部件。在本公开内容的另一实施例中，编码侧或解码侧的增强层不使用采样器。因此，尽管图32/图33的系统对帧进行子采样和复用以创建接着被用于预测采样帧的单个帧，但是在图34/图35的系统中，在不进行复用或子采样的情况下使用全分辨率帧来对全分辨率输入帧进行预测。

在图40和图41中示出其编码器和解码器的本公开内容的另一实施例支持两个单独的增强层，每个增强层均可以使用单个参考画面缓冲器（530，540）并且在全分辨率域内执行预测。因此，每个EL对每个视图的全分辨率版本进行编码。可以在增强层处以及在根据基本层的画面预测增强层画面期间应用环路滤波（例如，去块）。

根据在增强层中正被编码的数据的性质和格式，去块步骤可具有不同的实现。在一个实施例中，增强层对在基本层表示中没有被编码的每个视图的样本进行编码（记住作为基本层的生成的一部分的采样处理会导致对比全分辨率样本少的样本进行编码）。随后，在基本层和增强层中被编码的样本的组合产生全分辨率视图。如前所述，基本层中的去块包括某种插值以为了获得最佳去块性能而恢复丢失样本。也可以以相同方式实现增强层中的去块。然而，可以提供以下实施例：在增强层中不对丢失样本进行插值，而仅仅以来自基本层的样本替换丢失样本，使得在增强层中应用去块之前可以使用所有的全分辨率样本。对于梅花形采样和交织的示例性情况，这在图36中示出。在这种情况下，如果所有样本被替换，则可以使用传统的去块算法，或者如果仅使用最接近于边界的样本值，则可以使用在本公开内容中描述的采样感知（例如，梅花形特定）算法之一。

在另一实施例中，增强层也使用来自基本层的预测对全分辨率左视图和右视图进行编码。在这种情况下，增强层中的去块可以使用为渐进或交织（包括如H.264中所采用的基于宏块的和基于画面的交织编码）图像或视频数据所设计的任何已知的去块算法。

在不同的实施例中，图32或图34的方案可以用于传输交织内容。使用图中的符号，顶场可以被分配给V₀，并且底场被分配给V₁。基本层可以对两个场中的任一个、两个场中的任一个的子采样版本或两个场的组合的子采样版本进行编码。

（d）环外后处理。实现可根据具有全分辨率或具有某一子采样（例如，梅花形）图案的最终信号以及还根据显示器的类型而不同。如果显示器期望输入为采样格式（例如，“CB”），那么有两个主要选项，对例如梅花形样本域直接应用后处理或者将两个视图解复用为其全分辨率，对全分辨率样本应用后处理，然后对将被馈送给显示器的视图采样画面进行重采样。如果显示器以与CB的格式不同的格式（包括但不限于并排格式、逐行格式、或全分辨率视图）接收其输入，则一个选项是在将内容解复用为一种可能的输出格式之前，执行采样画面（例如CB域）中的去块。另一选项是如之前在本公开内容的章节（c）中所讨论的那样执行作为解复用处理的一部分（与其联合）的后处理。在图37中描绘了一般实现。

图38示出了进行联合的处理（例如，“去块”）与上采样（例如，对于每个维度以2为因子）的本公开内容的另一实施例。如图38所示，一组N个输入视频样本经过两种截然不同的操作。在图38的上部分支中，在进行上采样（550）之后，进行超完备去块（560）。在下部分支中，首先进行超完备去块（570），随后进行上采样（580）。然后，将在每个分支中处理的4N个样本组合在一起（590）。传统的超完备去块可以用于进行去块。可以使用任何上采样操作。根据图38的实施例，可以在上采样操作之前或之后，利用超完备操作。然后，在像素（图像）或频域内组合来自每个分支的样本。该组合可以是线性的（例如，某种加权求和），但也可以是非线性：可以基于一些度量或限制或分段选择两种之一。例如，与平坦区域相比，纹理区域会相对于一个更偏向另一个。也可以提供以下实施例：频域处理将许多不同的频率分解域纳入考虑，其中在每个域内执行处理并稍后组合这些域。尽管已参考超完备去块示出了图38的实施例，但是其也可以与其他类型的处理一起使用，一般地，诸如去噪声或滤波。此外，图38的输入视频样本可以是任何类型的视频样本，而不限于合成画面的样本。

可以采用本公开内容的教导以提高诸如去块、去噪声和滤波的处理操作的计算速度。图39示出了示意图，其中，例如，为了加速去块，以例如梅花形图案对全分辨率样本进行采样，然后将合成视频样本（600）解复用为分量表示（610，620）（例如，“左”画面和“右”画面或任何类型的内容，例如奇数索引样本和偶数索引样本），以对每个分量表示执行去块（以及可选地上采样）（630，640）并接着对处理后的每个表示（例如，通过线性或非线性组合）进行复用（650）以得到去块后的全分辨率画面。

总之，根据若干实施例，本公开内容考虑数据增强或处理系统和方法，诸如对已经利用各种方法采样和复用的数据的环内处理（编码/解码处理的部分）或环外处理（预处理阶段或后处理阶段（诸如，去块和去噪声））。这些系统和方法可以应用于现有的编解码器（编码器和解码器），但也可以通过还提供对核心部件的修改来扩展到未来的编码器和解码器。应用可以包括蓝光视频编码器和播放器、机顶盒、软件编码器和播放器，而且还播放和下载更受带宽限制的解决方案。其它应用包括BD视频编码器、播放器以及以适当格式创建的视频光盘、或者甚至包括针对其他应用（诸如，广播、卫星和IPTV系统等）的内容和系统。

本公开内容中所描述的方法及系统可以用硬件、软件、固件或其组合来实现。被描述为块、模块或部件的特征可以一起实现（例如，在诸如集成逻辑器件的逻辑器件中）或单独实现（例如，作为单独连接的逻辑器件）。本公开内容的方法的软件部分可以包括计算机可读介质，上述计算机可读介质包括在被执行时至少部分地执行所述方法的指令。计算机可读介质可以包括例如随机存取存储器（RAM）和/或只读存储器（ROM）。上述指令可以由处理器（例如，数字信号处理器（DSP）、专用集成电路（ASIC）、或现场可编程门阵列（FPGA））来执行。

因此，本发明的实施例可以涉及下述示例实施例中的一个或多个。

因此，本发明可以用本文中所描述的任何形式来实现，包括但不限于以下描述本发明的某些部分的结构、特征和功能的枚举示例实施例（EEE）：

EEE1.一种用于对合成采样图像或视频数据进行处理的方法，所述合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，该方法包括：

将所述合成采样图像或视频数据解复用为多个组成画面；

单独地处理每个组成画面；以及

对单独地处理后的组成画面一起进行采样和复用。

EEE2.根据枚举示例实施例1所述的方法，还包括单独地对每个组成画面进行插值。

EEE3.根据枚举示例实施例1或2所述的方法，其中，处理选自去块、去噪声、去模糊、去鸣振和滤波。

EEE4.根据枚举示例实施例1至3所述的方法，其中，所述多个组成画面为三维（3D）立体图像或视频数据的左组成视图和右组成视图。

EEE5.根据枚举示例实施例1至4所述的方法，其中，对每个组成画面的处理基于对与所述合成采样图像或视频数据和所述多个组成画面中的至少一个有关的参数的分析。

EEE6.根据枚举示例实施例5所述的方法，其中，所述参数包括以下中的一个或多个：立体视差的估计、边缘和频率特征、平均亮度值、诸如运动信息的时间特征、编码模式、帧内预测方向、残差的能量、量化参数、平均色度值以及在增强层中对所述组成画面进行编码的情况下来自基本层的信息。

EEE7.一种用于对合成采样图像或视频数据进行处理的方法，所述合成采样图像或视频数据包括与多个图像或视频分量或类别有关的复用图像或视频数据，该方法包括：

通过将与所述合成采样图像或视频数据的每个元素有关的图像或视频分量或类别纳入考虑，对所述每个元素进行处理，从而区分对与一个图像或视频分量或类别有关的合成数据的处理和对与另一图像或视频分量或类别有关的合成数据的处理。

EEE8.根据枚举示例实施例7所述的方法，其中，当对所述合成图像或视频数据一起进行采样时，提供与所述合成采样图像或视频数据有关的特定图像或视频分量或类别的知识。

EEE9.根据枚举示例实施例8所述的方法，其中，所述知识包括所述合成图像或视频的数据之间的空间关系和/或所述图像或视频分量或类别的数据之间的空间关系。

EEE10.根据枚举示例实施例7至9所述的方法，其中，所述处理包括插值。

EEE11.根据枚举示例实施例10所述的方法，其中，部分地执行、完全执行或不执行所述插值。

EEE12.根据枚举示例实施例11所述的方法，其中，所述处理包括去块，以及其中，关于是否对数据执行插值的决定取决于该数据距块边缘的距离。

EEE13.根据枚举示例实施例10至12所述的方法，其中，插值选自双线性滤波、边缘自适应滤波、可分离滤波，不可分离滤波以及根据过去的和 /或将来的画面的预测。

EEE14.根据枚举示例实施例7至13所述的方法，其中，处理包括去块、去噪声、去模糊、去鸣振或滤波。

EEE15.根据枚举示例实施例7至14所述的方法，其中，区分对与不同分量或类别有关的数据的处理通过向与所述不同分量或类别有关的数据分配不同权值来进行。

EEE16.根据枚举示例实施例7至14所述的方法，其中，区分对与不同分量或类别有关的数据的处理通过与一个分量或类别有关的数据和与另一分量或类别有关的数据之间的相似性度量来进行。

EEE17.根据枚举示例实施例7所述的方法，其中，处理包括：在对与单独的图像或分量有关的块边缘数据进行插值之前，对与所述单独的图像或分量有关的数据进行去块。

EEE18.根据枚举示例实施例17所述的方法，还包括：根据距所述图像或组成画面中的块边缘的距离对去块滤波值进行调整。

EEE19.根据枚举示例实施例7所述的方法，其中，所述处理包括滤波，并且其中，所述滤波通过提供不同的滤波器权值来区分一个视频分量或类别与另一视频分量或类别。

EEE20.根据枚举示例实施例19所述的方法，其中，所述不同的滤波器权值对应于所述一个视频分量或类别的数据与所述另一视频分量或类别的数据之间的不同采样率、图案和/或方位。

EEE21.根据枚举示例实施例19或20所述的方法，其中，所述处理还包括插值。

EEE22.根据枚举示例实施例7所述的方法，其中，沿着矩形网格布置所述合成采样图像或视频数据，并且其中，所述处理沿着非水平且非垂直的方向进行。

EEE23.根据枚举示例实施例22所述的方法，其中，所述方向包括对角线方向。

EEE24.根据枚举示例实施例22或23所述的方法，其中，所述处理根据固定的或用信号通知的参数来继续进行。

EEE25.根据枚举示例实施例22至24所述的方法，其中，所述处理选自去块、去噪声、去模糊、去鸣振和滤波。

EEE26.根据枚举示例实施例22至24所述的方法，其中，在所述处理之前进行预分析，以确定所述图像或视频数据的方位和/或空间特征。

EEE27.根据枚举示例实施例7所述的方法，其中，为了运动补偿预测而对所述合成采样图像或视频数据进行处理，以根据当前块获得预测块，并且其中，通过针对所述当前块中的每个采样数据位置来考虑与所述采样数据位置的样本属于相同类别的运动补偿参考中的样本，获得所述预测块。

EEE28.一种用于对合成采样图像或视频数据进行处理的方法，所述合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，所述方法包括：

将所述合成采样图像或视频数据解复用为多个组成画面，同时对所述采样图像或视频数据进行处理，其中，处理选自去块、去噪声、去模糊、去鸣振和滤波。

EEE29.根据枚举示例实施例28所述的方法，其中，所述解复用和同时处理通过加权插值来进行，其中，将对不同的相邻样本应用不同权值。

EEE30.根据枚举示例实施例29所述的方法，其中，所述处理是去块，并且要用于插值的相邻样本位于块边缘的两侧，以及其中，第一权值包括应用于在所述块边缘的一侧的相邻样本，而第二权值包括应用于所述块边缘的另一侧的相邻样本。

EEE31.根据枚举示例实施例30所述的方法，其中，当所述一侧的相邻的样本比所述另一侧的相邻的样本少时，所述第一权值大于所述第二权值。

EEE32.根据枚举示例实施例29至31所述的方法，其中，所述权值取决于选自以下的参数：相邻块的量化参数、所述块的编码模式和运动参数、以及所述图像或视频的空间特征。

EEE33.根据枚举示例实施例29至32所述的方法，其中，在处理之前计算所述权值。

EEE34.一种用于对合成采样图像或视频数据进行处理的方法，所述合成采样图像或视频数据包括与多个图像或视频类别有关的复用图像或视频数据，所述方法包括：

提供相同类别的现有样本的初始块；

对所述初始块的样本应用变换；

使用所述初始块的变换系数来估计两倍大小的块的变换系数，所述两倍大小的块包含所述初始块的相同的现有样本和所述现有样本的相同类别的丢失样本；

对所估计的、其他两倍大小的块的变换系数进行调整；以及

对所述两倍大小的块的样本应用逆变换。

EEE35.一种用于对图像或视频数据进行处理的方法，包括：

单独地对要交织或复用的图像或视频的图像或视频分量进行预处理；

单独地对预处理后的图像或视频分量进行采样；

对所采样的预处理后的图像或视频分量进行交织或复用，从而形成合成图像或视频；以及

对所述合成图像或视频进行处理。

EEE36.根据枚举示例实施例35所述的方法，其中，对所述合成图像或视频进行处理选自对所述合成图像或视频进行去块、去噪声、去模糊、去鸣振和滤波。

EEE37.根据枚举示例实施例35或36所述的方法，其中，对所述合成图像或视频进行处理基于在预处理期间根据所述图像或视频分量所得到的运动信息。

EEE38.根据枚举示例实施例1至37中任一项所述的方法，其中，所述方法用于在编码之前对所述图像或视频数据进行处理。

EEE39.根据枚举示例实施例1至37中任一项所述的方法，其中，所述方法用于在编码之后对所述图像或视频数据进行处理。

EEE40.根据枚举示例实施例1至37中任一项所述的方法，其中，所述方法用于在对所述图像或视频数据进行编码的同时对所述图像或视频数据进行处理。

EEE41.根据枚举示例实施例1至37中任一项所述的方法，其中，所述方法用于在对所述图像或视频数据进行解码的同时对所述图像或视频数据进行处理。

EEE42.根据权利要求40所述的方法，其中，所述方法用于处理可伸缩视频编码系统的复用图像或视频数据，所述可伸缩视频编码系统包括基本层和一个或多个增强层，所述方法应用于所述一个或多个增强层中在编码器侧的一个或多个增强层的环内滤波器。

EEE43.根据权利要求42所述的方法，其中，所述可伸缩视频编码系统在所述编码器侧包括基本层至增强层预测器，所述方法还在所述基本层至增强层预测器之前和/或之后被应用。

EEE44.根据权利要求41所述的方法，其中，所述方法用于处理可伸缩视频编码系统的复用图像或视频数据，所述可伸缩视频编码系统包括基本层和一个或多个增强层，所述方法应用于所述一个或多个增强层中在解码器侧的一个或多个增强层的环内滤波器。

EEE45.根据权利要求44所述的方法，其中，所述可伸缩视频编码系统在所述解码器侧包括基本层至增强层预测器，所述方法还在所述基本层至增强层预测器之前和/或之后被环外应用。

EEE46.根据权利要求40所述的方法，其中，所述方法用于处理可伸缩视频编码系统的复用图像或视频数据，所述可伸缩视频编码系统包括基本层和一个或多个增强层，其中，所述一个或多个增强层中的至少一个在编码器侧包括多个环内专用参考画面缓冲器，一个环内专用参考画面缓冲器用于所述复用图像或视频数据的每个图像或视频分量。

EEE47.根据权利要求46所述的方法，其中，所述可伸缩视频编码系统在所述编码器侧包括在所述基本层与所述一个或多个增强层中的一个或多个之间的预测信号路径，所述预测信号路径包括在所述基本层的参考画面缓冲器与所述一个或多个增强层的每个专用参考画面缓冲器之间的解复用器和上采样器和/或环路滤波器。

EEE48.根据权利要求47所述的方法，其中，所述预测信号块的解复用器和上采样器以及环路滤波器被组合在一起。

EEE49.根据权利要求41所述的方法，其中，所述方法用于处理可伸缩视频编码系统的复用图像或视频数据，所述可伸缩视频编码系统包括基本层和一个或多个增强层，其中，所述一个或多个增强层中的至少一个在解码器侧包括多个环内专用参考画面缓冲器，每个环内专用参考画面缓冲器用于所述复用图像或视频数据的每个图像或视频分量。

EEE50.根据权利要求49所述的方法，其中，所述可伸缩视频编码系统在所述解码器侧包括在所述基本层与所述一个或多个增强层中的一个或多个之间的预测信号路径，所述预测信号路径包括在所述基本层的参考画面缓冲器与所述一个或多个增强层的每个专用参考画面缓冲器之间的解复用器和上采样器和/或环路滤波器。

EEE51.根据权利要求47所述的方法，其中，所述预测信号块的解复用器和上采样器以及环路滤波器被组合在一起。

EEE52.根据枚举示例实施例46至51中任一项所述的方法，其中，所述视频内容是交织的视频内容。

EEE53.一种用于对可伸缩视频编码系统的合成采样图像或视频数据进行处理的方法，所述可伸缩视频编码系统具有基本层和一个或多个增强层，所述合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，所述方法包括：

将所述一个或多个增强层中的一个或多个的合成采样图像或视频数据解复用为多个增强层组成画面；

用来自所述基本层的样本替换每个增强层成本画面的丢失样本；

在进行替换之后单独地处理每个增强层组成画面；以及

对单独地处理后的组成画面一起进行采样和复用。

EEE54.一种用于对可伸缩视频编码系统的合成采样图像或视频数据进行处理的方法，所述可伸缩视频编码系统具有基本层和一个或多个增强层，所述合成采样图像或视频数据包括与多个图像或视频分量有关的复用图像或视频数据，所述方法包括：

将所述一个或多个增强层中的一个或多个的合成采样图像或视频数据解复用为多个增强层组成画面；

使用来自所述基本层的预测来单独地对每个增强层组成画面进行编码；

单独地处理编码后的每个增强层组成画面；以及

对单独地处理后的组成画面一起进行采样和复用。

EEE55.根据枚举示例实施例54所述的方法，其中，所述处理步骤包括去块步骤。

EEE56.根据权利要求41的方法，其中，所述方法用于处理可伸缩视频编码系统的所述复用图像或视频数据，所述可伸缩视频编码系统包括基本层和一个或多个增强层，所述方法作为所述基本层的在所述解码器侧的后处理滤波器来应用。

EEE57.一种用于对图像的视频样本进行处理的方法，包括：

对所述视频样本执行不同的两组操作，第一组操作包括对所述视频样本进行上采样、随后对上采样后的视频样本进行处理以提供第一输出，而第二组操作包括对所述视频样本进行处理、随后对处理后的视频样本进行上采样以提供第二输出；以及

将所述第一输出与所述第二输出进行组合。

EEE58.根据枚举示例实施例57所述的方法，其中，所述处理为去块、去噪声、去模糊，去鸣振或滤波。

EEE59.根据枚举示例实施例58所述的方法，其中，所述去块包括超完备去块。

EEE60.根据枚举示例实施例58或59所述的方法，其中，通过图像和/ 或频域内的线性和/或非线性组合来执行所述组合。

EEE61.根据枚举示例实施例60所述的方法，其中，频域处理包括考虑不同的频率分解域，其中，在每个所述域内执行处理并且稍后对所述域进行组合。

EEE62.一种用于提高对合成图像或视频布置的样本的处理操作的计算速度的方法，包括：

将所述合成图像或视频布置的样本解复用为构成所述合成图像或视频布置的分量的单独样本；

单独地处理每个分量；以及

对单独地处理后的分量一起进行复用。

EEE63.根据枚举示例实施例62所述的方法，其中，处理选自去块、去噪声、去模糊、去鸣振和滤波。

EEE64.一种用于根据枚举示例实施例1-37、42-43或46-48中的一项或多项所述的方法对视频信号进行编码的编码器。

EEE65.一种用于根据枚举示例实施例1-37、42-43或46-48中的一项或多项所述的方法对视频信号进行编码的设备。

EEE66.一种用于根据枚举示例实施例1-37、42-43或46-48所述的方法对视频信号进行编码的系统。

EEE67.一种用于根据枚举示例实施例1-37、44-45、49-51或56中的一项或多项所述的方法对视频信号进行解码的解码器。

EEE68.一种用于根据枚举示例实施例1-37、44-45、49-51或56中的一项或多项所述的方法对视频信号进行解码的设备。

EEE69.一种用于根据枚举示例实施例1-37、44-45、49-51或56中的一项或多项所述的方法对视频信号进行编码的系统。

EEE70.一种包含指令集的计算机可读介质，所述指令集使得计算机执行根据枚举示例实施例1至62所述的方法。

EEE71.一种根据枚举示例实施例1-37、42-43或46-48中的一项或多项所述的方法的用于对视频信号进行编码的用途。

EEE72.一种根据枚举示例实施例1-37、44-45、49-51或56所述的方法的用于对视频信号进行解码的用途。

本说明书中提及的所有专利和公布可表示本公开内容所属领域内的技术人员的技能水平。本公开内容中所引用的所有参考文献通过引用合并于此，正如每个参考文献单独地通过引用将其全文合并于此一样。应理解，本公开内容不限于特定的方法或系统，其当然可以变化。应理解，这里使用的术语仅用于描述特定实施例的目的，并且不旨在进行限制。如在本说明书和所附权利要求中所使用的，单数形式“一（a）”、“一个（an）”和“所述（the）”包括复数的所指对象，除非内容清楚地相反指出。除非相反限定，否则这里使用的所有技术和科学术语都具有与本公开内容所属领域的普通技术人员通常所理解的含义相同的含义。

提供上述示例以向本领域的普通技术人员给出如何得到并利用本公开内容的、用于经采样复用的图像和视频数据的增强方法的实施例的完整公开内容及描述，并且不旨在限制发明人视为其公开内容的范围。用于实现本公开内容的上述方式的变型可由视频领域的技术人员使用，并且旨在落入所附权利要求的范围内。

已对本公开内容的多个实施例进行了描述。然而，应当理解，在不背离本公开内容的精神和范围的情况下可以进行各种修改。因此，其他实施例在所附权利要求的范围内。

参考文献列表

[1]D.C.Hutchison,"Introducing DLP3-D TV", http://www.dlp.com/downloads/Introducing DLP3D HDTVWhitepaper.pdf

[2]M.D.McCormick,H.W.Neal,and D.C.Hutchison,"Implementation of Stereoscopic and Dualview Images on a Microdisplay High Definition Television,"3DTV-CON'08,Istanbul,Turkey,2008年5月,pp.33-36。

[3]A.Tourapis,W.Husak,A.Leontaris,D.Ruhoff，"Encoder Optimization of Stereoscopic Video Delivery Systems,"2008年7月20日提交的美国临时申请61/082,220.

[4]Advanced video coding for generic audiovisual services, http//www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264,2009年3月。

[5]SMPTE421M,"VC-1Compressed Video Bitstream Format and Decoding Process",2006年4月。

[6]A.Tourapis,A.Leontaris,and P.Pahalawatta,"Encoding and Decoding Architecture of Checkerboard Multiplexed Image Data,"2009年 9月15日提交的PCT专利申请PCT/US2009/056940。

[7]P.Pahalawatta,A.Tourapis,and A.Leontaris,"Reconstruction Of De-Interleaved Views,Using Adaptive Interpolation Based On Disparity Between The Views For Up-Sampling,"2009年12月22日提交的PCT专利申请PCT/US2009/069132。

[8]A.Tourapis,W.Husak,P.Pahalawatta,and A.Leontaris,"Codecs And Devices For Interleaved And/Or Multiplexed Image Data,"2010年1月 28日提交的PCT专利申请PCT/US2010/022445。

[9]A.Tourapis,A.Leontaris,P.Pahalawatta,and K.Stec,"Directed Interpolation And Data Post-processing,"2010年4月20日提交的PCT专利申请PCT/US2010/031762。

[10]O.G.Guleryuz,"A nonlinear loop filter for quantization noise removal in hybrid video compression,"in Proc.Int.Conference on Image Processing,vol.2,pp.333-336,2005年9月。

[11]O.G.Guleryuz,"Iterated Denoising for Image Recovery,"in Proc. Data Compression Conference,Snowbird,UT,2002年4月。