专利名称：用于多层画面编码/解码的设备和方法
技术领域：
示例性实施例总体涉及ー种用于编码/解码画面(包括图像和视频)的设备和方法以在各种网络和装置环境中提供高质量服务，更具体地说，涉及一种用于减小产生在增强层中的残差画面的动态范围的多层(或分层的)画面编码/解码设备和方法。
背景技术：
已经提供多层画面编码/解码以满足按照不同网络带宽、不同装置的编码性能和用户控制确定的服务质量(QoS)。为了这个目的，编码器通过一次编码产生多层画面比特流，并且解码器根据其解码性能来对所述多层画面比特流进行解码。可通过这种多层画面编码/解码并根据应用情形来实现空间的、时间的和信噪比(SNR)层编码，N层编码/解码(其中，N2)也可能被实现。例如，基本层可对具有基本分辨率的画面进行编码，第一增强层可执行附加的编码以获得具有更高分辨率的画面，第二增强层(比第一增强层高)还可执行附加的编码以获得具有更高分辨率的画面。当在增强(或更高)层编码/解码处理中使用较低层画面吋，如果在分辨率方面增强层画面与较低层画面相等，则传统的多层画面编码/解码设备复制较低层画面，如果在分辨率方面增强层画面与较低层画面不同，则传统的多层画面编码/解码设备对较低层画面执行上采样/变换。如果增强层以这种方式使用较低层画面，则当编码效果(诸如量化误差)被完整地反映在较低层画面时，在增强层的图像预测效率可被降低。因此，需要用于减小残差画面的动态范围的方案。
发明内容
技术问题示例性实施例在于提供一种用于减小发生在增强层中的残差画面的动态范围的多层画面编码/解码设备和方法。另ー示例性实施例在于提供一种多层画面编码/解码设备和方法，所述方法和设备包括根据较低层预测标志的设置来对较低层画面执行ー维(1-D)滤波的格式上变换器。解决方案根据示例性实施例，提供ー种用于针对每个层独立地对输入画面进行编码的多层画面编码方法。多层画面编码方法包括:对输入画面执行格式下变换，并通过对格式下变换的输入画面进行编码来产生较低层比特流；取决于较低层预测标志是否被设置，通过自适应地或选择性地将ー维(1-D)预测滤波器应用到较低层的画面来执行格式上变换；计算输入画面和格式上变换的画面之间的残差画面，并通过对计算的残差画面进行编码来产生增强比特流。根据另ー示例性实施例，提供ー种用于针对每个层独立地对输入画面进行编码的多层画面编码设备。所述多层画面编码设备包括:较低层编码器，用于通过对格式下变换的输入画面进行编码来产生较低层比特流；格式上变换器，用于取决于较低层预测标志是否被设置，通过自适应地或选择性地将ー维(1-D)预测滤波器应用到较低层的画面来执行格式上变换；残差确定器，用于计算输入画面和格式上变换画面之间的残差画面；残差编码器，用于通过对计算的残差画面进行编码来产生增强比特流。根据另ー示例性实施例，提供ー种用于对层画面进行解码的多层画面解码方法。所述多层画面解码方法包括:通过对较低层比特流进行解码来输出较低层画面；取决于较低层预测标志是否被设置，通过自适应地或选择性地将ー维(1-D)预测滤波器应用于较低层画面来执行格式上变换；通过将残差画面与格式上变换的画面相加来恢复增强层画面。根据另ー示例性实施例，提供ー种用于对层画面进行解码的多层画面解码设备。所述多层画面解码设备包括:较低层解码器，用于通过对较低层比特流进行解码来输出较低层画面；残差解码器，用于通过对增强层比特流进行解码来输出残差画面；格式上变换器，用于取决于较低层预测标志是否被设置，通过自适应地或选择性地将ー维(1-D)预测滤波器应用到较低层画面来执行格式上变换；画面恢复器，用于通过将残差画面与格式上变换的画面相加来恢复增强层画面。
通过下面结合附图的描述，特定示例性实施例的上述和其他特征和方面将会更加清楚，其中:图1示出根据示例性实施例的多层画面编码设备的结构；图2示出根据示例性实施例的多层画面解码设备的结构；图3示出在图1和图2中的格式上变换所需的画面变换顺序。在整个附图中，相同的附图标号将被理解为用于指示相同的元件、特征和结构。
具体实施例方式现在将參照附图来详细描述示例性实施例。在下面的描述中，诸如编解码器类型(例如，H.264和VC-1)的特定的细节被提供仅用于帮助对示例性实施例的全面理解。因此，本领域的技术人员应该清楚，在不脱离本发明的范围和精神的情况下，可以对这里描述的示例性实施例进行各种改变和修改。此外，为了清楚和简明，可省略对公知功能和结构的描述。为了方便描述，示例性实施例包括一种处理3层画面的多层画面编码/解码方案，其中，所述3层画面包括ー个基本层的画面和两个增强层的画面。这里使用的术语3层编码可指产生三个比特流，这里使用的术语3层解码可指恢复3幅画面。可取决于应用情形来确定层的数量，因此，可存在更多的或更少的层。图1示出根据示例性实施例的多层画面编码设备的结构。在图1的示例中，为了 3层编码，原始输入画面被下变换两次。通过这个处理，从原始输入画面中产生两幅画面。假定两次下变换的画面是基本层画面，一次下变换的画面是层2画面，原始输入画面是层3画面。基本层画面被用于通过被任意标准视频编解码器编码来产生基本层比特流。图1中的编码设备通过对残差画面进行编码来产生层2比特流，其中，所述残差画面来自层2画面和上变换的基本层画面之间的差，其中，所述上变换的基本层画面通过恢复基本层画面井随后经历格式上变换被获得。另外，编码设备通过对残差画面进行编码来产生层3比特流，其中，所述残差画面来自原始输入画面(或层3画面)和上变换的层2画面之间的差，其中，所述上变换的层2画面通过恢复层2画面并将其与上变换的基本层画面合成并且随后经历格式上变换被获得。以这种方式，N层比特流可被产生(其中，N4)。将參照图1详细描述这个处理。编码设备由第一格式下变换器11和第二格式下变换器13连续地对输入画面(或原始画面)进行下变换。通过这个处理，从原始画面产生两幅画面。自输入画面下变换两次的画面(即，从第二格式下变换器13输出的画面)是基本层画面。自输入画面下变换ー次的画面(即，从第一格式下变换器11输出的画面)是层2画面。原始输入画面是层3画面。通过在基本层编码器15中对基本层画面进行编码来产生基本层比特流。所述基本层编码器15可包括任意标准视频编解码器，诸如，VC-1和H.264。残差编码器23通过对残差画面进行编码来产生层2比特流。这里，所述残差画面是层2画面和上变换的基本层画面之间的差，其中，所述上变换的基本层画面通过恢复基本层画面井随后经历格式上变换被获得。基本层恢复器17恢复基本层画面，并且恢复的基本层画面在第一格式上变换器19中经历格式上变换。第一残差确定器21通过计算层2画面和已经经历格式上变换的画面(即，上变换的基本层画面)之间的差来输出残差画面。或者，第一残差确定器21可以是检测层2画面和已经经历格式上变换的上变换的基本层画面之间的差的检测器。这里，第一残差确定器21可被解释为检测器。层2恢复器25恢复从残差编码器23输出的层2画面。在合成器31中，恢复的层2画面与从第一格式上变换器19输出的画面相加。合成器31的输出在第二格式上变换器33中经历格式上变换。第二残差确定器27通过计算层3画面(或输入画面)和已经经历格式上变换的上变换的层2画面之间的差来输出残差画面。残差编码器29通过对从第二残差确定器27输出的残差画面进行编码来产生层3比特流。虽然图1中的编码设备通过示例的方法对包括基本层画面、层2画面和层3画面的多层画面进行编码，但是编码设备可按照相同的方式产生N层比特流(其中，N 4)。将參照图2描述根据示例性实施例的多层画面解码设备。将注意，多层画面解码设备可对各个层的比特流进行解码，其中，所述各个层的比特流不仅由图1中的多层画面编码设备而且还通过使用残差画面被编码。图2示出根据示例性实施例的多层画面解码设备的结构。图2中的多层画面解码设备通过使用任意标准视频编解码器(诸如，VC-1和
H.264)解码基本层比特流来恢复基本层画面。解码设备使用残差编解码器来对层2比特流进行解码，并通过将解码的层2残差画面与上变换的基本层画面相加来恢复层2画面，其中，所述上变换的基本层画面通过对解码的基本层画面执行格式上变换被获得。另外，解码设备使用残差编解码器对层3比特流进行解码，并通过将解码的层3残差画面与上变换的层2画面相加来恢复层3画面，其中，通过对解码的层2画面执行格式上变换来获得所述上变换的层2画面。按照这种方式，解码设备可恢复N层画面(其中，N4)。将參照图2详细描述这个处理。參照图2，基本层解码器54通过对基本层比特流进行解码来恢复基本层画面。基本层解码器54可包括任意标准视频编解码器(诸如，VC-1和H.264)。残差解码器56通过对层2比特流进行解码来输出残差画面。可參照图1中示出的编码处理来理解通过对层2比特流进行解码来输出残差画面。换句话说，參照图1，由残差解码器23产生的层2比特流是通过对由残差确定器21检测的残差画面进行编码获得的层2比特流。因此，残差画面可通过对这个层2比特流进行解码被获得。残差解码器56通过对层2比特流进行解码来输出层2残差画面。层2画面恢复器62通过将层2残差画面与上变换的基本层画面相加来恢复层2画面，其中，通过由第一格式上变换器60对解码的基本层画面执行格式上变换来获得所述上变换的基本层画面。残差解码器58通过对层3比特流进行解码来输出层3残差画面。层3画面恢复器66通过将层3残差画面与上变换的层2画面相加来恢复层3画面。通过由第二格式上变换器64对解码的层2画面执行格式上变换来获得所述上变换的层2画面。按照这种方式，N层画面可被恢复(其中，N4)。图3示出图1和图2中的格式上变换所需的画面变换顺序。在图2的示例中，格式上变换是匹配在不同层中的画面的格式的处理。因为与较低层相比，增强层代表更高质量的画面，所以需要格式上变换的格式变换。对于层间画面变换，比特深度上变换、分辨率上变换、色度上变换和色调映射方法可被使用。两个或更多的变换可同时被执行。所述比特深度上变换基于简单的比特位移、平滑和色调映射中的任何一个被执行。换句话说，取决于影响质量的重要性和较低层画面和增强层画面的特点，画面变换可按照以下顺序被执行:例如，如图3中所示，比特深度上变换310 =>分辨率上变换330 =>色度上变换370 =>附加的色调映射390。如另ー示例，画面变换可按照以下顺序被连续地执行:比特深度上变换310 =>1-D滤波的预测350 =>色度上变换370 =>附加的色调映射390。如另ー示例，画面变换可按照以下顺序被连续地执行:比特深度上变换310 =>色度上变换370 =>附加的色调映射390。如另ー示例，画面变换可按照以下顺序被连续地执行:比特深度上变换310 =>分辨率上变换330 =>附加的色调映射390。虽然未描述，但是图3中示出的画面变换顺序可在其他示例性实施例中被改变。画面变换的组合可取决于应用被确定。如果可能，画面变换的顺序可被确定用来保持画面特点(或质量)，根据画面变换的重要性，画面变换的顺序可一直被保持不变。描述每ー个变换，比特深度上变换310用于变换表示画面的像素的表示単元。例如，基本层(或较低层)的画面需要8比特来表示ー个像素，而增强层(或更高层)的画面需要10或12比特来表示ー个像素。比特深度的增加增加了画面的动态范围,使得表示高质量画面成为可能。对于比特深度上变换310，下面三种方法中的任意ー种可被选择。所述三种方法包括基于简单的比特位移311的变换方法、基于2D空间滤波器被用于的平滑313的变换方法和基于色调映射315的变换方法。所述基于简单的比特位移311的变换方法用于通过简单的位移比特来变换比特深度。当变换比特深度时，所述基于平滑313的变换方法可具有消除噪音的附加效果。所述基于色调映射315的变换方法用于不是线性地而是非线性地变换比特深度，使得恢复在比特深度方面与原始画面接近的画面成为可能。色度上变换370用于扩展代表一幅画面的色度采样。例如，如果较低层画面的色度采样是YCbCr4:2: O，则需要4个Y值、I个Cb值和I个Cr值来表示4个像素。如果增强层画面的色度采样被变换为YCbCr4:2:2，则需要4个Y值、2个Cb值和2个Cr值来表示4个像素。附加的色调映射390是用于不是线性地而是非线性地变换给定的比特深度的方法，这使得恢复在比特深度方面与原始画面接近的画面成为可能。然而，如果在分辨率方面增强层画面与较低层画面相等，则当1-D预测滤波器未被应用到较低层画面并且比特深度上变换是简单的平滑的比特位移吋，附加的色调映射390可被应用。另外，当在分辨率方面增强层画面与较低层画面不同时，或当1-D预测滤波器被应用时，附加的色度映射390可被选择性地应用。具体地，为了减小在增强层发生的残差画面的动态范围，根据示例性实施例的格式上变换器通过将1-D预测滤波器应用到从较低层接收的较低层画面来执行1-D滤波。仅当在如下表I中的序列层的比特流语法中设置较低层预测标志(例如，LOWER_LAYER_PRED_FLAG= = I)时，所述1-D滤波被执行。表I示出序列层的比特流语法的示例，这是用于在多层画面编码/解码设备的格式上变换器中执行画面变换所需的信息，当较低层预测标志被预设吋，显示画面变换处理。表I[表 I]
权利要求
1.一种用于针对每ー层独立地对输入画面进行编码的多层画面编码方法，包括: 对输入画面执行格式下变换，并且通过对格式下变换的输入画面进行编码来产生较低层比特流； 取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将ー维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面； 计算输入画面和格式上变换的画面之间的残差画面，并通过对计算的残差画面进行编码来产生增强比特率。
2.按权利要求1所述的多层画面编码方法，其中，所述格式上变换的执行的步骤包括: 如果较低层预测标志被设置，则确定较低层画面的分辨率是否等于输入画面的分辨率； 如果较低层画面的分辨率等于输入画面的分辨率，则通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换； 如果较低层画面的分辨率与输入画面的分辨率不同，则通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
3.按权利要求2所述的多层画面编码方法，其中，第一格式上变换或第二格式上变换的执行的步骤包括:基于简单的比特位移来执行比特深度上变换。
4.一种用于针对每ー层独立地对输入画面进行编码的多层画面编码设备，包括: 较低层编码器，用于通过对格式下变换的输入画面进行编码来产生较低层比特流； 格式上变换器，用于取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将ー维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面； 残差确定器，被配置为计算输入画面和格式上变换的画面之间的残差画向； 残差编码器，用于通过对计算的残差画面进行编码来产生增强比特流。
5.按权利要求4所述的多层画面编码设备，其中，如果较低层预测标志被设置，则所述格式上变换器确定较低层画面的分辨率是否等于输入画面的分辨率； 其中，如果较低层画面的分辨率等于输入画面的分辨率，则所述格式上变换器通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换； 其中，如果较低层画面的分辨率与输入画面的分辨率不同，则所述格式上变换器通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
6.按权利要求4所述的多层画面编码设备，其中，所述格式上变换器基于简单的比特位移来执行比特深度上变换。
7.一种用于对层画面进行解码的多层画面解码方法，包括: 通过对较低层比特流进行解码来输出较低层画面； 通过对增强层比特流进行解码来输出残差画面； 取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将ー维1-D预测滤波器应用到较低层画 面来执行格式上变换以产生格式上变换的画面； 通过将所述残差画面与所述格式上变换的画面相加来恢复增强层画面。
8.按权利要求7所述的多层画面解码方法，其中，所述格式上变换的执行的步骤包括: 如果较低层预测标志被设置，则确定较低层画面的分辨率是否等于残差画面的分辨率； 如果较低层画面的分辨率等于残差画面的分辨率，则通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换； 如果较低层画面的分辨率与残差画面的分辨率不同，则通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
9.按权利要求7所述的多层画面解码方法，其中，所述第一格式上变换或第二格式上变换的执行的步骤包括:基于简单的比特位移来执行比特深度上变换。
10.一种用于对层画面进行解码的多层画面解码设备，包括: 较低层画面解码器，用于通过对较低层比特流进行解码来输出较低层画面； 残差解码器，用于通过对增强层比特流进行解码来输出残差画面； 格式上变换器，用于取决于较低层预测标志被设置还是未被设置，通过自适应地或选择性地将ー维1-D预测滤波器应用到较低层画面来执行格式上变换以产生格式上变换的画面； 画面恢复器，被配置为通过将残差画面与格式上变换的画面相加来恢复增强层画面。
11.按权利要求10所述的多层画面解码设备，其中，如果较低层预测标志被设置，则所述格式上变换器确定在分辨率方面较低层画面是否等于残差画面； 其中，如果较低层画面的分辨率等于残差画面的分辨率，则所述格式上变换器通过在水平方向上将1-D预测滤波器应用到较低层画面来执行第一格式上变换； 其中，如果较低层画面的分辨率与残差画面的分辨率不同，则所述格式上变换器通过在垂直方向上将默认的滤波器应用到较低层画面并在水平方向上将可选择的滤波器应用到较低层画面来执行第二格式上变换。
12.按权利要求11所述的多层画面解码设备，其中，所述格式上变换器基于简单的比特位移来执行比特深度上变换。
13.一种多层画面解码方法，包括: 对层的比特流进行解码来输出所述层的画面； 对增强层比特流进行解码来输出残差画面； 基于标志被设置还是未被设置，将滤波器应用到所述层的画面来产生上变换的画面； 将所述残差画面与所述上变换的画面相加来产生增强层画面。
14.按权利要求13所述的多层画面解码方法，其中，所述应用滤波器的步骤包括: 如果所述标志被设置，则确定所述层的画面的分辨率是否等于残差画面的分辨率； 如果所述层的画面的分辨率等于所述残差画面的分辨率，则在水平方向上对所述层的画面进行第一滤波； 如果所述层的画面的分辨率与所述残差画面的分辨率不同，则在垂直方向上对所述层的画面进行第二滤波并在水平方向上对所述层的画面进行第三滤波。
全文摘要
提供了一种用于减小在增强层发生的残差画面的动态范围的多层画面编码/解码设备和方法。所述多层画面编码方法包括对输入画面执行格式下变换，并通过对格式下变换的输入画面进行编码来产生较低层比特流；取决于较低层预测标志是否被设置，通过自适应地或选择性地将一维(1-D)预测滤波器应用到较低层的画面来执行格式上变换；计算输入画面和格式上变换的画面之间的残差画面，并通过对计算的残差画面进行编码来产生增强比特流。
文档编号H04N7/26GK103098471SQ201180044191
公开日2013年5月8日 申请日期2011年9月14日 优先权日2010年9月14日
发明者金大熙, 朴慜祐, 赵大星, 崔雄一 申请人:三星电子株式会社