具有精度可缩放性的编码方案的制作方法

专利名称：具有精度可缩放性的编码方案的制作方法
技术领域：
本发明涉及支持质量、精度或SNR可缩放性的图像或视频编码。
背景技术：
ISO/IEC运动图像专家组(MPEG)的联合视频组(JVT)和ITU-T 视频编码专家组(VCEG)的当前计划是开发在ITU-T Rec.&ISO/IEC 14496-10 AVC， "Advanced Video Coding for Generic Audiovisual Services", version 3, 2005中定义的现有技术视频编码标准 H.264緣EG4-AVC的可縮放扩展。如J. Reichel， H. Schwarz和M. Wien, eds.， "Scalable Video Coding — Joint Draft 4", Joint Video Team, Doc. JVT-Q201, Nice, France, October 2005以及 J. Reichel, H. Schwarz禾口 M. Wien， eds.， "Joint Scalable Video Model JSVM-4，" Joint Video Team, Doc. JVT-Q202, Nice, France, October 2005中所述，当前 工作草案支持对视频序列的时间、空间和SNR可縮放编码及其组合。
如ITU-T Rec.&ISO/IEC 14496-10 AVC， "Advanced Video Coding for Generic Audiovisual Services", version 3， 2005 中所述， H.264/MPEG4-AVC规定了混合视频编解码器，其中通过运动补偿预 测或帧内预测来产生宏块预测信号，并且在两种预测之后进行残差编 码。不具有可縮放性扩展的H.264/MPEG4-AVC编码称作单层 H.264/MPEG4-AVC编码。速率失真性能可与单层H.264/MPEG4-AVC 相比的意思是典型地在10%的比特率上达到相同的视觉再现质量。在 上述情况下，可縮放性视为如下功能在去除比特流的一部分的同时， 达到在任何所支持的空间、时间或SNR分辨率上的、与该特定分辨率 上的单层H.264/MPEG4-AVC编码可相比的R-D性能。
可以将可縮放视频编码(SVC)的基本设计归类为分层的视频编 解码器。在每一层，如在H.264/MPEG4-AVC中一样采用运动补偿预 测和帧内预测的基本构思。但是，已集成了附加的层间预测机制，以 利用多个空间或SNR层之间的冗余。SNR可縮放性基本上是通过残 差量化来实现的，而对于空间可缩放性，采用运动补偿预测和过采样 金字塔分解的组合。保持H.264/MPEG4-AVC的时间可縮放性方法。
一般而言，编码器结构取决于应用所需的可缩放性空间。作为示 例，图5示出了具有两个空间层卯2a和卯2b的典型编码器结构900。 在每一层中，釆用具有层特定运动参数906a， b的独立分级运动补偿 预测结构904a， b。通过包括针对运动参数906a， b和纹理数据910a， b的预测机制的层间预测概念908，利用连续层902a， b之间的冗余。 通过与H.264/MPEG4-AVC类似地对916a， b进行变换编码，获得每 一层902a， b的输入图像914a， b的基本(base)表征912a， b，相应 的NAL单元(NAL-网络抽象层)包含运动信息和纹理数据；最低层 (即，912a)的基本表征的NAL单元与单层H.264/MPEG4-AVC兼容。 通过所谓的渐进细化分片(progressive refinement slice)的附加编码 918a， b，可以提高基本表征的重建质量；可以任意地截短相应的NAL 单元，以支持细颗粒质量可縮放性(FGS)或灵活比特率适应。
复用器920将分别通过各个层902a， b的基层编码916a， b和渐 进SNR细化纹理编码918a， b输出的结果比特流复用，以产生可縮放 比特流922。该比特流922在时间、空间和SNR质量上均可縮放。
综上所述，根据视频编码标准H.264/MPEG4-AVC的上述可縮放 扩展，通过使用分级预测结构，提供了时间可縮放性。对于该分级预 测结果，可以毫无改变地使用单层H.264/MPEG4-AVC标准之一。对 于空间和SNR可縮放性，必须向单层H.264/MPEG4-AVC添加附加工 具。可以组合三种可縮放性类型，以产生支持较大程度的组合的縮放 性的比特流。
对于SNR可縮放性，要区分粗颗粒可縮放性(CGS)和细颗粒可 縮放性(FGS)。对于CGS，只支持所选的SNR可缩放性层，并针对 从一层到下一层的因子1.5-2的粗速率分度(gmduatkm)，优化编码效
率。FGS能够进行在任意点且最终在字节对准点处的NAL单元截短。 NAL单元表示比特分组数据(bit packet),比特分组数据是串行地对 准的，以表示由复用器920输出的可縮放比特流922。
为了支持细颗粒SNR可縮放性，引入了所谓的渐进细化(PR) 分片。渐进细化分片包含对分别从基层比特流912a， b中可获得的该 分片的重建质量进行细化的细化信息。更精确地，用于PR分片的每 个NAL单元表示与量化步长(QP增加为6)的二等分相对应的细化 信号。以下述方式表示这些信号在解码器侧，对每个变换块只必须 执行单次逆变换。换言之，由PRNAL单元表示的细化信号对由视频 的当前图像分离而得到的变换块的变换系数进行细化。在解码器侧， 该细化信号可以用于在执行逆变换之前对基层比特流内的变换系数进 行细化，以重建对通过运动补偿等空间和/或时间预测来重建实际图像 所用的预测残差纹理。
可以在任意点截短渐进细化NAL单元，从而可以采用细颗粒方 式来提高SNR基层的质量。因此，修改了变换系数等级的编码顺序。 不是如在(正常)分片中一样逐宏块地扫描变换系数，而是以分离路 径对变换系数块进行扫描，在每条路径中，只对变换系数块的少量编 码符号进行编码。除修改的编码顺序之外，仍然再使用 H.264/MPEG4-AVC中规定的CAB AC熵编码。
M. Winken， H. Schwarz, D. Marpe禾口 T. Wiegand, "Adaptive motion refinement for FGS slices," Joint Video Team, Doc. JVT-Q031, Nice, France, October 2005中描述了对图5所示编码器结构的改善。具体地， 如该文所述，向图5的编码结构添加了具有运动/预测信息自适应细化 的视频序列细颗粒SNR可縮放编码的概念。SNR可缩放视频编码的 自适应运动信息细化的方法使图5的视频编码器能够选择从速率失真 (RD)意义上来说更好的、用于残差和运动数据编码的比特流之间的 权衡。具体地，如图5中虚线924a和924b所示，对于与支持运动补 偿预测的基层分片(所谓P-和B-分片)相对应的渐进细化分片中的每 个宏块，细化编码块918a和918b附加地判定要使用以下两种可能编 码模式中的哪一种。具体地，根据第一模式，编码块918a， b使用相同的运动信息作为SNR基层，因此只传输残差数据的细化。该模式等 于前述图5编码结构的功能。但是，在另一可选编码模式中，编码块 918a， b在细化分片信息内将新的运动信息与新的残差一起传输。新 的运动和残差数据均可从SNR从属层中预测，以达到更好的RD性能。 该可能运动模式与视频编码标准H.264/MPEG4-AVC所支持的相同， 这意味着通过将宏块再分为用于运动补偿预测的更小块，可以发信号 传输用于P-分片的多达16个运动矢量以及用于B-分片的多达32个运 动矢量。
使用Lagrangian方法，在相对于由块918a， b执行的运动信息的 两种编码模式之间做出判定，其中对于给定的X，将Lagrangian成本 函数j = d + XR最小化。这里，D代表原始和重建(解码的)信号之 间的失真，R代表宏块编码所需的比特率。如果只细化残差数据的成 本比可能运动细化模式之一的成本高，则从速率失真的意义来说，显 然传输该宏块的新的运动信息集更好。由此，通过使用自适应运动信 息细化，可以在相同的比特率上达到更高的图像质量。
对于逐行扫描的源材料(source material),即，无论是否由顶场 和底场组成而在其中可以逐图像或逐帧地有效处理图像的视频，上述 视频编码标准H.264/MPEG4-AVC的可縮放扩展工作良好。但是，希
望对于隔行扫描的源材料(即，在视频中，每一帧由两个隔行扫描的
场组成，像帧一样或利用宏块逐对判定来单独处理这些场(场编码)，
宏块逐对判定是关于是否根据帧内顶或底场的隶属关系或宏块对区域 的上半或下半的隶属关系来将各个宏块部分分为两个宏块)也具有精
度可縮放性和更好的RD性能的编码结构。

发明内容
因此，本申请的目的是提供一种编码方案，该编码方案提供精确 可縮放性，以允许提高特别是隔行扫描视频材料中的编码效率。
该目的由根据权利要求1的解码器、根据权利要求13的编码器、 根据权利要求22或23的方法和精度可縮放比特率的权利要求21来实 现。
本发明的基本思想是通过使编码器有机会改变对第一精度编码数 据和第二精度编码数据之间的各个图像部分的逐场/帧处理，来提高编 码效率，其中第二精度比第一精度高。
根据本发明优选实施例，通过在独立于对应基本质量分片的帧/ 场判定的渐进细化分片中形成并编码帧/场判定，实现隔行扫描帧的细 颗粒SNR可缩放编码概念。与之相比，上述不支持运动信息细化的 H.264/MPEG4-AVC标准的可縮放扩展只对变换系数的细化编码。运 动和预测信息是从相应的基层分片复制的。此外，支持SNR和空间可 縮放性的工具只是针对逐行扫描源材料而设计的，而未结合用于提高 隔行扫描源材料的编码效率的特殊工具。根据前述包括运动信息细化 的可縮放扩展，FGS编码方案允许运动和预测信息的自适应细化，以 提高尤其针对较大比特率间隔的细颗粒SNR可縮放编码的编码效率。 但是，后一FGS编码方案也只是针对逐行扫描源材料而设计的。
下述FGS编码方案实施例扩展了上述运动信息细化可缩放扩展， 以使其也支持对协同定位宏块对的帧/场判定和基本质量分片的修改， 从而能够实现具有改善的R/D比的精度可縮放数据流。


以下，参照附图描述本申请的优选实施例，附图中
图1是根据本发明实施例的视频编码器的框图； 图2示意性地示出了在宏块自适应帧/场判定已激活的编码帧的 分片情况下将图像再分为宏块对以及渐进细化分片的宏块扫描；
图3a是示出了图1编码器关于创建基层数据流的操作模式的示意
框图3b是示出了图l编码器关于创建第一增强层的操作模式的示意 框图； 图4是示出了根据本发明实施例在解码器侧执行的步骤的流程 图；以及
图5是用于可縮放视频编码的常规编码器结构。
具体实施例方式
以下，利用结构类似于图5常规编码器结构的实施例，对本发明 进行描述。但是，为了更加清楚地指示根据本发明的改善之处，首先 描述代表本发明实施例的图1视频编码器根据本说明书引言部分中参 照图5己示出的H.264/MPEG4-AVC标准的可縮放扩展而进行操作。 之后，通过强调根据图5视频结构的操作模式的差别，说明图l编码 器的实际操作。从该论述中可看出，差别在于细化编码装置。
如上述联合草案中定义的一样进行操作的图1视频编码器支持两
个空间层。为此，图1中由ioo总体指示的编码器包括两个层部分或
层102a和102b，其中，层102b专用于产生与较粗空间分辨率有关的 所需可縮放比特流部分，而另一层102a专用于使用与输入视频信号 104的较高分辨率表征有关的信息来补充层102b的比特流输出。因此， 要由编码器100编码的视频信号104直接输入层102a，而编码器100 包括空间抽取器106，用于先对视频信号104进行空间抽取，然后将 得到的空间抽取视频信号108输入层102b。
例如，在空间抽取器106中执行的抽取包括通过丢弃列和行方向 上的每个第二像素，以因子4对原始视频信号104的每幅图像104a 的像素数目进行抽取。
低分辨率层102b包括运动补偿预测块110b、基层编码块112b和 细化编码块1Mb。预测块110b对抽取后的视频信号108的图像108a 执行运动补偿预测，以根据抽取后视频信号108的其他参考图像108a， 预测抽取后视频信号108的图像108a。例如，对于特定图像108a，预 测块110b产生运动信息，该运动信息指示怎样可以根据视频信号108 的其他图像(即，根据参考图像)，预测该图像。为此，运动信息可以 具体包括由运动矢量和相关参考图像索引组成的对，例如，每一对指 示如何通过用相应运动矢量替代相应参考图像来从索引参考图像预测 当前图像的特定部分或宏块。可以向每个宏块分配一对或多对运动矢 量和参考图像索引。此外，可以对图像的一些宏块进行帧内预测，艮P，
使用当前图像的信息进行预测。具体地，预测块iio可以对抽取后视
频信号108执行分级运动补偿预测。
预测块110b输出运动信息116b和表示预测图像与实际抽取后图 像108a之间的差别的视频纹理信息118b的预测残差。具体地，执行 预测块llb、运动信息116b和纹理信息118b的确定，以使利用后续 基层编码llb的该信息的结果编码产生优选地具有最优速率失真性能 的基本表征比特流。
如上所述，基层编码块112b接收来自块116的第一运动信息116b 和纹理信息U8b，并将该信息编码为基本表征比特流120b。由块112b 执行的编码包括对纹理信息118b的变换和量化。具体地，块112b使 用的量化相对较粗。因此，为了能够提高比特流120b的质量或精度縮 放，细化编码块114b支持具有多种细化层的附加比特流的比特流 120b，附加比特流包含对比特流120b中表示纹理信息的粗量化变换系 数进行细化的信息。如稍后更加详细地描述，例如，与预测块110b 协同操作的细化编码块114b也能够判定特定细化层比特流122b应该 伴随有细化运动信息116b，即在上述可縮放扩展中已述的功能。但是， 根据本发明实施例，该功能与对帧/场判定进行新编码的功能有关，因 此，以下将共同地描述这些功能。例如，相对于在前输出的低细化层 比特流122b的基本表征120b的残差纹理信息的细化包括对变换系数 的当前量化误差的编码，从而表示具有更细量化预测的纹理信息 118b。
由编码器100包括的复用器124对比特流120b和122b进行复用， 以将这两个比特流插入到表示编码器100的输出的最终可縮放比特流 126中。
层102a的操作基本上与层102b相同。相应地，层102a包括运动 补偿预测块110a、基层编码块112a和细化编码块114a。与层102b — 致，预测块110a接收视频信号104，并对其执行运动补偿预测，以获 得运动信息116a和纹理信息118a。编码块112a接收输出的运动和纹理信息116a和118a，并对该信息进行编码，以获得基本表征比特流 120a。细化编码块114a通过对比特流120a的变换系数和从原始纹理 信息118a中得到的实际变换系数进行比较，对在基本表征120上表明 自身的量化误差的细化进行编码，从而输出多种细化层的细化层比特 流122a。
层102a和102b之间的唯一差别在于层102a是层间预测的。艮卩， 预测块110a使用从层102b可导出的、诸如从一个和多个比特流120 和122b中导出的残差纹理信息、运动信息和重建视频信息等信息，以 预预测(pre-predict)视频信号104的高分辨率图像104a，之后如以 上相对于抽取后视频信号108的预测块110b所述的一样，对预预测的 残差执行运动补偿预测。可选地，预测块110a使用从层102b中可导 出的信息，预测预定补偿残差118a。在这种情况下，对于帧内块，可 以利用重建的基层图像预测图像内容104a。对于帧间块104a，可以根 据相应的重建基层运动矢量，预测从110a输出的运动矢量116a。此 外，在已确定层102a的运动补偿残差118a之后，可以从相应图像的 重建基层残差中预测运动矢量116a，然后，进一步在块112a和114a 中处理该图像的残差。
至此，对图1编码器的操作模式的描述集中在细化编码装置114a， b对残差信息的处理上。具体地，在细化编码装置114a， b中对由块 110a， b输出并在编码装置112a， b中以基层精度编码的残差信息或 纹理信息进行细化。但是，细化编码装置114a， b也能够进行一层到 下一层的运动信息细化或改变、以及由块118a， b做出的帧/场判定中 的改变。
如上所述，图1编码器的功能十分适合逐行扫描视频源材料的情 况或基层编码装置112a， b使用等于1的frame—MBS—only—flag从而 忽略帧到场的分解的情况，其中frame—MBS—only—flag等于1的意思 是图像序列表示视频只包括已编码的帧。但是，根据上述功能，图1 编码器提供的SNR和空间可缩放性对于隔行扫描源材料不很理想。因 此，根据本发明实施例进行操作的图1编码器不仅能够细化纹理信息， 还能够细化运动信息以及主要是帧/场判定，从而形成对隔行扫描源的
一种扩展。
但是，在描述图1编码器的不同行为之前，参考已结合有多种隔
行扫描工具的H.264/MPEG4-AVC标准。在第一工具中，可以将帧编 码为编码帧或两个编码场。这称作图像自适应帧场编码。换言之，帧 或视频可以视为包含两个交织的场，顶和底场。顶场包含偶数行0， 2， ...， H/2-l， H是该帧的行数，底场包含开始于该帧第二行的奇数 行。如果在不同时刻捕获帧的两个场，则该帧可以称作隔行扫描帧， 否则称作逐行扫描帧。H.264/MPEG4-AVC中的编码表征相对于该视 频特性(即，原始捕获图像的底层隔行扫描或逐行扫描时序)基本上 是不可知的。而是，其编码指定主要基于几何概念的表征，而不是基 于时序的。上述图像自适应帧场编码的概念也扩展至宏块自适应帧场 编码。当帧编码为单个帧，并且在序列参数集中传输的标志 mb_adaptive—frame—field—flag等于1时，如图2所示，修改分片内部 对宏块的扫描。图2示出了图像200的示例部分。将该图像再分为宏 块202。此外，在激活宏块自适应帧/场编码的情况下，将每一对垂直 相邻的宏块202分组为宏块对204。如从以下论述中清楚可见的，图 像200到宏块202的再分用于提供量的统一，其中，编码器可以判定 必须适应各个图像区域中的视频内容的编码参数，以得到较高编码效 率。同时，宏块对204在空间上将图像200再分为宏块对204的矩形 阵列。 一个宏块对204的两个宏块202a和202b在空间上占据垂直分 辨率为图像200的垂直分辨率的一半的、图像200的整个宏块对部分， 或者在空间上将宏块对204的区域分为上半部分和下半部分。在上述 任一情况下，均将包含第一、第三...行或占据上半部分的宏块称作顶 宏块202a，而将另一部分称作底宏块。换言之，两个这种垂直相邻宏 块称作宏块对，该宏块对也可以如图2所示排列成矩形阵列。对于每 个宏块对，传输或推断语法元素mb—field—decoding—flag 。当 mb—fkld_decoding—flag等于0时，将宏块对编码为帧宏块对，在几何 意义上，顶宏块表示宏块对的上半部分，底宏块表示宏块对的下半部 分。对mb—adaptive_frame_fidd—coding等于0的帧宏块应用针对顶和 底宏块的运动补偿预测和变换编码，其中mb—adaptive—
fmme_field—coding等于0指示使宏块自适应帧场编码无效，并且只存 在帧宏块。当mb—field—decoding—flag等于1时，宏块对表示场宏块对， 顶宏块表示宏块对的顶场行，底宏块表示宏块对的底场行。因此，在 这种情况下，顶和底宏块基本上覆盖图像的相同区域，即宏块对区域。 但是，在这些宏块中，垂直分辨率是水平分辨率的两倍。在后一场宏 块对的情况下，以场为基础执行运动补偿预测和变换编码。在分片中 执行基层和细化层内的图像内容的编码，即宏块组或宏块对组。 一幅 图像或一帧可以包括一个或多个分片。在图2中，假设宏块对属于相 同分片，图2箭头指示各层中对宏块编码的顺序。可见，宏块是逐对 扫描的，首先是顶宏块，随后是相应底宏块，之后访问下一宏块对。
编码场的宏块或mb—field—decoding—flag的宏块等于1个编码帧称 作场宏块。因为场宏块的每个变换块表示垂直分辨率等于水平分辨率 的两倍的图像区域，所以非零变换系数等级的分布很可能朝着水平低 频移动，并且对于速率失真优化编码，相对于帧宏块的场宏块，修改 变换块内的变换系数的扫描。
图1编码器的以下描述集中在运动信息细化和针对各个宏块对而 执行的帧/场判定的更新。但是，在描述该数据的细化更新之前，参照 图3a，图3a示意性地示出了由块110a， b和112a， b执行的步骤以获 得基层比特流912a， b。同样，作为起始点，图3a示出了要编码的图 像200，图像200再分为宏块202，宏块202分组为宏块对204，从而 宏块对204在空间上将图像200再分为矩形阵列。在对图像200的编 码中，块110a， b针对每个宏块对204，判定该宏块对的宏块应该是 编码场的宏块还是编码帧的宏块。换言之，块904a， b针对每个宏块 对，判定该宏块对应该是以场模式还是以帧模式来编码，图3a中在 206处指示了该判定。通过用圆圈208圈住宏块对204之一，示例性 地突出该宏块对，以指示判定206是逐宏块对地执行的。在210a和b 处指示了判定206的结果。可见，在帧编码宏块202a和202b构成宏 块对204的情况下，帧编码宏块202a和202b在空间上将由宏块对204 占据的图像区域再分为上半部分和下半部分。因此，两个宏块对202a 和202b包括在图像的奇数和偶数行中包含的图像信息，奇数行由白色
矩形指示，偶数行由阴影指示。相反，在场模式的情况下，顶宏块202a 只包括奇数行中包含的宏块对区域内的图像信息，即顶场，而低宏块 包含偶数行中包含的宏块对区域内的图像信息。通过比较210a和 210b，这是很清楚的。在场模式的情况下，垂直方向的图像分辨率以 因子2降低。由块104a， b做出的帧/场模式判定206在基层比特流 120a， b中有所反映，以便在解码器侧，可以从可缩放比特流126中， 特别是从可縮放比特流126的基层数据流中提取判定206，如图3a中 从判定206指向基层数据流216中包含的块214的箭头212所示。只 是作为预防措施，要注意不一定需要将帧/场模式判定设置或编码到基 层数据流216内的连续块中。相对于各个宏块对204的判定以可解析 的方式分布在整个基层数据流216上。详细内容参见 H.264/MPEG4-AVC标准。
但是，帧/场模式判定206不是由块110a， b做出的唯一判定。而 是如218所示，块110a， b也确定每个宏块的运动参数。例如，这些
运动参数定义在什么空间分辨率上针对相应宏块确定运动矢量。如图 3a中220a处所示，例如，顶宏块202a已再分为四个分区222，其中 针对每个分区222，定义运动矢量224。与之相比，将底宏块202b保 留为一个分区，从而针对该宏块只确定了一个运动矢量224。当然， 从速率/失真优化的意义来说，关于运动参数的判定218并不独立于帧 /场判定206。这由220b指示，指示出在场编码宏块情况下宏块202a 和202b的示例分区划分，而前述220a的情况反映了帧编码宏块的情 况。虽然示例性示出的分区划分相同，但是很明显，依据帧/场判定 206，分区划分可以不同。另一运动参数可以定义用于运动补偿预测各 个宏块的参考图像的数目。该判定可以是基于分区、宏块、图像或分 片而做出的。但是，为了简化图3a，对于每个分区222，只示出了一 个运动矢量。除此之外，运动参数218当然还可以定义运动矢量本身， 例如其方向和长度。运动矢量定义重建参考图像的位移，在将重建参 考图像的图像内容作为宏块202a， b中包含的图像信息的预测之前， 必须执行该位移。在确定226残差或预测误差时，考虑到场编码宏块 和帧编码宏块，从按照运动矢量224所定义的一样进行位移之后的重
建参考图像中提取的图像内容当然不同。在帧编码宏块的情况下，从 位移和重建的参考图像中提取使用的图像信息表示连续空间子区域。 而在场编码宏块的情况下，从位移和重建的参考图像中提取使用的图
像信息涉及高两倍的区域。因此，对于帧编码宏块，在228处指示对 于特定分区222获得的残差，而对于场编码宏块，在222b处指示对于 特定分区222获得的残差。该分区228a， b中包含的残差采样并不是 直接编码为基层比特流的。而是，在残差采样上执行诸如DCT或一些 其他谱分解的变换，以获得用于表示228a， b中包含的残差信息的变 换系数矩阵。可以在整个分区或宏块202a， b上执行变换230。但是， 也可以在宏块202a， b的子部分或分区228a， b上执行变换230，如 分区228a中由虚线232所指示的。相应地，可以从一个宏块或分区中 获得一个或多个变换系数矩阵234。
基层编码装置112a， b将运动参数218和矩阵234中的变换系数 (如上所述，后者是相对粗的量化形式)结合为如箭头236和238所 示的基层数据流216或120a， b，从而获得基层数据流120a， b中的 运动信息240和残差信息242。
可以采用Lagrangian方法来确定帧/场判定和运动参数218，以优 化速率/失真比。虽然对于与基层数据流相关的质量，判定206和218 可能在速率/失真意义上是最优的，但是当考虑更高质量时，不同的判 定206和218也可以是最优的。这一考虑产生了根据本申请实施例的 图l编码器的操作模式，根据本申请，编码器不一定必须保持帧/场模 式判定206。而是，编码器和解码器能够改变相对于细化层中各个宏 块对的帧/场模式判定。根据图1实施例，帧/场模式判定的改变总是 伴随有运动参数和残差变换系数的更新。但是，如后将述，也不一定 必须是这样的。
图3b示意性示出了根据本发明实施例的细化编码装置114a， b 的操作模式。图3b集中在一个示例宏块对204的细化上，该宏块对 204示例性地包括两个帧编码宏块202a和202b，顶宏块202a划分为 四个分区222，而底宏块202b只包括一个分区。由此针对该代表性宏 块对204而定义的场/帧模式判定和运动参数与图3a中220a处所示的
宏块相对应。如己相对于图3a所述的，通过在变换系数矩阵234中排 列的变换系数，传输关于宏块对204的残差信息。变换系数矩阵234 中的变换系数与水平方向244和垂直方向246上的不同频率相对应。 在图3b中，例如，左上变换系数与DC分量相对应，该变换系数由 248a指示。
现在，考虑宏块对204的细化或质量或精度增强，细化编码装置 114a， b做出260以下判定是保持还是改变相对于基层由块110a， b 做出的相关判定的帧/场模式判定。
首先，考虑保持帧/场模式判定的情况。在这种情况下，依然将宏 块对204作为细化层中的帧编码而进行处理。但是，细化编码装置 114a， b考虑在速率-失真意义上，更好的是保持运动信息(即，采用 来自从属层(即基层)的运动信息，只细化残差信息)还是与基层相 比改变运动信息和残差信息。该判定由图3b中252指示。如果细化编 码装置114a， b判定对于特定宏块对204要保持帧/场模式判定和运动 信息，则细化编码装置114a， b将判定250和252的结果结合到第一 增强层数据流122a， b中。判定250的结果是以模式改变指示符256 的形式结合到数据流122a， b中的，如虚线258所示。相应地，判定 252的结果是作为运动精度增强开/关指示符260结合到数据流122a， b中的，如虚线262所示。此外，细化编码装置114a， b将残差精度 增强信息266结合到数据流122a， b中，该结合由虚线箭头263指示。 在本优选实施例中，在263处结合的残差精度增强信息266将表示残 差变换系数等级，该残差变换系数等级表示在减小的量化步长(例如， 相对于从属层，除以2)上，如当前所定义的一样，由从属层(即， 从属细化层或基层)表示各个变换系数等级的残差。但是，如下所示， 可以使用数据流122a， b内的另一标志/指示符来指示对于特定宏块， 要在解码器侧将残差精度增强信息266作为新的变换系数等级而进行 解译，该新的变换系数等级表示与可导出到从属层的当前变换系数等 级无关的变换系数等级。
细化编码装置114a， b可以判定不保持特定宏块的运动信息，而 相对于基层细化该运动信息。在这种情况下，细化编码装置114a， b
通过第一增强层数据流122a， b中的相应指示符260来指示该可选判 定252的结果。此外，细化编码装置114a， b将运动精度增强信息264 和残差精度增强信息266结合到数据流122a， b中，如虚线箭头268 和270所示。运动精度增强信息264和/或残差精度增强信息266可以 表示完全新的运动信息/残差信息或用于分别细化从属层(即，图3b 所示情况下的基层)的运动信息和残差信息的细化信息。完全新的增 强信息264或266将指示-如以上相对于残差数据已指示的-完全取代 从属增强层(即基层)的相应增强信息的增强信息。与之相反，增强 信息264和266用于细化从属层的运动/残差信息和当前细化层(在图 3b的情况下，即第一增强层)的运动/残差信息，当前细化层的运动/ 残差信息可通过仅组合当前增强信息264， 266以及从属层的运动/残 差信息而导出，例如通过将两个连续细化等级的相应变换系数等级或 运动矢量分量等级相加。
为了说明改变第一增强层中运动信息的效果，图3b中在272处指 示了保持帧/场模式判定而改变运动信息的效果。如图所示，第一增强 层中与宏块对204相关的运动信息与基层中与宏块对204相关的运动 信息的不同之处在于，使用两幅参考图像来预测宏块对内的图像内容。 因此，每个分区222与两个运动矢量224a和224b相关联。此外，第 一增强层的运动信息对底宏块202b的分区划分的改变在于，将底宏块 202b划分为四个分区，而不是如基层中的情况一样只形成一个分区。 第一细化层的运动信息(即参考图像编号)、运动矢量224a和224b 以及宏块202a和202b的分区划分可以完全新地编码在第一增强层数 据流122a， b中，或采用基层的运动信息作为预测器来对其进行编码。 例如，如果运动矢量224a与相同参考图像相对应，则可以只将运动矢 量224a相对于基层的运动矢量224的偏移编码到运动精度增强信息 264中。假设暂时的线性运动，运动矢量224也可以用作对涉及不同 参考图像的新运动矢量224b进行预测的基础。除此之外，底宏块202b 的单个分区的单个运动矢量224可以用作第一增强层中底宏块202b 的每个分区的运动矢量的预测器。
类似地，在第一增强层数据流122a， b中传输的变换系数矩阵234
的变换系数的变换系数等级可以只表示以更细的量化补偿量化的相对 于基层的变换系数等级的残差或偏移，或者表示不使用基层的变换系
数作为预测器而完全新的变换系数矩阵234的变换系数。
至此，描述了细化编码装置114a， b判定保持关于宏块对204的 帧/场模式判定的情况。但是，如果判定250的结果是改变第一增强层 中的帧/场模式，则由相应的模式改变指示符256指示这一结果，并将 新的运动信息连同新的残差信息以运动精度增强信息264和残差精度 增强信息266的形式插入到第一增强层数据流122a， b总，如虚线箭 头274和276所示。具体地，根据图3b的示例，从基层到第一增强层 改变宏块对204的运动信息，以定义顶宏块202a的分区222的新运动 矢量224，并将底宏块202b划分为4个分区，每个分区222 —个运动 矢量224。如278所示，例如，宏块202a和202b现在是以只包括奇 数行的顶宏块202a而场编码的。采用被编码的等级的各个变换系数矩 阵234中的变换系数的变换系数等级对残差信息编码，而未使用基层 矩阵234的变换系数等级作为预测。
但是，虽然根据本实施例，在不保持帧/场模式判定的情况下，对 运动和残差信息进行完全新的编码，但是可选地，可以使用针对不同 帧/场模式而定义的基层运动信息和残差信息作为预测器。例如，考虑 变换系数。基层中的残差采样的垂直分辨率是第一增强层的残差采样 的垂直分辨率的两倍。因此，基层的矩阵234包括变换系数的垂直方 向246上的最高频率分量是第一增强层包括变换系数的垂直方向246 上的最高频率分量的两倍。因此，可以将基层矩阵234的至少一部分 用作第一增强层矩阵234的变换系数的预测器。更精确地，表示DC 分量并在第一增强层数据流122a， b中残差精度增强信息266内传输 276的变换系数248a的变换系数等级可以表示相对于基层数据流 120a， b中传输的相应变换系数248a的变换系数等级的偏移。这适用 于更高频率的水平分量。此外，针对下一更高垂直频率分量280而传 输的第一增强层的变换系数等级可以作为相对于基层中该下一垂直频 率分量的、由282指示的预测误差来编码。类似地，基层的帧编码宏 块的运动矢量可以用作第一增强层的运动矢量的预测器。
当然，从基层中的帧编码宏块对改变到第一增强层中的场编码宏 块对的以上示例只是一个可能示例。当然，可以将基层中的场编码宏 块对改变为第一增强层中的帧编码宏块对。此外，在第一增强层中可 以不改变关于特定宏块对的帧/场模式判定，而可以在第二和随后的增 强层中改变。例如，通过减小用于传输变换系数等级的量化步长、提 高定义运动矢量的分辨率和/或使用针对运动补偿的更细分区划分和 更大数量的参考图像，可以逐层地提高视频图像的质量或精度，并减
小图像失真。此外，除了指示符256和260，可以在第一增强层数据 流122a， b中传输其他指示符。例如，可以在第一增强层数据流122a， b内传输指示符，以指示是用第一增强层数据流122a， b只取代或细 化关于特定宏块的运动信息或残差信息还是取代两者。类似地，可以 使用索引指示符，以定义关于特定宏块的运动精度增强信息或残差精 度增强信息是否要取代或细化从属层的相应运动/残差信息。
可以注意到，根据本发明的优选实施例，将第一增强层的变换系 数等级插入当前增强层数据流122a， b中的顺序取决于判定250的结 果。例如，根据当前增强层，如果特定宏块是帧编码宏块，则用于定 义第一增强层的变换系数等级插入残差精度增强信息266中的顺序的 扫描路径284不同于用于从属增强层中相应场编码宏块的变换系数等 级的扫描路径。场和帧编码宏块的扫描路径的差别反映了相对于场编 码宏块，帧编码宏块的变换系数矩阵234中的存在更高频率垂直分量。 具体地，优选地在残差精度增强信息266内传输变换系数，首先传输 非有效(non-significant)变换系数(即，对于这些变换系数，根据从 属层的变换系数等级是0)的变换系数等级。以所谓的有效路径对非 有效变换系数的变换系数等级进行编码。将随后有效变换系数的变换 系数等级的编码所成的路径称作细化路径。在多个循环中执行有效路 径。在第一循环中，例如，对第一宏块第一变换块(见图3a232)中 沿扫描路径方向284或286的第一非有效变换系数进行编码。最终， 依据变换块大小，之后立即对当前变换块内扫描路径方向284和286 上的随后非有效变换系数的另外变换系数等级进行编码。接着，访问 当前宏块内沿变换块扫描顺序的下一变换块，直到访问了当前宏块内
的所有变换块。之后，访问当前分片内沿宏块扫描顺序的下一宏块，
其中在该宏块内再次执行上述过程，宏块扫描顺序由图2中288指示。 在访问了当前分片的最后宏块中的最后变换块之后，执行另外的循环。 在将非有效变换系数的变换系数等级编码之后，沿细化路径对有效变 换系数的变换系数等级进行编码。细化路径可以依据将语法元素编码 到比特流126中所用的编码方案，例如，通过只扫描一次分片内的宏 块或通过以固定数目的循环来扫描它们而执行的可变长编码或算术编 码，其中每个循环专用于扫描顺序284或286中的特定变换系数位置， 如果变换系数是有效的，可以只对特定变换系数位置的相应变换系数 等级进行编码。
在有效路径和细化路径中，用于确定相应变换块内的变换系数中 的访问顺序的扫描路径取决于根据当前细化层的相应宏块对的帧/长 模式。即，如果使用上下文自适应编码方案，则将第一增强层中变换 系数等级排序，以将具有类似概率分别的变换系数等级排列在第一增 强层数据流122a， b内并置的位置上，这能够实现编码所用的概率估 计的更好适应，所以对第一增强层数据流122a， b中变换系数的排序 可以影响所产生的第一增强层数据流122a， b的速率/失真比。因此， 判定250和252也可以取决于这些判定对用于编码语法元素以及特别
是第一增强层中变换系数等级的概率估计的编码效率或质量的影响。 这样，细化编码装置114a，b做出判定250和252的方式与块110a， b连同基层编码块112a， b创建基层比特流120a， b的方式类似。更 精确地，可以采用Lagrangian方法，以在速率/失真意义上优化这些判 定。
在相对于图3b描述了细化编码装置114a， b的功能之后，参照图 1到图3b，并更具体地参照H.264/MPEG4-AVC标准，再次描述图1 编码器的操作模式。换言之，在创建可縮放比特流126的情况下更加 精确地描述图1编码器的功能，作为H.264/MPEG4-AVC标准的可缩 放扩展。在上述2005年10月的SVC工作草案中，可縮放性工具尤其 专用于等于1的frame_MBS—only一flag。换言之，根据这些草案，宏 块只是帧宏块。支持SNR和空间可縮放性的概念只是针对逐行扫描源
材料而设计的。但是，图1编码器通过考虑隔行扫描源材料的特性， 形成对于隔行扫描源的扩展。具体地，图1编码器利用上述工作草案
JVT-Q031中所述的针对隔行扫描源材料的自适应运动细化，优化对渐 进细化分片的编码。除了运动和残差细化之外，可以在FGS增强层中 传输对基本质量层的基于宏块的帧/场判定的修改。
具体地，图1编码器利用具有宏块自适应帧/场判定的对于隔行扫 描帧的自适应运动细化对渐进细化分片编码的扩展在于，当启用宏块 自适应帧/场编码时，对于编码帧的渐进细化分片中所有宏块对或宏块 对的子集，传输语法元素，该语法元素用信号告知宏块对是作为成对 宏块、场宏块还是帧宏块而编码的。依据宏块对的帧/场模式、渐进细 化分片和从属SNR层中协同定位宏块对的帧/场模式，应用如下(1) 如果当前宏块202a (图3b)是以场-帧模式编码的，从属SNR层(图 3b，基层)中的协同定位宏块对是以相同的场-帧模式编码的(见开始 于图3b中判定250的"是"路径)，则使用从属SNR层宏块对的场-帧判定。可以独立于作为附加指示符或语法元素262、 268和270而传 输的场/帧判定，细化运动和预测信息，对此，更多细节参见PCTEP 2005/010972，将其中关于在保持帧/场模式判定不变的情况下细化运 动信息和细化信息的内容合并在此，作为参考。(2)否则，如果当前 分片中的场/帧巨大不同于从属SNR层中的场/帧判定(见从250的 "是"分支)，对于宏块对中的两个宏块，除了残差信号的细化(266) 之外，还一并传输新的宏块模式(260)和相应的运动和预测信息(264)。 可能的宏块模式与编码标准H.264/MPEG4-AVC所支持的相同，这表 示通过将宏块再分为用于运动补偿预测的更小块或分区，可以用信号 传输用于P-分片的多达16个的运动矢量以及用于B-分片的多达32 个的运动矢量。
在渐进细化分片中进行该帧/场判定的一种方法是使用Lagmngian 方法，其中对于给定的X，将Lagrangian成本函数j = d + Xr最小化。 这里，D代表原始和重建(解码)信号之间的失真，R代表宏块对编 码所需的比特率。如果将从属SNR层的帧/场判定反转的成本比保持 从属SNR层的帧/场判定的成本地，则从速率-失真的意义来说，显然 反转宏块对的帧/场判定并传输该宏块的新的运动和/或预测信息集更
好(见判定250的"否"路径)。由此，通过使用自适应帧/场细化， 可以在相同的比特率上达到更高的图像质量。
相对于图1和3b所提出的FGS编码方案的优点在于，对于每个 变换块，只须执行一次解码器侧的逆变换。对保持帧/场编码模式的宏 块对而言，将基本质量层和所有相关渐进细化分片的縮放后变换系数 相加，并只须变换得到的变换系数，该变换系数表示可获得的最高质 量。根据图1和3b的FGS编码方案，自适应运动细化也是遵循这一 概念的。为了不增加针对具有自适应帧/场判定的FGS编码方案的解 码器复杂度，在从属SNR从的帧/场判定改变的情况下，优选地引入 特殊限制。当在特定细化层，以具有自适应运动细化的FGS编码方案 传输新的宏块模式时，另一语法元素residuaLprediction—flag用信号告 知是否将SNR基层(或从属细化层)的残差信号用于重建。如果该标 志等于1，则将已在SNR基层中传输的变换系数用于重建增强层表征 的残差。否则，如果该标志等于0，则只使用在FGS增强层122a， b 中传输的变换系数等级266来重建增强层表征的残差信号。因为针对 场宏块对而执行的变换所使用的釆样集与针对帧宏块对而执行的变换 所使用的采样集不同，所以通过在帧/场判定改变时禁止残差预测，有 利地避免了多重变换。因此，在本发明的优选实施例中，仅当在SNR 增强层中未修改SNR基层的帧/场判定时，才传输指定来自SNR基层 的残差的上述使用的语法元素，即，语法元素residuaLprediction—flag。 否则，在解码器侧推断语法元素residual_prediction—flag等于0。
根据本发明实施例，可以通过以下伪代码表述指定帧/场判定的语 法和FGS增强层的宏块模式。就此而言，以下代码定义了由块114a， b执行的、将上述语法元素编码到细化层数据流122a， b中的步骤。
(10)…
(12) if( ! field_pic—flag && mb—adaptive—frame—field—flag ) { (14)… — — — 一
(16) mb—field—decoding_flag—EL 〃 frame/field decision in (18) 〃 enhancement layer
(20) if(mb—field—decoding—flag—EL == mb—field—decoding—flag) {
(22) 〃 frame/field decision of is not modified
(24) 〃 top macroblock
(26) change—top_pred—info—flag 〃 modified
(28) 〃 motion/prediction
(30) if(change—topjpred—info—flag ) {
(32) transmission of macroblock mode, motion and
(34) prediction data
(36) transmission of residual_prediction—flag
(38) } —
(40) start transmission of transform coefficient
(42) levels for the top macroblock
(44) 〃 bottom macroblock
(46) change_bot_pred—info_flag 〃 modified
(48) 〃 motion/predicton
(50) if( change—bot_pred—info—flag ) {
(52) transmission of macroblock mode, motion and
(54) prediction data
(56) transmission of residual_prediction_flag
(58) } _
(60) start transmission of transform coefficient
(62) levels for the bottom macroblock
(64) } else {
(66) 〃 frame/field decision is modified
(68) 〃 top macroblock
(70) transmission of macroblock mode, motion and
(72) prediction data
(74) residual_prediction—flag is inferred to be equal
(76) to 0
(78) 〃 bottom macroblock
(80) transmission of macroblock mode, motion and
(82) prediction data
(84) residual_prediction—flag is inferred to be equal
(86) to 0
(88) 〃 coding of transform coefficients
(90) start transmission of transform coefficient
(92) levels for the macroblock pair
(94) }
(96)…
(98) }
第一个if从句(行12)检査视频源材料是否己由基层编码块112a， b编码，以激活宏块自适应帧/场判定。如果情况如此，则在当前宏块 对或多个宏块对的增强层中传输语法元素mb一field—decoding—flag—EL (行16)，以在该增强层中定义帧/场判定。第二个if从句(行20)检 查帧/场判定在增强层中是否已相对于基层而改变，其中帧/场判定是 在基层中编码为mb—field—decoding—flag的。
下面的行(行22-62)定义了当未修改帧/场判定时传输的信息。 在这种情况下，首先，传输语法元素change—top_pred_info_flag并对 其编码(行26)，以指示是否相对于从属层而修改当前顶宏块的运动 /预测信息。因此，该语法元素表示图3b所示的指示符260。如果情 况如此(行30的第三个if从句)，则产生新的宏块模式、新的运算 矢量和参考图像编号(行32和34)。接着，传输语法元素 residual_prediction—flag (行36)，以用信号告知当前顶宏块到下一宏 块的变换系数层是作为自包含的新变换系数传输，还是作为用于细化 当前粗量化变换系数的细化信息而传输。接着，即，如果指示运动信 息是从从属层获取的(行30中if从句的"否"路径)，或者如果已 传输了新的运动信息连同residual_prediction—flag (行32-36)，则执 行变换系数等级(行40， 42)，在将change—top_pred_info—flag置位 的情况下，依据行36中传输的residual_prediction—flag,该变换系数
等级表示是新的变换系数等级信息、是差分编码的或者是残差变换系 数等级。在其他情况下，即，未将change_top_pred_info_flag置位的
情况下，变换系数等级表示残差变换系数等级，即，推断 residual_prediction_flag指示差分编码。对于底宏块，重复上述过程(行 44-60)。
换言之，根据本实施例，在未修改帧/场判定的情况下，无论如何 都要进行对残差信息的"细化"。当然，该细化可以是0，或者"细 化"的意思可以是不使用至此传输的比特流，而产生不是差分编码的 完全新的信号。第 一 标志change_top/bot_pred_info_flag指示是否在"正 常模式"下执行残差的细化，即，使用与从属层中的运动参数相同的
运动参数，并将残差的细化作为与基层中和从属细化层(如果有)至
此传输的变换系数的差而编码。在未将change_top/bot_pred_info_flag 置位的情况下，传输新的运动参数，(在本实施例中，没有差分编码， 但是如上所述，差分编码也是可能的)并传输另 一 标志 residual_prediction—flag,该标志指示是否使用至此有效的残差。如果 将该标志置位，则将细化作为差/残差/细化而编码，否则对残差信号 进行完全新的编码。
但是，如果帧/场判定已相对于基层而修改了，则针对当前顶宏块， 传输新的宏块分区模式、运动矢量和参考图像编号(行70， 72)，而 不用信号告知语法元素residualjprediction—flag,而在解码器侧推断该 标志等于0 (行74， 76)。对于底宏块重复该过程(行78-86)。在 传输了整个宏块对的顶和底宏块的运动信息之后，开始传输当前宏块 对的变换系数等级(行90， 92)。当然，针对其他宏块对，同样执行 步骤10-92。
关于上述伪代码实施例，重点在于只在传输编码帧(即， field_piC—flag等于0)并且启用宏块自适应帧/场编码(即， mb_adaptive—frame_field—flag)时(行12)，才应用修改的语法。此 外，仅当在渐进细化分片的编码期间第一次访问宏块对时，才传输帧/ 场判定(行16， 18)。当语法元素不同于SNR基层的相应语法元素 时，针对宏块对的两个宏块，传输新的宏块模式、运动和/或预测信息 的集合(行70， 72， 80， 82)，对于宏块对的两个宏块，推断 residual_prediction—flag等于0 (行74， 76， 84, 86)。此外，可以传 输指定变换大小(transform size)的语法元素。沿上述有效路径以顶 宏块的第一变换系数等级来进行编码(行90， 92)。当指定帧/场判 定的语法元素的值等于其在基本质量分片中的值时，FGS编码采用上 述PCT应用中的概念或JVT-Q031的概念。对顶宏块进行编码，这里， 首先传输语法元素change—top _pred_info—flag (行26)，该语法元素 指定宏块模式和相关运动和预测数据的改变。如果该语法元素等于1， 则传输新的宏块模式和相关运动和预测数据、以及对来自基层的残差
预测的使用进行指定的标志(行32-36)。然后，沿有效路径，对顶 宏块的第一变换系数等级进行编码(行40， 42)。
在以下所有宏块对或宏块的访问中，即，当己传输了 mb—field—decoding—flag_EL禾口 change_top_pred—info—flag或change— botjredjnfo—flag (当可应用时)、以及指定修改后宏块预测模式的 相应语法元素时，按照上述顺序，仅将另外的变换系数等级编码。艮P， 仅当第一次访问宏块对，并在当前渐进细化分片中尚未传输该宏块对 的变换系数等级时，才传输语法元素mb—field—decoding—flag—EL (以 及对相应宏块对的宏块预测信息的可能修改)。类似地，仅当 mb—field—decoding—flag_EL等于SNR基层中协同定位宏块对的 mb—field—decoding—flag时，以及仅当第一次访问该宏块并还未传输该 宏块的变换系数等级时，才传输语法元素change—topjred—info—flag 或change—bot_pred—info—flag、以及宏块预测信息的可能修改。
参照图4，描述解码器执行的、对可縮放比特流126进行解码的 步骤。开始于步骤800，解码器首先解析可縮放比特流126中包含的 基层比特流122a和122b。作为步骤800的结果，解码器获知每个宏 块对的场/帧模式、每个宏块的运动参数和残差信息的存在。换言之， 在步骤800，解码器从基层数据流122a，b中提取信息214,240和242。 在下一步骤802中，解码器检查是否需要/要求进一步细化或质量增 强。如果不需要，则解码器立即在解码步骤804中对基层数据流122a， b进行解码。依据所需/要求的空间分辨率，根据H.264/MPEG4-AVC 标准，通过仅对基层流120b进行解码，来执行解码804，或者根据该 标准，对两个基层比特流120a， b均解码，然后用更精细的重建图像 细化粗重建的图像。
如果需要/要求进一步细化，解码器前进到步骤806，在步骤806， 从下一更高阶细化层比特流122a， b中提取帧/场模式改变指示 (mb—field—decoding—flag)、以及在指示无改变时，提取运动增强开/ 关指示(change_*_pred_into—flag)。在步骤806，解码器能够根据当 前细化层中宏块对的帧/场模式和基层或从属层中的变换系数等级的 有效性，重建解码器侧所用的、当前细化层的有效路径和细化路径。
在下一步骤808，解码器相应地解析细化层，以提取所有具有运动增 强开/关指示的宏块和帧/场模式判定已改变的所有宏块的运动信息 (运动增强开/关指示指示了当前运动信息的替换)和残差信息，依据 在将change—*_pred—into—flag置位的情况下从细化数据流中解析得到 的、或在未将change—*_pred—into—flag置位的情况下推断为指示差分 编码的reSidual_prediction—flag,残差信息表示差分编码的残差信息或 自足独立的残差信息。接着，在步骤810，对于每个宏块对，解码器 检査帧/场判定是否己相对于从属层而改变。如果己改变，则解码器前 进到步骤812，由于推断residuaLprediction—flag等于0，所以用从当 前增强层的增强层数据流中提取的运动/细化信息264和266替换当前 编码数据，即，当前运动/残差数据。但是，对于帧/场模式还未修改 的所有宏块对，解码器检查运动增强开/关指示符，g卩，语法元素 change—bot_pred—info—flag,其指示对于宏块对的各个宏块，是否存在 运动增强信息264或266。如果存在，则解码器替换(在可选实施例 中，细化)该宏块的当前运动数据(即运动信息)，并依据在输入数 据流中传输的相应标志residual_prediction—flag,替换或细化该宏块的 残差数据。更精确地，在根据上述伪代码对增强层数据流解码的情况 下，始终要替换运动信息，而在未修改帧/场判定的情况下，依据特定 指示符，即上述伪代码增强层数据流情况下的residual_prediction—flag, 替换或细化残差信息。在进行替换的情况下，增强层中包含的特定宏 块的运动信息完全替换从属层的运动信息。在进行细化的情况下，将 从属层的信息与增强层中的相应信息组合。具体地，将增强层的变换 系数等级去量化，并与已去量化或己縮放(最终累加起来)的从属层 相应变换系数的变换系数等级相加。
否则，如果运动增强开/关指示符示出了增强层不具有相应宏块的 运动增强信息，则对于该宏块的运动数据不进行任何改变，但是在步 骤818，解码器通过组合从输入数据流中获得的当前变换系数和(经 由去量化)用于细化残差数据的当前细化层的细化信息(即，针对减 小的量化步长而定义的变换系数等级)，细化残差数据。
之后，即，在对当前图像的所有宏块执行了步骤812、 816和818 中的任何步骤之后，过程返回到步骤802，以检査是否需要/要求进一 步细化。如果需要，则对下一细化层再次执行步骤806到818。否则， 过程前进到步骤804，在步骤804，对当前编码数据解码(即执行重变 换，例如逆谱分解)，使用当前运动信息并基于已重建的参考图像和 通过重变换获得的、与由此获得的预测相组合的残差信息，预测宏块 的图像内容，以产生重建形式的当前图像。
总结上述实施例，它们表示了具有如下特性的FGS编码方案。首 先，支持具有宏块自适应帧/场判定的帧的细化信息的编码，其中，垂 直相邻宏块对作为帧宏块对或场宏块对而编码。此外，允许在FGS增 强层中自适应地修改SNR基层的宏块对的帧/场判定。可以通过FGS 增强层中针对每个宏块对或针对宏块对子集的语法元素，用信号告知 FGS增强层的帧/场判定。对于未用信号告知其帧/场判定的宏块对， 通过使用已传输的语法元素，推断帧/场判定。在一个实施例中，当增 强层中的帧/场判定不同于SNR基层的帧/场判定时，传输整个宏块运 动和预测信息集合。当增强层中的帧/场判定不同于SNR基层的帧/场 判定时，推断对来自SNR基层的残差预测的使用进行指定的语法元素 等于X。这里，值X指定未应用残差预测，并且只使用当前FGS增 强层的变换系数等级来获得重建的残差信号。可选地，对于宏块对的 两个宏块，当它们在增强层中的帧/场判定与SNR基层的帧/场判定相 同时，可以传输语法元素。该语法元素可以指定是否在FGS增强层中 传输新的宏块运动和/或预测信息，或者指定是否使用SNR基层中协 同定位宏块的运动和/或预测信息。以场为基础执行场宏块的运动补 偿，而以帧为基础执行帧宏块的运动补偿。类似地，可以场为基础执 行场宏块的逆变换，而以帧为基础执行帧宏块的逆变换。此外，类似 地，变换块内部的变换系数的扫描顺序可以取决于该宏块是场或帧宏 块。
接下来，要注意，可以使用条件熵编码来传输指定宏块对的帧/ 场模式的语法元素，其中该条件取决于SNR基层中协同定位宏块对的
帧/场模式。例如，可以通过使用取决于基层中场/帧模式判定212的 概率估计的熵编码，传输语法元素258。
最后，要注意，上述实施例具体是与H.264/MPEG4-AVC标准相 关的。但是，本发明也可应用于其他编码方案。
依据实际的实现方式，本发明编码方案可以采用硬件或软件形式 实现。因此，本发明也涉及可以存储在诸如CD、盘或其他数据载体 等计算机可读介质上的计算机程序。因此，本发明也是一种具有程序 代码的计算机程序，当在计算机上执行时，该计算机代码执行结合上 述附图所描述的本发明方法。
此外，要注意，可以通过相应装置实现流程图中指示的所有步骤, 该实现可以包括在CPU、 ASIC的电路部分等上运行的子例程。
虽然参考特定实施例具体示出并描述了以上内容，但是本领域技 术人员将理解，在不背离本发明精神和范围的前提下，可以对形式和 细节进行多种其他改变。要理解，在不背离这里公开的和根据所附权 利要求理解的较宽概念的情况下，可以进行多种改变，以适应不同实 施例。
权利要求
1.一种解码器，用于对将预定图像(200)编码的精度可缩放编码数据流(126)进行解码，所述编码的精度可缩放编码数据流(126)包括第一精度编码数据(120a，b)，其中通过以逐帧和逐场中的第一模式处理预定图像的预定部分(202a，b)，以第一精度编码预定图像；更高精度信息(122a，b)，表示第二精度编码数据，其中通过以逐帧和逐场中的第二模式，以高于第一精度的第二精度编码预定部分(202a，b)，或细化信息能够细化第一精度编码数据，以获得第二精度编码数据；以及指示信息(256)，用于指示第一精度编码数据与第二精度编码数据之间的逐场/逐帧处理中是否存在改变，所述解码器包括检查装置(810)，用于检查指示信息是否指示了第一精度编码数据与第二精度编码数据之间预定部分的逐场/逐帧处理中的改变；设置装置(810-816)，用于在指示信息指示了逐场/逐帧处理改变时，忽略关于预定部分的第一精度编码数据中至少一部分，并将第二精度编码数据设置为用于解码的数据，或者基于更高精度信息，细化第一精度编码数据，以获得第二精度编码数据，并将获得的第二精度编码数据设置为用于解码的数据；以及解码装置(804)，用于通过以所述逐帧或逐场模式处理预定图像的预定部分，对所设置的用于解码的数据进行解码，从而以第二精度重建预定图像。
2. 根据权利要求1所述的解码器，还包括-解析装置(800-808)，用于解析精度可縮放编码数据流，以实现 第一精度编码数据和更高精度信息。
3. 根据权利要求2所述的解码器，其中解析装置配置为依据指示 信息对更高精度信息执行解析。
4. 根据前述权利要求之一所述的解码器，其中预定图像是视频图 像序列004)的一部分，解码装置配置为从用于解码的数据中提取预 定部分的运动信息和各个残差信息，将运动信息应用于重建的参考图 像，以获得预定部分的运动补偿预测，并基于运动补偿预测和残差信 息，重建预定部分。
5. 根据权利要求4所述的解码器，其中解码装置配置为执行逆谱 分解，以提取残差信息。
6. 根据权利要求4和5之一所述的解码器，其中解码装置配置为 依据指示信息来应用运动信息和预定部分的重建。
7. 根据前述权利要求之一所述的解码器，其中设置装置(810-816) 配置为，如果至解码器的指令用信号告知仅以第一精度重建预定图像， 则忽略第二精度编码数据，并将第一精度编码数据设置为用于编码的 数据。
8. 根据前述权利要求之一所述的解码器，其中设置装置(810-816) 配置为，如果指示信息指示第一精度编码数据与第二精度编码数据之 间预定部分的逐场/逐帧处理中不存在改变，则检査(814)编码的精 度可縮放数据流中的细化改变信息(260)是否要细化相对预定部分的 第一精度编码数据，依据检査结果，将第一精度编码数据保持作为关 于预定部分的待解码数据，或者基于更高精度信息，细化第一精度编 码数据以获得第二精度编码数据，并将获得的第二精度编码数据设置 为待解码数据。
9. 根据前述权利要求之一所述的解码器，其中通过与所述预定部 分相关联的第一语法元素，用信号告知指示信息，预定图像包括另一 预定部分，其中，更高精度信息缺少与所述另一部分相关联的、用信 号告知关于所述另一预定部分的逐帧/逐场处理中是否存在改变的任 意第二语法元素，检查装置配置为使用更高精度信息中已检査的语法 元素，推断第二语法元素的值。
10. 根据前述权利要求之一所述的解码器，还包括第二检查装 置，如果在指示信息指示了关于预定部分的逐帧/逐场处理中不存在改 变时，在更高精度信息中捡查关于第二精度编码数据是否包括运动信 息和/或残差信息、以及关于第二精度编码数据是否要替换关于预定部 分的第一精度编码数据或第二精度编码数据专用于细化第一精度编码 数据以获得第二精度编码数据的从属信息(260)，以获得检査结果，其中设置装置配置为依据检查结果，执行关于运动和/或残差信息 的忽略和设置或者细化和设置。
11. 根据前述权利要求之一所述的解码器，其中第二精度编码数 据包括变换系数矩阵的变换系数等级，所述变换系数矩阵表示预定部 分中至少一部分的运动补偿残差，其中，解析装置配置为根据精度可 縮放编码数据中变换系数的出现顺序和变换系数的扫描顺序，将变换 系数等级与变换系数矩阵的变换系数相关联，依据指示信息，所述扫 描顺序等于第一扫描顺序和不同于第一扫描顺序的第二扫描顺序中的 一种。
12. 根据权利要求11所述的解码器，其中设置和解码装置配置为， 如果指示信息(256)指示了预定部分的逐帧/逐场处理中存在改变， 则对变换矩阵应用逆变换以获得运动补偿残差，将运动补偿残差与从 预定部分以更高精度信息或第一精度编码数据中指示的运动信息发生 位移的、重建参考图像的逐场或逐帧部分相结合，以获得候选重建图 像，在逐帧和逐场中的所述第二模式是逐帧的情况下，候选重建图像 等于重建图像，而在逐帧和逐场中的所述第二模式是逐场的情况下， 将候选重建图像从场表征转换为帧表征，以获得重建图像。
13. —种编码器，用于对预定图像进行编码，包括-基本编码装置(110a， b， n2a， b)，通过以逐帧和逐场模式之一处理预定图像的预定部分(202a， b)，以第一精度对预定图像进行编 码，以获得第一精度编码数据(120a， b);确定装置Ul4a， b)，通过以逐帧和逐场模式中的另一模式处理 预定部分，确定更高精度信息(122a， b)，所述更高精度信息(122a， b)表示第二精度编码数据，其中第二精度编码数据通过以逐帧和逐场 模式中的另一模式处理预定部分，以高于第一精度的第二精度编码预 定部分，或细化信息能够细化第一精度编码数据，以获得第二精度编 码数据；以及构建装置(124)，用于构建将预定图像编码的精度可縮放编码数 据流(126)，以包括第一精度编码数据(120a，b)、更高精度信息(122a，b)和指示信息(256)，所述指示信息(256)指示第一精度编码数据 与第二精度编码数据之间的逐场/逐帧处理中的改变。
14. 根据权利要求13所述的编码器，其中预定图像还包括另一预 定部分，更高精度信息还表示另一第二精度编码数据，其中另一第二 精度编码数据通过以逐帧和逐场模式之一处理另一预定部分，以第二 精度编码另一预定部分，或相应的另一细化信息能够细化以第一精度 编码另一预定部分的另一第一精度编码数据；确定装置配置为确定第二精度编码数据和另一第二精度编码数 据，以使第二精度编码数据包括表示预定部分的运动补偿残差的第一 变换系数矩阵的第一变换系数等级，并使另一第二精度编码数据包括 表示另一预定部分的运动补偿残差的第二变换系数矩阵的第二变换系 数等级；构建装置配置为根据第一变换系数矩阵的变换系数中的第一扫描 顺序，将第一变换系数等级插入到精度可縮放编码数据流中，并根据 第二变换系数矩阵的变换系数中不同于第一扫描顺序的第二扫描顺 序，将第二变换系数等级插入到精度可缩放编码数据流中。
15. 根据权利要求13或14所述的编码器，其中构建装置配置为执行构建，以使对更高精度信息的正确解析依据指示信息。
16. 根据权利要求13到15之一所述的编码器，其中预定图像是 视频图像序列(104)的一部分，设计基本编码装置和确定装置，从而 第二精度编码数据使得能够从精度可縮放编码数据流中获得预定部分 的运动信息和/或相应的残差信息，将运动信息应用于己编码和重建的 参考图像，以获得预定部分的运动补偿预测，并基于运动补偿预测和 残差信息，重建预定部分。
17. 根据权利要求16所述的编码器，其中配置基本编码装置和确 定装置，从而必须执行逆谱分解，以提取残差信息。
18. 根据权利要求16和17之一所述的编码器，其中配置基本编 码装置和确定装置，从而必须依据指示信息来应用运动信息和重建预 定部分。
19. 根据权利要求13到18之一所述的编码器，其中配置构建装 置(114a， b)，从而指示信息指示了预定图像中另一预定部分的逐帧/ 逐场处理中不存在改变，并配置构建装置和确定装置，从而精度可縮 放编码数据流包括指示是否要细化关于另一预定部分的第一精度编码 数据的细化改变信息(260)，更高精度信息附加地表示另一细化信息， 所述另一细化信息能够细化关于另一预定部分的第一精度编码数据， 以获得以第二精度将预定部分编码到其中的另一第二精度编码数据。
20. 根据权利要求13到19之一所述的编码器，其中配置构建装 置(114a， b)，从而指示信息指示了预定图像中另一预定部分的逐帧/ 逐场处理中不存在改变，并配置构建装置和确定装置，从而精度可縮 放编码数据流包括更高精度信息中的从属信息(260)，所述从属信息(260)指示更高精度信息是否包括另一第二精度编码数据，并指示另 一第二精度编码数据是要替换关于预定部分的第一精度编码数据、还 是另一第二精度编码数据专用于细化关于另一预定部分的第一精度编 码数据以获得第二精度编码数据，其中所述另一第二精度编码数据包 括另一预定部分的运动信息和/或残差信息。
21. —种编码预定图像的精度可縮放比特流，包括 精度编码数据(120a， b),通过以逐帧和逐场中的第一模式处理预定图像的预定部分(202a， b)，以第一精度编码预定图像；更高精度信息(122a， b)，表示第二精度编码数据，其中，通过以逐帧和逐场模式中的另一模式处理预定部分，以高于第一精度的第二精度编码预定部分，或细化信息能够细化第一精度编码数据，以获得第二精度编码数据；以及指示信息(256)，用于指示第一精度编码数据与第二精度编码数据之间的逐场/逐帧处理中是否存在改变。
22. —种对将预定图像(200)编码的精度可縮放编码数据流(126)进行解码的方法，所述精度可縮放编码数据流(126)包括第一精度 编码数据(120a， b)，其中通过以逐帧和逐场中的第一模式处理预定 图像的预定部分(202a, b)，以第一精度编码预定图像编码；更高精 度信息(122a， b)，表示第二精度编码数据，其中通过以逐帧和逐场中的第二模式，以高于第一精度的第二精度编码预定部分(202a， b)， 或细化信息能够细化第一精度编码数据，以获得第二精度编码数据； 以及指示信息(256)，用于指示第一精度编码数据与第二精度编码数 据之间的逐场/逐帧处理中是否存在改变，所述方法包括如下步骤检查(810)指示信息是否指示了第一精度编码数据与第二精度编 码数据之间预定部分的逐场/逐帧处理中的改变；如果指示信息指示了逐场/逐帧处理改变(810-816)，则忽略关于 预定部分的第一精度编码数据中至少一部分，并将第二精度编码数据 设置为用于解码的数据，或者基于更高精度信息，细化第一精度编码 数据，以获得第二精度编码数据，并将获得的第二精度编码数据设置 为用于解码的数据；以及通过以所述逐帧或逐场模式处理预定图像的预定部分，对所设置 的用于解码的数据进行解码(804)，从而以第二精度重建预定图像。
23. —种对预定图像进行编码的方法，包括如下步骤通过以逐帧和逐场模式之一处理预定图像的预定部分(202a， b)， 以第一精度对预定图像进行编码，以获得第一精度编码数据(120a，b);通过以逐帧和逐场模式中的另一模式处理预定部分，确定更高精 度信息(122a， b)，所述更高精度信息(122a， b)表示第二精度编码 数据，其中通过以逐帧和逐场模式中的另一模式处理预定部分，以高 于第一精度的第二精度编码预定部分，或细化信息能够细化第一精度 编码数据，以获得第二精度编码数据；以及构建编码预定图像的编码的精度可縮放编码数据流(126)，以包 括第一精度编码数据(120a， b)、更高精度信息(122a， b)和指示信 息(256)，所述指示信息(256)指示第一精度编码数据与第二精度编 码数据之间的逐场/逐帧处理中的改变。
全文摘要
通过使编码器有机会改变对第一精度编码数据和第二精度编码数据之间的各个图像部分的逐场/帧处理，来提高编码效率，其中第二精度比第一精度高。
文档编号H04N7/50GK101189883SQ200680008132
公开日2008年5月28日 申请日期2006年3月22日 优先权日2006年3月22日
发明者托比亚斯·欣茨, 托马斯·维德, 海科·施瓦茨 申请人:弗劳恩霍夫应用研究促进协会