专利名称：用于构造可伸缩视频的参考图像列表的方法和设备的制作方法
技术领域：
本发明涉及一种为可伸缩视频的空间增强层构造参考图像列表的方法和设备。
背景技术：
视频编码中，图像可以是帧内编码的(I帧)，预测的(P帧)或双向预测的(B帧)。P帧和B帧是基于预先编码/解码的参考帧进行预测，因而要提供参考图像列表，P帧具有一个列表(list0)，B帧具有两个列表(list0，list1)。因为参考图像是用来解码其他图像，所以要对参考图像自身解码，然后将其存储起来。可伸缩视频编码(SVC)提供了参考图像列表重排序(reference picture list reordering，RPLR)功能。空间可伸缩视频编码(scalable video coding，SVC)具有一个基本层(base layer，BL)和一个或多个增强层(enhancement layer，EL)。目前，增强层的更新(UPDATE)刚刚从可伸缩视频编码中移除，即增强层同样具有层级B帧结构，且和基本层在时间上具有极其类似的语法。
然而，层级B帧结构不是必需的，但解码器必须支持所有的图像组(GOP)结构。所以说，基本层和增强层允许任何形式的参考图像列表的构造。但是，为了更好地利用两个不同空间层中对应图像之间的冗余，构造增强层参考图像列表(初始化或RPLR)的目的就是使增强层参考图像列表(list_0或list_1)与基本层列表(或通常的较低的空间层)相匹配。
目前，联合可伸缩视频模型(JSVM)提出了强制的RPLR命令，用来确定实际使用的参考图像列表，而不是仅仅使用如AVC说明书第8.2.4.2节“参考图像列表的初始化方法”中和SVC工作草案(working draft，WD)的8.2.4.2节中定义的默认的参考图像列表构造方法。
在基本层和空间增强层具有相同的帧频的情况下，实际上编码器应对两个层使用相同的RPLR命令。但是，当增强层帧频是基本层帧频的两倍时，RPLR命令则是不同的。
发明内容
本方案中，引入了一种新的解码方法，其应用于构造空间增强层的参考帧列表的过程中。仅通过修改一个语法标记，该方案提供了一种更简单、直接地构造参考图像列表的方法。通过使用该方法，可以省略/跳过复杂的RPLR以及其他语法，也可以避免在空间增强层使用RPLR方法。另外，该方法还可用来提供与JSVM相同的解码的YUV序列，并且在编码效率方面有一点提高。当空间增强层的条带丢失时，该方法也可作为差错隐藏的强有力工具。
例如，如果两个层的GOP大小等于32，基本层帧频为15Hz，增强层帧频为30Hz(等于输入帧频)，那么在第一图像组中，图像序列号(POC)为2，6，10，14，18，22，26，30的基本层帧则处于最高时间层次(temporallevel)上，且具有相同的frame_num值，这是因为它们均是由等于0的nal_ref_idc依次进行编码的。然而，在增强层中，具有以上图像序列号(POC)的图像不属于最高时间层次，且由于这些帧的nal_ref_idc值大于0(它们也可被称为B存储图像)，所以这些图像的frame_num值将会增加。当使用frame_num值来衡量一个帧/图像在作为其他帧/图像的参考帧/参考图像的“重要性”时，图像序列号对应于图像的显示次序，即，POC＝0的图像被最先显示，然后显示POC＝1的图像，等等。在H.264中，解码的参考图像被标记为“短期参考图像”或“长期参考图像”，短期的解码参考图像用frame_num值进行标记。
如上例所示，对于图像序列号(POC)为2(2m+1)的每个帧/图像来说，其增强层和基本层的RPLR命令是不同的。在层间预测期间，当对应于具有相同图像序列号(POC)(或相同显示时间)的输入帧的、增强层帧的ref_idx_lx值和基本层帧的ref_idx_lx的值相等时，基本层参考图像列表和增强层参考图像列表需要相互匹配。图像通常也指帧。
本发明的示例实施例是参照附图加以描述的，其中 图1示出了图像组(GOP)大小为16时，基本层帧和增强层帧的时间层次；以及 图2示出了参考图像列表的层间预测。
具体实施例方式 下面的例子(对比图1)首先示出了常规编码/解码方法。基本层帧频为15Hz，增强层帧频为30Hz。图像组(group of picture，GOP)大小等于16。
表1基本层帧 表2增强层帧 如果用POC来指示基本层图像的参考图像列表，那么，当POC等于6时，RefPicList0为{4，0}，RefPicList1为{8，12，16}，见图1，帧6把帧0和帧4作为在其前显示的(前向预测的)可能的参考帧(即，低时间层次上的图像)，把帧8，帧12，帧16做为在其后显示(后向预测)的可能的参考帧。但是，如果用frame_num值来指示参考图像列表，则如表1中所列，RefPicList0为{3，0}(例如，POC＝4时frame_num＝3)，RefPicList1为{2，4，1}。POC＝6时，当前的frame_num值为5。
list_0(基本层)的RPLR命令为 这表示当前的frame_num＝5时，所传输/接收的两个值为reordering_of_pic_nums_idc类型＝0，值＝1。由此，解码器可以推导出下一个frame_num值是3，即，POC＝4(见表1)。同理，当前frame_num＝3时的一对数值为reordering_of_pic_nums_idc类型＝0和值＝2，其表示，下一个frame_num为0.下一个reordering_of_pic_nums_idc类型为3，其表示，已完成了对参考图像列表进行重排序的循环(对比H.264中的表7-4)。因此，如图2所示，帧6的前向参考帧是帧4和帧0(用它们的POC表示)。
list_1(基本层)的RPLR命令为 POC＝6的增强层图像(见表2)的列表和基本层的列表相同(当用POC指示时)RefPicList0＝{4，0}，RefPicList1＝{8，12，16}.如果用frame_num值来指示，则RefPicList0为{3，0}，RefPicList1为{2，4，1}。但是，对于POC＝6的增强层，其当前的frame_num值为6(而在基层上为5)。因此，需采取不同的方法来构造参考帧列表/参考图像列表，且需要为每一个帧传送所有的RPLR命令。
list_0(增强层)的RPLR命令为 list_1(增强层)的RPLR命令为 因此，所有这些RPLR命令都很复杂，而且增强层和基本层需要采用不同的RPLR命令。本发明中的方案是通过基本层参考图像列表来预测增强层的参考图像列表。因而，通过参照POC值，而非frame_num值，则可以使参考图像列表的构造更为简单，并且可以节省比特数。本发明的一个方面，是向条带头(slice header)引入一个表示所述预测的标记。该标记仅需要为空间增强层使用一个简单的参考图像列表的构造方法。
本发明的另一方面，提供了一种对具有一个第一空间低层或基本层、和至少一个第二空间高层或增强层的视频图像进行编码的方法，其中帧是根据参考帧预测或双向预测，该方法包括通过参照第一层的参考帧来指示第二层的参考帧。
进一步地，该方法是把指示或标记包含在信号中，用于表明，第二层继承了第一层的参考图像列表。
本发明的另一方面，提供了一种对具有一个第一空间低层或基本层、和至少一个第二空间高层或增强层的视频图像进行解码的方法，其中，帧是根据参考帧预测的或双向预测的，该方法包括通过评估第一层的参考帧列表来确定第二层的参考帧。
进一步地，该解码方法是在解码过程中检测指示，其中，仅基于所述检测步骤就可以确定第二层的参考帧。
该编码或解码方法进一步明确了，该指示指向一个图像的条带(slice)。
进一步地，该解码方法是，在进行了数据丢失检测之后，根据空间低层的参考图像列表来重构空间高层的丢失的参考图像列表。
一个对应的视频编码设备包括一个用于执行该编码方法的装置。
一个对应的视频解码设备包括一个用于执行该解码方法的装置。
一个对应的视频信号包括一个第一空间低层或基本层、和至少一个第二空间高层或增强层，这两层包括预测的和/或双向预测的帧以及各参考帧的指示，其中，第二层图像的参考帧的指示表明了第一层图像的参考帧将被再利用。
所述视频信号进一步明确了，该指示指向一个图像的条带。
用于构造参考图像列表的语法 基于以上的原理，提供了一个关于空间增强层的RPLR命令的方案。一个实施例中，在一个条带头语法中嵌入一个标记(如JVT-Q201的G.7.3.3条款中所限定的)，进而引入一个新的处理方法。该方法中，先生成一些参考图像列表的大小，然后再根据基本层参考图像列表生成这些参考图像列表，如果把标记设为“真”，则不使用如JVT-Q201的G.8.2.4.3条款“参考图像列表重排序方法”中所规定的RPLR命令。这样，就可以跳过以上命令，从而降低传输数据量、并且简化编码器和解码器中的操作。
通过这一修改，该JSVM解码器能够轻易地构造本来应由RPLR命令提供的参考图像列表。
虽然目前来说，该JSVM解码器提供了一个默认的参考图像列表初始化方法，而且该默认方法对应于由必要的RPLR命令生成的基本层参考图像列表，但是，如G.8.2.4.2.1中所述，以后该解码方法将会和基本层的解码方法相同。该图像的语法元素temporal_level值等于或小于当前图像的语法元素temporal_level值。
因此，虽然我们已知RPLR的效果，但是，通常情况下，要想支持层间(inter layer)预测的良好效果，增强层必须基于基本层参考图像列表使用RPLR来调整自身的参考图像列表。新提出的方案是一个更好的方法，它提供了相同的参考图像列表，相同的信号-噪音功率比(PSNR)，且节省了RPLR的比特数，省时省力。如果每个帧都被编码成很多条带，其优势也就增强了。一个帧包含的条带越多，节省的比特数也越多，也更省力。
语法修改 通过小的语法修改，可以在JVT中示例性地应用所提出的构造参考图像列表的方法，如表3，其示出了在可伸缩范围内的条带头。
在表中插入第46-48行，即使用了标记“ref_pic_list_inherit_flag”，则很多帧都可以跳过接下来第49-57行中的传统操作，包括传统的RPLR(第57行的ref_pic_list_reordering())。
可以明确的是，通过修改语法，能够节省参考图像列表大小的比特数，且省略了ref_pic_list_reordering语法，这是因为，如果把ref_pic_list_inherit_flag设为“真”(见表3中的第48行)，那么就可以跳过上述语法部分。
表3可伸缩范围内条带的头部 表3(续) 表3(续) 语义修改 ref_pic_list_inherit_flag只能用于增强层的P条带和B条带(EP条带和EB条带) ref_pic_list_inherit_flag等于0时，则表示，写入 num_ref_idx_active_override_flag，num_ref_idx_l0_active_minus1， num_ref_idx_l1_active_minus1和ref_pic_list_reordering()语法，并使用与其相关的解码方法。
ref_pic_list_inherit_flag等于1时，则表示，不写入 num_ref_idx_active_override_flag，num_ref_idx_l0_active_minus1， num_ref_idx_l1_active_minus1和ref_pic_list_reordering()语法。当前条带的num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1与低空间层条带的值相同，且调用新的参考图像列表构造方法来替代参考图像列表初始化方法，也可能替代RPLR方法。
构造空间增强层中的参考图像列表时所使用的解码方法 如果增强层的ref_pic_list_inherit_flag值为真，则调用新的解码方法，所使用的方法如下 针对P条带或B条带，使用基本层参考列表list_0来构造当前增强层的列表list_0. 针对B条带，同样使用基本层参考列表list_1来构造当前增强层的列表list_1。
假设我们具有一个条带，其对应的基本层列表list_X是由LxB＝{f0，f1，...，fn}构成的，并且我们需要构造增强层的有序列表list_X，LxE。目前我们具有一个备用增强层列表LE，其将被用来组成当前增强层条带的参考图像列表。列表LE通常是由短期列表和长期列表中的项组成的。那么，列表LxE(初始化为空)的生成方法则如下所述 for(i＝0；i＜＝n；i++) { 得出
，使得fEi和fi具有相同的POC数值 把fEi插入参考图像列表LxE } 该方法简单直接，恰好是层间预测中所需要的。该方法产生的结果与在空间增强层中的传统的强制RPLR命令所产生的结果相同，但所使用的数据更少、方法更简单。该方法优于第一参考图像列表初始化方法加上RPLR方法。
图2示出了另一实例，其中两个空间层具有不同的帧频。输入的图像组大小为8，基本层帧频是增强层帧频的一半。假设我们具有基本层参考图像列表list_0且希望构造增强层的参考图像列表list_0。那么，我们应该把第一参考图像设为帧4(用POC表示时)，把第二参考图像设为帧0。上述操作可以由RPLR实现。然而，基于基本层列表list_0中的参考图像的POC值，我们就可以轻易地构造增强层的参考列表list_0。
构造隔行伸缩图像的空间增强层参考图像列表中所使用的解码方法 这里介绍的语法，还可以延伸到图像级自适应帧场(picture adaptiveframe field，PAFF)编码。此处，给出了基层和增强层都是场编码时，隔行情况下的解码方法。而在编码器中生成RPLR命令则是更为复杂的。
假设我们具有一个条带，其对应的基层列表list_X是由有序字段列表LxB＝{f0，f1，...，fn}组成的，同时我们需要构造有序增强层列表list_X LxE。现在具有用于构成当前增强层条带的参考图像列表的备用增强层列表LE。通常列表LE由从短期列表和长期列表生成的字段构成。那么，列表LxE的生成方法则如下所述 for(i＝0；i＜＝n；i++) { 得出
，使得fEi和fi具有相同的POC数值和同奇偶性； 在参考图像列表LxE中插入fEi } 在列表LxE，LxB，LE中的项(fi)是字段。
用于差错隐藏的解码方法 所提出的参考图像列表的构造方法还可以用于构造空间增强层中一个丢失包(差错隐藏)的参考图像列表。
如JVT-Q046(Chen Ying，Jill Boyce，Xie Kai“Frame Loss ErrorConcealment for SVC”，JVT-Q046，JVT of ISO/IEC MPEG & ITU-T VCEG，Nice，Oct.2005)中所限定的，一种BLSkip差错隐藏方法被引入到JSVM中，且其在所有提出的方法中效果最好。如果空间增强层包丢失，该方法可借助于对应的基本层的运动信息。该方法还适用于多参考图像的情况，这是因为当前的JSVM解码器提供了一种使增强层参考图像列表和基本层参考图像列表相匹配的默认方法，而事实上增强层像基本层一样不使用RPLR。在实施差错隐藏过程中，只有关键图像需要考虑RPLR事宜，从而确保增强层中一个丢失的关键图像可以参照前一关键图像。
但是，如JVT-Q201的G.8.2.4.2.1中所定义的，用来确保用于非关键图像的上述默认方法的限制被移除，并且初始化方法与AVC中的方法相同。
为了进行准确的BLSkip差错隐藏，后来的JSVM版本需要为空间增强层丢失的包生成虚拟RPLR命令。但是，如上所述，不同空间层的RPLR命令是不同的，所以基于所接收到的基本层的RPLR命令并不能直接预测到丢失的增强层的RPLR的R命令。这是因为两个层中的参考图像列表的核心关系是基于POC数值。
通过限定一个构造参考图像列表的新方法，可更容易确保为空间增强层的丢失包所构造的参考图像列表与对应的基本层的参考图像列表相匹配，从而也可确保良好的BLSkip差错隐藏。
本发明可应用于视频编码和/或视频解码，其最适用于空间可伸缩性视频，尤其是在基本层和增强层具有不同的时间分辨率的时候。
权利要求
1.一种用于对具有一个第一空间低层(基本层)和至少一个第二空间高层(增强层)的视频图像进行编码的方法，其中，层内预测是用来通过同一层的一个或多个参考图像来预测(P帧，B帧)第一层(基本层)和第二层(增强层)中的图像，而且，其中使用了参考图像列表，该方法包括以下步骤
-基于第一层中对应图像的参考图像列表，生成第二层中一个图像的参考图像列表
-生成一个指示(ref_pic_list_inherit_flag)，所述指示用于表明由第一层中对应图像的参考图像列表可以和/或如何推断出第二层中所述图像的参考图像列表；以及
-把所述指示与其相关的第二层(增强层)的编码图像联系起来。
2.如权利要求1所述的方法，其中，(ref_pic_list_inherit_flag)包含在信号中，用于表明第二层继承了第一层的参考图像列表。
3.一种用于对具有一个第一空间低层(基本层)和至少一个第二空间高层(增强层)的视频图像进行解码的方法，其中，第二层(增强层)中的一个图像在第一层(基本层)中具有一个对应图像，且由所述第二层(增强层)中的一个或多个参考图像进行预测(P帧，B帧)，该方法包括以下步骤
-检测一个指示(ref_pic_list_inherit_flag)，该指示用于表明由第一层中对应图像的参考图像列表可以和/或如何推断出第二层中一个图像的参考图像列表；以及
-根据第一层中对应图像的参考图像列表，生成或预测第二层中所述图像的参考图像列表。
4.如权利要求3所述的方法，其中，在解码期间检测出一个指示(ref_pic_list_inherit_flag)，而且其中，基于所述检测步骤来执行所述第二层中参考图像列表的生成或预测步骤。
5.如权利要求2或4所述的方法，其中，该指示指向图像的条带。
6.如权利要求3至5的任一项所述的视频图像的解码方法，其中，在进行了数据丢失检测之后，根据空间低层中的参考图像列表来重新重构空间高层中的丢失的参考图像列表。
7.如前述任一项权利要求所述的方法，其中，低空间层的时间分辨率低于高空间层的时间分辨率。
8.一种对具有一个第一空间低层(基本层)和至少一个第二空间高层(增强层)的视频图像进行编码的设备，其中，层内预测是用来通过同一层的一个或多个参考图像来预测(P帧，B帧)第一层(基本层)和第二层(增强层)中的图像，并且，其中使用了参考图像列表，该设备包括
-基于第一层中对应图像的参考图像列表来生成第二层中图像的参考图像列表的装置；
-用于生成指示(ref_pic_list_inherit_flag)的装置，所述指示用于表明由第一层中对应图像的参考图像列表可以和/或如何推断出第二层中所述图像的参考图像列表；以及
-用于把所述指示与其相关的第二层(增强层)中的编码图像联系起来的装置。
9.一种对具有一个第一空间低层(基本层)和至少一个第二空间高层(增强层)的视频图像进行解码的设备，其中，第二层(增强层)中的一个图像在第一层(基本层)中具有一个对应图像，且由所述第二层(增强层)中的一个或多个参考图像进行预测(P帧，B帧)，该设备包括
-用于检测指示(ref_pic_list_inherit_flag)的装置，所述指示用于表明可以和/或如何由第一层中对应图像的参考图像列表推断出第二层中所述图像的参考图像列表；以及
-用于根据第一层中对应图像的参考图像列表来生成或预测第二层中所述图像的参考图像列表的装置。
10.一种包括一个第一空间低层(基本层)和至少一个第二空间高层(增强层)的视频信号，包括预测的(P帧)和双向预测的(B帧)的图像，以及各个参考图像的指示，其中，第二层图像的参考图像的指示表明了第一层图像的参考图像将被再利用。
11.如权利要求10所述的视频信号，其中，该指示指向图像的条带。
12.如权利要求10或11所述的视频信号，其中，低空间层的时间分辨率低于高空间层的时间分辨率。
全文摘要
视频编码中，基于参考帧进行P帧和B帧预测，该参考帧用参考图像列表表示。可伸缩视频编码(SVC)中，基本层和增强层都需要进行预测。本发明描述了一种在构造空间增强层的参考图像列表时所使用的解码方法。仅通过修改一个语法标记，本发明提供了一个更简单、直接的参考图像列表的构造方法。通过使用该方法，可以跳过复杂的参考图像列表重排序语法以及其他语法，也可以避免在空间增强层使用参考图像列表重排序方法。当空间增强层的条带丢失时，该方法还可以用来进行差错隐藏。
文档编号H04N7/68GK101356822SQ200680050517
公开日2009年1月28日 申请日期2006年12月5日 优先权日2006年1月10日
发明者颖 陈, 爱德华·弗朗索瓦, 凯 谢 申请人:汤姆逊许可公司