译码参考图像集的参考图像的制作方法

译码参考图像集的参考图像的制作方法
【专利摘要】本发明描述涉及参考图像集的长期参考图像的译码的技术。在一些实例中，一种视频译码器可在参数集中译码候选长期参考图像。所述视频译码器还译码指示来自所述候选长期参考图像的哪些长期参考图像属于所述参考图像集的语法元素。
【专利说明】译码参考图像集的参考图像[0001 ] 本申请案主张以下各申请案的权利:
[0002]2011年9月23日申请的第61 / 538，787号美国临时申请案；
[0003]2011年9月26日申请的第61 / 539，433号美国临时专利申请案；以及
[0004]2011年9月30日申请的第61 / 542，034号美国临时专利申请案，所述申请案中的每一者的全部内容以其全文引用的方式并入本文中。
【技术领域】
[0005]本发明涉及视频译码且，更明确地说，涉及用于译码视频数据的技术。
【背景技术】
[0006]数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板型计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电信会议装置、视频流装置，及其类似者。数字视频装置实施视频压缩技术，例如以下各者中所描述的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264 / MPEG-4第10部分(高级视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准，以及这些标准的扩展。视频装置可通过实施这些视频压缩技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。
[0007]视频压缩技术执行空间(图像内)预测和/或时间(图像间)预测，以减少或去除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片(即，视频图像或视频图像的一部分)分割成视频块，视频块还可被称作树块、译码树块(CTB)、译码树单元(CTU)、译码单元(CU)和/或译码节点。`使用相对于相同图像中的相邻块中的参考样本的空间预测来编码图像的经帧内译码(I)切片中的视频块。图像的经帧间译码(P或B)切片中的视频块可使用相对于相同图像中的相邻块中的参考样本的空间预测或相对于其它参考图像中的参考样本的时间预测。图像可被称作帧，且参考图像可被称作参考帧。
[0008]空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可然后量化残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。

【发明内容】

[0009]一般来说，本发明描述与导出用于视频译码中的参考图像集有关的技术。举例来说，所述参考图像集可构成多个参考图像子集的组合。所述参考图像子集中的每一者可识别多个潜在参考图像，但少于全部的潜在参考图像。在本发明中所描述的实例技术中，一种视频译码器(编码器或解码器)可构造多个列表，每一列表包含所述潜在参考图像的一子集的识别符。从这些多个列表，所述视频译码器可构造所述多个参考图像子集，此情形导致所述视频译码器导出所述参考图像集。
[0010]除与导出所述参考图像集有关的技术之外，本发明还描述简化的参考图像列表初始化技术。此参考图像列表初始化可去除对将所述参考图像重新排序的需要。举例来说，如果不需要参考图像列表修改，那么所述初始参考图像列表可形成所述最终参考图像列表，且可能不需要任何进一步重新排序。所述技术还可关于以如下方式构造所述参考图像列表:其中所述视频译码器重复地将参考图像添加到所述参考图像列表，直到所述参考图像列表的条目数等于条目的最大可允许数目为止。
[0011]在一些实例中，所述技术是关于参考图像列表修改。举例来说，所述视频译码器可通过以下操作来修改所述初始参考图像列表:参考所述参考图像子集中的一者或一者以上，且在所述构造所述初始参考图像列表之后将所述参考图像子集中的一个或一个以上图像包含在所述参考图像列表中。
[0012]在一些实例中，所述视频译码器可执行已解码图像缓冲器(DPB)管理。在这些实例中，如果已解码图像并不属于所述参考图像集，那么所述视频译码器可将所述已解码图像从所述DPB中去除。在一些实例中，所述视频译码器可在译码当前图像之前去除所述已解码图像。
[0013]在一个实例中，本发明描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法还包含:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及基于所述多个参考图像子集而译码所述当前图像。
[0014]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述视频译码器还经配置以:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及基于所述多个参考图像子集而译码所述当前图像。
[0015]在一个实例中，本发明描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述指令还致使所述处理器:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及基于所述多个参考图像子集而译码所述当前图像。
[0016]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含用于译码指示属于参考图像集的参考图像的信息的装置。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述装置还包含:用于构造多个参考图像子集的装置，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；以及用于基于所述多个参考图像子集而译码所述当前图像的装置。
[0017]在一个实例中，本发明描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法还包含:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；只要参考图像列表条目的数目不大于可允许参考列表条目的最大数目，便将以下各参考图像添加到参考图像列表中:来自所述多个参考图像子集中的第一子集的参考图像、后接续有来自所述多个参考图像子集中的第二子集的参考图像，及后接续有来自所述多个参考图像子集中的第三子集的参考图像；以及基于所述参考图像列表而译码所述当前图像。
[0018]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述视频译码器还经配置以:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；只要参考图像列表条目的数目不大于可允许参考列表条目的最大数目，便将以下各参考图像添加到参考图像列表中:来自所述多个参考图像子集中的第一子集的参考图像、后接续有来自所述多个参考图像子集中的第二子集的参考图像，及后接续有来自所述多个参考图像子集中的第三子集的参考图像；以及基于所述参考图像列表而译码所述当前图像。
[0019]在一个实例中，本发明描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述指令还致使所述处理器:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；只要参考图像列表条目的数目不大于可允许参考列表条目的最大数目，便将以下各参考图像添加到参考图像列表中:来自所述多个参考图像子集中的第一子集的参考图像、后接续有来自所述多个参考图像子集中的第二子集的参考图像，及后接续有来自所述多个参考图像子集中的第三子集的参考图像；以及基于所述参考图像列表而译码所述当前图像。
[0020]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含用于译码指示属于参考图像集的参考图像的信息的装置。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述装置还包含:用于构造多个参考图像子集的装置，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；用于只要参考图像列表条目的数目不大于可允许参考列表条目的最大数目，便将以下各参考图像添加到参考图像列表中的装置:来自所述多个参考图像子集中的第一子集的参考图像、后接续有来自所述多个参考图像子集中的第二子集的参考图像，及后接续有来自所述多个参考图像子集中的第三子集的参考图像；以及用于基于所述参考图像列表而译码所述当前图像的装置。
[0021]在一个实例中，本发明描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法还包含:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；将来自所述多个参考图像子集的参考图像添加到参考图像列表中的第一条目集合中；确定所述参考图像列表中的条目的数目是否等于所述参考图像列表中的可允许条目的最大数目；当所述参考图像列表中的条目的所述数目不等于所述参考图像列表中的可允许条目的所述最大数目时，重复地将来自所述参考图像子集中的至少一者的一个或一个以上参考图像重新添加到所述参考图像列表中在所述第一条目集合之后的条目中，直到所述参考图像列表中的条目的所述数目等于所述参考图像列表中的可允许条目的所述最大数目为止；以及基于所述参考图像列表而译码所述当前图像。
[0022]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述视频译码器还经配置以:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；将来自所述多个参考图像子集的参考图像添加到参考图像列表中的第一条目集合中；确定所述参考图像列表中的条目的数目是否等于所述参考图像列表中的可允许条目的最大数目；当所述参考图像列表中的条目的所述数目不等于所述参考图像列表中的可允许条目的所述最大数目时，重复地将来自所述参考图像子集中的至少一者的一个或一个以上参考图像重新添加到所述参考图像列表中在所述第一条目集合之后的条目中，直到所述参考图像列表中的条目的所述数目等于所述参考图像列表中的可允许条目的所述最大数目为止；以及基于所述参考图像列表而译码所述当前图像。
[0023]在一个实例中，本发明描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述指令还致使所述处理器:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；将来自所述多个参考图像子集的参考图像添加到参考图像列表中的第一条目集合中；确定所述参考图像列表中的条目的数目是否等于所述参考图像列表中的可允许条目的最大数目；当所述参考图像列表中的条目的所述数目不等于所述参考图像列表中的可允许条目的所述最大数目时，重复地将来自所述参考图像子集中的至少一者的一个或一个以上参考图像重新添加到所述参考图像列表中在所述第一条目集合之后的条目中，直到所述参考图像列表中的条目的所述数目等于所述参考图像列表中的可允许条目的所述最大数目为止；以及基于所述参考图像列表而译码所述当前图像。
[0024]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含用于译码指示属于参考图像集的参考图像的信息的装置。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述装置还包含:用于构造多个参考图像子集的装置，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；用于将来自所述多个参考图像子集的参考图像添加到参考图像列表中的第一条目集合中的装置；用于确定所述参考图像列表中的条目的数目是否等于所述参考图像列表中的可允许条目的最大数目的装置；当所述参考图像列表中的条目的所述数目不等于所述参考图像列表中的可允许条目的所述最大数目时，用于重复地将来自所述参考图像子集中的至少一者的一个或一个以上参考图像重新添加到所述参考图像列表中在所述第一条目集合之后的条目中，直到所述参考图像列表中的条目的所述数目等于所述参考图像列表中的可允许条目的所述最大数目为止的装置；以及用于基于所述参考图像列表而译码所述当前图像的装置。
[0025]在一个实例中，本发明描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法还包含:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；基于所述所构造的参考图像子集而构造初始参考图像列表；及在需要参考图像修改时，识别所述所构造的参考图像子集中的至少一者中的参考图像；以及在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表。所述方法进一步包含基于所述修改的参考图像列表而译码所述当前图像。
[0026]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述视频译码器还经配置以:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；基于所述所构造的参考图像子集而构造初始参考图像列表；及在需要参考图像修改时，识别所述所构造的参考图像子集中的至少一者中的参考图像；以及在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表。所述视频译码器还经配置以基于所述修改的参考图像列表而译码所述当前图像。
[0027]在一个实例中，本发明描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述指令还致使所述处理器:构造多个参考图像子集，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；基于所述所构造的参考图像子集而构造初始参考图像列表；及在需要参考图像修改时，识别所述所构造的参考图像子集中的至少一者中的参考图像；以及在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表。所述指令还致使所述处理器基于所述修改的参考图像列表而译码所述当前图像。
[0028]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含用于译码指示属于参考图像集的参考图像的信息的装置。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述装置还包含:用于构造多个参考图像子集的装置，每一参考图像子集识别所述参考图像集的所述参考图像中的零者或多者；用于基于所述所构造的参考图像子集而构造初始参考图像列表的装置；及在需要参考图像修改时，用于识别所述所构造的参考图像子集中的至少一者中的参考图像的装置；以及用于在所述初始参考图像的当前条目中添加所述所识别的参考图像以构造修改的参考图像列表的装置。所述装置还包含用于基于所述修改的参考图像列表而译码所述当前图像的装置。
[0029]在一个实例中，本发明描述一种用于译码视频数据的方法，所述方法包含译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述方法包含:基于所述经译码信息而导出所述参考图像集；确定存储在已解码图像缓冲器(DPB)中的已解码图像是否不需要输出及是否在所述参考图像集中未加以识别；当所述已解码图像不需要输出且在所述参考图像集中未加以识别时，将所述已解码图像从所述DPB中去除；以及在所述去除所述已解码图像之后，译码所述当前图像。
[0030]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述视频译码器还经配置以:基于所述经译码信息而导出所述参考图像集；确定存储在已解码图像缓冲器(DPB)中的已解码图像是否不需要输出及是否在所述参考图像集中未加以识别；当所述已解码图像不需要输出且在所述参考图像集中未加以识别时，将所述已解码图像从所述DPB中去除；以及在所述去除所述已解码图像之后，译码所述当前图像。
[0031]在一个实例中，本发明描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示属于参考图像集的参考图像的信息。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述指令还致使所述处理器:基于所述经译码信息而导出所述参考图像集；确定存储在已解码图像缓冲器(DPB)中的已解码图像是否不需要输出及是否在所述参考图像集中未加以识别；当所述已解码图像不需要输出且在所述参考图像集中未加以识别时，将所述已解码图像从所述DPB中去除；以及在所述去除所述已解码图像之后，译码所述当前图像。
[0032]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含用于译码指示属于参考图像集的参考图像的信息的装置。在此实例中，所述参考图像集识别可潜在地用于对当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的所述参考图像。所述装置还包含:用于基于所述经译码信息而导出所述参考图像集的装置；用于确定存储在已解码图像缓冲器(DPB)中的已解码图像是否不需要输出及是否在所述参考图像集中未加以识别的装置；当所述已解码图像不需要输出且在所述参考图像集中未加以识别时，用于将所述已解码图像从所述DPB中去除的装置；以及在所述去除所述已解码图像之后，用于译码所述当前图像的装置。
[0033]在一个实例中，本发明描述一种译码视频数据的方法，所述方法包含译码指示在参数集中识别的候选长期参考图像的语法元素。在此实例中，所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集。而且，在此实例中，所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像。所述方法还包含:译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素；以及基于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者。在此实例中，所述多个参考图像子集形成所述参考图像集。
[0034]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含视频译码器，所述视频译码器经配置以译码指示在参数集中识别的候选长期参考图像的语法元素。在此实例中，所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集。而且，在此实例中，所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像。所述视频译码器还经配置以:译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素；以及基于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者。在此实例中，所述多个参考图像子集形成所述参考图像集。
[0035]在一个实例中，本发明描述一种具有存储在其上的指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器译码指示在参数集中识别的候选长期参考图像的语法元素。在此实例中，所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集。而且，在此实例中，所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像。所述指令还致使所述处理器:译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素；以及基于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者。在此实例中，所述多个参考图像子集形成所述参考图像集。
[0036]在一个实例中，本发明描述一种用于译码视频数据的装置。所述装置包含用于译码指示在参数集中识别的候选长期参考图像的语法元素的装置。在此实例中，所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集。而且，在此实例中，所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像。所述装置还包含:用于译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素的装置；以及用于基于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者的装置。在此实例中，所述多个参考图像子集形成所述参考图像集。
[0037]一个或一个以上实例的细节阐述于随附图式及下文的描述中。其它特征、目标及优点将从所述描述和所述图式以及从权利要求书而显而易见。
【专利附图】

【附图说明】
[0038]图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
[0039]图2为说明包含经编码及传输的多个图像的实例视频序列的概念图。
[0040]图3为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0041]图4为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0042]图5为说明导出参考图像集的实例操作的流程图。
[0043]图6为说明构造参考图像列表的实例操作的流程图。
[0044]图7为说明构造参考图像列表的另一实例操作的流程图。
[0045]图8为说明修改初始参考图像列表的实例操作的流程图。
[0046]图9为说明已解码图像去除的实例操作的流程图。
[0047]图10为说明确定哪些长期参考图像属于当前图像的参考图像集的实例操作的流程图。
【具体实施方式】
[0048]本发明的技术一般来说涉及用于进行帧间预测的参考图像的管理。举例来说，视频译码器(例如，视频编码器或视频解码器)包含已解码图像缓冲器(DPB)。所述DPB存储已解码图像，包含参考图像。参考图像为可潜在地用于对图像进行帧间预测的图像。换句话说，视频译码器可在译码(编码或解码)图像期间，基于存储在DPB中的一个或一个以上参考图像而预测所述图像。
[0049]为了有效率地利用DPB，可指定DPB管理过程，例如DPB中的已解码图像的存储过程、参考图像的标记过程、来自DPB的已解码图像的输出以及去除过程，等等。一般来说，在一些当前及开发中的视频译码标准中，DPB管理可包含以下方面中的一者或一者以上:图像识别及参考图像识别、参考图像列表构造、参考图像标记、来自DPB的图像输出、到DPB中的图像插入，以及来自DPB的图像去除。
[0050]为了辅助理解，下文提供关于如何可根据一些视频译码标准发生参考图像标记及参考图像列表构造的简要描述。本发明中所描述的技术中的一些技术可解决可能存在于参考图像标记及参考图像列表构造中的一些问题。
[0051]对于参考图像标记，在有效序列参数集中指示用于进行帧间预测的参考图像的最大数目(被称作M(nUm_ref_frames))。当参考图像经解码时，将所述参考图像标记为“用于参考”。如果参考图像的解码造成将M个以上图像标记为“用于参考”，那么必须将至少一个图像标记为“不用于参考”。如果标记为“不用于参考”的图像还不需要输出，那么DPB去除过程将标记为“不用于参考”的图像从DPB中去除。[0052]当图像经解码时，所述图像可能为非参考图像或参考图像。参考图像可能为长期参考图像或短期参考图像，且当参考图像经标记为“不用于参考”时，所述参考图像可能变得不再需要供参考。在一些视频译码标准中，可能存在改变参考图像的状态的参考图像标记操作。
[0053]可能存在用于参考图像标记的两种类型的操作:滑动窗和自适应存储器控制。用于参考图像标记的操作模式可基于图像而选择；而，滑动窗操作可通过固定数目个短期参考图像以先进先出队列的形式运作。换句话说，可以隐含式方式首先去除具有最早解码时间的短期参考图像(标记为不用于参考的图像)。
[0054]然而，自适应存储器控制显式地去除短期或长期图像。自适应存储器控制还使得能够切换短期和长期图像的状态等。举例来说，在自适应存储器控制中，视频编码器可用信号发出指定应将哪些图像标记为用于参考的语法元素。视频解码器可接收语法元素且如所指定标记图像。在滑动窗中，视频编码器可能不需要用信号发出应将哪些图像标记为用于参考。而是，视频解码器可基于哪些图像在滑动窗内而隐含式地(即，不接收语法元素)确定应将哪些图像标记为用于参考。
[0055]视频译码器还可将构造指示哪些参考图像可用于帧间预测目的的参考图像列表作为任务。这些参考图像列表中的两者分别被称作列表O和列表I。视频译码器首先使用默认构造技术来构造列表O和列表I (例如，用于构造列表O和列表I的预先配置的构造方案)。视情况，在构造初始列表O和列表I之后，视频解码器可解码语法元素，当存在语法元素时，语法元素可指导视频解码器修改初始列表O和列表I。
[0056]视频编码器可用信号发出指示DPB中的参考图像的识别符的语法元素，且视频编码器还可在列表O、列表I或列表O与列表I两者内用信号发出包含索引的语法元素，所述索引指示哪一参考图像或哪些参考图像将用以解码当前图像的经译码块。反过来，视频解码器使用所接收识别符识别列表O、列表I或列表O与列表I两者中所列出的一个或一个以上参考图像的一个或一个以上索引值。根据所述一个或一个以上参考图像的(多个)索引值以及(多个)识别符，视频解码器从DPB中检索所述一个或一个以上参考图像或所述一个或一个以上参考图像的部分，且基于所述一个或一个以上所检索的参考图像和一个或一个以上运动向量而解码当前图像的经译码块，所述一个或一个以上运动向量识别所述一个或一个以上参考图像内用于解码经译码块的块。
[0057]举例来说，用于经双向预测图像的第一参考图像列表或第二参考图像列表的参考图像列表构造包含两个步骤:参考图像列表初始化及参考图像列表修改(还被称作参考图像列表重新排序)。参考图像列表初始化可为隐含式机制，其基于图像序列号次序(PictureOrder Count，P0C，与图像的显示次序对准)值将参考图像存储器(还被称为已解码图像缓冲器)中的参考图像置于列表中。参考图像列表重新排序机制可将在参考图像列表初始化期间置于列表中的图像的位置修改成任何新位置，或甚至在图像并不属于初始化的列表的情况下，将参考图像存储器中的任何参考图像置于任何位置中。在参考图像列表重新排序(修改)之后，一些图像可能置于列表中非常远的位置中。然而，如果图像的位置超过列表的有效参考图像的数目，那么所述图像将不被视为最终参考图像列表的条目。可在每一列表的切片标头中用信号发出列表的有效参考图像的数目。
[0058]本发明中所描述的技术可适用于各种视频译码标准。视频译码标准的实例包含ITU-T H.261、ISO / IEC MPEG-1 视频、ITU-T Η.262 或 ISO / IEC MPEG-2 视频、ITU-TΗ.263、ISO / IEC MPEG-4 视频以及 ITU-T H.264(还被称为 ISO / IEC MPEG-4AVC)，包含其可调式视频译码(SVC)和多视角视频译码(MVC)扩展。另外，存在新的视频译码标准，SP，高效率视频译码(HEVC)，其是由ITU-T视频译码专家组(VCEG)和ISO / IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发。
[0059]仅为了说明的目的，在HEVC标准的上下文中描述技术。从2012年7月20日时起，可从 http: / / phenix.1nt_evry.fr/jct / doc_end_user / documents / 10_Stockholm / wgll / JCTVC-J1003-v8.zip得到HEVC的最新工作草案(WD)(且在下文中被称作 HEVC WD8)。
[0060]如上文所描述，本发明中所描述的技术可解决可能存在于用于已解码图像缓冲器(DPB)管理的现有解决方案中的问题。作为一个实例，在本发明中所描述的一些实例技术中，可能不需要作为“不用于参考”的参考图像的标记。举例来说，本发明中所描述的技术可解决以下各问题:与无法良好地适合时间可调性的DPB管理技术有关的问题、与长期参考图像的发信号耗用有关的问题、与参考图像列表初始化及修改的效率和复杂性有关的问题。本发明中所描述的技术还可解决以下各问题:与参考图像列表初始化期间的参考图像列表中的非完成条目的“无参考图像”的标记有关的问题；与已解码图像输出、到DPB中的插入及来自DPB的去除有关的问题；以及与图像序列号(POC)值的可能值有关的问题。
[0061]根据本发明中所描述的技术，从参考图像集构造参考图像列表。参考图像集经定义为与图像相关联的参考图像集合，其由在解码次序上在相关联的图像之前的所有参考图像组成，其可用于对相关联的图像中的块或对在解码次序上在相关联的图像之后的任何图像进行巾贞间预测，例如，直到下一瞬时解码刷新(instantaneous decoding refresh, I DR)图像或断链接入(broken link access,BLA)图像为止。换句话说，参考图像集中的参考图像可能需要以下特性:(I)其在解码次序上全部在当前图像之前，以及(2)其可用于对当前图像进行帧间预测及/或对在解码次序上在当前图像之后的任何图像进行帧间预测，且在一些实例中，直到下一 IDR图像或BLA图像为止。可能存在关于参考图像集的其它替代定义，下文提供所述其它替代定义。
[0062]在本发明中所描述的实例技术中，视频译码器可导出参考图像集，且在此导出之后，视频译码器可构造参考图像列表。举例来说，仅参考图像集中的参考图像可为用以构造参考图像列表的候选参考图像。
[0063]为了构造参考图像集，视频译码器可构造多个参考图像子集。参考图像子集的组合可一起形成参考图像集。举例来说，视频编码器可在经译码位流中显式地用信号发出允许视频解码器确定用于包含在参考图像集中的参考图像的识别符的值。举例来说，参考图像的识别符可为图像序列号。每一图像与一个图像序列号(被称作PicOrderCnt)相关联。PicOrderCnt指示相对于解码次序上的先前IDR图像的对应图像的输出次序或显示次序，且，在一些其它替代例中，指示相对于相同经译码视频序列中的其它图像的输出次序位置的相关联的图像的输出次序位置。
[0064]PicOrderCnt可被称作图像序列号(POC)值。POC值可指示图像的输出或显示次序，且可用以识别图像。举例来说，在经译码视频序列内，具有较小POC值的图像比具有较大POC值的图像早输出或显示。[0065]视频解码器可确定用于参考图像的识别符，且从这些识别符构造所述多个参考图像子集。根据这些参考图像子集，视频解码器可导出参考图像集，如下文更详细描述。在一些实例中，参考图像子集中的每一者包含不同参考图像，这是因为所述参考图像子集中的参考图像不存在重叠。以此方式，参考图像中的每一者可能仅在参考图像子集中的一者中，且不在任何其它参考图像子集中。然而，本发明的方面不应被视为受此限制。
[0066]在确定参考图像集或参考图像集的子集中的参考图像的识别符(例如，POC值)之后，视频解码器可构造参考图像子集。如下文更详细描述，视频解码器可构造六个参考图像子集，但视频解码器可能有可能构造更多或更少个参考图像子集。
[0067]这些六个参考图像子集命名为:RefPicSetStCurrO、RefPicSetStCurrKRefPicSetStFollO、 RefPicSetStFolll、 RefPicSetLtCurr,和 RefPicSetLtFolI。RefPicSetStCurrO参考图像子集可被称作RefPicSetStCurrBefore参考图像子集，且RefPicSetStCurrI参考图像子集可被称作RefPicSetStCurrAfter参考图像子集。
[0068]RefPicSetStCurrO、RefPicSetStCurr1、RefPicSetStFollO 和 RefPicSetStFolll参考图像子集可识别短期参考图像。在一些实例中，这些参考图像子集可基于以下各者而识别短期参考图像:短期参考图像是在显示次序上比正被译码的当前图像早还是在显示次序上比正被译码的当前图像迟，以及短期参考图像是否可潜在地用于对当前图像及在解码次序上在当前图像之后的图像进行帧间预测，或是否可潜在地用于仅对在解码次序上在当前图像之后的图像进行帧间预测。
[0069]举例来说，RefPicSetStCurrO参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息(例如，POC值):具有比当前图像的输出或显示次序早的输出或显示次序，且可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。RefPicSetStCurrl参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息:具有比当前图像的输出或显示次序迟的输出或显示次序，且可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。
[0070]RefPicSetStFollO参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息:具有比当前图像的输出或显示次序早的输出或显示次序，可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。RefPicSetStFolll参考图像子集可包含(且可仅包含)满足以下情形的所有短期参考图像的识别信息:具有比当前图像的输出或显示次序迟的输出或显示次序，可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。
[0071]RefPicSetLtCurr和RefPicSetLtFoll参考图像子集可识别长期参考图像。在一些实例中，这些参考图像子集可基于长期参考图像是在显示次序上比正被译码的当前图像早还是在显示次序上比正被译码的当前图像迟，识别长期参考图像。
[0072]举例来说，RefPicSetLtCurr参考图像子集可包含(且可仅包含)满足以下情形的所有长期参考图像的识别信息:可潜在地用于在当前图像的帧间预测中供参考，且可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考。RefPicSetLtF0Il参考图像子集可包含(且可仅包含)满足以下情形的所有长期参考图像的识别信息:可潜在地用于在解码次序上在当前图像之后的一个或一个以上图像的帧间预测中供参考，且无法用于在当前图像的帧间预测中供参考。
[0073]在构造参考图像子集之后，视频解码器可将所述参考图像子集以不同次序排序以导出参考图像集。作为一个实例，参考图像集的次序可为RefPicSetStCurrO、RefPicSetSetCurrI > RefPicSetFollO、RefPicSetFol11、RefPicSetLtCurr,及RefPicSetLtFoll0然而，所述子集的其它排序可能有可能导出参考图像集。举例来说，作为另一实例，参考图像集的次序可为Ref Pi CSetStCurrO参考图像子集、后接续有RefPicSetStCurrl参考图像集、后接续有RefPicSetLtCurr参考图像子集、后接续有RefPicSetStFollO参考图像子集、后接续有RefPicSetFolll参考图像子集，且后接续有RefPicSetLtFoll参考图像子集。
[0074]根据本发明中所描述的技术，RefPicSetStCurrO、RefPicSetStCurrl和RefPicSetLtCurr子集包含可用于当前图像中的块的巾贞间预测中且可用于在解码次序上在当前图像之后的图像中的一者或一者以上的帧间预测中的所有参考图像。RefPicSetStFollO,RefPicSetStFolll 和 RefPicSetLtFoll 子集包含不用于当前图像中的块的帧间预测中而可用于在解码次序上在当前图像之后的图像中的一者或一者以上的帧间预测中的所有参考图像。
[0075]应理解，仅用于说明目的而描述六个参考图像子集，且所述情形不应被视为限制性的。在替代实例中，可能存在更多或更少个参考图像子集。下文更详细描述在这些替代实例中的这些参考图像子集。
[0076]在这些揭示内容中所描述的一些技术中，视频解码器可能不需要将已解码图像标记为“用于参考”、“不用于参考”、“用于短期参考”或“用于长期参考”。而是，存储在DPB中的已解码图像是否需要进行帧间预测是通过其是否包含在当前图像的参考图像集中来指示。在替代实例中，视频解码器可能有可能将已解码图像标记为“用于参考”、“不用于参考”、“用于短期参考”或“用于长期参考”。在这些实例中，在视频解码器解码图像之后，所述已解码图像为参考图像且经标记为“用于参考”。然后，在调用用于参考图像集导出的过程之后，在来自DPB的已解码图像的可能的去除之前，将存储在DPB中但不包含在当前图像的参考图像集中的所有参考图像标记为“不用于参考”。因此，存储在DPB中的已解码图像是否需要进行帧间预测可通过其是否经标记为“用于参考”来指示。
[0077]一旦视频解码器从所述多个参考图像子集导出参考图像集，视频解码器便可从参考图像集构造参考图像列表(例如，列表O和列表I)。举例来说，参考图像列表的构造可包含初始化步骤及可能的修改步骤。通过以上文所描述的方式导出参考图像集，视频解码器可能能够改善参考图像列表初始化及参考图像列表修改的效率且降低参考图像列表初始化及参考图像列表修改的复杂性。
[0078]可能存在视频解码器可借以构造参考图像列表的各种方式。本发明中所描述的技术提供一种机制，视频解码器可通过所述机制构造参考图像列表，而不需要将待包含在(初始)参考图像列表中的参考图像重新排序。举例来说，视频解码器可经配置以实施默认参考列表构造技术，其中视频解码器利用参考图像子集构造初始参考图像列表。然后，如果不需要参考图像列表修改，那么最终参考图像列表可与初始参考图像列表相同，而不需要参考图像列表的任何额外重新排序。
[0079]在一些实例中，本发明中所描述的技术可关于以不存在非完成条目的方式构造参考图像列表。举例来说，所述技术可重复地将来自参考图像子集中的一者或一者以上的参考图像添加到参考图像列表。举例来说，在视频解码器添加来自用于构造初始参考图像列表的参考图像子集中的一者或一者以上的参考图像之后，视频解码器可确定参考图像列表中的条目的数目是否小于条目的最大可允许数目。如果参考图像列表中的条目的数目小于条目的可允许数目的最大数目，那么视频解码器可在参考图像列表中重新添加来自用以构造参考图像列表的参考图像子集中的一者的参考图像中的至少一者。参考图像的此重新添加(还被称作重新列出)可发生于参考图像列表内不同于由视频解码器首先添加参考图像的位置的位置处。
[0080]在一些实例中，本发明中所描述的技术可关于修改初始参考图像列表。举例来说，视频解码器可构造初始参考图像列表。视频解码器可基于由视频编码器在经译码位流中用信号发出的语法元素而确定需要参考图像列表修改。当需要参考图像列表修改时，视频解码器可识别所构造的参考图像子集中的至少一者中的参考图像。视频解码器可在初始参考图像列表的当前条目中列出(例如，添加)所识别的参考图像以构造修改的参考图像列表。视频解码器可然后基于修改的参考图像列表而解码当前图像。
[0081]在一些实例中，本发明中所描述的技术可关于从已解码图像缓冲器(DPB)输出及去除已解码图像。所述实例技术可在译码当前图像之前将已解码图像从DPB中去除。举例来说，如果所述已解码图像在当前图像的参考图像集中未加以识别且如果所述已解码图像不需要输出(即，已解码图像不希望输出或已解码图像希望输出但已经输出)，那么实例技术可去除所述已解码图像。
[0082]图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。一般来说，参考图像集经定义为与图像相关联的参考图像集合，其由在解码次序上在相关联的图像之前的所有参考图像组成，其可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。在一些实例中，在相关联的图像之前的参考图像可为直到下一瞬时解码刷新(IDR)图像或断链接入(BLA)图像为止的参考图像。换句话说，参考图像集中的参考图像可能在解码次序上全部在当前图像之前。而且，参考图像集中的参考图像可用于对当前图像进行帧间预测及/或对在解码次序上在当前图像之后的任何图像进行帧间预测，直到下一 IDR图像或BLA图像为止。
[0083]可能存在参考图像集的其它替代定义。举例来说，参考图像集可为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(排除相关联的图像自身)组成:可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测，且具有小于或等于相关联的图像的temporal_id的temporal_id。temporal_id可为时间识别值。时间识别值可为指示哪些图像可用于译码当前图像的阶层值。一般来说，具有特定temporal_id值的图像可能有可能为用于具有相等或较大temporal_id值的图像的参考图像，但反过来不成立。举例来说，具有temporal_id值I的图像可能有可能为用于具有
temporal」d值1、2、3,......的图像的参考图像，但不可能为用于具有temporal_id值O的
图像的参考图像。
[0084]最低temporal_id值还可指示最低显示率。举例来说,如果视频解码器仅解码具有temporal_id值O的图像，那么显示率可为7.5个图像/秒。如果视频解码器仅解码具有temporal_id值O和I的图像,那么显示率可为15个图像/秒,等等。
[0085]作为另一实例，参考图像集可为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(排除相关联的图像自身)组成:可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。作为又一实例，参考图像集可经定义为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(有可能包含相关联的图像自身)组成:可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。作为另一实例，参考图像集可经定义为与图像相关联的参考图像集合，其由满足以下情形的所有参考图像(有可能包含相关联的图像自身)组成:可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测，且具有小于或等于相关联的图像的temporal_id的temporal_id。
[0086]作为又一实例，在参考图像集的上述定义中，用“用于进行帧间预测”替换短语“可用于进行帧间预测”。尽管可能存在参考图像集的替代定义，但在本发明中，描述具有参考图像集的以下定义的实例:参考图像集为与图像相关联的参考图像集合，其由在解码次序上在相关联的图像之前的所有参考图像组成，其可用于对相关联的图像或对在解码次序上在相关联的图像之后的任何图像进行帧间预测。
[0087]举例来说，参考图像集中的参考图像中的一些参考图像为可潜在地用以对当前图像的块进行帧间预测且无法对在解码次序上在当前图像之后的图像进行帧间预测的参考图像。参考图像集中的参考图像中的一些参考图像为可潜在地用以对当前图像的块及对在解码次序上在当前图像之后的一个或一个以上图像中的块进行帧间预测的参考图像。参考图像集中的参考图像中的一些参考图像为可潜在地用以对在解码次序上在当前图像之后的一个或一个以上图像中的块进行帧间预测且无法用以对当前图像中的块进行帧间预测的参考图像。
[0088]如本发明中所使用，可潜在地用于进行帧间预测的参考图像是指可用于进行帧间预测的参考图像，但未必必须用于进行帧间预测。举例来说，参考图像集可识别可潜在地用于进行帧间预测的参考图像。然而，此情形并不意味着所有所识别的参考图像必须用于进行帧间预测。而是，这些所识别的参考图像中的一者或一者以上可用于进行帧间预测，但全部未必必须用于进行帧间预测。
[0089]如图1中所展示，系统10包含源装置12，其产生经编码视频以用于由目的地装置14解码。源装置12和目的地装置14可各自为视频译码装置的实例。源装置12可经由通信信道16将经编码视频传输到目的地装置14或可将经编码视频存储在存储媒体17或文件服务器19上，以使得经编码视频可由目的地装置14视需要存取。
[0090]源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含例如所谓的“智能型”手机、所谓的“智能型”垫等无线手机，或经装备以用于无线通信的其它此类无线装置。源装置12和目的地装置14的额外实例包含(但不限于)数字电视、数字直播系统中的装置、无线广播系统中的装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式无线电电话、卫星无线电电话、视频电信会议装置，及视频流装置、无线通信装置，或其类似者。[0091]如上文所指示，在许多情况下，源装置12和/或目的地装置14可经装备以用于无线通信。因此，通信信道16可包括无线信道、有线信道或适合于传输经编码视频数据的无线和有线信道的组合。类似地，文件服务器19可由目的地装置14通过任何标准数据连接(包含互联网连接)存取。此数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器，等等)，或无线信道与有线连接两者的组合。
[0092]然而，本发明的技术可适用于支持多种多媒体应用中的任一者的视频译码，多种多媒体应用例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由互联网)、编码数字视频以用于存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流传输、视频播放、视频广播和/或视频电话等应用。
[0093]在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器(调制解调器)22和输出接口 24。在源装置12中，视频源18可包含例如以下各者等源:视频俘获装置(例如，视频摄像机)、含有先前所俘获的视频的视频存档、接收来自视频内容提供者的视频的视频馈入接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合。作为一个实例，如果视频源18为视频摄像机，那么源装置12与目的地装置14可形成所谓的摄像机电话或视频电话。然而，一般来说，本发明中所描述的技术可适用于视频译码，且可应用于无线和/或有线应用。
[0094]可由视频编码器20来编码所俘获的、预先俘获的或计算机产生的视频。可由调制解调器22根据通信标准(例如，无线通信协议)来调制经编码视频信息，且经由输出接口24将经编码视频信息传输到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。输出接口 24可包含经设计以用于传输数据的电路，包含放大器、滤波器，和一个或一个以上天线。
[0095]由视频编码器20编码的所俘获的、预先俘获的或计算机产生的视频还可存储到存储媒体17或文件服务器19上以供稍后消耗。存储媒体17可包含蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器或用于存储经编码视频的任何其它合适的数字存储媒体。存储在存储媒体17上的经编码视频可然后由目的地装置14存取以用于解码及播放。
[0096]文件服务器19可为能够存储经编码视频且将所述经编码视频传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储器(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据且将经编码视频数据传输到目的地装置的任何其它类型的装置。来自文件服务器19的经编码视频数据的传输可为流式传输、下载传输或流式传输与下载传输两者的组合。文件服务器19可由目的地装置14通过任何标准数据连接(包含互联网连接)存取。此标准数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)，或无线信道与有线连接的组合。
[0097]在图1的实例中，目的地装置14包含输入接口 26、调制解调器28、视频解码器30，和显示装置32。目的地装置14的输入接口 26经由信道16接收信息(作为一个实例)，或从存储媒体17或文件服务器17接收信息(作为替代实例)，且调制解调器28解调所述信息以产生用于视频解码器30的经解调的位流。经解调的位流可包含由视频编码器20产生以供视频解码器30在解码视频数据中使用的多种语法信息。此语法还可包含在存储在存储媒体17或文件服务器19上的经编码视频数据内。作为一个实例，语法可嵌入于经编码视频数据内，但本发明的方面不应被视为限于此要求。由视频编码器20定义且还供视频解码器30使用的语法信息可包含描述视频块的特性和/或处理的语法元素，视频块例如译码树单元(CTU)、译码树块(CTB)、预测单元(W)、译码单元(CU)，或经译码视频的其它单元，例如，视频切片、视频图像和视频序列或图像组(GOP)。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
[0098]显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示已解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0099]在图1的实例中，通信信道16可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线，或无线和有线媒体的任何组合。通信信道16可形成基于包的网络(例如，局域网、广域网，或例如互联网等全球网络)的部分。通信信道16—般表示用于将视频数据从源装置12传输到目的地装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含路由器、交换器、基站，或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
[0100]视频编码器20和视频解码器30可根据视频压缩标准操作，视频压缩标准例如包含 ITU-T H.261、ISO / IEC MPEG-1 视频、ITU-T H.262 或 ISO / IEC MPEG-2 视频、ITU-TH.263、ISO / IEC MPEG-4 视频和 ITU-T H.264 (还被称为 ISO / IEC MPEG-4AVC)，包含其可调式视频译码(SVC)和多视角视频译码(MVC)扩展。另外，存在新的视频译码标准，即，高效率视频译码(HEVC)标准，其目前正由ITU-T视频译码专家组(VCEG)和ISO / IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发。从2012年7月20日时起，可从http: / / phenix.1nt_evry.fr/jct / doc_end_user / documents / 10_Stockholm /wgll / JCTVC-J1003-v8.zip得到HEVC的最新工作草案(WD)(且在下文中被称作HEVCWD8)。
[0101]然而，本发明的技术不限于任何特定译码标准。仅为了说明的目的，根据HEVC标准描述技术。
[0102]虽然图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与一音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频与视频两者的编码。如果可适用，那么MUX-DEMUX单元可遵守ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
[0103]视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者，合适编码器电路例如一个或一个以上处理器(包含微处理器)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地在软件中实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。[0104]视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，视频编码器20和视频解码器30中的任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。在一些实例中，视频编码器20和视频解码器30可共同地被称作译码信息(例如，图像和语法元素)的视频译码器。当视频译码器对应于视频编码器20时，信息的译码可指编码。当视频译码器对应于视频解码器30时，信息的译码可指解码。
[0105]此外，本发明中所描述的技术可指视频编码器20用信号发出信息。当视频编码器20用信号发出信息时，本发明的技术一般指视频编码器20借以提供信息的任何方式。举例来说，当视频编码器20将语法元素用信号发出到视频解码器30时，可能意味着:视频编码器20经由输出接口 24和通信信道16将语法元素传输到视频解码器30，或视频编码器20经由输出接口 24将语法元素存储在存储媒体17和/或文件服务器19上以供视频解码器30最终接收。以此方式，从视频编码器20到视频解码器30的发信号不应被解释为需要来自视频编码器20的立即由视频解码器30接收的传输，但此情形可能为有可能的。而是，从视频编码器20到视频解码器30的发信号应被解释为视频编码器20借以提供用于供视频解码器30直接地或经由中间存储器(例如，在存储媒体17和/或文件服务器19中)最终接收的信息的任何技术。
[0106]视频编码器20和视频解码器30可经配置以实施本发明中所描述的用于导出参考图像集的实例技术。举例来说，视频解码器30可每一图像调用一次用以导出参考图像集的过程。视频解码器30可在解码切片标头之后但在解码任何译码单元之前且在用于切片的参考图像列表构造的解码过程之前，调用用以导出参考图像集的过程。
[0107]如上文所描述，参考图像集为关于参考图像的绝对描述，所述参考图像用于当前图像及解码次序上的未来经译码图像的解码过程中，直到下一瞬时解码刷新(IDR)图像或断链接入(BLA)图像为止。在本发明中所描述的实例中，视频编码器20可显式地用信号发出值，视频解码器30可从所述值确定用于属于参考图像集的参考图像的识别符。在包含在参考图像集中的所有参考图像是显式地列出(除了特定图像，例如，IDR图像)的意义上，参考图像集发信号为显式的，无参考图像集语法元素包含在切片标头中且参考图像集经导出为空。
[0108]可能存在视频编码器20可借以在经译码位流中用信号发出语法元素的各种方式，视频解码器30可利用所述语法元素导出参考图像集。举例来说，视频编码器20可在图像参数集(PPS)、序列参数集(SPS)、图像标头(如果存在的话)、切片标头或其任何组合中用信号发出语法元素。仅为了说明的目的，视频编码器20可使用SPS、PPS和切片标头用信号发出语法元素，如更详细描述。
[0109]为了导出参考图像集，视频解码器30可实施解码过程以确定用于属于参考图像集的图像的识别符。视频解码器30可然后构造多个参考图像子集，其中所述子集中的每一者识别属于参考图像集的参考图像中的零者或多者。视频解码器30可从所构造的参考图像子集导出参考图像集。举例来说，视频解码器30可以特定次序列出所述多个参考图像子集以导出参考图像集。
[0110]可能存在视频解码器30可借以确定用于属于参考图像集的图像的识别符的各种方式。一般来说，视频编码器20可用信号发出值，视频解码器30可从所述值确定用于图像(包含属于参考图像集的图像)的识别符。图像的识别符可为PicOrderCnt (即，图像序列号(POC)值)。如上文所描述，POC值可指示图像的显示或输出次序，其中具有较小POC值的图像比具有较大POC值的图像早显示。给定图像的POC值可相对于先前瞬时解码刷新(IDR)图像来说。举例来说，IDR图像的PicOrderCnt (即，POC值)可为0，在显示或输出次序上在IDR图像之后的图像的POC值可为I，在显示或输出次序上在具有POC值I的图像之后的图像的POC值可为2，等等。
[0111]根据本发明中所描述的技术，在当前图像并不是IDR图像时，下文可适用于导出当前图像的POC值。下文希望辅助理解，且不应被视为限制性的。
[0112]举例来说，考虑列表变量listD，列表变量IistD包含与包含所有以下各者的图像列表相关联的PicOrderCnt值(P0C值)作为元素:(I)列表中的第一图像为解码次序上的先前IDR图像，以及(2)所有其它图像在解码次序上在列表中的第一图像之后且在解码次序上先于当前图像或者为当前图像。在此实例中，在调用用于参考图像集的导出过程之前，当前图像包含在IistD中。而且，考虑列表变量listO，列表变量IistO包含以POC值的递升次序排序的IistD的元素。在此实例中，IistO可能不含有具有等于另一图像的POC值的值的POC值。
[0113]在一些实例中，POC值可限于-215°-1"1到(包含和的范围。在此实例中，pocLen 可等于 long_term_ref_pic_id_len_delta+long_term_ref_pic_id_delta_len_minus4+4。 long_term_ref_pic_id_len_delta 和 long_term_ref_pic_id_delta_len_minus4可为视频解码器30在经译码位流中接收的作为图像参数集语法的部分的语法元素，如下文更详细描述。作为另一实例，POC值可限于-231到231-1 (包含-231和231-1)的范围。
[0114]作为一个实例，视频解码器30可在经译码位流(S卩，由视频编码器20用信号发出的位流)中接收pic_order_cnt_lsb语法元素。pic_order_cnt_lsb语法元素可指定经译码图像的图像序列号模数MaxPicOrderCntLsb。pic_order_cnt_lsb语法元素的长度可为 log2_max_pic_order_cnt_lsb_minus4+4 位。pic_order_cnt_lsb 的值可在 O 至IjMaxPicOrderCntLsb-1 (包含O和MaxPicOrderCntLsb-Ι)的范围内。视频解码器30可在待解码的当前图像的切片标头语法中接收pic_order_cnt_lsb语法元素。
[0115]视频解码器30还可在由视频编码器20用信号发出的经译码位流中接收log2_max_pic_order_cnt_lsb_minus4语法元素。视频解码器30可在序列参数集中接收log2_max_pic_order_cnt_lsb_minus4 语法兀素。log2_max_pic_order_cnt_lsb_minu4 的值可在O到12 (包含O和12)的范围内。log2_max_pic_order_cnt_lsb_minus4语法兀素可指定变量MaxPicOrderCntLsb的值，视频解码器30在用于确定POC值的解码过程中使用变量MaxPicOrderCntLsb 的值。举例来说:
[0116]MaxPicOrderCntLsb = 2(log2-max-pic-order-cnt-lsb-minus4+4)。
[0117]根据这些所接收语法元素，视频解码器30可确定当前图像的POC值如下。举例来说，视频解码器30可确定用于当前图像的PicOrderCntMsb。用于当前图像的POC值可为用于当前图像的所确定的PicOrderCntMsb加上用于当前图像的所接收的pic_order_cnt_Isb0
[0118]在下文中，函数PicOrderCnt (picX)等于用于图像X的POC值。函数DiffPicOrderCnt (picA，picB)等于 PicOrderCnt (picA)减去 PicOrderCnt (picB)。在一些实例中，经译码位流可能不包含产生在解码过程中使用的DiffPicOrderCnt (picA，picB)的超过-215到215-1(包含-215和215-1)范围的值的数据。此外，假设:X为当前图像且Y和Z为相同序列中的两个其它图像，其中当DiffPicOrderCnt (X，Y)与DiffPicOrderCnt (X，Z)两者为正或DiffPicOrderCnt (X，Y)与DiffPicOrderCnt (X，Z)两者为负时，Y和Z被视为从X起的相同输出次序方向。而且，在一些实例中，视频编码器20可指配相对于先前IDR图像的取样时间与对应图像的取样时间成比例的PicOrderCnt。
[0119]作为确定用于当前图像的POC值的过程的部分，视频解码器30可确定变量PrevPicOrderCntMsb和prevPicOrderCntLsb。举例来说，如果当前图像为IDR图像，那么视频解码器30可将prevPicOrderCntMsb设置为等于0，且将prevPicOrderCntLsb设置为等于O。否则(即，在当前图像并不是IDR图像的情况下)，视频解码器30可将prevPicOrderCntMsb设置为等于具有小于或等于当前图像的temporal—id的temporal—id的解码次序上的先前参考图像的PicOrderCntMsb,且将prevPicOrderCntLsb设置为等于具有小于或等于当前图像的temporal—id的temporal—id的解码次序上的先前参考图像的pic—order—cnt—Isb 的值。
[0120]通过这些变量值和语法元素的值(例如，prevPicOrderCntMsb λprevPicOrderCntLsb λ pic—order—cnt—Isb 和 MaxPicOrderCntLsb 的值)，视频解码器 30可基于以下伪码中所阐述的步骤确定PicOrderCntMsb的值。应理解，视频解码器30可实施以下伪码中所阐述的步骤，以确定用以导出当前图像的POC值的用于每一当前图像的PicOrderCntMsb。
[0121]if ( (pic_order_cnt_lsb < prevPicOrderCntLsb) & &((prevPicOrderCntLsb-pic—order—cnt—lsb) > = (MaxPicOrderCntLsb / 2)))
[0122]PicOrderCntMsb = prevPicOrderCntMsb+MaxPicOrderCntLsb
[0123]else if ((pic—order—cnt—lsb > prevPicOrderCntLsb) & & ((pic—order—cnt—Isb-prevPicOrderCntLsb) > (MaxPicOrderCntLsb / 2)))
[0124]PicOrderCntMsb = prevPicOrderCntMsb-MaxPicOrderCntLsb
[0125]else
[0126]PicOrderCntMsb = prevPicOrderCntMsb
[0127]在确定用于当前图像的PicOrderCntMsb之后,视频解码器30可基于用于当前图像的PicOrderCntMsb和用于当前图像的pic_order_cnt_lsb而确定用于当前图像的POC值。视频解码器30可确定用于当前图像的POC值如下:
[0128]PicOrderCnt = P i cOrderCntMsb+p i c_order_cnt_lsb?
[0129]在解码图像之后，视频解码器30可将用于所述图像(包含属于参考图像集的参考图像中的每一者)的PicOrderCntMsb值、pic_order_cnt_lsb值和POC值存储在视频解码器30的已解码图像缓冲器(DPB)中。以此方式，DPB中的每一图像与一 POC值、一PicOrderCntMsb 值和一 pic_order_cnt_lsb 值相关联。
[0130]下文更详细描述用于确定包含在当前图像的参考图像集中的参考图像的POC值的方法。根据所确定的POC值，视频解码器30可实施用于参考图像集的导出过程。然而，在描述视频解码器30借以实施用于参考图像集的导出过程的方式之前，下文提供视频解码器30可在由视频编码器20用信号发出的经译码位流中接收的语法元素的表格。举例来说，视频编码器20可在视频解码器30接收的经译码位流中用信号发出以下表格中的语法元素。上文已描述了这些语法元素中的一些语法元素。根据所述语法元素，视频解码器30可确定包含在参考图像集中的参考图像的POC值且进一步导出参考图像集。
[0131]举例来说，在本发明中所描述的技术中，相对于先前视频译码标准修改以下语法结构:序列参数集(SPS)原始字节序列有效载荷(RBSP)语法seq_paramater_set_rbsq()、图像参数集(PPS)RBSP 语法 pic_parameter_set_rbsp O、切片标头语法 slice_header O ,和参考图像列表修改语法ref_pic_list_modification()。在导出参考图像集及初始化一个或一个以上参考图像列表的描述之后，更详细地描述参考图像列表修改。
[0132]而且，根据本发明中所描述的技术，将以下语法结构添加到经译码位流:短期参考图像集语法short_term_ref_pic_set O ,和长期参考图像集语法long_term_ref_pic_set O。视频解码器30可利用短期参考图像集语法和长期参考图像集语法，以用于构造参考图像子集的目的，视频解码器30从所述参考图像子集导出参考图像集。
[0133]举例来说，为了供视频解码器30确定用于属于参考图像集的参考图像的POC值，视频编码器20可在图像参数集中用信号发出视频解码器30用以确定POC值的参考图像识别信息，且可在切片标头中参考到列表的索引。然而，此方式为视频编码器20可借以用信号发出此参考图像识别信息的一种实例方式。
[0134]在一个替代实例中，视频编码器20可在序列参数集中用信号发出参考图像信息且可在切片标头中参考到列表的索引，此情形可减少发信号耗用。在另一替代实例中，视频译码器可在新类型的参数集(例如，参考图像集参数集(RPSPS))中用信号发出参考图像信息，且可在切片标头中参考RPSPS id以及到参考图像识别信息列表的索引两者。此情形可减少发信号耗用以及不增加对图像参数集或序列参数集的数目的需要。在其它实例中，视频编码器20可利用这些实例技术的任何组合来用信号发出参考图像识别信息。
[0135]表1.序列参数集RBSP语法
[0136]
【权利要求】
1.一种用于译码视频数据的方法，所述方法包括: 译码指示在参数集中识别的候选长期参考图像的语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集，且其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像； 译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素；以及 基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者，其中所述多个参考图像子集形成所述参考图像集。
2.根据权利要求1所述的方法，其中在所述参数集中译码所述候选长期参考图像包括:在序列参数集中译码所述候选长期参考图像。
3.根据权利要求1所述的方法，其中译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素包括:在所述当前图像的切片标头中译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素。
4.根据权利要求1所述的方法，其进一步包括: 译码指示属于所述参考图像集的长期参考图像的语法元素，其中指示所述长期参考图像的所述语法元素指示不包含在所述候选长期参考图像中的所述长期参考图像， 其中构造所述多个参考图像子集中的所述至少一者包括:基于指示哪些候选长期参考图像属于所述参考图像集的所述语法元素及指示属于所述参考图像集的所述长期参考图像的所述语法元素，构造所述多个参考图像子集中的所述至少一者。
5.根据权利要求4所述的方法，其中译码指示哪些长期参考图像属于所述参考图像集的所述语法元素包括:在所述当前图像的切片标头中译码指示哪些长期参考图像属于所述参考图像集的所述语法元素。
6.根据权利要求1所述的方法，其中译码指示所述候选长期参考图像的语法元素包括: 译码用于属于所述参考图像集的所述候选长期参考图像的图像序列号POC值列表；以及 译码到所述列表的索引值。
7.根据权利要求6所述的方法，其中译码所述POC值列表包括在所述参数集中译码所述POC值列表，且其中译码到所述列表的所述索引值包括在所述当前图像的切片标头中译码到所述列表的所述索引值。
8.根据权利要求1所述的方法，其中在所述参数集中译码指示所述候选长期参考图像的所述语法元素包括:在图像参数集中译码指示所述候选长期参考图像的所述语法元素。
9.根据权利要求1所述的方法， 其中译码包括:通过视频解码器解码指示在所述参数集中识别的所述候选长期参考图像的所述语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的所述参考图像集，其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像，其中译码包括:通过所述视频解码器解码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素，且 其中构造包括:通过所述视频解码器基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造所述多个参考图像子集中的所述至少一者。
10.根据权利要求1所述的方法， 其中译码包括:通过视频编码器编码指示在所述参数集中识别的所述候选长期参考图像的所述语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的所述参考图像集，其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像， 其中译码包括:通过所述视频编码器编码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素，且 其中构造包括:通过所述视频编码器基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造所述多个参考图像子集中的所述至少一者。
11.一种用于译码视频数据的装置，所述装置包括视频译码器，所述视频译码器经配置以: 译码指示在参数集中识别的候选长期参考图像的语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集，且其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像； 译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素；以及 基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者，其中所述多个参考图像子集形成所述参考图像集。
12.根据权利要求11所述的装置，其中为了在所述参数集中译码所述候选长期参考图像，所述视频译码器经配置以在序列参数集中译码所述候选长期参考图像。
13.根据权利要求11所述的装置，其中为了译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素，所述视频译码器经配置以在所述当前图像的切片标头中译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素。
14.根据权利要求11所述的装置，其中所述视频译码器经配置以: 译码指示属于所述参考图像集的长期参考图像的语法元素，其中指示所述长期参考图像的所述语法元素指示不包含在所述候选长期参考图像中的所述长期参考图像， 其中为了构造所述多个参考图像子集中的所述至少一者，所述视频译码器经配置以基于指示哪些候选长期参考图像属于所述参考图像集的所述语法元素及指示属于所述参考图像集的所述长期参考图像的所述语法元素，构造所述多个参考图像子集中的所述至少一者。
15.根据权利要求14所述的装置，其中为了译码指示哪些长期参考图像属于所述参考图像集的所述语法元素，所述视频译码 器经配置以在所述当前图像的切片标头中译码指示哪些长期参考图像属于所述参考图像集的所述语法元素。
16.根据权利要求11所述的装置，其中为了译码指示所述候选长期参考图像的语法元素，所述视频译码器经配置以: 译码用于属于所述参考图像集的所述候选长期参考图像的图像序列号POC值列表；以及 译码到所述列表的索引值。
17.根据权利要求16所述的装置，其中为了译码所述POC值列表，所述视频译码器经配置以在所述参数集中译码所述POC值列表，且其中为了译码到所述列表的所述索引值，所述视频译码器经配置以在所述当前图像的切片标头中译码到所述列表的所述索引值。
18.根据权利要求11所述的装置，其中为了在所述参数集中译码指示所述候选长期参考图像的所述语法元素，所述视频译码器经配置以在图像参数集中译码指示所述候选长期参考图像的所述语法元素。
19.根据权利要求11所述的装置，其中所述视频译码器包括视频解码器，且其中所述视频解码器经配置以: 解码指示在所述参数集中识别的所述候选长期参考图像的所述语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的所述参考图像集，其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像； 解码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素；以及 基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造所述多个参考图像子集中的所述至少一者。
20.根据权利要求11所述的装置，其中所述视频译码器包括视频编码器，且视频编码器经配置以: 编码指示在所述参数集中识别的所述候选长期参考图像的所述语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的所述参考图像集，其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像； 编码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素；以及 基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造所述多个参考图像子集中的所述至少一者。
21.根据权利要求11所述的装置，其中所述装置包括以下各者中的一者: 无线通信装置； 微处理器；以及 集成电路。
22.—种其上存储有指令的计算机可读存储媒体，所述指令在经执行时致使用于译码视频数据的装置的处理器: 译码指示在参数集中识别的候选长期参考图像的语法元素，其中所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集，且其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像； 译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素；以及 基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者，其中所述多个参考图像子集形成所述参考图像集。
23.根据权利要求22所述的计算机可读存储媒体，其中致使所述处理器在所述参数集中译码所述候选长期参考图像的所述指令包括:致使所述处理器在序列参数集中译码所述候选长期参考图像的指令。
24.根据权利要求22所述的计算机可读存储媒体，其中致使所述处理器译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素的所述指令包括:致使所述处理器在所述当前图像的切片标头中译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素的指令。
25.根据权利要求22所述的计算机可读存储媒体，其进一步包括致使所述处理器进行以下操作的指令: 译码指示属于所述参考图像集的长期参考图像的语法元素，其中指示所述长期参考图像的所述语法元素指示不包含在所述候选长期参考图像中的所述长期参考图像， 其中致使所述处理器构造所述多个参考图像子集中的所述至少一者的所述指令包括致使所述至少一个处理器进行以下操作的指令:基于指示哪些候选长期参考图像属于所述参考图像集的所述语法元素及指示属于所述参考图像集的所述长期参考图像的所述语法元素，构造所述多个参考图像子集中的所述至少一者。
26.根据权利要求25所述的计算机可读存储媒体，其中致使所述处理器译码指示哪些长期参考图像属于所述参考图像集的所述语法元素的所述指令包括:致使所述处理器在所述当前图像的切片标头中译码指示哪些长期参考图像属于所述参考图像集的所述语法元素的指令。
27.根据权利要求22所述的计算机可读存储媒体，其中致使所述处理器译码指示所述候选长期参考图像的语法元素的所述指令包括致使所述处理器进行以下操作的指令: 译码用于属于所述参考图像集的所述候选长期参考图像的图像序列号POC值列表；以及 译码到所述列表的索引值。
28.根据权利要求27所述的计算机可读存储媒体，其中致使所述处理器译码所述POC值列表的所述指令包括致使所述处理器在所述参数集中译码所述POC值列表的指令，且其中致使所述处理器译码到所述列表的所述索引值的所述指令包括致使所述处理器在所述当前图像的切片标头中译码到所述列表的所述索引值的指令。
29.根据权利要求22所述的计算机可读存储媒体，其中致使所述处理器在所述参数集中译码指示所述候选长期参考图像的所述语法元素的所述指令包括:致使所述处理器在图像参数集中译码指示所述候选长期参考图像的所述语法元素的指令。
30.一种用于译码视频数据的装置，所述装置包括:用于译码指示在参数集中识别的候选长期参考图像的语法元素的装置，其中所述候选长期参考图像中的一者或一者以上属于当前图像的参考图像集，且其中所述参考图像集识别可潜在地用于对所述当前图像进行帧间预测且可潜在地用于对在解码次序上在所述当前图像之后的一个或一个以上图像进行帧间预测的参考图像； 用于译码指示在所述参数集中识别的哪些候选长期参考图像属于所述当前图像的所述参考图像集的语法元素的装置；以及 用于基于关于哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述指示而构造多个参考图像子集中的至少一者的装置，其中所述多个参考图像子集形成所述参考图像集。
31.根据权利要求30所述的装置，其中用于在所述参数集中译码所述候选长期参考图像的所述装置包括:用于在序列参数集中译码所述候选长期参考图像的装置。
32.根据权利要求30所述的装置，其中用于译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素的所述装置包括:用于在所述当前图像的切片标头中译码指示哪些候选长期参考图像属于所述当前图像的所述参考图像集的所述语法元素的装置。
33.根据权利要求30所述的装置，其进一步包括: 用于译码指示属于所述参考图像集的长期参考图像的语法元素的装置，其中指示所述长期参考图像的所述语法元素指示不包含在所述候选长期参考图像中的所述长期参考图像， 其中用于构造所述多个参考图像子集中的所述至少一者的所述装置包括用于进行以下操作的装置:基于指示哪些候选长期参考图像属于所述参考图像集的所述语法元素及指示属于所述参考图像集的所述 长期参考图像的所述语法元素，构造所述多个参考图像子集中的所述至少一者。
34.根据权利要求33所述的装置，其中用于译码指示哪些长期参考图像属于所述参考图像集的所述语法元素的所述装置包括:用于在所述当前图像的切片标头中译码指示哪些长期参考图像属于所述参考图像集的所述语法元素的装置。
35.根据权利要求30所述的装置，其中用于译码指示所述候选长期参考图像的语法元素的所述装置包括: 用于译码用于属于所述参考图像集的所述候选长期参考图像的图像序列号POC值列表的装置；以及 用于译码到所述列表的索引值的装置。
36.根据权利要求35所述的装置，其中用于译码所述POC值列表的所述装置包括用于在所述参数集中译码所述POC值列表的装置，且其中用于译码到所述列表的所述索引值的所述装置包括用于在所述当前图像的切片标头中译码到所述列表的所述索引值的装置。
37.根据权利要求30所述的装置，其中用于在所述参数集中译码指示所述候选长期参考图像的所述语法元素的所述装置包括:用于在图像参数集中译码指示所述候选长期参考图像的所述语法元素的装置。
【文档编号】H04N19/176GK103814575SQ201280046156
【公开日】2014年5月21日 申请日期:2012年9月20日 优先权日:2011年9月23日
【发明者】王益魁, 陈盈 申请人:高通股份有限公司