用于视频译码的参考图片状态的制作方法
【专利说明】用于视频译码的参考图片状态
[0001]本申请案主张2012年10月25日申请的美国临时申请案61/718，629的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
[0002]本发明涉及视频译码，且更确切地说，涉及关于用于视频译码的参考图片状态的技术。
【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由 MPEG-2、MPEG-4、ITU-T H.263 或 ITU-T H.264/MPEG-4 第 10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。
[0005]空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描一开始按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以达成更多压缩。
【发明内容】
[0006]本发明中所描述的技术通常涉及视频译码过程，且存储在对使用参考图片中的一或多者的图片进行译码的情况下的参考图片的参考状态信息。以此方式，即使参考图片的参考状态随后改变，视频译码器仍能够确定在对图片进行译码的情况下的参考图片的参考状态。
[0007]在一个实例中，本发明描述一种用于对视频数据进行译码的方法。所述方法包含存储第一图片的一或多个参考图片的参考状态信息，所述参考状态信息指示在对第一图片进行译码的情况下的一或多个参考图片的参考状态信息，及基于第一图片的一或多个参考图片的在对第一图片进行译码的情况下的所存储的参考状态信息对第二不同图片内的视频块进行译码。
[0008]在一个实例中，本发明描述一种用于对视频数据进行译码的设备。所述设备包含视频译码器，所述视频译码器经配置以存储第一图片的一或多个参考图片的参考状态信息，所述参考状态信息指示在对第一图片进行译码的情况下的一或多个参考图片的参考状态信息，及基于第一图片的一或多个参考图片的在对第一图片进行译码的情况下的所存储的参考状态信息对第二不同图片内的视频块进行译码。
[0009]在一个实例中，本发明描述一种用于对视频数据进行译码的设备。所述设备包含用于存储第一图片的一或多个参考图片的参考状态信息的装置，所述参考状态信息指示在对第一图片进行译码的情况下的一或多个参考图片的参考状态信息，及用于基于第一图片的一或多个参考图片的在对第一图片进行译码的情况下的所存储的参考状态信息对第二不同图片内的视频块进行译码的装置。
[0010]在一个实例中，本发明描述一种具有存储于其上的指令的计算机可读存储媒体，所述指令在执行时致使一或多个处理器存储第一图片的一或多个参考图片的参考状态信息，所述参考状态信息指示在对第一图片进行译码的情况下的一或多个参考图片的参考状态信息，及基于第一图片的一或多个参考图片的在对第一图片进行译码的情况下的所存储的参考状态信息对第二不同图片内的视频块进行译码。
[0011]随附图式及以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
【附图说明】
[0012]图1是说明可利用本发明中描述的技术的实例视频编码及解码系统的框图。
[0013]图2是说明可实施本发明中描述的技术的实例视频编码器的框图。
[0014]图3是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0015]图4是说明根据本发明中所描述的一或多个实例技术的实例操作的流程图。
【具体实施方式】
[0016]本发明中所描述的技术通常涉及视频译码过程中的图片的参考状态的检查。作为参考状态的实例，视频译码器可将图片指明(例如，标记)为“用于长期参考”、“用于短期参考”或“不用于参考”。举例来说，为了对图片内的视频块进行帧间预测，视频译码器可建构一个或两个参考图片列表(RefPicListO及/或RefPicListl)。参考图片列表识别可用以帧间预测所述图片内的视频块的参考图片。在本发明中所描述的技术中，视频译码器存储在对图片进行译码的情况下的在RefPicListO及/或RefPicListl中识别的参考图片的参考状态信息。
[0017]在一些状况下，视频译码器可需要在对后续图片的视频块进行译码时确定图片的参考图片的参考状态信息。然而，图片的参考图片的参考状态可能已从视频译码器对图片进行译码改变为视频译码器对后续图片进行译码。通过存储在对图片进行译码的情况下的图片的参考图片的参考状态信息，本发明中所描述的技术可允许视频译码器在对后续图片进行译码时确定图片的参考图片的参考状态。
[0018]举例来说，视频译码器可需要在改变参考状态的时间之前获得参考图片的参考状态，以实施用于对视频块进行译码的合并/跳过模式或高级运动向量预测(AMVP)模式。仅出于说明的目的，描述关于合并/跳过模式或AMVP模式的技术。然而，本发明中所描述的技术不应被视为限于合并/跳过模式或AMVP模式。
[0019]如更详细地描述，在合并/跳过模式或AMVP模式中，视频译码器利用运动向量预测子来确定将进行帧间预测的块的运动向量。运动向量预测子的一个实例为时间运动向量预测子(TMVP)。
[0020]TMVP参考时间相邻块的运动向量。时间相邻块存在于除包含进行帧间预测的块的图片之外的图片内。时间相邻块可为不同于与经译码的视频块相关联的图片的图片的相同位置块，但也可使用其它非相同位置块。为易于描述，进行帧间预测的块被称作当前图片中的当前块。时间相邻块存在于时间图片内，其中时间图片为除当前图片之外的图片。
[0021]TMVP参考为时间图片的参考图片的图片。举例来说，视频译码器可建构时间图片的两个参考图片列表(RefPicListO及RefPicListl)。为时间相邻块的运动向量的TMVP参考时间图片的RePicListO或RefPicListl中的一者中的参考图片。在用两个运动向量对时间相邻块进行帧间预测(即，双向预测)的实例中，一个运动向量参考RefPicListO中的参考图片，且另一运动向量参考RefPicListl中的图片。在这些实例中，可存在两个TMVP。
[0022]在一些实例中，为了利用时间相邻块的一或多个运动向量作为当前块的一或多个运动向量预测子(即，作为当前块的一或多个TMVP)，视频译码器可需要确定时间相邻块的一或多个运动向量所参考的参考图片的参考状态。换句话说，视频译码器可需要确定在视频译码器对时间图片进行译码的情况下的在时间图片的RefPicListO及/或RefPicListl中识别的参考图片的参考状态。
[0023]一般来说，视频译码器可能已经经配置以存储图片的参考状态信息。然而，图片的参考状态信息可改变。因此，在对时间图片进行译码的情况下的时间图片的RefPicListO及RefPicListl中识别的图片的的参考状态可在随后对当前图片进行译码时丢失。
[0024]举例来说，假设在对时间图片进行译码的情况下，时间图片的参考图片的参考状态“用于长期参考图片”。接着，假设在对当前图片进行译码之前，参考图片的参考状态从“用于长期参考图片”改变为“用于短期参考图片”。在此实例中，在视频译码器对时间图片进行译码的情况下为“所使用的长期参考图片”的参考图片的参考状态可在视频译码器对当前图片进行译码时丢失。
[0025]在本发明中所描述的技术中，视频译码器存储在对第一图片进行译码的情况下的第一图片(例如，时间图片)的参考图片的参考状态信息。接着，在对第一图片进行译码的情况下的第一图片的参考图片的参考状态信息在对第二不同图片(例如，当前图片)进行译码时可用。举例来说，如果第一图片中的块的运动向量为第二不同图片中的块的运动向量预测子，那么视频译码器可能能够确定在对第一图片进行译码的情况下的第一图片中的块的运动向量所参考的参考图片的参考状态，以确保恰当地帧间预测第二不同图片中的块。
[0026]图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，所述源装置产生经编码视频数据以在稍后时间由目的地装置14解码。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
[0027]目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)加以调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
[0028]替代地，可将经编码数据从输出接口 22输出到存储装置34。类似地，可通过输入接口从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置34可对应于文件服务器或可保持由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置34存取所存储的视频数据。文件服务器可以是任何类型的能够存储经编码的视频数据并且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
[0029]本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码数字视频以用于存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
[0030]在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。在一些状况下，输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可以形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。
[0031]可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。可经由源装置12的输出接口 22将经编码视频数据直接发射到目的地装置14。还可(或替代地)将经编码视频数据存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
[0032]目的地装置14包括输入接口 28、视频解码器30和显示装置32。在一些状况下，输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28经由链路16接收经编码视频数据。经由链路16传送或在存储装置34上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
[0033]显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0034]视频编码器20和视频解码器30可根据各种视频译码标准操作。