可包含未对准irap图片的多层位流的跨层poc对准的制作方法
【专利说明】
[0001] 本申请案主张2013年4月8日申请的第61/809, 855号美国临时申请案以及2013 年7月15日申请的第61/846,532号美国临时申请案的权益，上述临时申请案中的每一者 特此以全文引用的方式并入本文中。
技术领域
[0002] 本发明涉及视频译码。
【背景技术】
[0003] 数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相 机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电 电话、所谓的"智能电话"、视频电话会议装置、视频流式传输装置等。数字视频装置实施视 频译码技术，例如 MPEG-2 ;MPEG-4 ;ITU-T H. 263 ;ITU-T H. 264/MPEG-4,第 10 部分；高级视 频译码（AVC);目前尚在开发的高效视频译码（HEVC)标准，以及此类标准的扩展所定义的 标准中描述的那些技术。视频装置可通过实施此类视频译码技术来更高效地发射、接收、编 码、解码和/或存储数字视频信息。
[0004] 视频译码技术包含空间（图片内）预测和/或时间（图片间）预测来减少或去除 视频序列中固有的冗余。对于基于块的视频译码，可将视频切片（例如，视频帧或视频帧的 一部分）可分为若干视频块其也可称为树块、译码单元（CU)和/或译码节点。相对于同一 图片中的相邻块中的参考样本，使用空间预测来编码图片的经帧内译码（I)切片中的视频 块。图片的经帧间译码（P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样 本使用空间预测，且相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参 考图片可称为参考帧。
[0005] 空间或时间预测针对待译码的块产生预测块。残余数据表示待译码的原始块与预 测块之间的像素差。根据指向形成预测块的参考样本块的运动向量，以及指示经译码块与 预测块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码 经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变 换系数，其接着可量化。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系 数的一维向量，且可应用熵译码来实现更多的压缩。
【发明内容】
[0006] -般来说，本发明描述用于译码图片的语法元素的技术，所述语法元素指示所述 图片的图片次序计数（POC)值是否将复位。明确地说，当具有非帧内随机存取点（IRAP)图 片的存取单元中，例如，不同的视频译码层中包含IRAP图片时，视频译码器（例如视频编码 器或视频解码器）可译码指示非IRAP图片的POC值将复位的值。以此方式，本发明的技术 可支持跨不同视频译码层的IRAP图片的非对准，同时还确保POC值在不同视频译码层的图 片之间对准。
[0007] 在一个实例中，解码视频数据的方法包含：当语法元素的值指示图片的图片次序 计数（POC)值的至少一部分将复位到值零时，确定所述语法元素的所述值是否指示所述 POC值的所述部分将复位到值零；使所述POC值的至少所述部分复位，使得POC值的所述部 分等于零；以及使用复位的POC值来解码视频数据。
[0008] 在另一实例中，一种编码视频数据的方法包含：响应于确定使图片的图片次序计 数（POC)值的至少一部分复位，确定是否使所述POC值的至少所述部分复位到值零；使所述 POC值的至少所述部分复位，使得所述POC值的所述部分等于零；以及解码语法元素的值， 所述语法元素指示所述POC值的至少所述部分将复位到值零；以及使用复位的POC值来编 码视频数据。
[0009] 在另一实例中，一种用于译码视频数据的装置包含视频译码器，其经配置以：译码 指示图片的图片次序计数（POC)值的至少一部分是否将复位到值零的语法元素的值；当所 述语法元素的所述值指示所述POC值的所述部分将复位到所述值零时，使所述POC值的至 少所述部分复位，使得所述POC值的所述部分等于零；且使用所述复位的POC值来译码视频 数据。
[0010] 在另一实例中，一种用于译码视频数据的装置包含：用于译码语法元素的值的装 置，所述语法元素指示图片的图片次序计数（POC)值的至少一部分是否将复位到值零；用 于在所述语法元素的所述值指示所述POC值的所述部分将复位到值零时，使所述POC值的 至少所述部分复位使得所述POC值的所述部分等于零的装置；以及用于使用所述复位的 POC值来译码视频数据的装置。
[0011] 在另一实例中，一种上面存储有指令的计算机可读存储媒体，所述指令在被执行 时，致使可编程处理器：译码指示图片的图片次序计数（POC)值的至少一部分是否将复位 到值零的语法元素的值；当所述语法元素的所述值指示所述POC值的所述部分将复位到所 述值零时，使所述POC值的至少所述部分复位，使得所述POC值的所述部分等于零；且使用 所述复位的POC值来译码视频数据。
[0012] 附图和下文的描述中陈述一个或一个以上实例的细节。将从描述和图式，且从所 附权利要求书明白其它特征、目标和优点。
【附图说明】
[0013] 图1是说明根据本发明中所描述的一个或一个以上实例的实例视频编码和解码 系统的框图。
[0014] 图2是说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0015] 图3是说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0016] 图4是说明经译码视频图片序列的概念图。
[0017] 图5是说明根据本发明的技术的编码视频数据的实例方法的流程图。
[0018] 图6是说明根据本发明的技术的解码视频数据的实例方法的流程图。
【具体实施方式】
[0019] 本发明描述用于支持非对准帧内随机存取点（IRAP)图片的技术，其可开始新的 经译码视频序列，使得保证相同图片次序计数（POC)值跨层对准。所述技术可应用于多层 译码中。一些所揭示的方法也可应用于单层视频译码。
[0020] 明确地说，在存取单元在不同的视频译码层中包含IRAP图片和非IRAP图片两者 的情形中，出现非对准IRAP图片。经译码视频序列（CVS)中的图片具有唯一地识别所述 CVS中的相应图片的POC值。图片的POC值通常指示所述图片相对于同一 CVS中的其它图 片的输出次序。IRAP图片具有POC值0。因此，非对准IRAP图片导致存取单元包含具有不 同POC值的图片。
[0021] 然而，使用POC值来识别层间参考图片。就是说，当使用层间预测（例如，视图间 预测）来译码图片时，用信号通知参考图片的值，使得视频解码器可识别所述参考图片。在 POC值对准的情况下，确定当前图片经层间预测较简单，即当参考图片的POC值与当前图片 的POC值相同时。视频译码层之间的图片的失对准的POC值使得参考图片的识别较困难。 此外，存取单元边界变得难以检测，且可容易发生错误。
[0022] 因此，本发明描述用于允许非对准IRAP图片，同时还确保共用存取单元中的图片 的POC值交叉对准的技术。明确地说，语法元素可指示图片的POC值的至少一部分将复位 (就是说，设定为值零）。举例来说，视频编码器可确定存取单元在一个层中包含IRAP图片， 且在另一不同层中包含非IRAP图片。视频编码器可因此用信号通知非IRAP图片的POC值 将复位。视频解码器可使非IRAP图片的POC值复位，且还修改与非IRAP图片相同的视频 译码层中的其它图片的POC值。就是说，视频解码器可修改这些其它图片的POC值，使得在 使非IRAP图片的POC值复位之后，非IRAP图片的POC值与同一层以及同一 CVS中的其它 图片之间的差保持恒定。
[0023] 通过以此方式调整POC值，可确保共用存取单元中的所有图片具有相同的POC值， 但IRAP图片无需对准。因此，可简化存取单元边界检测，且使其更具容错性，且也可简化层 间参考图片的识别。
[0024] 视频译码标准包括 ITU-T H. 261、IS0/IEC MPEG-I 视觉、ITU-TH. 262 或 ISO/ IEC MPEG-2 视觉、ITU-TH. 263、IS0/IEC MPEG-4 视觉，以及 ITU-TH. 264(也称为 IS0/IEC MPEG-4AVC)，包括其可缩放视频译码（SVC)和多视图视频译码（MVC)扩展。
[0025] 最近，ITU-T视频译码专家组（VCEG)和IS0/IEC运动图片专家组（MPEG)的视频 译码联合协作团队（JCT-VC)已完成了一种新的视频译码标准，即高效视频译码（HEVC)的 设计。最新的HEVC草案规范，下文称为HEVC WD10,可从以下网址获得出《?://?1^11^· int-evry. fr/jct/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003_v34· zip。
[0026] HEVC的多视图扩展，即MV-HEVC也正由JCT-3V开发。MV-HEVC的新近工作草案 (WD)，下文称为 MV-HEVC WD3,可从以下网址获得：http://phenix. it_sudparis.eu/jct2/ doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004_v4· zip。
[0027] HEVC的可缩放扩展，即SHVC，也正由JCT-VC开发。SHVC的新近工作草案（WD)， 下文称为SHVC WD1，可从以下网址获得：http://phenix. int-evry. fr/jct/doc_end_user/ documents/12_Geneva/wgl1/JCTVC-L1008_vl· zip〇
[0028] 本文献假定（经译码）图片、存取单元（AU)、IRAP AU、经译码视频序列（CVS)和 位流的以下概念，但如果这些假定改变，所述方法也适用：
[0029] -(经译码）图片：类似于当前（经译码）图片定义，其中经译码图片等效于SVC 中的层表示、MVC中的视图分量以及MVC+D中的纹理或深度视图分量。
[0030] -存取单元：与SVC和MVC中类似，AU由与相同输出时间及其关联的非VCL NAL 单元相关联的所有经译码的图片组成。
[0031] - IRAP存取单元：其中所有经译码图片均为IRAP图片的存取单元。
[0032] -经译码视频序列（CVS):存取单元序列，其由具有等于1的NoRaslOutputFlag 的IRAP存取单元，接以不作为具有等于1的NoRaslOutputFlag的IRAP存取单元的零个或 零个以上存取单元，以解码次序组成，所述零个或零个以上存取单元包含至多达所有后续 存取单元，但不包含作为具有等于1的NoRaslOutputFlag的IRAP存取单元的任何后续存 取单元。
[0033] 〇注意，措词与HEVC WDlO中相同。
[0034] -位流：呈NAL单元流或字节流形式的位序列，其形成一个或一个以上CVS的表 不。
[0035] 〇位流中的第一 AU将为IRAP AU (如上文所定义）。
[0036] 瞬时解码器刷新（IDR)图片、清洁随机存取（CRA)图片以及断链存取（BLA)图片 统称为IRAP图片。要求IRAP图片的跨层对准将不允许一些有利使用情景。举例来说，在 双层位流中，当基础层中存在比增强层中多的IRAP图片时，在广播和多播应用中，可实现 低延迟调谐，其中同时可实现高译码效率。因此，允许非对准IRAP图片是合意的。
[0037] 然而，当一个图片（picA)为具有等于1的NoRaslOutputFlag的IRAP图片，且同 一存取单元中的另一图片（PicB)不是具有等于1的NoRaslOutputFlag的IRAP图片时，含 有PicA的层中的图片（picC)的POC值可不同于含有picB的层中的图片（picD)的POC值， 其中picC和picD在同一存取单元中，且picC可或可不为picA(且因此picD可或可不为 picB)。这是因为具有等于1的NoRaslOutputFlag的每一 IRAP图片使POC值复位成等于 针对具有等于1的NoRaslOutputFlag的IRAP图片而用信号通知或导出的POC最低有效位 (LSB)〇
[0038] 这使得与POC值交叉对准时相比，在具有层间预测的多层视频译码中识别参考图 片较困难。举例来说，在MV-HEVC WD3中，将POC用作二维识别中的一者来识别层间参考图 片。
[0039] 此外，这使得存取单元（AU)边界检测较难，且不具容错性。举例来说，假定AUl由 分别基础层和增强层中的PicA和picB组成，AU2由分别基础层和增强层中的和picD组成， 且AUl在解码次序中在AU2之前。接着，如果失去picB和picC两者，那么解码器无法基于 经译码图片知晓接收到的PicA和picD属于两个不同AU。在同一实例中，如果AU2仅由增 强层中PicD组成，而picC从未存在，那么甚至在失去仅一个图片picB时，也将发生相同的 问题。
[0040] 本发明描述实现具有等于1的NoRaslOutputFlag的IRAP图片的非交叉对准，同 时提供所有AU的POC值的交叉对准的技术。
[0041] 图1是说明根据本发明中所描述的一个或一个以上实例的实例视频编码和解码 系统的框图。举例来说，系统10包含源装置12和目的地装置14。源装置12和目的地装置 14经配置以实施本发明中所描述的技术。在一些实例中，系统10可经配置以支持经编码的 视频数据的编码、传输、存储、解码和/或呈现，所述经编码的视频数据例如为根据HEVC标 准编码的视频数据，所述HEVC标准例如在WDlO及其扩展中描述，例如MV-HEVC WD3、SHVC WDl等中所描述的扩展。然而，本发明中所描述的技术可适用于其它视频译码标准或其它扩 展。
[0042] 如图1中所示，系统10包含源装置12,其产生稍后时间将由目的地装置14解码的 经编码的视频数据。源装置12和目的地装置14可包括各种各样装置中的任何一种，包含 桌上型计算机、笔记本型（亦即，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如 所谓的"智能"电话，所谓的"智能"平板电脑）、电视机、相机、显示装置、数字媒体播放器、 视频游戏控制台、视频流式传输装置或类似装置。在一些情况下，源装置12和目的地装置 14可配备用于无线通信。
[0043] 目的地装置14可接收将经由链路16解码的经编码的视频数据。链路16可包括 任何类型的能够将经编码的视频数据从源装置12移到目的地装置14的媒体或装置。在一 个实例中，链路16可包括通信媒体，以使源装置12能够将经编码的视频数据直接实时发射 到目的地装置14。经编码的视频数据可根据通信标准（例如无线通信协议）来调制，并发 射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频（RF)频谱或一个 或一个以上物理传输线。通信媒体可形成基于包的网络的一部分，例如局域网、广域网或全 局网络，例如因特网。通信媒体可包含路由器、交换机、基站，或可对促进从源装置12到目 的地装置14的通信有用的任何其它设备。
[0044] 或者，经编码数据可从输出接口 22输出到存储装置34。类似地，可通过输入接口 从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取数据存储媒体 中的任何一种，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存 储器，或任何其它用于存储经编码视频数据的合适数字存储媒体。在另一实例中，存储装置 34可对应于可保持源装置12所产生的经编码视频的文件服务器或另一中间存储装置。目 的地装置14可经由流式传输或下载从存储装置34存取所存储的视频数据。文件服务器可 任何类型的能够存储经编码的视频数据并将所述经编码的视频数据发射到目的地装置14 的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附加存储 (NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接，包含因特网连接， 来存取经编码的视频数据。这可包含无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、 电缆调制解调器等），或适合存取存储在文件服务器上的经编码视频数据的两者的组合。经 编码的视频数据从存储装置34的传输可为流式传输、下载传输或两者的组合。
[0045] 本发明的技术不限于无线应用或设定。所述技术可在多种多媒体应用中的任何一 种的支持下应用于视频译码，例如空中电视广播、有线电视发射、卫星电视发射、流式视频 传输，例如，经由因特网、对数字视频进行编码以存储在数据存储媒体上，对存储在数据存 储媒体上的数字视频进行解码，或其它应用。在一些实例中，系统10可经配置以支持单向 或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0046] 在图1的实例中，源装置12包括视频源18、视频编码器20和输出接口 22。在一 些情况下，输出接口 22可包含调制器/解调器（调制解调器）和/或发射器。在源装置12 中，视频源18可包含来源，例如视频捕获装置（例如，摄像机）、含有先前所捕获的视频的视 频存档、用来接收来自视频内容提供者的视频的视频馈送接口，和/或用于产生计算机图 形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18 为摄像机，源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中 所描述的技术一般来说可适用于视频译码，且可适用于无线和/或有线应用。
[0047] 所捕获、预捕获或计算机产生的视频可由视频编码器20编码。可经由源装置12的 输出接口 22,将经编码的视频数据直接发射到目的地装置14。经编码的视频数据也可（或 替代地）存储到存储装置34上，以供以后由目的地装置14或其它装置存取，用于解码和/ 或重放。
[0048] 目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些情况下， 输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28经由链路16 接收经编码的视频数据。经由链路16传送或提供于存储装置34上的经编码的视频数据可 包含多种语法元素，其由视频编码器20产生以供视频解码器（例如视频解码器30)用来解 码视频数据。此类语法元素可与在通信媒体上传输、存储在存储媒体上或存储在文件服务 器中的经编码的视频数据包含在一起。
[0049] 显示装置32可与目的地装置14集成，或在目的地装置14外部。在一些实例中， 目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中， 目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码的视频数据，且可 包括多种显示装置中的任何一种，例如液晶显示器（IXD)、等离子体显示器、有机发光二极 管（OLED)显示器，或另一类型的显示装置。
[0050] 视频编码器20和视频解码器30可根据视频压缩标准，例如ITU-T H. 264标准，或 者称为MPEG 4,第10部分；高级视频译码（AVC)或此类标准的扩展来操作。或者，视频编 码器20和视频解码器30可根据其它专有或行业标准，例如目前正在开发的高效视频译码 (HEVC)标准以及HEVC标准的扩展来操作。然而，本发明的技术不限于任何特定译码标准。 视频压缩标准的其它实例包含MPEG-2和ITU-T H. 263。
[0051] 尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与 音频编码器和解码器集成，且可包含适当的MUX-DEMUX单元，或其它硬件和软件，来处置 共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么在一些实例中， MUX-DEMUX单元可遵从ITU H. 223多路复用器协议，或其它协议，例如用户数据报协议 (UDP)。
[0052] 根据本发明的技术，视频编码器20和视频解码器30可经配置以译码指示图片的 图片次序计数（POC)值是否将部分地或完全复位的语法元素的值。部分复位可对应于将 POC值的一部分，例如仅最高有效位（MSB)设定为等于零。完全复位可对应于将POC值的所 有位设定为等于零。因此，当语法元素指示图片的POC值将部分地或完全复位时