对视频译码发信长期参考图片的制作方法

对视频译码发信长期参考图片的制作方法
【专利摘要】一种视频解码器可经配置以：解码第一值，所述第一值表示视频数据的当前图片的图片次序计数POC值的基本最高有效位MSB值与所述视频数据的第一长期参考图片的第一POC值的第一MSB值之间的差；解码第二值，所述第二值表示所述视频数据的第二长期参考图片的第二POC值的第二MSB值与所述第一MSB值之间的差，其中所述第一POC值与所述第二POC值具有不同的最低有效位值；以及解码所述视频数据的当前图片中的与所述第一长期参考图片和所述第二长期参考图片中的至少一者有关的至少一部分。
【专利说明】对视频译码发信长期参考图片
[0001] 本申请案主张2012年6月28日申请的美国临时申请案第61/665, 784号的权益， 所述临时申请案的全部内容以引用的方式并入本文中。

【技术领域】
[0002] 本发明涉及视频译码。

【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系 统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅 读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝 式或卫星无线电电话、所谓的"智能型手机"、视频电传会议装置、视频流式传输装置，和类 似者。数字视频装置实施视频译码技术，例如，在由MPEG-2、MPEG-4、ITU-TH. 263、ITU-T H. 264/MPEG-4第10部分先进视频译码（AVC)所定义的标准、目前正在开发中的高效率视 频译码01EVC)标准和这些标准的扩展中所描述的视频译码技术。ITU-TSG16WP3和ISO/ IECJTC1/SC29/WG11的视频译码联合协作小组（JCT-VC)于2012年4月27日到5月7日 在美国加州圣何塞市（SanJose)召开的第9次会议上布罗斯（Bross)等人的"高效率视频 译码（HEVC)文本规范草案7"的文件LCTVC-I1003中描述即将到来的HEVC标准的最新草 案（被称作"HEVC工作草案7"或"WD7"），从2013年5月13日起，其可从吐丨口://^611^. int-evry.fr/jct/doc_end_user/documents/8_San% 20Jose/wgll/JCTVC-H1003-v22.zip 下载而得。视频译码装置可通过实施这些视频译码技术来更有效率地发射、接收、编码、解 码和/或存储数字视频信息。
[0004] 视频译码技术包含空间（图片内）预测和/或时间（图片间）预测以减少或去除 视频序列中固有的冗余。对于基于块的视频译码，可将视频切片（例如，视频帧或视频帧的 一部分）分割成视频块，其也可被称作树型块、译码单元（CU)和/或译码节点。可使用相 对于图片中的相邻块中的参考样本的空间预测来编码同一图片的帧内译码（I)切片中的 视频块。图片的帧间译码（P或B)切片中的视频块可使用相对于同一图片中的相邻块中的 参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧， 且参考图片可被称作参考帧。
[0005] 空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码的原始块 与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译 码块与预测性块之间的差的残余数据来编码帧间译码块。根据帧内译码模式和残余数据来 编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余 变换系数，可接着量化残余变换系数。可扫描一开始布置成二维阵列的经量化变换系数以 便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。


【发明内容】

[0006] -般来说，本发明描述用于对视频译码发信长期参考图片的技术。参考图片大体 上对应于可用于其它图片的数据的时间预测性译码的参考的图片。一般来说，长期参考图 片存储于经解码图片缓冲器中，比其它参考图片（例如，短期参考图片）长。本发明描述与 涉及长期参考图片的发信有关的各种技术，例如在图片的切片的切片标头中发信长期参考 图片。本发明的技术可提供切片标头中的长期参考图片的发信方法（例如）在效率和/或 适用性方面的改善。
[0007] 在一个实例中，一种方法包含：解码第一值，所述第一值表示视频数据的当前图片 的图片次序计数（P0C)值的基本最高有效位（MSB)值与所述视频数据的第一长期参考图片 的第一P0C值的第一MSB值之间的差；解码第二值，所述第二值表示所述视频数据的第二长 期参考图片的第二P0C值的第二MSB值与所述第一MSB值之间的差，其中所述第一P0C值 与所述第二P0C值具有不同的最低有效位（LSB)值；以及解码所述视频数据的当前图片中 的与使用所述第一值的所述第一长期参考图片和使用所述第一值与所述第二值的所述第 二长期参考图片中的至少一者有关的至少一部分。
[0008] 在另一实例中，一种用于解码视频数据的装置包含视频解码器，其经配置以：解码 第一值，所述第一值表示视频数据的当前图片的图片次序计数（P0C)值的基本最高有效位 (MSB)值与所述视频数据的第一长期参考图片的第一P0C值的第一MSB值之间的差；解码 第二值，所述第二值表示所述视频数据的第二长期参考图片的第二P0C值的第二MSB值与 所述第一MSB值之间的差，其中所述第一P0C值与所述第二P0C值具有不同的最低有效位 (LSB)值；以及解码所述视频数据的当前图片中与使用所述第一值的所述第一长期参考图 片和使用所述第一值与所述第二值的所述第二长期参考图片中的至少一者有关的至少一 部分。
[0009] 在另一实例中，一种装置包含：用于解码第一值的装置，所述第一值表示视频数据 的当前图片的图片次序计数（P0C)值的基本最高有效位（MSB)值与所述视频数据的第一长 期参考图片的第一P0C值的第一MSB值之间的差；用于解码第二值的装置，所述第二值表 示所述视频数据的第二长期参考图片的第二P0C值的第二MSB值与所述第一MSB值之间的 差，其中所述第一P0C值与所述第二P0C值具有不同的最低有效位（LSB)值；以及用于解码 所述视频数据的当前图片中与使用所述第一值的所述第一长期参考图片和使用所述第一 值与所述第二值的所述第二长期参考图片中的至少一者有关的至少一部分的装置。
[0010] 在另一实例中，一种计算机可读存储媒体于其上存储有指令，所述指令在被执行 时使处理器：解码第一值，所述第一值表示视频数据的当前图片的图片次序计数（P0C)值 的基本最高有效位（MSB)值与所述视频数据的第一长期参考图片的第一P0C值的第一MSB 值之间的差；解码第二值，所述第二值表示所述视频数据的第二长期参考图片的第二P0C 值的第二MSB值与所述第一MSB值之间的差，其中所述第一P0C值与所述第二P0C值具有 不同的最低有效位（LSB)值；以及解码所述视频数据的当前图片中与使用所述第一值的所 述第一长期参考图片和使用所述第一值与所述第二值的所述第二长期参考图片中的至少 一者有关的至少一部分。
[0011] 在另一实例中，一种编码视频数据的方法包含：编码视频数据的当前图片中与第 一长期参考图片有关的至少第一部分和所述当前图片中与第二长期参考图片有关的至少 第二部分；编码第一值，所述第一值表示所述视频数据的当前图片的图片次序计数（P0C) 值的基本最高有效位（MSB)值与所述视频数据的所述第一长期参考图片的第一POC值的第 一MSB值之间的差；以及编码第二值，所述第二值表示所述视频数据的所述第二长期参考 图片的第二P0C值的第二MSB值与所述第一MSB值之间的差，其中所述第一P0C值与所述 第二P0C值具有不同的最低有效位（LSB)值。
[0012] 在另一实例中，一种用于编码视频数据的装置包含视频编码器，其经配置以：编码 视频数据的当前图片中与第一长期参考图片有关的至少第一部分和所述当前图片中与第 二长期参考图片有关的至少第二部分；编码第一值，所述第一值表示所述视频数据的当前 图片的图片次序计数（P0C)值的基本最高有效位（MSB)值与所述视频数据的所述第一长期 参考图片的第一P0C值的第一MSB值之间的差；以及编码第二值，所述第二值表示所述视频 数据的所述第二长期参考图片的第二P0C值的第二MSB值与所述第一MSB值之间的差，其 中所述第一P0C值与所述第二P0C值具有不同的最低有效位（LSB)值。
[0013] 在另一实例中，一种用于编码视频数据的装置包含：用于编码视频数据的当前图 片中与第一长期参考图片有关的至少一第一部分和所述当前图片中与第二长期参考图片 有关的至少一第二部分的装置；用于编码第一值的装置，所述第一值表示所述视频数据的 当前图片的图片次序计数（P0C)值的基本最高有效位（MSB)值与所述视频数据的所述第一 长期参考图片的第一P0C值的第一MSB值之间的差；以及用于编码第二值的装置，所述第二 值表示所述视频数据的所述第二长期参考图片的第二P0C值的第二MSB值与所述第一MSB 值之间的差，其中所述第一P0C值与所述第二P0C值具有不同的最低有效位（LSB)值。
[0014] 在另一实例中，一种计算机可读存储媒体于其上存储有指令，所述指令使处理器： 编码视频数据的当前图片中与第一长期参考图片有关的至少第一部分和所述当前图片中 与第二长期参考图片有关的至少第二部分；编码第一值，所述第一值表示所述视频数据的 当前图片的图片次序计数（P0C)值的基本最高有效位（MSB)值与所述视频数据的所述第一 长期参考图片的第一P0C值的第一MSB值之间的差；以及编码第二值，所述第二值表示所 述视频数据的所述第二长期参考图片的第二P0C值的第二MSB值与所述第一MSB值之间的 差，其中所述第一P0C值与所述第二P0C值具有不同的最低有效位（LSB)值。
[0015] 一或多个实例的细节陈述于随附图式和以下描述中。其它特征、目标和优势将从 所述描述和所述图式以及从权利要求书显而易见。

【专利附图】

【附图说明】
[0016] 图1为说明实例视频编码与解码系统的框图，所述视频编码与解码系统可利用用 于切片标头中的长期参考图片的改善式发信的技术。
[0017] 图2为说明视频编码器的实例的框图，所述视频编码器可实施用于切片标头中的 长期参考图片的改善式发信的技术。
[0018] 图3为说明视频解码器的实例的框图，所述视频解码器可实施用于切片标头中的 长期参考图片的改善式发信的技术。
[0019] 图4为说明经译码视频图片的序列的概念图。
[0020] 图5为根据本发明技术的说明用于编码长期参考图片的图片次序计数（P0C)值的 实例方法的流程图。
[0021] 图6为根据本发明技术的说明用于解码长期参考图片的P0C值的实例方法的流程 图。

【具体实施方式】
[0022] -般来说，视频数据由经快速连续俘获或显示的一连串图片来表示。应理解，在一 些实例中，图片或图片的部分可（例如）使用计算机图形来产生，而非被俘获（或除被俘获 外）。图片将经显示的次序（其可大体上与图片经俘获或产生的次序相同）可与图片经译 码的次序不同。图片的显示次序大体上由图片次序计数（P0C)值表示，而图片的译码次序 大体上由巾贞数目（frame_num)值表示。
[0023] 图片的译码一般涉及利用图片中出现的冗余数据。例如，空间译码（也被称作帧 内预测性译码）利用共同图片的像素值的空间相邻块之间所出现的冗余。作为另一实例， 时间译码（也被称作帧间预测性译码）利用在不同时间执行个体俘获、产生或显示的不同 图片之间出现的冗余。更明确地说，可将图片划分为切片，其可指定用于帧内预测或帧间预 测。此外，可将每一切片划分为块（例如，最大译码单元（LCU))，且可基于对应切片是否已 经指定用于帧内预测或帧间预测而进一步分割或译码所述块中的每一者。
[0024] 关于帧间预测性译码的实例，可从参考图片预测当前正经译码的图片（也被称作 "当前图片"）的块。WD7将"参考图片"定义为具有等于1的nal_ref_flag的图片。nal_ ref_flag为网络提取层（NAL)单元中指示包含在NAL单元中的数据是否作为参考图片的语 法元素对待。WD7也提供，参考图片含有在后续图片按解码次序的解码过程中可用于帧间预 测的样本（即，像素值）。
[0025] 此外，WD7区分长期参考图片与短期参考图片。例如，WD7将长期参考图片定义为 标记成"用于长期参考"的参考图片。WD7提供，序列参数集（SPS)中指示是否向经译码视 频序列发信全部的长期参考图片的旗标。根据WD7,视频译码器在切片的切片标头中发信长 期参考图片的P0C值的最低有效位（LSB)。相对于发信完整P0C值，发信LSB可能达成位节 省。根据WD7,如果解码图片缓冲器（DPB)中存在具有与长期参考图片相同LSB位的一个以 上参考图片，那么视频译码器可发信长期参考图片的P0C值的最高有效位（MSB)。此外，根 据WD7,视频译码器可使用旗标以指示经发信的长期参考图片是否可由当前图片用于参考。
[0026] 视频译码器可维持当前图片的MSB(本文中被称作"基本MSB值"），且使用与基本 MSB值有关的偏移值（例如，使用图片i的语法元素delta_p〇C_mSb_CyCle_lt[i])来发信 长期参考图片i的MSB。此语法元素在下文中被称作"MSB循环"值。换句话说，为计算特 定图片的P0C值，视频译码器可计算：（基本MSB+图片的MSB循环）串接（图片的LSB)。
[0027] 在WD7中，MSB循环值经译码为基本MSB值与经发信的MSB循环的图片（S卩，图片 i)的MSB之间的差。仅当发信具有相同LSB值的两个或两个以上长期参考图片时，会同样 发信第一个此类长期参考图片的MSB循环，且将剩余长期参考图片的MSB循环值作为彼此 的相对偏移而发信。然而，根据WD7,此长期参考图片的发信可能经历一或多个缺点。例如， 如果存在具有不同LSB值但均发信delta_poc_msb_cycle_lt[i]的两个长期参考图片，那 么当前语法将如上文所述（即，将delta_poc_msb_cycle_lt[i]作为相对于基本MSB值的 偏移）而发信。然而，本发明认识到发信图片的MSB循环值之间的差可更有效率。
[0028] 根据WD7,在切片标头中发信长期参考图片的识别数据可能经历一或多个 缺点。例如，如果当前图片的P0C值等于MaxPicOrderCntLsb*N-l，且P0C值等于 MaxPicOrderCntLsb*N的图片为经发信delta_poc_msb_cycle_lt[i]的第一个长期参考图 片，那么WD7不提供用于发信delta_poc_msb_cycle_lt[i]的技术。在此状况下，delta_ poc_msb_cycle_lt[i]的值应为-1 (负一），但不可能为-1 (负一）。
[0029] 作为另一实例，如果存在具有不同LSB值但均发信delta_poc_msb_cycle_lt[i] 的两个长期参考图片，那么当前语法将同样发信delta_p〇C_msb_CyCle_lt[i]。然而，本发 明认识到对图片中的一者发信差可更有效率。
[0030] 作为另一实例，当DPB中存在具有与所发信的长期参考图片相同的LSB的一个以 上参考图片时，WD7委托也使用delta_poc_msb_cycle_lt[i]语法元素来发信LTRP的MSB 循环。然而，本发明认识到，如果DPB中存在将由当前图片标记为短期参考图片的图片，那 么于长期参考图片的候选集中包含所述短期参考图片可能以相比所需要的而发信更多MSB 位而结束。
[0031] 作为另一实例，当DPB中存在POCLSB等于poc_lsb_lt[i]的n个参考图片时，且 在LSB等于p〇C_lsb_lt[i]的当前图片中发信k个长期参考图片（其中k小于或等于n) 的情况下，WD7中所定义的语法委托所有k个图片将使delta_poc_msb_present_flag[i]设 定为1。然而，如果k=n，那么本发明认识到，视频译码器无需将所有k个长期参考图片的 delta_poc_msb_present_flag[i]设定为 1，而是将n_l个图片的delta_poc_msb_present_ flag[i]设定为1便足够。如下文关于图式更详细描述，本发明的技术可克服这些缺点中的 任一者或全部。一般来说，本发明描述可改善切片标头中的长期参考图片的发信的各种技 术。
[0032] 图1为说明实例视频编码与解码系统10的框图，所述视频编码与解码系统10可 利用用于切片标头中的长期参考图片的改善式发信的技术。如图1所示，系统10包含源装 置12,所述源装置12提供稍后由目的地装置14解码的经编码视频数据。明确地说，源装置 12经由计算机可读媒体16向目的地装置14提供视频数据。源装置12与目的地装置14可 包括广泛范围的装置中的任一者，所述装置包含桌上型计算机、笔记型（即，膝上型）计算 机、平板计算机、机顶盒、例如所谓的"智能型"手机的电话手机、所谓的"智能型"板、电视、 摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些 状况下，源装置12和目的地装置14可经装备用于无线通信。
[0033]目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机 可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型 的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体，从而使源装置12能够 实时地将经编码视频数据直接传输到目的地装置14。可根据通信标准（例如，无线通信协 议）调制经编码视频数据，且将经编码视频数据传输到目的地装置14。通信媒体可包括任 何无线或有线通信媒体，例如，射频（RF)频谱或一或多个物理传输线。通信媒体可形成基 于封包的网络（例如，局域网、广域网或例如因特网的全球网络）的部分。通信媒体可包含 路由器、交换器、基站或可用以促进从源装置12到目的地装置14的通信的任何其它装备。
[0034] 在一些实例中，可将经编码数据从输出接口 22输出到存储装置。类似地，可由输 入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取式数据存储媒 体中的任一者，例如，硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储 器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置 可对应于文件服务器或可存储源装置12所产生的经编码视频的另一中间存储装置。
[0035]目的地装置14可经由流式传输或下载而从存储装置存取所存储的视频数据。文 件服务器可为能够存储经编码视频数据且将那个经编码视频数据传输到目的地装置14的 任何类型的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络 附接式存储（NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接（包含因 特网连接）而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的 经编码视频数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，DSL、缆线调制解调器， 等等）或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输，或其组 合。
[0036] 本发明的技术并不限于无线应用或设定。所述技术可应用于支持例如以下应用的 多种多媒体应用中的任一者的视频译码：空中电视广播、有线电视传输、卫星电视传输、例 如HTTP动态自适应流式传输（DASH)的因特网流式传输视频传输、经编码到数据存储媒体 上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统 10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和 /或视频电话的应用。
[0037] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。目的 地装置14包含输入接口 28、视频解码器30和显示装置32。根据本发明，源装置12的视 频编码器20可经配置以应用用于切片标头中的长期参考图片的改善式发信的技术。在其 它实例中，源装置和目的地装置可包含其它组件或布置。例如，源装置12可从外部视频源 18(例如，外部摄影机）接收视频数据。类似地，目的地装置14可与外部显示装置介接，而 非包含集成式显示装置。
[0038] 图1的所说明系统10仅为一个实例。用于切片标头中的长期参考图片的改善式 发信的技术可由任一数字视频编码和/或解码装置执行。虽然一般由视频编码装置执行本 发明的技术，但也可由视频编码器/解码器（通常被称作"CODEC"）执行所述技术。此外， 也可由视频预处理器来执行本发明的技术。源装置12和目的地装置14仅仅为这些译码装 置的实例，在所述译码装置中，源装置12产生用于传输到目的地装置14的经译码视频数 据。在一些实例中，装置12、14可按实质上对称的方式进行操作，使得装置12、14中的每一 者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频 传输，例如，用于视频流式传输、视频播放、视频广播或视频电话。
[0039] 源装置12的视频源18可包含例如视频摄影机的视频俘获装置、含有先前俘获的 视频的视频存档和/或用以从视频内容提供者接收视频的视频馈入接口。作为另一替代， 视频源18可产生基于计算机图形的数据作为源视频、或产生实况视频、存档视频和计算机 产生的视频的组合。在一些状况下，如果视频源18为视频摄影机，那么源装置12和目的地 装置14可形成所谓的摄影机电话或视频电话。然而，如上文所提及，本发明中所描述的技 术大体上可适用于视频译码，且可适用于无线和/或有线应用。在每一状况下，所俘获的、 预先俘获的或计算机产生的视频可由视频编码器20编码。经编码视频信息接着可由输出 接口 22输出到计算机可读媒体16上。
[0040] 计算机可读媒体16可包含：暂时性媒体，例如，无线广播或有线网络传输；或存储 媒体（即，非暂时性存储媒体），例如，硬盘、随身碟、压缩光盘、数字视频光盘、蓝光光盘或 其它计算机可读媒体。在一些实例中，网络服务器（图中未展示）可从源装置12接收经编 码视频数据，且（例如，经由网络传输）将经编码视频数据提供到目的地装置14。类似地， 媒体生产设施（例如，光盘压印设施）的计算装置可从源装置12接收经编码视频数据且产 生含有经编码视频数据的光盘。因此，在各种实例中，可将计算机可读媒体16理解成包含 各种形式的一或多个计算机可读媒体。
[0041]目的地装置14的输入接口 28从计算机可读媒体16接收信息。计算机可读媒体 16的信息可包含由视频编码器20定义、也由视频解码器30使用的语法信息，所述语法信 息包含描述块和其它经译码单元（例如，G0P)的特性和/或处理的语法元素。显示装置32 向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，阴极射线管（CRT)、 液晶显示器（LCD)、等离子显示器、有机发光二极管（0LED)显示器或另一类型的显示装置。
[0042] 视频编码器20和视频解码器30可根据例如目前在开发中的高效率视频译码 (HEVC)标准的视频译码标准而操作，且可遵照HEVC测试模型（腿)。替代地，视频编码器20 和视频解码器30可根据例如ITU-TH. 264标准替代地被称作MPEG-4第10部分先进视频 译码（AVC)的其它专有或行业标准或这些标准的扩展而操作。然而，本发明的技术不限于 任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-TH. 263。虽然图1中 未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集 成，且可包含适当MUX-DEMUX单元或其它硬件和软件以处置共同数据流或单独数据流中的 音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可遵照ITUH. 223多路复用器协 议或例如用户数据报协议（UDP)的其它协议。
[0043]ITU-TH. 264/MPEG-4(AVC)标准由ITU-T视频译码专家群（VCEG)连同IS0/IEC动 画专家群（MPEG) -起制定为被称作联合视频小组（JVT)的集体合作的产物。在一些方面 中，本发明中所描述的技术可应用于大体上遵照H. 264标准的装置。H. 264标准由ITU-T研 究小组且在日期为2005年3月描述于ITU-T推荐H. 264 (用于一般视听服务的先进视频译 码）中，其在本文中可被称作H. 264标准或H. 264规范，或H. 264/AVC标准或规范。联合视 频小组（JVT)继续致力于对H. 264/MPEG-4AVC的扩展。
[0044] 视频编码器20和视频解码器30可各自实施为多种合适的编码器电路中的任一 者，例如，一或多个微处理器、数字信号处理器OSP)、专用集成电路（ASIC)、现场可编程门 阵列（FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时， 装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或 多个处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每 一者可包含于一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合编码 器/解码器（CODEC)的部分。
[0045]JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进 模型，其被称作ffiVC测试模型（HM)。册假设视频译码装置相对于根据（例如）ITU-TH. 264/ AVC的现有装置的若干额外能力。例如，H. 264提供九个帧内预测编码模式，而HM可提供多 达三十三个帧内预测编码模式。
[0046] -般来说，HM的工作模型描述视频帧或图片可划分成包含亮度样本和色度样本两 者的树型块或最大译码单元（LCU)的序列。位流内的语法数据可定义LCU的大小，LCU就 像素的数目来说为最大译码单元。切片包含按译码次序的许多连续树型块。可将视频帧或 图片分割成一或多个切片。每一树型块可根据四分树而分裂成译码单元（CU)。一般来说， 四分树数据结构中针对每一CU包含一个节点，其中根节点对应于树型块。如果将CU分裂 成四个子CU，那么对应于所述CU的节点包含四个叶节点，所述叶节点中的每一者对应于所 述子⑶中的一者。
[0047] 所述四分树数据结构中的每一节点可提供针对对应CU的语法数据。例如，在四分 树中的节点可包含分裂旗标，其指示是否将对应于所述节点的CU分裂成子CU。可递归地定 义用于CU的语法元素，且用于CU的语法元素可取决于CU是否分裂成子CU。如果CU未经 进一步分裂，那么其被称作叶CU。在本发明中，即使不存在原始叶CU的明显分裂，叶CU的 四个子⑶也将被称作叶⑶。例如，如果16X16大小的⑶未经进一步分裂，那么四个8X8 子⑶也会被称作叶⑶，尽管所述16X16⑶从未经分裂。
[0048] 除了CU不具有大小区别之外，CU具有与H. 264标准的宏块类似的用途。例如，树 型块可分裂成四个子节点（也被称作子CU)，且每一子节点可又为母节点并分裂成另外四 个子节点。被称作四分树的叶节点的最终的未分裂子节点包括译码节点，所述译码节点也 被称作叶CU。与经译码位流相关联的语法数据可定义可分裂树型块的最大次数（其被称作 最大CU深度），且也可定义所述译码节点的最小大小。因此，位流也可定义最小译码单元 (SCU)。本发明使用术语"块"指在HEVC的上下文中的CU、PU或TU中的任一者，或在其它 标准的上下文中的类似数据结构（例如，在H. 264/AVC中的宏块和其子块）。
[0049] CU包含译码节点和与所述译码节点相关联的若干预测单元（PU)和变换单元 (TU)。⑶的大小对应于译码节点的大小，且形状必须为正方形。⑶的大小的范围可从8X8 像素直到具有最大64X64像素或大于64X64像素的树型块的大小。每一⑶可含有一或 多个PU和一或多个TU。与CU相关联的语法数据可描述（例如）CU到一或多个PU的分割。 分割模式可视CU经跳过或直接模式编码、经帧内预测模式编码抑或帧间预测模式编码而 不同。PU可分割成非正方形形状。与CU相关联的语法数据也可描述（例如）CU根据四分 树而分割成一或多个TU。TU的形状可为正方形或非正方形（例如，矩形）。
[0050] HEVC标准允许根据TU的变换，所述变换对于不同⑶可不同。通常基于针对经分 割LCU所定义的给定CU内的PU的大小而设定TU大小，但可能并非总是如此状况。TU通 常具有与PU相同的大小，或小于PU。在一些实例中，可使用已知为"残余四分树"（RQT)的 四分树结构而将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作变换单元 (TU)。可变换与TU相关联的像素差值以产生变换系数，变换系数可被量化。
[0051] 叶⑶可包含一或多个预测单元（PU)。一般来说，PU表示对应于对应⑶的全部或 一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的 数据。例如，当PU经帧内模式编码时，用于TO的数据可包含于残余四分树（RQT)中，残余 四分树可包含描述对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模 式编码时，TO可包含定义所述PU的一或多个运动向量的数据。定义PU的运动向量的数据 可描述（例如）运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率（例如，四 分之一像素精度或八分之一像素精度）、运动向量所指向的参考图片和/或用于运动向量 的参考图片列表（例如，列表〇、列表1或列表C)。
[0052] 具有一或多个TO的叶⑶也可包含一或多个变换单元（TU)。可使用RQT(也被称 作TU四分树结构）指定变换单元，如上文所论述。例如，分裂旗标可指示叶CU是否分裂成 四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU未进一步分裂时，其 可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU共享相同帧内预测模式。 艮P，大体上应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编 码器可使用帧内预测模式将每一叶TU的残余值计算为在CU的对应于所述TU的部分与原 始块之间的差。TU未必限于PU的大小。因此，TU可能大于或小于PU。对于帧内译码，PU 可与用于同一⑶的对应叶TU共置。在一些实例中，叶TU的最大大小可对应于对应叶⑶ 的大小。
[0053] 此外，叶⑶的TU也可与被称作残余四分树（RQT)的相应四分树数据结构相关联。 艮P，叶CU可包含指示如何将叶CU分割成TU的四分树。TU四分树的根节点大体上对应于 叶CU，而CU四分树的根节点大体上对应于树型块（或LCU)。RQT的不分裂的TU被称作叶 TU。一般来说，除非另有指示，否则本发明分别使用术语CU和TU来指叶CU和叶TU。
[0054] 视频序列通常包含一系列视频帧或图片。图片群组（G0P)大体包括一系列一或多 个视频图片。G0P可在G0P的标头、图片中的一或多者的标头中或在别处包含描述包含于 G0P中的图片数目的语法数据。图片的每一切片可包含描述所述相应切片的编码模式的切 片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数 据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译 码标准而在大小方面不同。
[0055] 作为实例，HM支持以各种TO大小进行预测。假定特定⑶的大小为2NX2N，那么 HM支持以2NX2N或NXN的PU大小进行帧内预测，和以2NX2N、2NXN、NX2N或NXN的 对称PU大小进行帧间预测。HM也支持以2NXnU、2NXnD、nLX2N和nRX2N的PU大小针 对中贞间预测进行不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向被分割 成25%和75%。CU的对应于25%分割区的部分由"n"继之以"上（Up)"、"下（Down) "、"左 (Left) "或"右（Right) "的指示来指示。因此，例如，"2NXnU"指被水平分割而在顶部具 有 2NX0. 5NPU和在底部具有 2NX1. 5NPU的 2NX2NCU。
[0056] 在本发明中，"NXN"与"N乘N"可互换地使用以指视频块在垂直维度与水平维度 方面的像素尺寸，例如，16X16像素或16乘16像素。一般来说，16X16块在垂直方向中将 具有16个像素（y= 16)且在水平方向中将具有16个像素（x= 16)。类似地，NXN块通 常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可 按行和列来布置块中的像素。另外，块未必需要在水平方向中具有与在垂直方向中相同数 目个像素。例如，块可包括NXM个像素，其中M未必等于N。
[0057] 在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算CU 的TU的残余数据。PU可包括描述于空间域（也被称作像素域）中产生预测性像素数据的 方法或模式的语法数据，且TU可在将变换（例如，离散余弦变换（DCT)、整数变换、小波变换 或概念上类似的变换）应用于残余视频数据之后包括变换域中的系数。残余数据可对应于 未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU 的残余数据的TU，且接着变换所述TU以产生CU的变换系数。
[0058] 在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量 化大体上指如下过程：将变换系数量化以可能地减少用以表示所述系数的数据量，从而提 供进一步压缩。所述量化过程可减少与所述系数中的一些或所有系数相关联的位深度。例 如，可在量化期间将n位值向下舍位到m位值，其中n大于m。
[0059] 在量化之后，视频编码器可扫描变换系数，从而从包含经量化变换系数的二维矩 阵产生一维向量。扫描可经设计成将较高能量（且因此较低频率）系数置于阵列前部，且 将较低能量（且因此较高频率）系数置于阵列后部。在一些实例中，视频编码器20可利用 预定义扫描次序来扫描经量化变换系数，以产生可经熵编码的序列化向量。在其它实例中， 视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码 器20可（例如）根据上下文自适应可变长度译码（CAVLC)、上下文自适应二进制算术译码 (CABAC)、基于语法的上下文自适应二进制算术译码（SBAC)、概率区间分割熵（PIPE)译码 或另一熵编码方法而熵编码所述一维向量。视频编码器20也可熵编码与经编码视频数据 相关联的语法元素以供视频解码器30用于解码视频数据。
[0060] 为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符 号。所述上下文可能涉及（例如）符号的相邻值是否为非零。为了执行CAVLC，视频编码 器20可针对待传输的符号选择可变长度码。可构建VLC中的码字使得相对较短码对应于 更有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可达成位节省（与 (例如）针对待传输的每一符号使用等长度码字相比较）。概率确定可基于指派给符号的 上下文而进行。
[0061] 根据本发明的技术，视频编码器20与视频解码器30可经配置以利用用于发信数 据以供（例如）在切片标头、参数集（包含图片参数集（PPS)和序列参数集（SPS))或类似 者中识别长期参考图片的改善式技术。一般来说，视频编码器20与视频解码器30可经配 置以单独地或以任何组合来执行本发明技术中的任一者或全部。在一些实例中，视频编码 器20与视频解码器30可经配置以执行用于对长期参考图片发信APOCMSB循环的负值的 方法。在一些实例中，视频编码器20与视频解码器30可经配置以使用差分译码来执行用 于更有效地对具有不同LSB值的长期参考图片发信APOCMSB循环值的方法。
[0062] 在一些实例中，可将作为当前图片的短期参考图片而发信（或包含在当前图片的 短期参考图片集中）的参考图片排除在决定是否对长期参考图片发送APOCMSB循环值所 利用的参考图片之外，以避免发送不必要的APOCMSB循环值。在一些实例中，当DPB中存 在POCLSB等于poc_lsb_lt[i]的n个参考图片（包含或排除短期参考图片）时，且当在 LSB值等于p〇C_lsb_lt[i]的当前图片中发信n个长期参考图片时，视频编码器20可仅对 n_l个长期参考图片发送APOCMSB循环值，且视频解码器30可仅对n-1个长期参考图片 接收此数据，但对所有n个长期参考图片发送此数据是可能的。
[0063] 上文各种技术中的任一者或全部可根据以下实例实施方案来实施。如下文所示， 可修改WD7中描述长期参考图片的MSB循环的语法元素。本发明也描述用于导出阵列DeltaPocMSBCycleLt□的实例方法。本发明进一步描述用于参考图片集的实例解码过程。 此外，本发明描述语法元素delta_poc_msb_present_flag[i]和poc_lsb_lt[i]的语义。 WD7的其它语法元素的语法和语义可保持不变。
[0064] 表1表示切片标头的语法的实例集合。加底线文字表示相对于WD7的切片标头语 法的改变。在下文论述改变的语法元素的语义以及其它语法元素的改变的语义。
[0065] 表 1
[0066]

【权利要求】
1. 一种解码视频数据的方法，所述方法包括： 解码第一值，所述第一值表示视频数据的当前图片的图片次序计数POC值的基本最高 有效位MSB值与所述视频数据的第一长期参考图片的第一 POC值的第一 MSB值之间的差； 解码第二值，所述第二值表示所述视频数据的第二长期参考图片的第二POC值的第二 MSB值与所述第一 MSB值之间的差，其中所述第一 POC值与所述第二POC值具有不同的最低 有效位LSB值；以及 解码所述视频数据的当前图片中的与使用所述第一值的所述第一长期参考图片和使 用所述第一值与所述第二值的所述第二长期参考图片中的至少一者有关的至少一部分。
2. 根据权利要求1所述的方法，其进一步包括： 使用所述第一值将所述第一长期参考图片的第一 MSB循环值计算为 DeltaPocMSBCycleLt[i_l];以及 将所述第二长期参考图片的第二MSB循环值计算为De 1 taPocMSBCyc 1 eLt [ i ]，其 中计算所述第二MSB循环值包括基于DeltaPocMSBCycleLt[i_l]与所述第二值而计算 DeltaPocMSBCycleLt[i]〇
3. 根据权利要求1所述的方法，其中所述第一长期参考图片对应于索引j，其中所述第 二长期参考图片对应于索引i，其中所述第一值包括delta_poc_msb_cycle_lt_plusl [j]， 其中所述第二值包括delta_poc_msb_cycle_lt_plusl [i]，且其中j处于从包含0到包含 i_l的范围中。
4. 根据权利要求1所述的方法，其中所述第一值与所述第二值中的至少一者包括负整 数值。
5. 根据权利要求1所述的方法，其进一步包括至少部分基于标记为所述当前图片的短 期参考图片的许多参考图片而确定所述第一 P0C值与所述第二P0C值中的至少一者。
6. -种用于解码视频数据的装置，所述装置包括视频解码器，其经配置以：解码第一 值，所述第一值表示视频数据的当前图片的图片次序计数P0C值的基本最高有效位MSB值 与所述视频数据的第一长期参考图片的第一 P0C值的第一 MSB值之间的差；解码第二值， 所述第二值表示所述视频数据的第二长期参考图片的第二P0C值的第二MSB值与所述第一 MSB值之间的差，其中所述第一 P0C值与所述第二P0C值具有不同的最低有效位LSB值；以 及解码所述视频数据的当前图片中的与使用所述第一值的所述第一长期参考图片和使用 所述第一值与所述第二值的所述第二长期参考图片中的至少一者有关的至少一部分。
7. 根据权利要求6所述的装置，其中所述视频解码器经进一步配置以：使用所述 第一值将所述第一长期参考图片的第一 MSB循环值计算为DeltaPocMSBCycleLt [i-1]; 以及将所述第二长期参考图片的第二MSB循环值计算为DeltaPocMSBCycleLt [i]，其 中计算所述第二MSB循环值包括基于DeltaPocMSBCycleLt[i_l]与所述第二值来计算 DeltaPocMSBCycleLt[i]〇
8. 根据权利要求6所述的装置，其中所述第一长期参考图片对应于索引i-1，其中 所述第二长期参考图片对应于索引i，其中所述第一值包括delta_poc_msb_cycle_lt_ plusl [i_l]，且其中所述第二值包括 delta_poc_msb_cycle_lt_plusl [i]。
9. 根据权利要求6所述的装置，其中所述第一值与所述第二值中的至少一者包括负整 数值。
10. 根据权利要求6所述的装置，其中所述视频解码器经进一步配置以：至少部分基于 标记为所述当前图片的短期参考图片的许多参考图片来确定所述第一 POC值与所述第二 POC值中的至少一者。
11. 一种用于解码视频数据的装置，所述装置包括： 用于解码第一值的装置，所述第一值表示视频数据的当前图片的图片次序计数POC值 的基本最高有效位MSB值与所述视频数据的第一长期参考图片的第一 POC值的第一 MSB值 之间的差； 用于解码第二值的装置，所述第二值表示所述视频数据的第二长期参考图片的第二 POC值的第二MSB值与所述第一 MSB值之间的差，其中所述第一 POC值与所述第二POC值具 有不同的最低有效位LSB值；以及 用于解码所述视频数据的当前图片中的与使用所述第一值的所述第一长期参考图片 和使用所述第一值与所述第二值的所述第二长期参考图片中的至少一者有关的至少一部 分的装置。
12. 根据权利要求11所述的装置，其进一步包括： 用于使用所述第一值将所述第一长期参考图片的第一 MSB循环值计算为 DeltaPocMSBCycleLt[i_l]的装置；以及 用于将所述第二长期参考图片的第二MSB循环值计算为DeltaPocMSBCycleLt [i]的装 置，其中计算所述第二MSB循环值包括基于DeltaPocMSBCycleLt [i-1]与所述第二值来计 算 DeltaPocMSBCycleLt[i]。
13. 根据权利要求11所述的装置，其中所述第一长期参考图片对应于索引j，其中 所述第二长期参考图片对应于索引i，其中所述第一值包括delta_poc_msb_cycle_lt_ plusl [ j]，其中所述第二值包括delta_poc_msb_cycle_lt_plusl [i]，且其中j处于从包含 〇到包含i_l的范围中。
14. 根据权利要求11所述的装置，其中所述第一值与所述第二值中的至少一者包括负 整数值。
15. 根据权利要求11所述的装置，其进一步包括用于至少部分基于标记为所述当前图 片的短期参考图片的许多参考图片来确定所述第一 P0C值与所述第二P0C值中的至少一者 的装置。
16. -种计算机可读存储媒体，其上存储有指令，所述指令在被执行时使处理器： 解码第一值，所述第一值表示视频数据的当前图片的图片次序计数P0C值的基本最高 有效位MSB值与所述视频数据的第一长期参考图片的第一 P0C值的第一 MSB值之间的差； 解码第二值，所述第二值表示所述视频数据的第二长期参考图片的第二P0C值的第二 MSB值与所述第一 MSB值之间的差，其中所述第一 P0C值与所述第二P0C值具有不同的最低 有效位LSB值；以及 解码所述视频数据的当前图片中的与使用所述第一值的所述第一长期参考图片和使 用所述第一值与所述第二值的所述第二长期参考图片中的至少一者有关的至少一部分。
17. 根据权利要求16所述的计算机可读存储媒体，其进一步包括使得所述处理器执行 以下动作的指令： 使用所述第一值将所述第一长期参考图片的第一 MSB循环值计算为 DeltaPocMSBCycleLt[i_l];以及 将所述第二长期参考图片的第二MSB循环值计算为DeltaP〇CMSBCyCleLt[i]，其 中计算所述第二MSB循环值包括基于DeltaPocMSBCycleLt[i_l]与所述第二值来计算 DeltaPocMSBCycleLt[i]〇
18. 根据权利要求16所述的计算机可读存储媒体，其中所述第一长期参考图片对应 于索引j，其中所述第二长期参考图片对应于索引i，其中所述第一值包括delta_p〇C_msb_ cycle_lt_plusl [j]，其中所述第二值包括 delta_poc_msb_cycle_lt_plusl [i]，且其中 j 处于从〇到包含i_l的范围中。
19. 根据权利要求16所述的计算机可读存储媒体，其中所述第一值与所述第二值中的 至少一者包括负整数值。
20. 根据权利要求16所述的计算机可读存储媒体，其进一步包括使所述处理器执行以 下操作的指令：至少部分基于标记为所述当前图片的短期参考图片的许多参考图片来确定 所述第一 P0C值与所述第二P0C值中的至少一者。
21. -种编码视频数据的方法，所述方法包括： 编码视频数据的当前图片中与第一长期参考图片有关的至少第一部分和所述当前图 片中与第二长期参考图片有关的至少第二部分； 编码第一值，所述第一值表示所述视频数据的当前图片的图片次序计数P0C值的基本 最高有效位MSB值与所述视频数据的所述第一长期参考图片的第一 P0C值的第一 MSB值之 间的差；以及 编码第二值，所述第二值表示所述视频数据的所述第二长期参考图片的第二P0C值的 第二MSB值与所述第一 MSB值之间的差，其中所述第一 P0C值与所述第二P0C值具有不同 的最低有效位LSB值。
22. 根据权利要求21所述的方法，其进一步包括： 将所述第一值计算为所述第一长期参考图片的作为DeltaP〇CMSBCyCleLt[i-l]的第 一 MSB循环值与所述基本MSB值之间的差；以及 将所述第二值计算为所述第二长期参考图片的作为DeltaPocMSBCycleLt [i]的第二 MSB循环值与所述第一 MSB值之间的差。
23. 根据权利要求21所述的方法，其中所述第一长期参考图片对应于索引j，其中 所述第二长期参考图片对应于索引i，其中所述第一值包括delta_poc_msb_cycle_lt_ plusl [ j]，其中所述第二值包括delta_poc_msb_cycle_lt_plusl [i]，且其中j处于从包含 〇到包含i_l的范围中。
24. 根据权利要求21所述的方法，其中所述第一值与所述第二值中的至少一者包括负 整数值。
25. 根据权利要求21所述的方法，其中编码所述第一值与编码所述第二值包括至少部 分基于标记为所述当前图片的短期参考图片的许多参考图片来编码所述第一值且编码所 述第二值。
26. -种用于编码视频数据的装置，所述装置包括视频编码器，其经配置以：编码视频 数据的当前图片中与第一长期参考图片有关的至少第一部分和所述当前图片中与第二长 期参考图片有关的至少第二部分；编码第一值，所述第一值表示所述视频数据的当前图片 的图片次序计数POC值的基本最高有效位MSB值与所述视频数据的所述第一长期参考图片 的第一 P0C值的第一 MSB值之间的差；以及编码第二值，所述第二值表示所述视频数据的所 述第二长期参考图片的第二P0C值的第二MSB值与所述第一 MSB值之间的差，其中所述第 一 P0C值与所述第二P0C值具有不同的最低有效位LSB值。
27. 根据权利要求26所述的装置，其中所述视频编码器经配置以：将所述第一值 计算为所述第一长期参考图片的作为De 1 taPocMSBCyc 1 eLt [ i-1 ]的第一 MSB循环值 与所述基本MSB值之间的差；以及将所述第二值计算为所述第二长期参考图片的作为 DeltaPocMSBCycleLt [i]的第二MSB循环值与所述第一 MSB值之间的差。
28. 根据权利要求26所述的装置，其中所述第一长期参考图片对应于索引j，其中 所述第二长期参考图片对应于索引i，其中所述第一值包括delta_poc_msb_cycle_lt_ plusl [ j]，其中所述第二值包括delta_poc_msb_cycle_lt_plusl [i]，且其中j处于从包含 〇到包含i_l的范围中。
29. 根据权利要求26所述的装置，其中所述第一值与所述第二值中的至少一者包括负 整数值。
30. 根据权利要求26所述的装置，其中为了编码所述第一值与所述第二值，所述视频 编码器经配置以至少部分基于标记为所述当前图片的短期参考图片的许多参考图片来编 码所述第一值与所述第二值。
【文档编号】H04N19/58GK104412599SQ201380034109
【公开日】2015年3月11日 申请日期:2013年6月24日 优先权日:2012年6月28日
【发明者】阿达许·克里许纳·瑞玛苏布雷蒙尼安, 王益魁, 瑞珍·雷克斯曼·乔许, 陈颖 申请人:高通股份有限公司