Hevc扩展的层间参数集的制作方法

Hevc扩展的层间参数集的制作方法
【专利说明】HEVC扩展的层间参数集
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年6月18日提交的美国临时专利申请No. 61/836,552, 2013年 6月19日提交的美国临时专利申请No.61/837, 116, 2013年6月27日提交的美国临时专 利申请No. 61/840, 380和2013年7月30日提交的美国临时专利申请No. 61/860, 221的权 益，其内容通过引用合并于此。
【背景技术】
[0003] 数字视频压缩技术，例如，提高数字视频通信效率、分布和/或消耗的高效能视频 编码肥VC，正不断的发展。与传统数字视频服务（例如，TV信号）相比，视频应用可W被部 署在异构环境中。运种异构性可存在于客户端侧W及网络侧。可伸缩的视频编码机制可被 用于一次性地在高分辨率编码视频信号，但可W允许根据具体应用要求的和/或客户端设 备支持的特定的速率和分辨率对流子集进行解码。
[0004] 提供一种包括可伸缩的视频编码技术的视频压缩技术W改进终端用户体验和/ 或服务质量。例如，可伸缩的视频编码可通过一个或多个参数集由高级语法设计来实现。 但是，被用信号发送的参数集和语法元素可能无效率地耗费可贵的通信带宽和/或处理资 源。

【发明内容】

[0005] 提供一种系统、方法和手段W实现视频数据处理。视频编码设备接收多个视频表 征（representation)格式子集。视频编码设备可W接收多个视频表征格式子集的计数。多 个视频表征格式子集对应于多个层。例如，多个视频表征格式子集中的第一视频表征格式 子集对应于第一层，多个视频表征格式子集中的第二视频表征格式子集对应于第二层或多 层。
[0006] 多个视频表征子集中的每一个可W包括一个或多个视频表征参数值。参数值可W 包括亮度样本中图像宽度的指示、亮度样本中图像高度的指示、一个或多个亮度数组样本 (oneormoresamplesofaIumaarray)的比特深度的指示、一个或多个色度数组样本 (oneormoresamplesofaC虹omaarray)的比特深度的指示、或者色度格式索引的指示 中的至少一个。
[0007] 视频编码设备可W接收与当前层关联的视频表征格式子集索引。例如，视频表征 格式子集索引可W在跨层参数集和/或序列参数集SPS中被接收。
[0008] 视频编码设备可W通过使用视频表征格式子集索引来确定与当前层关联的多个 视频表征格式子集中的一个视频表征格式子集。
[0009] 视频编码设备可朗尋活动参考层的数目和直接参考层的数量进行比较。基于活动 参考层的数目和直接参考层的数目的比较，视频编码设备可W确定是否在切片级报头中包 括活动参考层的指示。
[0010] 视频编码设备可包括用于层间预测的图像的指示，例如，如果活动参考层的数目 不等于直接参考层的数目。视频编码设备可W忽略用于层间预测的图像的指示，例如，如果 活动参考层的数目等于直接参考层的数目。
[0011] 视频解码设备可W接收包含一个或多个层的比特流。在接收到的比特流中的活 动参考层数目不等于直接参考层数目的条件下，视频解码设备可W接收层间预测层语法元 素。层间预测层语法元素指示参考图像层标识（ID)列表，参考图像层标识列表可W被当前 层的当前图像用于层间预测。
[0012] 视频解码设备可W得到层间预测层语法元素，例如，如果活动参考层的数目等于 直接参考层的数目。层间预测层语法元素可W根据当前层的直接参考层的层ID被推断出。
【附图说明】
[0013] 图1A-1C是示出层间参数集示例的语法表。
[0014] 图2A-2C是示出简化的序列参数集示例的语法表。
[0015] 图3是示出简化的序列参数集扩展示例的语法表。
[0016] 图4是示出从层间参数集合中得到视频编码和/或解码参数的示例过程。
[0017] 图5示出了参考图像的裁剪示例。
[0018] 图6A是在其中一个或更多个公开的实施例可得W实现的示例通信系统的系统 图。
[0019] 图6B是可在图6A所示的通信系统中使用的示例无线发射/接收单元（WTRU)的 系统图。
[0020] 图6C是可在图6A所示的通信系统中使用的示例无线电接入网和示例核屯、网的系 统图。
[0021] 图抓是可在图6A所示的通信系统中使用的另一示例无线电接入网和示例核屯、网 的系统图。
[0022] 图6E是可在图6A所示的通信系统中使用的另一示例无线电接入网和示例核屯、网 的系统图。
【具体实施方式】
[0023] W下结合多个附图详细描述示例性实施例。虽然该描述提供了可能的实施的具体 实例，但应注意到运些细节只是示范性的并不限制本申请的范围。
[0024] 在视频编码系统中，在客户端设备侧，多屏场景中，例如，具有变化的屏幕尺寸和/ 或显示能力的智能电话、平板电脑、PC、皿TV等等设备上消耗视频内容预计将继续。在通信 网络侧，视频可W通过因特网、WiFi网络、移动通信网络（例如，3G，4G等等）中的一个或多 个，或者是其中的组合进行传输。
[0025] 为了改进用户体验（例如，对于客户端设备的终端用户）和/或视频服务质量，可 伸缩的视频编码可W被执行。基于可伸缩的视频编码，视频信号可W-次性地在高分辨率 下被编码。运种视频信号可W从一个多个与视频信号关联的视频流的一个或多个子集中被 解码，例如，根据特定应用需求的和/或客户端支持的特定速率和/或分辨率。分辨率可 W包括一个或多个视频参数，例如空间分辨率（例如，图像尺寸），时间分辨率（例如，帖速 率）和视频质量（例如，主观质量，例如平均意见值M0S，和/或客观质量，例如峰值信号噪 声比PSNR，结构相似度指数SSIM，或视频质量度量VQM)。其他被使用的视频参数还包括色 度格式（例如，YUV420,YUV422,或YUV444)，比特深度（例如，8比特或10比特视频），复杂 度，视点，域（例如，色域），和/或画面比例（例如，16:9或4:如。
[0026] 视频标准包括支持可伸缩模式的工具和/或轮廓。例如，高效能视频编码被配置 W支持可伸缩的视频编码。肥VC的可伸缩扩展可W支持空间可伸缩性（例如，可伸缩比特 流可W包括在多于一个的空间分辨率上的相应信号），质量可伸缩性（例如，可伸缩比特流 可W包括在多于一个质量水平上的相应信号），和标准可伸缩性（例如，可伸缩比特流可W 包括使用比264/AVC编码的基础层和使用肥VC编码的一个或多个增强层）中的一个或多 个。可伸缩视频可W被扩展到3D视频，例如，多视点可伸缩性被执行（例如，可伸缩比特流 可W包括2D和3D视频信号）。应注意到的是，虽然可伸缩肥VC设计的各个方面可W包括 空间和/或质量可伸缩性的使用，如同在此描述的，但是在此描述的技术可W应用到一个 或多个的其他可伸缩类型。
[0027] 肥VC的可伸缩扩展（S肥VC)可W根据基于参考索引的框架被执行。基于参考索引 的框架可W在块级别和/或低于块级别上维持操作不变，W使单层编解码器逻辑可W在采 用该框架的可伸缩编码系统中被重用，基于参考索引的框架可W简化可伸缩编解码器的设 计。运种框架可W支持不同的可伸缩性类型，例如，通过结合高级语法信令和/或层间处理 模块，W实现编码效率。例如，执行高级语法变换W支持层间处理和/或SHVC的多层信令。 例如，可W根据基于参考索引的框架来执行运种语法变换。
[0028] 可伸缩视频编码可W支持一个或多个层（例如，多层）。每层都可W被设计成使能 一个或多个空间可伸缩性，时间可伸缩性，SNR可伸缩性，或其他类型的可伸缩性。可伸缩 比特流可W包括混合可伸缩层，并且为了能够被解码，一个或多个相应增强层可W依赖一 个或多个较低层。层间过程可W产生层间参考图像样本和/或运动场信息，例如W增强一 个或多个增强层的预测精确度。
[0029]多个参数集被指定给一个肥VC实现和/或一个或多个相应扩展。例如，一个视频 参数集可W包括一个或多个由多层共享的语法元素。可W包括用于比特流提取、能 力交换和/或会话协商的信息（例如，最大层数和/或配置文档，等级（tier)和级别信息 中的一个或多个）。
[0030] 序列参数集SPS可W包括对一个或多个编码视频序列中的编码切片（例如，所有 编码切片）来说共同的信息，例如，跨越时间间隔的一系列视频图像。该信息可W包括图像 分辨率，比特深度，编码块尺寸等等中的一个或多个。
[0031] 图像参数集PPS可W包括图像级别信息，该信息可W包括初始量化值，编码工具 使能和/或去使能标志等等中的一个或多个。PPS中携带的信息可W在相当长的持续时间 内保持不变，例如，多个图像的持续时间，W使该信息不会被频繁的更新。可W在切片级别 上变换的信息可W被包括在切片报头中。
[003引一个或多个参数集，例如VPS，SPS和/或PPS可W在带外传输（例如，在一些应用 场景中，使用可靠信道）。高级语法设计允许多层参考单个SPS(例如，相同SP巧。例如，运 可W用于多视点和/或SNR可伸缩性。对于空间可伸缩性，例如由于不同的视频分辨率，一 个或多个层（例如，每层）可W参考相应的不同SPS。如果SPS中的一个或多个参数（例 如，大多数参数）在多层间是完全相同的，那么通过删除运种冗余W节省比特率是可取的。 一个或多个运样的参数可W由多层共享。
[0033] 在节省比特率的示例性方法中，可W执行SI^到SI^预测，该预测被用于从基础层 的SPS和/或其他依赖层的参数预测一个或多个增强层SPS参数，例如可伸缩性列表，参考 图像集等等。该SPS到SPS的预测可W引入不同层之间参数集的依赖性。
[0034] 在节省比特率的另一示例中，可W执行到SPS预测，该预测可W将一个或多个 多层间共享的参数重新设置（relocate)给VPS，并可W基于VPS中相应参数来预测一个或 多个共享SPS参数（例如，每层的SPS参数）。
[003引肥VC扩展中SPS实现和/或VPS的设计准则包括如下中的一个或多个，VPS可W包括一个或多个有利于比特流提取和/或能力交换的参数。扩展中可W包括与解码图 像缓存值PB)相关的参数。
[0036] 参数集（例如，层间参数集IP巧可W通过在多层间共享的一个或多个高级语法元 素的聚合来被实现。一个或多个层（例如，每层）可W参考一个或多个IPS参数W节省相 应开销比特。
[0037]IPS可被用于在可伸缩性肥VC视频编码系统中，例如，由于IPS可W不在基础层中 被携带，IPS的大小不会对基础层子数据流产生影响。IPS,例如，通过促进多层间的一个或 多个共享参数的预测，来提供高级信令效率。IPS的实现可W在视频编码系统中去除解析依 赖，例如，由于被典型地放置在不同参数集中的一个或多个参数可能被包含在同一IPS中， 因而，对每个参数的解析可W不依赖于其他不同参数集的解析结果。
[0038]IPS可W适用于可伸缩性编码系统中的一个或多个增强层，W至于IPSNAL单元 的nuh_layer_id值对于合格的比特流可W不为0。例如，合格比特流的一个或多个IPSNAL 单元的nuh_laye;r_id值可W等于1。
[0039] 图1A-1C是示出IPS示例的语法表。如图1A-1C中示出的，IPS可W包括一个或多 个参数并且可W为多层编码而被专口设计。参数可W包括，例如，max_sublaye;r_化;r_ilp_ plusl和direct_(kpendency_type。由于一个或多个层可W共享相同的或非常相似的RPS， IPS可W包括与一个或多个层相关的RPS。
[0040] 起到一个或多个相似作用并呈现于SPS中的一个或多个参数可W被分成相应的 子集，子集包括视频格式子集，编码参数子集，伸缩列表子集，伸缩偏移子集，或VUI子集中 的一个或多个。在IPS中，一个或多个子集（例如，每个子集）可W具有相应的多个参数值。 运样可W允许增强层通过在IPS和子集中索引来参考多个参数值。例如，第一视频格式集 (如，格式0)可W指定72化格式，第二视频格式集（如，格式1)可W指定108化格式。对 于具有四层（如，层0为72化层，层1，层2和层3为108化层）的混合空间和/或SNR伸 缩性编码系统，基础层（如，层〇)SPS可W参考ips_video_fo;rmat_subset(0)，增强层（如， 层1, 2, 3)可W参考ips_video_fo;rmat_subset(l)。在运种示例中，数量被减少的（例如最 小的）语法元素可W被用信号发送W覆盖多层使用的参数。
[0041] 下列内容用于如图1A-1C所示的示例IPS语法表的条目，语法元素ips_inter_ laye;r_view_paramete;r_set_id可W标识其他语法元素参考的IPS。语法元素num_video_ fo;rmat_subsets可W指定视频格式语法结构（ips_video_fo;rmat_subset)的数量。语法元 素num_coding_param_subsets可W指定编码参数语法结构（ips_coding_param_subset) 的数量。语法元素num_pcm_param_subsets可W指定PCM编码参数语法结构（ips_pcm_ param_subset)的数量。语法元素num_scaling_list_subsets可W指定可伸缩列表结构 (ips_scaling_list_subset)的数量。语法元素num_scaled_ref_layer_offset_subset可 W指定可伸缩参考层偏移结构（ips_scaled_ref_laye;r_offset_subset)的数量。语法元 素num_vui_param_subsets可从指定VUI参数结构（ips_vui_param_subset)。
[0042] 一个或多个视频表征格式可W被分成为子集。一个或多个子集可W在参数集 (如，IPS)中被用信号发送。子集可W被一个或多个层参考。例如，第一层可W参考第一子 集。一个或多个层可W参考第二子集。每层可W参考子集的索引来获取视频表征语法值。 一个或多个子集，例如，在IPS中，可W被执行W进一步节省比特信令IPS语法元素（如，开 销比特）。例如，局限于给定子集的第一组参数值的参数值的绝对值可被用信号发送。对 于参数值的一个或多个后续集，当前参数值集与先前参数值集之间相应的差值可被用信号 发送。为了进行说明，ips_video_fo;rmat_subset(0)可W指不 720p格式（pic_wi化h_in_ luma_samples被设置成 1280,pic_height_in_luma_samples被设置成 720)，ips_video_ fo;rmat_set(l)可^指不IOSOp格式（pic_wi化h_in_luma_samples被设置成 1920，pic_ height_in_luma_samples被设置成 1080)。ips_video_format_set(0)与ips_video_ 化rmat_set(l)之间的差值被用信号发送，而不是通知1920和1080。按照该示例，针对宽度 和高度的640和360之间的差值，相应地，在ips_video_