Hevc扩展的高级句法
【专利说明】HEVC扩展的高级句法
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年10月11日提交的美国临时申请No.61/889,787?及于2013年 10月11日提交的美国临时申请No.61/889,919的权益，其全部内容结合于此作为参考。
【背景技术】
[0003] 为了实现高效数字视频通信、分布和消费，开发了多种数字视频压缩技术并为之 设立了标准。由IS0/IEC和/或ITU-T开发的示例标准包括H. 261、MPEG-1、MPEG-2、H. 263、 MPEG-4(第二部分）W及H. 264/AVC(MPEG-4第十部分高级视频编码）。被称作高效视频编码 (HEVC)的视频编码标准由ITU-T视频编码专家组（VCEG)和IS0/IEC MPEG共同开发。与 H.264/AVC标准相比，肥VCQTU-T H. 265和IS0/IEC 23008-2)总体上能够实现更高的编码 效率。
【发明内容】
[0004] 视频编码设备可标识网络提取层(NAL)单元。所述视频编码设备可确定所述NAL单 元是否包括当前层的活动参数集。基于确定所述NAL单元包括当前层的活动参数集，所述视 频编码设备可将与所述NAL单元关联的NAL单元报头层标识符设为下列中的至少一者：零、 指代当前层的值、W及指代当前层的基准层的值。所述NAL单元可W是图片参数集(PPS)NAL 单元。所述NAL单元可W是序列参数集(SPS)NAL单元。所述指示当前层的值可包括与当前层 关联的层标识符。所述指示当前层的基准层的值可包括与当前层的基准层关联的层标识 符。所述视频编码设备可发送包括所述NAL单元的视频比特流至视频解码设备。
[0005] 视频编码设备可接收包括SPS和视频参数集(VPS)的视频比特流。所述VPS可包括 视频表示格式列表。所述视频编码设备例如可基于所述SPS中的更新视频表示格式标记来 确定与所述SI^关联的层的视频表示格式。如果所述更新视频表示格式标记指示所述SPS中 存在表现格式索引，则所述视频编码设备可基于所述表现格式索引根据所述VPS中的视频 表现格式列表来确定所述视频表现格式。如果所述SI^中不存在更新表现格式索引，则所述 视频编码设备可根据缺省视频表现格式来确定所述视频表现格式。所述视频编码设备例如 可基于所述SI^中的更新视频表现格式标记来确定所述SI^中是否存在所述表现格式索引。 举例来说，如果所述更新视频表现格式标记等于1，则所述视频编码设备可确定所述SPS中 存在所述视频表现格式索引。如果所述更新视频表现格式标记等于0，则所述视频编码设备 可确定所述SI^中不存在所述视频表现格式索引。所述缺省视频表现格式可包括在所述VPS 中针对层指定的缺省视频表现格式。所述视频更新表现格式索引可在0与表现格式的VPS号 的值减1 (包括0和表现格式的号码的值减1)之间的范围内。
[0006] 视频编码设备可为与SPS关联的层分派表现格式。所述视频编码设备例如可基于 为与SPS关联的层分派的表现格式来确定是否在SPS中包含表现格式索引。举例来说，如果 被分派的表现格式为缺省表现格式，则所述表现格式索引可能不被包含在所述SI^中。举例 来说，如果被分派的表现格式在所述VPS中被指定，则所述表现格式索引可被包含在所述 SPS中。所述视频编码设备可将更新视频表现格式标记设为指示所述表现格式索引是否被 包含在所述SPS中。所述视频编码设备可将所述更新视频表现格式标记设为等于1，W指示 所述表现格式索引存在于所述SPS中。所述视频编码设备可将所述更新视频表现格式索引 设为等于O，W指示所述表现格式索引不存在于所述SI^中。
[0007]视频编码设备可接收包括VPS和一个或多个层的视频比特流。所述视频编码设备 例如可基于所述VPS中的缺省直接附属标记(direct dependency flag)来确定与所述一个 或多个层关联的直接附属关系。如果所述缺省直接附属标记指示所述VPS中存在直接附属 类型信息，则所述视频编码设备可根据所述VPS中的直接附属类型信息来确定所述直接附 属关系。如果所述缺省直接附属标记指示所述VPS中不存在所述直接附属类型信息，则所述 视频编码设备可基于缺省确定所述直接附属关系。所述缺省附属可应用于所述多个层中的 所有层。
[000引视频编码设备可确定是否在所述VPS中包括直接附属类型信息。如果所述视频编 码设备决定使用缺省附属，则所述视频编码设备可W跳过在所述VPS中W信号通告直接附 属类型信息。如果所述视频编码设备决定不使用缺省附属，则所述视频编码设备可在所述 VPS包括直接附属类型信息。所述视频编码设备可在所述中将缺省直接附属标记设为指 示是否在所述中W信号通告直接附属类型信息。
[0009] 多路細VC编码器可包括处理器，该处理器具有用于限制针对类(profile)的基准 层数量的可执行指令。所述多路SHVC编码器可设置基准层限制（limit)。所述多路SHVC编码 器可将视频信号编码到针对类的层中，由此编码视频信号中针对给定层的直接和间接基准 层的总数量小于所述基准层限制。
[0010] 多路甜VC编码器可具有处理器，该处理器具有用于限制针对类的基准层数量的可 执行指令。所述多路SHVC编码器可设置基准层限制。所述多路SHVC编码器可将视频信号编 码到针对类的层中，所述层包括直接和间接层。针对每一层，所述多路甜VC编码器可确定直 接和间接基准层的总数量。所述多路SHVC编码器可确定针对所述层的直接和间接基准层的 总数量是否小于所述基准层限制。举例来说，如果针对每一层的直接和间接基准层的总数 量小于所述基准层限制，所述多路SHVC编码器可发送编码视频信号至解码器。
[0011] 视频编码设备可例如通过应用一个或多个约束（constraint)限制层的数量来限 定(res化ict)和/或降低针对多路甜VC编解码器的编码复杂度。所述层可W是直接附属层、 间接附属层、和/或基层。一个或多个约束例如可限制所述直接附属层的最大数量或限制直 接和间接附属层的最大数量。所述视频编码设备可通过下列中的至少一者限制类中的直接 附属层的最大数量:VPS扩展中的句法元素、SPS中的句法元素、类指示、和/或类、层(ti er) 和/或级（level)(例如可伸缩主类）。所述视频编码设备可通过下列中的至少一者限制类中 的直接和间接附属层的最大数量:VPS扩展中的句法元素、SPS中的句法元素、类指示、和/或 类、层和/或级（例如可伸缩主类）。约束可W是基层上的约束。所述基层上的约束可使用一 致SHVC比特流。所述一致SHVC比特流可W是一个或多个接入单元，例如包括nuh_laye;r_id (nuhjl|_id)等于0而TemporalId(时间Id)等于1的图片。包括nuh_laye;r_id等于0而时间ID 等于1的图片的层可W是层标识符列表化rgetDecLayerIdList中的每一 nuh_laye;r_id值的 层的直接或间接附属层。所述视频编码设备可通过派生变量用信号传递一个或多个约束。 所述视频编码设备可通过句法元素用信号传递一个或多个约束。
【附图说明】
[0012]图1示出了示例多层可伸缩视频编码系统。
[OOK]图2示出了立体视频编码的时间预测和层间预测的实例。
[0014] 图3是示出了可被配置成执行皿到UHD可伸缩性的示例两层可伸缩视频编码器的 简化框图。
[0015] 图4是示出了可被配置成执行皿到UHD可伸缩性的示例两层可伸缩视频解码器的 简化框图。
[0016] 图5是示出了序列参数集(SPS)和图片参数集(PPS)激活的实例的图。
[0017] 图6示出了示例多层预测结构。
[001引图7示出了示例直接附属层。
[0019] 图8示出了分层视频编码结构的示例时间层。
[0020] 图9A是示例通信系统的系统图，在该示例通信系统中可实现一个或多个公开的实 施方式。
[0021] 图9B是可在图9A的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。
[0022] 图9C是可在图9A的通信系统中使用的示例无线电接入网络和示例核屯、网络的系 统图。
[0023] 图9D是可在图9A的通信系统中使用的另一示例无线电接入网络和另一示例核屯、 网络的系统图。
[0024] 图9E是可在图9A的通信系统中使用的另一示例无线电接入网络和另一示例核屯、 网络的系统图。
【具体实施方式】
[0025] 现在参照各个附图对说明性实施方式进行详细描述。虽然该描述提供了可能实施 的具体示例，应当注意的是所述细节是示例性的且不对本申请的范围进行限制。
[0026] 与传统数字视频服务(例如通过卫星、电缆和地面传输信道发送TV信号）相比，越 来越多的视频服务、例如IPTV、视频聊天、移动视频和流式视频可被应用在不同的环境之 中。举例来说，视频应用可为网络中的视频流提供不同大小的小区和/或其他等等。异构性 化eterogeneity)可存在于客户端W及网络中。例如，在客户侧，在具有变化的屏幕大小和 显示能力的设备(包括智能电话、平板电脑、PC和TV、和/或其他等等)上消费视频内容的N屏 方案可被提供和/或使用。在网络侧，视频可在互联网、WiFi网络、移动网络(3G和4G)和/或 上述任意组合上进行传送。
[0027] 可伸缩视频编码可在最高分辨率下对信号进行编码。可伸缩视频编码可根据某些 应用所需的和/或客户设备支持的特定速率和分辨率从所述流的子集启动解码。所述分辨 率可由多个视频参数(包括但不限于空间分辨率（例如图片大小）、时间分辨率(例如帖速 率）、视频质量(例如诸如MOS的主观质量和/或诸如PSNR或SSIM或VQM的客观质量））和/或其 他等等来定义。其他通常使用的视频参数可包括色度格式（例如YUV420或YUV422或 YUV444)、比特深度(例如8比特或10比特视频）、复杂度、视图、色域和/或宽高比（例如16:9 或4: 3)。国际视频标准（例如MPEG-2视频、H. 263、MPEG4可视和H. 264)可具有支持伸缩性模 式的工具和/或类别。
[0028] 可伸缩视频编码可启动对部分比特流的传输和解码。对部分比特流的传输和解码 会使得可伸缩视频编码(SVC)系统为视频服务提供更低的时间和/或空间分辨率或降低的 保真度，同时保持相对高的重建质量(例如给定部分比特流的相对速率）。SVC可采用单路解 码来实现，由此SVC解码器可在正被解码的层处设置一个动态补偿路径而不在一个或多个 其他较低层处设置动态补偿路径。举例来说，一个比特流可包括两个层，运两个层包括作为 基层的第一层(层1)和作为增强层的第二层(层2)。当上述的SVC解码器重建层2视频，解码 图片缓冲器和动态补偿预测的设置会被限制在层2。在SVC的运种实施过程中，来自较低层 的各个基准图片可能无法被完全重建，由此会降低所述解码器处的计算复杂性和/或内存 消耗。
[0029] 单路解码可通过被约束的层间纹理预测来实现，其中对于给定层中的当前块，来 自较低层的空间纹理预测可在相应的较低层块在帖内模式下被编码的情况下得W获准。运 可被称为受限帖内预测。当较低层块在帖内模式下被编码时，该较低层块可被重建而无需 动态补偿操作和/或解码图片缓冲器。
[0030] SVC可从一个或多个较低层实施一个或多个额外的层间预测技术，例如动态向量 预测、残差预测、模式预测等等。运可提高增强层的失真效率。采用单路解码的SVC实施过程 会在解码器处展现出降低的计算复杂性和/或降低的内存消耗，并且会展现出增加的实现 复杂性(例如由于依靠块级层间预测）。为了对通过施行单路解码约束而引起的性能损失进 行补偿，可对编码器设计和计算复杂性进行改进W实现所期望的性能。SVC可能无法支持交 错式内容的编码。
[0031] 图1是描述了示例基于块的混合可伸缩视频编码(SVC)系统的简化框图。将由层1 (基层)表示的空间和/或时间信号分辨率可通过对输入视频信号进行下采样而生成。在后 续的编码阶段中，对量化器(例如Ql)的设置可通向基本信息的质量级。一个或多个后续的 较高层可使用基层重建Yl进行编码和/或解码，基层重建Yl可表示较高层分辨率级的近似 值。上采样单元可对发送到层2分辨率的基层重建信号执行上采样。下采样和/或上采样可 遍及多个层(例如对于N个层而言，层1、2-，N)执行。下采样和/或上采样比率可W不同，例如 取决于两个层之间的可伸缩性的尺度。
[0032] 在图1的示例可伸缩视频编码系统中，对于给定较高层n(例如2 <n<N，N为层的总 数量），通过从当前层n信号中减去上采样较低层信号（例如层n-1信号)可生成一个差分信 号。该差分信号可被编码。如果由两个层nl和n2表示的各自的视频信号具有相同的空间分 辨率，则可跳过下采样和/或上采样操作。给定层n(例如I^n ^N)或多个层可被解码而无需 使用来自较高层的解码信息。
[0033] 依靠 (rely on)对非基层的层的残差信号（例如两个层之间的差分信号）的编码 (例如使用图1中的示例SVC系统)可能导致视觉伪影。运种视觉伪影例如可归因于对残差信 号进行量化和/或标准化W限定其动态范围和/或在残差编码期间执行的量化。一个或多个 较高层编码器可采用动态估计和/或动态补偿预测作为各自的编码模式。残差信号中的动 态估计和/或补偿可能与常规动态补偿不同，并且可能倾向于视觉伪影。为了降低(例如最 小化)视觉伪影的出现，可实施更为复杂的残差量化，例如与联合量化进程一起实施，该联 合量化进程可包括残差信号的量化和/或标准化W限定其动态范围和在残差编码期间执行 的量化。上述的量化进程会增加所述SVC系统的复杂性。
[0034] 多视点视频编码(MVC)可提供视图可伸缩性。根据视图可伸缩性的一个实例，可对 基层比特流解码W重建规范二维(2D)视频，并且可对一个或多个额外的增强层解码W重建 同一视频信号的其他视图表示。当运样的视图被组合到一起并且由=维（3D)显示来显示 时，具有适当深度感知的3D视频可得W产生。
[0035] 图2描述了使用MVC来编码具有左视图（层1)和右视图（层2)的立体视频的示例预 测结构。左视图视频可义用I-B-B-P预测结构进行编码，而右视图视频可义用P-B-B-B预测 结构进行编码。如图2所示，在右视图中，与左视图中的第一个I图片并置的第一个图片可被 编码为P图片，而右视图中后续的图片可采用来自右视图中的时间基准（temporal reference)的第一预测W及来自左视图中的层间基准的第二预测被编码为B图片。MVC可能 无法支持单路解码特征。举例来说，如图2所示，对右视图（层2)视频进行解码可被左视图 (层1)中全部图片的有效性所制约，其中每一层(视图）具有各自的补偿路径。MVC的实施可 包括高级句法改变并且可能不包括块级改变。上述过程可缓解(ease )MVC的实施。例如，MVC 可通过在片（slice)和/或图片级配置基准图片得W实施。MVC可支持两个W上视图的编码， 例如通过对图2中的示例进行扩展W在多个视图上执行层间预测。
[0036] MPEG帖兼容(MFC)视频编码可为3D视频编码提供可伸缩扩展。例如，MFC可为帖兼 容基层视频(例如被打包到同一帖内的两个视图）提供可伸缩扩展，并且可提供一个或多个 增强层W恢复全分辨率视图。立体3D视频可具有两个视图，包括左视图和右视图。立体3D内 容可通过将所述两个视图打包和/或复用到一个帖内W及通过对打包的视频进行压缩和传 输来得W传递。在接收机侧，在解码之后，所述帖可被解包并显示为两个视图。上述对视图 的复用可在时间域或空间域中执行。当在空间域执行时，为了保持相同的图片大小，所述两 个视图会根据一个或多个排列方式在空间上被下采样(例如通过系数2)并且被打包。举例 来说，并排排列方式可将下采样左视图放在图片的左一半并且将下采样右视图放在图片的 右一半。其他排列方式可包括上下、逐行、棋盘等等。用于实现帖兼容3D视频的排列方式例 如可通过一个或多个帖包装排列方式SEI消息来传达。虽然上述的排列方式可使得3D传递 的带宽消耗的增加最小化，但空间下采样会造成视图混淆和/或会降低3D视频的视觉质量 和用户体验。
[0037] 视频应用（例如IPTV、视频聊天、移动视频和/或流式视频可被使用在不同的环境 中。异构性可存在于客户侧。异构性可存在于网络中。N屏可包括在具有变化的屏幕大小和 显示能力的设备(包括智能电话、平板电脑、PC和/或TV等等)上消费视频内容。N屏例如可在 客户侧构建异构性。视频例如可在网络侧在互联网、WiFi网络、移动网络(3G和/或4G)和/或 上述网络的任意组合上进行传送。可伸缩视频编码可改善用户体验和/或视频服务质量。可 伸缩视频编码可包括在最高分辨率下对信号进行编码。可伸缩视频编码可包括例如根据某 些应用所使用的和/或客户服务支持的网络带宽和/或视频分辨率从所述流的子集启动解 码。分辨率可通过多个视频参数进行表征。视频参数可包括下列中的一者或多者:空间分辨 率、时间分辨率、视频质量、色度格式、比特深度、复杂度、视图、色域和/或宽高比等等。空间 分辨率可包括图片大小。时间分辨率可包括帖速率。视频质量可包括主观质量（例如M0S) 和/或客观质量(例如PSNR或SSIM或VQM)。色度格式可包括YUV420、YUV422或YUV444等等。比 特深度可包括化k特视频、10比特视频等等。宽高比可包括16:9或4:3等等。肥VC可伸缩扩展 至少可支持空间可伸缩性(例如可伸缩比特流可包括多于一个空间分辨率的信号）、质量可 伸缩性(例如可伸缩比特流可包括多于一个质量级的信号）、和/或标准可伸缩性(例如可伸 缩比特流可包括使用H.264/AVC编码的基层W及一个或多个使用肥VC编码的增强层）。在空 间可伸缩性方面，可伸缩比特流可包括一个或多个空间分辨率的信号。在质量可伸缩性方 面，可伸缩比特流可包括一个或多个质量级的信号。在标准可伸缩性方面，可伸缩比特流可 包括使用例如H.264/AVC编码的基层W及一个或多个例如使用皿VC编码的增强层。质量可 伸缩性可被称为SNR可伸缩性。视图可伸缩性可支持3D视频应用。在视图可伸缩性方面，可 伸缩比特流可包括2D和3D视频信号两者。
[0038] 视频编码系统(例如根据高效视频编码(SHVC)的可伸缩扩展的视频编码系统）可 包括一个或多个被配置成执行视频编码的设备。被配置成执行视频编码(例如对视频信号 进行编码和/或解码)的设备可被称为视频编码设备。运样的视频编码设备可包括视频使能 设备，例如电视机、数字媒体播放器、DVD播放器、蓝光播放器、网络媒体播放器设备、台式计 算机、笔记本个人电脑、平板设备、移动电话、视频会议系统、基于硬件和/或软件的视频编 码系统等等。运样的视频编码设备可包括无线通信网络元素（例如无线发射/接收单元 (WTRU)、基站、网关或其他网络元素）。
[0039] 图3是示出了示例编码器（例如SHVC编码器）的简化框图。所示出的示例编码器可 用于生成两层皿到U皿可伸缩性比特流。如图3所示，基层(BL)视频输入330可W是皿视频信 号，而增强层化U视频输入302可W是U皿视频信号。所述皿视频信号330和所述UHD视频信 号302可相互对应，例如通过下列中的一者或多者:一个或多个下采样参数(例如空间可伸 缩性）；一个或多个色彩分级参数(例如色域可伸缩性）；一个或多个色调映射参数(例如比 特深度可伸缩性)328。
[0040] 化编码器318例如可包括高效视频编码化EVC)视频编码器或H.264/AVC视频编码 器。所述化编码器318可被配置成使用一个或多个(例如存储在化DPB320中的)化重建图片 来生成化比特流332W用于预测。化编码器304例如可包括肥VC编码器。所述化编码器304可 包括一个或多个高级句法修正，例如通过添加层间基准图片到化DPB来支持层间预测。所 述化编码器304可被配置成使用一个或多个(例如存储在化DPB 306中的化L重建图片来生 成化比特流308 W用于预测。
[0041 ] BL DPB 320中的一个或多个重建化图片可在层间处理（ILP)单元322处使用一个 或多个图片级层间处理技术进行处理，所述图片级层间处理技术包括上采样（例如针对空 间可伸缩性）、色域转换(例如针对色域可伸缩性）、W及反转色调映射(例如针对比特深度 可伸缩性）中的一者或多者。所述一个或多个重建化图片可被用作针对化编码的基准图片。 层间处理可基于接收自化编码器304的增强视频信息314和/或接收自化编码器318的基本 视频信息316来执行。上述过程可提高化编码效率。
[0042] 在326,化比特流308、化比特流332 W及在层间处理中使用的参数（例如ILP信息 324)可被一起复用为可伸缩比特流312。举例来说，可伸缩比特流312可包括甜比特流。
[0043] 图4是示出了与图3中示出的示例编码器对应的示例解码器(例如SHVC解码器）的 简化框图。所示出的示例解码器例如可用于解码两层皿到U皿比特流。