颜色信息和色度信令的制作方法
【技术领域】
[0001] 本公开总体涉及视频编码，更具体地讲，涉及用于视频编码的颜色信息和色度信 令。
【背景技术】
[0002] 许多系统包括视频编码器以实现视频编码标准并且压缩视频数据以便于利用有 限带宽和/或有限存储容量经由信道传输。这些视频编码标准可包括诸如帧内预测、从空间 域变换到频域、从频域逆变换到空间域、量化、熵编码、运动估计和运动补偿的多个编码阶 段，以便更有效地对帧进行编码。
【发明内容】
[0003] 技术问题
[0004] 传统数字高清(HD)内容可按照视频编码标准国际电信联盟无线电通信组（ITU-R) 建议BT. 709所描述的格式来表示，该标准定义了视频内容的分辨率、色域、伽马和量化位 深。随着更高分辨率的视频标准(例如ITU-R超高清电视(UHDTV)，其与BT.709相比除了具有 更高分辨率以外，还可具有更宽的色域和增加的量化位深)的出现，基于较低分辨率的HD内 容的许多传统系统可能无法使用压缩的UHDTV内容。目前维持这些传统系统的可用性的解 决方案之一包括分离地联播压缩的HD内容和压缩的UHDTV内容二者。尽管接收到该联播的 传统系统能够解码并使用压缩的HD内容，但是压缩并联播具有相同的基本内容的多个比特 流无法有效使用处理、带宽和存储资源。
[0005] 问题的解决方案
[0006] 根据本发明，提供一种将视频解码的方法，包括：（a)接收编码的画面的视频比特 流，其中，所述视频比特流包括多个层；以及(b)接收与所述视频比特流有关的色度信息，其 中，所述色度信息包括（1)视频信号信息的集合；（2)所述视频信号信息的所述集合的数量； (3)所述视频信号信息的索引；以及(4)指示所述数量和所述索引是否存在的标志。
[0007] 通过考虑以下结合附图进行的对本发明的详细描述，本发明的以上和其它目的、 特征和优点将更容易理解。
【附图说明】
[0008]图1是视频编码系统的框图不例。
[0009] 图2是示出BT . 709视频标准中和UHDTV视频标准中所支持的色域的示例曲线图 200 〇
[0010] 图3A是图1所示的视频编码器的框图示例。
[0011] 图3B是图1所示的视频编码器的框图示例。
[0012]图4是图3A和图3B所示的颜色空间预测器的框图示例。
[0013]图5A是图1所示的视频解码器的框图示例。
[0014]图5B是图1所示的视频解码器的框图示例。
[0015]图6是图5A和图5B所示的颜色空间预测器的框图示例。
[0016] 图7是图1所示的视频编码器中的颜色空间预测的示例操作流程图。
[0017] 图8是图1所示的视频解码器中的颜色空间预测的示例操作流程图。
[0018] 图9是图1所示的视频解码器中的颜色空间预测的另一示例操作流程图。
[0019] 图IOA是包括颜色位深缩放的视频编码器的框图示例。
[0020] 图IOB是包括颜色位深缩放的视频编码器的框图示例。
[0021] 图11是是包括位深缩放的编码方法的流程图
[0022] 图12A是包括颜色位深缩放的视频解码器的框图示例。
[0023] 图12B是包括颜色位深缩放的视频解码器的框图示例。
[0024] 图13是包括位深缩放的解码方法的流程图。
[0025] 图 14A 示出示例性 vps_extension()句法。
[0026] 图 14B 不出不例性 vps_extension()句法。
[0027] 图15示出示例性vps_vui ()句法。
[0028] 图 16A 不出不例性 seq_parameter_set_rbsp()句法。
[0029] 图 16B 不出不例性 seq_parameter_set_rbsp()句法。
[0030] 图 16C 不出不例性 seq_parameter_set_rbsp()句法。
[0031 ]图 17 不出不例性 vui_parameters()句法。
[0032] 图 18 不出不例性 video_signal_info()句法。
[0033] 图 19 不出不例性 video_signal_info()句法。
[0034] 图 20 不出不例性 video_signal_info()句法。
[0035] 图 21 不出不例性 video_signal_info()句法。
【具体实施方式】
[0036] 图1是视频编码系统100的框图示例。视频编码系统100可包括视频编码器300,其 接收按BT. 2020标准化的视频流，例如超高清电视(UHDTV)视频流102，和BT. 709视频流104， 并且基于所述视频流生成编码的视频流112。视频编码器300可将编码的视频流112发送给 视频解码器500。视频解码器500可将编码的视频流112解码以生成解码的UHDTV视频流122 和/或解码的BT. 709视频流124。
[0037]与BT. 709视频流104相比，UHDTV视频流102可具有不同的分辨率、不同的量化位深 并且表示不同的色域。例如，UHDTV或BT. 2020视频标准具有可支持4k(3840x2160像素)或8k (7680x4320像素)分辨率和10或12比特量化位深的格式建议。BT. 709视频标准具有可支持 2k(1920xl080像素)分辨率和8或10比特量化位深的格式建议。UHDTV格式建议还可支持比 BT. 709格式建议更宽的色域。UHDTV视频标准域BT. 709视频标准之间的色域差异的实施方 式将在下面参照图2更详细地示出和描述。
[0038] 视频编码器300可包括增强层编码器302和基本层编码器304。基本层编码器304可 例如利用实现运动图像专家组(MPEG)-2标准等的编解码器实现对高清(HD)内容的视频编 码。增强层编码器302可实现对UHDTV内容的视频编码。在一些实施方式中，增强层编码器 302可通过从基本层编码器302中编码的BT.709图像帧利用运动补偿预测、帧内预测和缩放 颜色预测生成UHDTV图像帧的至少一部分的预测来对UHDTV视频帧进行编码。视频编码器 300可利用所述预测来生成预测残差，例如预测与UHDTV图像帧之间的差异，并且将所述预 测残差编码在编码的视频流112中。
[0039]在一些实施方式中，当视频编码器300使用从BT.709图像帧的缩放颜色预测时，视 频编码器300可将颜色预测参数114发送给视频解码器500。颜色预测参数114可包括由视频 编码器300用来生成缩放颜色预测的参数。例如，视频编码器300可通过独立颜色信道预测 或者基于仿射矩阵的颜色预测来生成缩放颜色预测，独立颜色信道预测或者基于仿射矩阵 的颜色预测各自具有不同的参数，例如每信道的增益参数或者每信道的增益参数和偏移参 数。颜色预测参数114可包括视频编码器300所使用的与独立颜色信道预测或者基于仿射矩 阵的颜色预测对应的参数。在一些实施方式中，编码器300可将颜色预测参数114包括在编 码的视频流112的规范部分中，例如序列参数集(SPS)、画面参数集(PPS)或者编码的视频流 112的规范部分的另一低级区段中。在一些实施方式中，视频编码器300可利用默认颜色预 测参数114，这些默认颜色预测参数可存在于视频解码器500中，从而使得视频编码器300不 必向视频解码器500发送颜色预测参数114。视频编码器300的实施例将在下面更详细地描 述。
[0040] 视频解码器500可包括增强层解码器502和基本层解码器504。基本层解码器504可 例如利用实现运动图像专家组(MPEG)-2标准等的编解码器来实现对高清(HD)内容的视频 解码，并且将编码的视频流112解码以生成解码的BT.709视频流124。增强层解码器502可实 现对UHDTV内容的视频解码并且将编码的视频流112解码以生成解码的UHDTV视频流122。
[0041] 在一些实施方式中，增强层解码器502可将编码的视频流112的至少一部分解码为 UHDTV视频帧的预测残差。增强层解码器502可生成视频编码器300在编码期间所生成的 UHDTV图像帧的相同或相似的预测，然后将所述预测与预测残差组合以生成解码的UHDTV视 频流122。增强层解码器502可从基本层解码器504中解码的BT. 709图像帧通过运动补偿预 测、帧内预测或缩放颜色预测生成UHDTV图像帧的预测。视频编码器400的实施方式将在下 面更详细地描述。
[0042] 尽管图1示出利用视频编码器300和视频解码器500对UHDTV视频流和BT. 709视频 流的基于颜色预测的视频编码，在一些实施方式中，可利用基于颜色预测的视频编码对表 示不同色域的任何视频流进行编码或解码。
[0043] 图2是示出BT . 709视频标准中和UHDTV视频标准中所支持的色域的示例曲线图 200。参照图2,曲线图200示出国际照明委员会(CIEH931色度xy图格式的色域的二维表示。 曲线图200包括标准观测者色域210以表示由CIE在1931确定的标准人观测者可看到的颜色 范围。曲线图200包括UHDTV色域220以表示UHDTV视频标准所支持的颜色范围。曲线图200包 括BT.709色域230以表示BT.709视频标准所支持的颜色范围，它比UHDTV色域220窄。该曲线 图还包括表示白色240的点，其包括在标准观测者色域210、UHDTV色域220和BT. 709色域230 中。
[0044]图3A和图3B是图1所示的视频编码器300的框图示例。参照图3A，视频编码器300可 包括增强层编码器302和基本层编码器304。基本层编码器304可包括视频输入362以接收具 有HD图像帧的BT. 709视频流104。基本层编码器304可包括编码预测环路364以对从视频输 入362接收的BT. 709视频流104进行编码，并且将BT. 709视频流的重构的帧存储在参考缓冲 器368中。参考缓冲器368可将重构的BT. 709图像帧返回提供给编码预测环路364以用于对 BT.709视频流104的相同帧的其它部分或其它帧进行编码。参考缓冲器368可存储由编码预 测环路364编码的图像帧。基本层编码器304可包括熵编码功能366以对来自编码预测环路 364的BT. 709视频流的编码版本执行熵编码操作，并且将熵编码的流提供给输出接口 380。 [0045] 增强层编码器302可包括视频输入310以接收具有UHDTV图像帧的UHDTV视频流 102。增强层编码器302可生成UHDTV图像帧的预测并且利用该预测来生成预测残差，例如利 用组合功能315确定的预测与UHDTV图像帧之间的差异。在一些实施方式中，组合功能315可 包括例如线性加权的加权以从UHDTV图像帧的预测生成预测残差。增强层编码器302可利用 变换和量化功能320对预测残差进行变换和量化。熵编码功能330可对变换和量化功能320 的输出进行编码，并且将熵编码的流提供给输出接口 380。输出接口 380可将来自熵编码功 能366和330的熵编码的流复用以生成编码的视频流112。
[0046] 增强层编码器302可包括颜色空间预测器400、运动补偿预测功能354和帧内预测 器356，其各自可生成UHDTV图像帧的预测。增强层编码器302可包括预测选择功能350以选 择由颜色空间预测器400、运动补偿预测功能354和/或帧内预测器356生成的预测以提供给 组合功能315。
[0047]在一些实施方式中，运动补偿预测功能354和帧内预测器356可基于先前由增强层 编码器302编码和解码的UHDTV图像帧来生成其相应的预测。例如，在预测残差已被变换和 量化之后，变换和量化功能320可将变换和量化的预测残差提供给缩放和逆变换功能322， 其结果可在组合功能325中与用于生成预测残差的预测组合并生成解码的UHDTV图像帧。组 合功能325可将解码的UHDTV图像帧提供给解块功能351，解块功能351可将解码的UHDTV图 像帧存储在参考缓冲器340中，该参考缓冲器340保存解码的UHDTV图像帧以便于运动补偿 预测功能354和帧内预测器356使用。在一些实施方式中，例如，解块功能351可对解码的 UHDTV图像帧进行滤波，以使图像中与解码的UHDTV图像帧对应的宏块之间的锐边平滑。 [0048]运动补偿预测功能354可从参考缓冲器340接收一个或更多个解码的UHDTV图像 帧。运动补偿预测功能354可基于来自参考缓冲器340的一个或更多个解码的UHDTV图像帧 与UHDTV图像帧之间的图像运动来生成当前UHDTV图像帧的预测。
[0049]帧内预测器356可从参考缓冲器340接收当前UHDTV图像帧的第一部分。帧内预测 器356可至少基于先前由增强层编码器302编码和解码的当前UHDTV图像帧的第二部分来生 成与当前UHDTV图像帧的第一部分对应的预测。
[0050] 颜色空间预测器400可基于先前由基本层编码器304编码的BT.709图像帧来生成 UHDTV图像帧的预测。在一些实施方式中，基本层编码器304中的参考缓冲器368可将重构的 BT. 709图像帧提供给分辨率升频(upscaling)功能370,该分辨率升频功能370可将重构的 BT. 709图像帧的分辨率缩放至与UHDTV视频流102对应的分辨率。分辨率升频功能370可将 重构的BT.709图像帧的分辨率升频版本提供给颜色空间预测器400。颜色空间预测器可基 于重构的BT. 709图像帧的分辨率升频版本来生成UHDTV图像帧的预测。在一些实施方式中， 颜色空间预测器400可将重构的BT.709图像帧的分辨率升频版本的YUV颜色空间缩放为与 UHDTV视频流102所支持的YUV表示对应。
[0051] 颜色空间预测器400有多种方式来将BT. 709视频编码标准所支持的颜色空间缩放 至UHDTV视频流102所支持的颜色空间，例如独立信道预测和仿射混合信道预测。独立信道 预测可包括将用于BT. 709图像帧的YUV颜色空间的各个部分分别转换为UHDTV图像帧的预 测。可根据式1来缩放Y部分或亮度：
[0052] Yuhdtv = gi · Ybt.7。9+〇1
[0053] 可根据式2来缩放U部分或色度部分之一：
[0054] Uuhdtv =g2 · Ubt. 709+02
[0055] 可根据式3来缩放V部分或色度部分之一：
[0056] Vuhdtv =g3 · Vbt. 709+03
[0057] 增益参数8142和83以及偏移参数〇1、〇2和〇3可基于81'.709视频编码标准和11!1017 视频标准所支持的颜色空间的差异，并且可根据各个BT. 709图像帧和UHDTV图像帧的内容 而变化。例如，增强层编码器304可经由输出接口 380将由颜色空间预测器400用来生成 UHDTV图像帧的预测的增益参数gl、g2和g3以及偏移参数〇1、〇2和〇3输出给视频解码器500 作为颜色预测参数114。
[0058]在一些实施方式中，独立信道预测可包括增益参数gl、g2和g3以及零(zero)参数。 可根据式4来缩放Y部分或亮度：
[0059] YuHDTV = gi · (YBT.7〇9~Yzer〇BT.7〇9)+YzerouHDTV
[0060] 可根据式5来缩放U部分或色度部分之一：
[0061] Uuhdtv = g2 ·(Ubt. 7〇9-Uzer〇BT. 7〇9)+UzerouHDTV
[0062] 可根据式6来缩放V部分或色度部分之一：
[0063] VuHDTV = g3 · (VBT.7〇9~Vzer〇BT.7〇9)+VzerouHDTV
[0064] 增益参数gl、g2和g3可基于BT. 709视频编码标准和UHDTV视频标准所支持的颜色 空间的差异，并且可根据各个BT. 709图像帧和UHDTV图像帧的内容而变化。例如，增强层编 码器304可经由输出接口 380将由颜色空间预测器400用来生成UHDTV图像帧的预测的增益 参数gl、g2和g3输出给视频解码器500作为颜色预测参数114。由于视频解码器500可被预载 零参数，所以视频编码器300可生成并向视频解码器500发送较少颜色预测参数114,例如三 个而非六个。
[0065] 在一些实施方式中，式4-6中所使用的零参数可基于颜色信道和相关颜色空间的 位深来定义。例如，在表1中，零参数可如下定义：
[0066][表1]
[0068]表 1
[0069]仿射混合信道预测可包括通过例如经由矩阵乘法功能将BT. 709图像帧的YUV信道 混合来转换用于BT. 709图像帧的YUV颜色空间以生成UHDTV图像帧的预测。在一些实施方式 中，可根据式7来缩放BT.709的颜色空间：
[0070]
[0071 ]矩阵参数 mil、m12、ml3、m21、m22、m23、m31、m32 和 m33 以及偏移参数 ol、〇2 和 〇3 可基 于BT.709视频格式建议和UHDTV视频格式建议所支持的颜色空间的差异，并且可根据各个 BT. 709图像帧和UHDTV图像帧的内容而变化。例如，增强层编码器304可经由输出接口 380将 由颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器 500作为颜色预测参数114。
[0072]在一些实施方式中，可根据式8来缩放BT.709的颜色空间：
[0073]
[0074] 矩阵参数11111、11112、11113、11122和11133以及偏移参数〇1、〇2和〇3可基于81'.709视频编码 标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT. 709图像帧和UHDTV图 像帧的内容而变化。例如，增强层编码器304可经由输出接口 380将由颜色空间预测器400用 来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500作为颜色预测参数 114〇
[0075] 通过用零取代矩阵参数m21、m23、m31和m32，UHDTV图像帧预测的亮度信道Y可与 BT. 709图像帧的颜色信道U和V混合，但是UHDTV图像帧预测的颜色信道U和V可能没有与 BT.709图像帧的亮度信道Y混合。选择性信道混合可在减少发送给视频解码器500的预测参 数114的数量的同时，允许亮度信道UHDTV图像帧预测的更精确的预测。
[0076]在一些实施方式中，可根据式9来缩放BT.709的颜色空间：
[0077]
[0078] 矩阵参数 11111、11112、11113、11122、11123、11132和11133以及偏移参数〇1、〇2和〇3可基于81\709 视频标准和UHDTV视频标准所支持的颜色空间的差异，并且根据各个BT. 709图像帧和UHDTV 图像帧的内容而变化。例如，增强层编码器304可经由输出接口 380将由颜色空间预测器400 用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500作为颜色预测参数 114〇
[0079]通过用零取代矩阵参数m21和m31，UHDTV图像帧预测的亮度信道Y可与BT. 709图像 帧的颜色信道U和V混合。UHDTV图像帧预测的U和V颜色信道可与BT. 709图像帧的U和V颜色 信道混合，但是未与BT.709图像帧的亮度信道Y混合。选择性信道混合可在减少发送给视频 解码器500的预测参数114的数量的同时，允许亮度信道UHDTV图像帧预测的更精确的预测。
[0080]颜色空间预测器400可基于每序列（帧间）、每帧或每切片（帧内）来为预测选择功 能350生成缩放的颜色空间预测，并且视频编码器300可基于每序列（帧间）、每帧或每切片 (帧内）发送与缩放的颜色空间预测对应的预