用于视频译码的自适应颜色变换的制作方法
【专利说明】
[0001] 本申请案主张2013年6月21日申请的第61/838, 152号美国申请案的优先权，所 述美国申请案的整个内容以全文引用方式并入本文。
技术领域
[0002] 本发明涉及视频译码。
【背景技术】
[0003] 数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线 广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数 码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无 线电电话（所谓的"智能电话"）、视频电话会议装置、视频流式传输装置及类似者。数字视 频装置实施视频译码技术，例如通过]\〇^6-2、]\0^6-4、11'1]-1'!1.263、11'1]-1'!1.264/]\0^6-4第 10部分高级视频译码（AVC)、高效率视频译码（HEVC)标准及此类标准的扩展（例如，可缩 放视频译码（SVC)、多视图视频译码（MVC)和范围扩展）定义的标准中描述的技术。视频装 置可通过实施这些视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频 信息。
[0004] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（例如，视频帧或视频帧的 一部分）可分割成视频块，视频块还可被称作树块、译码树单元（CTU)、译码单元（CU)和/ 或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译 码（I)切片中的视频块进行编码。图片的经帧间译码（P或B)切片中的视频块可使用关于 同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间 预测。图片可被称作帧，且参考图片可被称作参考帧。
[0005]空间或时间预测导致用于待译码块的预测块。残余数据表示待译码原始块与预测 性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量和 指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式 和残余数据而编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产 生残余变换系数，接着可以对残余变换系数进行量化。可以扫描最初用二维阵列布置的经 量化变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。
【发明内容】
[0006]-般来说，本发明描述与视频译码器相关的技术，所述视频译码器经配置以在具 有第一颜色空间的视频数据块的样本与具有第二颜色空间的样本块之间变换。所述颜色空 间可包含RGB(红、绿、蓝）、YCbCr、YCgCo或另一颜色空间。作为视频预处理的部分，可能需 要以具有RGB颜色空间的视频来工作。一旦预处理完成，所述视频便常常转换到不同颜色 空间，例如YCbCr格式。从一个颜色空间（例如，RGB)到另一颜色空间的颜色转换可造成 颜色失真，用户可将其感知为主观质量降级。本发明的技术中的一或多者是针对当将视频 从RGB视频输入源压缩为具有不同颜色空间的视频（反之亦然）时可改善压缩效率和/或 减少失真的颜色变换。
[0007] 根据本发明的技术，一种对视频数据进行编码的方法包含：确定与关联于译码单 元的多个颜色变换相关联的成本；以及选择所述多个颜色变换中具有最低相关联成本的颜 色变换。所述方法进一步包含：使用所述多个颜色变换中的所述选定颜色变换自适应地变 换具有第一红、绿、蓝（RGB)颜色空间的第一视频数据块以产生具有第二颜色空间的第二 视频数据块；以及对具有所述第二颜色空间的所述第二视频块进行编码。
[0008] 在根据本发明的技术的另一实例中，一种对视频数据进行解码的方法包含：在位 流中接收与经译码单元相关联的语法数据，所述语法数据指示多个逆颜色变换中的一者； 基于所述所接收语法数据选择所述多个逆颜色变换中的逆颜色变换；使用所述多个逆颜色 变换中的所述选定逆颜色变换将具有第一颜色空间的第一视频数据块逆变换到具有第二 红、绿、蓝（RGB)颜色空间的第二视频块；以及对具有所述第二RGB颜色空间的所述第二视 频块进行解码。
[0009] 本发明的另一实例描述一种用于对视频数据进行编码的装置，所述装置包含：存 储器，其经配置以存储视频数据；以及至少一个处理器，其经配置以：确定与关联于译码单 元的多个颜色变换相关联的成本；选择所述多个颜色变换中具有最低相关联成本的颜色变 换；使用所述多个颜色变换中的所述选定颜色变换变换具有第一红、绿、蓝（RGB)颜色空间 的第一视频数据块以产生具有第二颜色空间的第二视频数据块；以及对具有所述第二颜色 空间的所述第二视频块进行编码。
[0010] 本发明的另一实例描述一种用于对视频数据进行解码的装置，所述装置包含：存 储器，其经配置以存储视频数据；以及至少一个处理器，其经配置以：在位流中接收与经译 码单元相关联的语法数据，所述语法数据指示多个逆颜色变换中的一者；基于所述所接收 语法数据选择所述多个逆颜色变换中的逆颜色变换；使用所述多个逆颜色变换中的所述选 定逆颜色变换将具有第一颜色空间的第一视频数据块逆变换到具有第二红、绿、蓝（RGB) 颜色空间的第二视频块；以及对具有所述第二RGB颜色空间的所述第二视频块进行解码。
[0011] 本发明的另一实例描述一种用于对视频进行解码的装置。所述装置包含：用于在 位流中接收与经译码单元相关联的语法数据的装置，所述语法数据指示多个逆颜色变换中 的一者；用于基于所述所接收语法数据选择所述多个逆颜色变换中的逆颜色变换的装置； 用于使用所述多个逆颜色变换中的所述选定逆颜色变换将具有第一颜色空间的第一视频 数据块逆变换到具有第二红、绿、蓝（RGB)颜色空间的第二视频块的装置；以及用于对具有 所述第二RGB颜色空间的所述第二视频块进行解码的装置。
[0012] 在另一实例中，一种非暂时性计算机可读存储媒体具有存储于其上的指令，所述 指令当执行时致使至少一个处理器：在位流中接收与经译码单元相关联的语法数据，所述 语法数据指示多个逆颜色变换中的一者；基于所述所接收语法数据选择所述多个逆颜色变 换中的逆颜色变换；使用所述多个逆颜色变换中的所述选定逆颜色变换将具有第一颜色空 间的第一视频数据块逆变换到具有第二红、绿、蓝（RGB)颜色空间的第二视频块；以及对具 有所述第二RGB颜色空间的所述第二视频块进行解码。
[0013] 在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标和优点将从 所述描述、图式以及权利要求书而显而易见。
【附图说明】
[0014] 图1是说明可实施本发明的一或多个技术的实例视频编码和解码系统的框图。
[0015] 图2是说明根据本发明的一或多个方面的可实施用于使用颜色变换将具有RGB颜 色空间的视频数据块变换为具有第二颜色空间的视频数据块的技术的实例视频编码器的 框图。
[0016] 图3是说明根据本发明的一或多个方面的可实施用于使用颜色空间将具有第一 颜色空间的视频数据变换到具有第二RGB颜色空间的视频数据的技术的视频解码器的实 例的框图。
[0017] 图4是说明根据本发明的一或多个方面的可利用用于使用颜色变换将具有RGB颜 色空间的视频数据变换到具有第二颜色空间的视频数据的技术的视频编码器的另一实例 的框图。
[0018] 图5是说明根据本发明的一或多个方面的可利用用于使用逆颜色变换将具有第 一颜色空间的视频数据块逆变换到具有第二RGB颜色空间的视频数据视频数据块的技术 的视频解码器的另一实例的框图。
[0019] 图6是说明根据本发明的一或多个方面的用于使用颜色变换将具有RGB颜色空间 的视频数据变换到具有第二颜色空间的视频数据的过程的流程图。
[0020] 图7是说明根据本发明的一或多个方面的用于使用逆颜色变换将具有第一颜色 空间的视频数据块变换到具有第二RGB颜色空间的视频数据块的过程的流程图。
[0021] 图8是说明用于将具有第一颜色空间的原始视频数据块逆变换到具有第二RGB颜 色空间的视频数据块的过程的流程图。
[0022] 图9是说明用于将具有第一颜色空间的残余视频数据块逆变换到具有第二RGB颜 色空间的视频数据块的过程的流程图。
[0023] 图10是说明用于将具有第一颜色空间的原始视频数据块变换到具有第二RGB颜 色空间的视频数据块的过程的流程图。
[0024] 图11是说明用于将具有第一颜色空间的残余视频数据块变换到具有第二RGB颜 色空间的视频数据块的过程的流程图。
【具体实施方式】
[0025] 视频译码器（即，视频编码器或解码器）大体上经配置以对大体上表示为图片序 列的视频序列进行译码。通常，视频译码器使用基于块的译码技术对图片序列中的每一者 进行译码。作为基于块的视频译码的部分，视频译码器将视频序列的每一图片划分为数据 块。视频译码器个别地对块中的每一者进行译码（即，编码或解码）。对视频数据块进行 编码大体上涉及通过产生原始块的一或多个预测性块以及对应于原始块与所述一或多个 预测性块之间的差的残余块来对原始数据块进行编码。具体来说，原始视频数据块包含由 "样本"的一或多个通道组成的像素值的矩阵，且预测性块包含其中的每一者也由预测性样 本组成的经预测像素值的矩阵。残余块的每一样本指示预测性块的样本与原始块的对应样 本之间的差。
[0026] 用于视频数据块的预测技术一般分类为帧内预测及帧间预测。帧内预测（即，空 间预测）大体上涉及从相邻经先前译码块的像素值预测块。帧间预测大体上涉及从经先前 译码图片的像素值预测块。
[0027] 每一视频数据块的像素各自表示特定格式的颜色，称为"颜色空间"。换句话说，块 "具有"特定颜色空间。颜色空间也可被称作"彩色空间"。颜色空间是描述其中颜色可表示 为数字的元组的方式的数学模型。不同视频译码标准可使用不同颜色空间用于表示视频数 据。作为一个实例，由视频译码联合合作小组（JCT-VC)开发的高效率视频译码（HEVC)视 频标准的主简档使用YCbCr颜色空间来表示视频数据块的像素。
[0028] YCbCr颜色空间大体上指代其中视频数据的每一像素由颜色信息的三个样本分量 或通道"Y"、"Cb"和"Cr"表示的颜色空间。Y通道含有特定样本的明度（S卩，亮度）数据。 Cb和Cr分量分别是蓝色差和红色差色度分量。YCbCr常常用以表示经压缩视频数据中的 颜色，因为Y、Cb和Cr分量中的每一者之间存在强去相关，意味着Y、Cb和Cr通道中的每一 者之间存在极少的重复或冗余的数据。使用YCbCr颜色空间对视频数据进行译码因此在许 多情况下提供良好压缩性能。
[0029] 另外，许多视频译码技术利用称为"色度子取样"的技术来进一步改善颜色数据的 压缩。色度子取样指代针对块使用比明度信息少的色度信息对视频数据块进行译码，即相 对于同一块中的明度样本的数目使用较少色度样本。具有YCbCr颜色空间的视频数据的色 度子取样通过根据模式选择性省略色度分量而减少经译码视频位流中用信号表示的色度 值的数目。在经色度子取样视频数据的块中，所述块的每一像素大体上存在明度样本。然 而，视频译码器可仅用信号表示所述块的一些像素的Cb和Cr样本。
[0030] 经配置以用于色度子取样的视频译码器内插像素的Cb和Cr分量，其中Cb和Cr 值针对像素的经色度子取样块不显式地用信号表示。色度子取样良好起作用以减少色度数 据量而不会在较均匀的像素块中引入许多失真。色度子取样良好起作用以表示具有广泛不 同色度值的视频数据，且在那些情况中可引入大量失真。
[0031] 作为对HEVC标准的扩展的HEVC范围扩展针对额外颜色空间和色度子取样格式以 及针对增加的颜色位深度为HEVC添加支持。颜色位深度是用以表示颜色空间的分量的位 数目。对其它颜色空间的支持可包含对编码和解码视频数据的RGB来源的支持以及对译码 具有其它颜色空间的视频数据的支持。
[0032] 对于一些应用，例如视频预处理应用，在HEVC视频中使用除YCbCr外的颜色空间 可为有用的。高保真度视频源（例如，视频相机）可使用RGB颜色空间、使用可对应于红、 绿和蓝颜色通道中的每一者的单独电荷耦合装置（CXD)俘获视频数据。RGB颜色空间（且 具体来说RGB4:4:4颜色空间）将每一像素表示为红、绿和蓝颜色样本的组合。
[0033] 视频处理软件和预处理应用程序可与RGB颜色空间而不是颜色分量（例如YCbCr 颜色空间的分量）较好地工作或可仅与其兼容。另外，一些RGB颜色空间可包含每一像素 的R、G和B样本中的每一者，即视频译码器可不执行色度子取样。无色度子取样的视频块 与使用色度子取样格式的视频块相比可具有较好的主观视觉质量。
[0034] 然而，RGB经受的缺点在于红、绿和蓝颜色分量中的每一者之间存在显著相关。由 于RGB颜色空间中的相对较高颜色相关，表示具有RGB颜色空间的视频数据块所需的数据 量可比使用其它颜色空间表示的视频数据块大得多。
[0035] 为了改善压缩性能，根据本发明的技术中的一或多者配置的视频译码器可将具有 例如RGB颜色空间的第一颜色空间的视频数据块转换到具有例如YCbCr或另一颜色空间等 不同颜色空间的视频块，反之亦然。然而，在RGB与另一颜色空间之间转换可引入失真，其 可对视频质量具有不利影响。失真可为第一与第二颜色空间之间的不同位深度的结果。根 据本发明的技术中的一或多者配置的视频译码器也可能将视频数据从RGB转换到不同颜 色空间而不引入任何失真。本发明的技术中的一或多者是针对用于使用颜色变换将具有 RGB颜色空间的视频数据变换到第二颜色空间以压缩RGB视频数据而不引入过量失真的技 术。
[0036] 本发明的技术中的一或多者使用颜色变换将具有第一颜色空间的视频数据块变 换到具有第二颜色空间的视频数据块。在一些实例中，颜色变换是矩阵，其当与颜色空间的 样本矩阵相乘时产生具有与颜色变换矩阵相关联的颜色空间的像素。在一些实例中，颜色 变换可包括一或多个方程式。本发明的技术中的一或多者进一步针对可经配置以自适应地 变换具有RGB颜色空间的视频数据块以产生具有第二颜色空间的视频数据块的视频译码 器。第二颜色空间可为当在颜色空间之间变换样本时视频译码器可从中进行选择的多个颜 色空间中的一者。
[0037] 为了确定所述一或多个颜色空间中的哪一者来变换具有RGB颜色空间的视频数 据，视频译码器可例如基于某个度量自适应地选择变换。在一些实例中，视频译码器可确定 与颜色变换中的每一者相关联的成本值，且可确定产生最低成本的颜色变换。在另一实例 中，所述成本可基于RGB视频数据块的颜色分量中的每一者与第二颜色空间的颜色分量之 间的相关。具有最低相关联成本的颜色变换可为具有与源视频的RGB颜色分量最紧密相关 的颜色分量的颜色变换。在一些实例中，视频解码器可基于从视频编码器接收的语法数据 选择逆颜色变换。所述语法数据可指示所述一或多个颜色变换的逆颜色变换以应用于视频 数据的经译码单元的一或多个块。
[0038]HEVC视频译码标准界定树状结构，其界定视频数据块。本发明的技术可应用于 HEVC树状结构的多种不同分量。在HEVC中，视频译码器基于树状结构将经译码图片（也 被称作"帧"）分成块。此些块可被称为树块。在一些情况下，树块还可称为最大译码单元 (LCU)。HEVC的树块可大致类似于例如H. 264/AVC等先前视频译码标准的宏块。然而，不同 于一些视频译码标准的宏块，树块不限于某一大小（例如，某一数目的像素）。树块可包含 一或多个译码单元（CU)，其可递归地划分成子译码单元（子CU)。
[0039] 每一⑶可包含一或多个变换单元（TU)。每一TU可包含已经变换的残余数据。另 外，每一CU可包含一或多个预测单元（PU)。PU包含与CU的预测模式相关的信息。本发明 的技术可将颜色变换应用于块，例如LCU、CU、子CU、PU、TU、宏块、宏块分区、子宏块或其它 类型的视频数据块中的一或多者。
[0040] 视频译码器可经配置以在视频译码过程的不同阶段执行本发明的技术。在一个实 例中，视频编码器可将颜色变换应用于输入视频信号，例如具有RGB颜色空间的视频块。视 频编码器可随后对具有第二颜色空间的经变换块操作。举例来说，视频编码器可对经变换 块进行编码。在解码期间，视频解码器可执行大体上互逆过程以重构具有第二颜色空间的 块，且可恰在输出经重构图片之前应用逆颜色变换。
[0041] 在另一实例中，根据本发明的技术配置的视频编码器可使用所述多个颜色变换中 的选定颜色变换将具有RGB颜色空间的残余视频数据块变换到具有第二颜色空间的第二 视频数据块。以类似方式配置的视频解码器可将所述多个颜色变换中的选定逆颜色变换应 用于具有第二颜色空间的残余数据块以将所述块变换为具有RGB颜色空间的残余数据块。
[0042] 视频译码器可以若干不同方式用信号表示或确定特定颜色变换已应用于视频数 据块。在一个实例中，视频译码器可针对每一块译码（即，编码或解码）指示所述多个颜色 变换中的选定变换用以变换块以及与所述视频数据块相关联的颜色空间的数据（例如，索 引值）。索引值还可指示视频解码器应当应用于逆变换所述块的选定逆颜色变换。
[0043] 在第二实例中，视频编码器可确定单个颜色变换应用以变换图片的每一块。在此 实例中，视频译码器可基于个别基础确定是否将颜色变换应用于图片的块中的每一者，例 如使用本发明中在别处描述的基于成本的准则中的一或多者。视频译码器可随后对指示所 述单个变换是否已应用于CVS的块中的每一者的数据进行译码。编码器对例如旗标语法元 素等数据进行编码，所述数据指示所述单个颜色变换已应用于一个块或多个块，或所述单 个颜色变换尚未应用于所述块或多个块（即，没有变换已应用于所述块）。视频解码器对指 示所述单个颜色变换已应用于所述块或多个块或所述单个颜色变换尚未应用于所述块或 多个块的数据进行解码，且将逆颜色变换应用于所述块。在这些实例中，第一旗标值可指示 变换已应用，而所述旗标语法元素的第二不同值可指示没有变换已应用。
[0044] 在一些实例中，视频编码器确定单个颜色变换应当应用于CVS的图片的块中的每 一者。换句话说，视频编码器选择单个颜色变换以应用于CVS的全部图片的全部块。视频 编码器使用所确定的单个颜色变换变换CVS的块中的每一者。使用所述单个颜色变换变换 CVS的图片的全部块，且没有块未经变换。因为全部块是使用所确定的颜色变换而变换，所 以视频译码器对指示特定块已使用所确定的颜色变换经变换的任何数据进行译码可为不 必要的。
[0045] 本发明的颜色变换可包含但不一定限于恒等变换、差分变换、经加权差分变换、离 散余弦变换（DCT)、YCbCr变换、YCgCo变换、YCgCo-R变换和/或本文未具体描述的变换。 应用恒等变换可与根本不应用变换相同。
[0046] 为了将颜色变换应用于具有RGB颜色空间的视频数据块，视频编码器可将3x1矩 阵与颜色变换矩阵相乘。所述3x1矩阵可包括红、绿和蓝颜色分量。所述矩阵乘法的结果 是具有第二颜色空间的像素或像素集合。视频译码器可将颜色变换矩阵应用于视频块的每 一像素。视频译码器可基于成本准则选择适当矩阵，如本发明中在别处所描述。
[0047] 在解码期间，根据本发明的技术中的一或多者配置的视频解码器可基于经译码视 频位流中用信号表示的数据选择逆变换矩阵。另外，视频译码器可将3x1矩阵与逆变换矩 阵相乘。所述3x1矩阵可包括第二颜色空间的像素数据。所述乘法的结果是RGB颜色空间 中的像素。
[0048] 图1是说明根据本发明的一或多个方面的可实施用于使用颜色变换将具有第一 表示的视频数据变换到具有第二颜色空间的视频数据的技术的实例视频编码和解码系统 10的框图。
[0049] 图1是说明根据本发明的一或多个方面的可实施用于使用颜色变换而变换具有 第一空间的视频数据块以产生具有具有第二颜色空间的数据的第二视频块的技术的实例 视频编码和解码系统的框图。在图1的实例中，源装置12包含视频源18、视频编码器20和 输出接口 22。目的地装置14包含输入接口 28、视频解码器30和显示装置32。在其它实 例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源 18 (例如，外部相机）接收视频数据。同样地，目的地装置14可以与外部显示装置介接，而 不是包含集成显示装置。根据本发明，源装置12的视频编码器20可经配置以应用使用多 个颜色变换中的颜色变换将具有第一颜色空间的第一数据块变换到具有第二颜色空间的 第二视频数据块的技术，且对具有第二颜色