多层视频译码中的基于三维查找表的色域可缩放性的制作方法_4

文档序号:9893914阅读:来源:国知局
UTv和LUTc分别表示针对每一色彩分量Y、U、V和常数的3D查找表。可针对增强层 中的第一色度化)像素值和第二色度(V)像素值定义类似的映射函数。
[0112] 图9中所说明的3D查找表和图10中所说明的具有3D查找表的Ξ线性内插的更多细 节可在上文参考的JCTVC-N0168中找到。
[0113] -般来说,基于3D查找表的色域可缩放性产生良好的译码性能。然而,3D查找表的 大小可为关注点,运是因为3D查找表通常存储在硬件实施方案中的高速缓冲存储器中。具 有大表大小的3D查找表可导致较高的计算复杂性和较高的信令成本。举例来说,按照惯例, 3D查找表始终是对称的,使得3D查找表针对亮度分量、第一色度分量和第二色度分量具有 相同大小。此外,按照惯例,3D查找表始终是平衡的,使得3D查找表的每一维度的大小始终 相同。运导致具有高计算复杂度和高信令成本的较大的表大小。举例来说,表大小可至多达 9X9X9 或 17X17X17。
[0114] 提出W下方法,使得用于基于3D查找表的色域可缩放性的信令成本和计算成本两 者可降低。
[0115] 第一方法包括产生不对称3D查找表,使得亮度(Y)W及色度化和V)分量具有不同 大小。在一些情况下,3D查找表可针对亮度分量具有比针对第一和第二色度分量中的每一 者大的大小,即多的片段。在此情况下,色度分量可使用较粗略的查找表,且亮度分量可使 用较细化的查找表。在其它情况下,3D查找表可针对所述色度分量中的一个或两个具有比 针对亮度分量大的大小。
[0116] 一般来说,基于3D查找表的色彩预测是一种3D分段线性预测。理论上,用于3D查找 表的每一色彩维度(即,Y、u和V)中的片段越多,色彩预测准确性越高。然而,较大数目的片 段可导致较高的信令成本和较高的计算复杂性(即,较大的表大小)。实际上,色度信号可较 不重要,且较容易预测。在此情况下,针对亮度(Y)分量具有高分辨率查找表且针对第一色 度化)分量和第二色度(V)分量中的每一者具有低分辨率查找表可能较好。
[0117] 根据本发明的技术,视频译码器,例如视频编码器20和/或视频解码器30,可针对 3D查找表的亮度维度使用与针对3D查找表的第一色度维度和第二色度维度不同数目的片 段来产生不对称3D查找表。举例来说,视频编码器20和/或视频解码器30可产生3D查找表, W针对亮度分量具有比针对第一和第二色度分量中的每一者大的大小,即多的片段。在一 个实例中,3D查找表可具有至多达8x2x2的大小。W此方式,可减小表的总大小,且还可降低 信令成本,同时W针对亮度分量比针对第一和第二色度分量高的分辨率维持良好译码性 能。3D查找表的表大小可在位流中用信号通知,例如在视频参数集(VPS)、序列参数集 (SPS)、图片参数集合(PPS)、切片标头或相关扩展中。
[0118] 在一些实例中,3D查找表中的每一者可具有相同大小Mx化K,其中3D查找表的亮度 维度的大小(^0不同于3D查找表的第一色度维度的大小(N)和3D查找表的第二色度维度的 大小化)。举例来说,亮度维度的大小可大于色度维度的大小,M〉N且M〉K,且3D查找表的色度 维度的大小可相同,N=K。在一个实例中,3D查找表中的每一者可具有相同大小8x2x2。在另 一实例中,3D查找表中的每一者可具有相同大小9x6x6。
[0119] 在其它实例中,亮度分量3D查找表(LUTy)可具有第一大小,例如MxMxM或Mx化K,其 不同于第一色度分量3D查找表化UTu)的第二大小,例如化化N,W及第二色度分量3D查找表 (LUTv)的第Ξ大小,例如ΚχΚχΚ。举例来说,LUTy的大小可大于LUTu和LUTv的大小。LUTu和LUTv 的大小可彼此相同或不同。在一个实例中,LUTy可具有大小8x2x2,且LUTu和LUTv中的每一者 可具有大小2x2x2。在另一实例中,LUTy可具有大小9x9x9或9x6x6,且LUTu和LUTv中的每一者 可具有大小9x3x3或3x3x3。
[0120] 在另一实例中,3D查找表的精度可取决于相关联的色彩分量。举例来说,亮度分量 3D查找表的第一精度值可不同于第一和第二色度分量3D查找表两者的第二精度值。举例来 说,亮度分量3D查找表的第一精度值可高于色度分量3D查找表的第二精度值。在一个实例 中,第一精度值对于亮度分量可为8位,且第二精度值对于色度分量可为6位。在一些情况 下,当产生3D查找表时,可应用额外移位,W便满足增强层的目标位深度。基于相关联的色 彩分量的与3D查找表的默认精度值不同的精度值的使用可在VPS、SPS、PPS、切片标头或相 关扩展中指示。
[0121] 第二方法包括产生不平衡的3D查找表(即,表[M] [N] [K]),使得取决于正将哪一色 彩分量用作3D查找表的表索引,每一维度的大小不同。对于与用作表索引的色彩分量相关 联的维度,3D查找表可具有较大大小。在此情况下,对于用作表索引的色彩分量,色彩映射 可较准确,而对于其它色彩分量,不太准确。
[0122] JCTVC-N0168中所提议的3D查找表始终是平衡的,使得3D查找表的每一维度的大 小始终相同。如上文所论述,用于3D查找表的每一色彩维度(即,Y、U和V)中的片段越多,色 彩预测效率越好。然而,较大数目的片段可导致较高的信令成本和较高的计算复杂性(即, 较大的表大小)。考虑第一色域中的每一色彩分量通常与第二色域中的相同色彩分量具有 较高相关,运可通过在相关联色彩分量用作3D查找表的表索引时,针对表维度使用较多片 段,即使用较大大小,对改进预测效率较有帮助。当不同色彩分量用作3D查找表的表索引 时,表维度的大小可较小。
[0123] 根据本发明的技术,视频译码器,例如视频编码器20和/或视频解码器30,可针对 3D查找表的与用作3D查找表的表索引的色彩分量相关联的维度使用较多片段,来产生不平 衡的3D查找表。举例来说,亮度分量3D查找表可基于正用作亮度分量3D查找表的表索引的 亮度分量,具有比第一色度维度和第二色度维度大的亮度维度。在一个实例中,LUTy可具有 大小MxNxN,其中M〉N。第一和第二色度分量3D查找表的大小可类似地确定。举例来说,LUTu 可基于所述表索引处正使用的第一色度分量具有大小NxMxN,且LUTv可具有基于所述表索 引处正使用的第二色度分量的大小NxNxM。^此方式,可减小所述表中的每一者的总大小, 同时W用作所述表索引的色彩分量的较高分辨率维持良好的译码性能。
[0124] 在一个实例中,当将Y、U、V分量用作到3D查找表的输入时,8x2x2表可用于Y分量, 2x8x2表可用于U分量,且2x2x8表可用于V分量。在另一实例中,当将Y、U、V分量用作到3D查 找表的输入时,9x3x3表可用于Y分量,3x9x3表可用于U分量,且3x3x9表可用于V分量。
[0125] 3D查找表的表大小可在位流中发信号通知,例如在¥?5、5?5、??5、切片标头或相关 扩展中。在上述实例中,可仅用信号通知Μ和N的值,W指示表大小。在一些情况下,代替于用 信号通知Μ和Ν的值,可为Μ和Ν设定默认值,使得不需要表大小的信令。举例来说,Ν可默认设 定成值3或值2。
[01%]第Ξ方法包含仅产生亮度分量3D查找表,且仅使用3D查找表来执行亮度分量预 巧。,同时针对色度分量使用一维(1D)线性映射或分段线性映射。在此实例中,简化3D查找 表,使得其仅应用于亮度分量预测。对于色度分量预测,可使用分段线性预测模型。由于分 段线性预测模型显示与针对色度分量的基于3D查找表的色彩预测模型相似的性能,因此此 简化可维持预测准确性,同时降低计算复杂性和信令成本。举例来说,仅使用亮度分量3D查 找表可通过避开针对色度分量的Ξ线性内插法来降低计算复杂性,且可通过不发信号通知 针对色度分量的3D查找表来降低信令成本。
[0127]当仅使用3D查找表来执行亮度分量预测时,上文相对于图9和图10所述的3加央射 函数可简化为针对色度分量的1D映射函数。针对第一色度化)像素值和第二色度(V)像素值 的实例映函数在W下等式中呈现。针对亮度(Υ)像素值的3D映射函数可与上文所呈现相同。 [012 引化= LUTu 化b)*Ub+LUTc 化Β)
[0129] Ve = LUTv(Vb)*Vb+LUTc(Vb)
[0130] 在W上等式中,化表示增强层中的第一色度像素值,Ve表示增强层中的第二色度像 素值,化和Vb表示基础层色度像素值,且LUTu、LUTv和LUTc表示每一色度分量U、V和常数的1D 查找表。
[0131] 上文所描述的方法中的任一者的使用可在¥口5、5口5、口口5、切片标头或相关扩展中 指示。在一些实例中,上文所描述的用于执行基于3D查找表的色域可缩放的方法中的一或 多者可组合。
[0132] 图11是说明可实施在多层视频译码中使用基于3D查找表的色域可缩放性的技术 的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帖内和帖间译 码。帖内译码依靠空间预测来减少或去除给定视频帖或图片内的视频中的空间冗余。帖间 译码依靠时间预测来减少或移除视频序列的邻近帖或图片内的视频中的时间冗余。帖内模 式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测 (B模式)等帖间模式可指代若干基于时间的译码模式中的任一者。
[0133] 如图11中所示,视频编码器20接收待编码视频帖内的当前视频块。在图11的实例 中,视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器 50、变换处理单元52、量化单元54和赌编码单元56。模式选择单元40又包含运动补偿单元 44、运动估计单元42、帖内预测单元46、分割单元48和色彩预测处理单元66。为进行视频块 重构,视频编码器20还包含逆量化单元58、逆变换处理单元60和求和器62。还可包含去块滤 波器(图11中未展示)W对块边界进行滤波W从经重构的视频去除成块假象。在需要时,去 块滤波器将通常对求和器62的输出进行滤波。除了去块滤波器外,还可使用额外滤波器(回 路中或回路后)。为简洁起见,未图示此些滤波器,但是必要时,此些滤波器可对求和器50的 输出进行滤波(作为环路内滤波器)。
[0134] 视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从 视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可为参考图片 存储器,其存储用于由视频编码器20(例如)在帖内或帖间译码模式中对视频数据进行编码 的参考视频数据。视频数据存储器41和经解码图片缓冲器64可通过多种存储器装置中的任 一者形成,例如动态随机存取存储器(DRAM ),包含同步DRAM (SDRAM )、磁阻式RAM (MRAM )、电 阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器41和经解码图片缓冲器64可由 相同存储器装置或单独的存储器装置提供。在各种实例中,视频数据存储器41可与视频编 码器20的其它组件一起在忍片上,或相对于那些组件在忍片外。
[0135] 在编码过程期间,视频编码器20接收待译码的视频帖或切片。所述帖或切片可划 分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帖中的一或多 个块执行所接收视频块的帖间预测性译码W提供时间预测。帖内预测单元46可替代地相对 于与待译码块相同的帖或切片中的一或多个相邻块执行对所接收的视频块的帖内预测性 译码W提供空间预测。视频编码器20可执行多个译码遍次,例如W为每一视频数据块选择 适当的译码模式。
[0136] 此外,分割单元48可基于先前译码遍次中的先前划分方案的评估将视频数据块分 割成若干子块。举例来说,分割单元48可最初将帖或切片分割成若干LCU,并且基于速率失 真分析(例如,速率失真优化)将所述LCU中的每一者分割成若干子CU。模式选择单元40可进 一步产生指示将LCU分割成若干子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多 个PU和一或多个TU。
[0137] 模式选择单元40可例如基于错误结果来选择译码模式中的一者,帖内或帖间,并 将所得的经帖内或帖间译码的块提供给求和器50W产生残差块数据,且提供给求和器62W 重构用作参考帖的经编码块。模式选择单元40还将语法元素(例如,运动向量、帖内模式指 示符、分割信息和其它此类语法信息)提供给赌编码单元56。
[0138] 运动估计单元42和运动补偿单元44可高度集成,但出于概念的目的分别加 W说 明。运动估计单元42所执行的运动估计是产生运动向量的过程,所述过程估计视频块的运 动。举例来说,运动向量可指示当前视频帖或图片内的视频块的PU相对于参考帖(或其它经 译码单元)内的预测块相对于当前帖(或其它经译码单元)内正被译码的当前块的位移。预 测性块是被发现在像素差方面与待译码块紧密匹配的块,像素差可通过绝对差总和(SAD)、 平方差总和(SSD)或其它差度量来确定。在一些实例中,视频编码器20可计算存储在经解码 图片缓冲器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考 图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单 元42可相对于全像素位置和分数像素位置执行运动捜索,并且输出具有分数像素精度的运 动向量。
[0139] 运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经 帖间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或 第二参考图片列表(列表1),所述列表中的每一者识别存储在经解码图片缓冲器64中的一 或多个参考图片。运动估计单元42将计算得出的运动向量发送到赌编码单元56和运动补偿 单元44。
[0140] 运动补偿单元44所执行的运动补偿可设及基于运动估计单元42所确定的运动向 量来取或产生预测性块。并且,在一些实例中,运动估计单元42与运动补偿单元44可在功能 上集成。在接收到当前视频块的PU的运动向量后,运动补偿单元44可在参考图片列表中的 一者中定位所述运动向量所指向的预测性块。求和器50通过将所述预测性块的像素值从正 经译码的当前视频块的像素值减去从而形成像素差值来形成残差视频块,如下文所论述。 一般来说,运动估计单元42相对于亮度分量执行运动估计,并且运动补偿单元44针对色度 分量和亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频 块和视频切片相关联的语法元素 W供视频解码器30在解码视频切片的视频块时使用。
[0141] 作为如上文所描述由运动估计单元42和运动补偿单元44执行的帖间预测的替代 方案,帖内预测单元46可对当前块进行帖内预测。明确地说,帖内预测单元46可确定用于对 当前块进行编码的帖内预测模式。在一些实例中,帖内预测单元46可(例如)在单独的编码 遍次期间使用各种帖内预测模式来编码当前块,且帖内预测单元46(或在一些实例中为模 式选择单元40)可从所测试模式中选择适当帖内预测模式来使用。
[0142] 举例来说,帖内预测单元46可使用速率-失真分析计算针对各种测试的帖内预测 模式的速率-失真值,且从所述测试的模式当中选择具有最好速率失真特性的帖内预测模 式。速率失真分析一般确定经编码块与经编码W产生所述经编码块的原始的未经编码块之 间的失真(或误差)的量,W及用于产生经编码块的位速率(即,位数目)。帖内预测单元46可 根据用于各种经编码块的失真和速率计算比率,W确定哪种帖内预测模式对于所述块展现 最佳速率失真值。
[0143] 在选择用于块的帖内预测模式后,帖内预测单元46可将指示用于块的选定帖内预 测模式的信息提供到赌编码单元56。赌编码单元56可编码指示选定帖内预测模式的信息。 视频编码器20在所发射的位流中可包含配置数据,其可包含多个帖内预测模式索引表和多 个经修改的帖内预测模式索引表(也称为码字映射表),对用于各种块的上下文进行编码的 定义,W及对最可能帖内预测模式、帖内预测模式索引表和经修改的帖内预测模式索引表 的指示W用于所述上下文中的每一者。
[0144] 视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据 而形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例 如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块,从而产生包括残差变换 系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变 换、整数变换、子带变换或其它类型的变换。在任何状况下,变换处理单元52将变换应用于 残差块,从而产生残差变换系数块。所述变换可将残差信息从像素值域转换到变换域(例 如,频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数 进行量化W进一步降低位速率。量化过程可减小与系数中的一些或全部相关联的位深度。 可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量 化的变换系数的矩阵的扫描。或者,赌编码单元56可执行所述扫描。
[0145] 在量化之后,赌编码单元56对经量化的变换系数进行赌译码。举例来说,赌编码
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1