br>[0214] 替代于修改QP值来补偿在逆色彩空间转换操作中量化误差的能量的放大，编码 器和解码器可修改缩放变换系数的过程。
[0215]例如，将被应用到变换系数的缩放因子列表可被修改。在确定因频率而异的缩放 因子m[x] [y]后，如果第二色彩空间被使用，则可取决于其变换系数正被缩放的色彩分量 来修改m[x] [y]。变量Cldx指示色彩分量的索引。当第一色彩空间是RGB并且第二色彩空 间是YCoCg时，例如，m[x] [y]可分别针对Y、Co和Cg分量用为1. 78、1. 41和1. 78的因分 量而异的缩放因子来修改。1. 78、1. 41和1. 78的因分量而异的缩放因子分别对应于25/6、 23/6和2 5/6的QSS改变并分别大约对应于-5、-3和-5的QP值调整。如果Cldx是0或2， 则m[x][y]*= 1.78。否则，如果Cldx是1，则m[x][y]*= 1.41。替换地，取代于使用浮点 操作，可使用整数操作来修改m[x] [y]。
[0216] 对于另一第二色彩空间，因分量而异的缩放因子可取决于在逆色彩空间转换操作 中该第二色彩空间的相应色彩分量的能量放大来被修改。 阳217] 或者，在不修改m[x] [y]的情况下，编码器和解码器可在执行缩放操作时分开地 考虑第二色彩空间的不同色彩分量的因分量而异的缩放因子。例如，阵列化CtorkIdx] (因子[Cldx])存储第二色彩空间的各色彩分量的因分量而异的缩放因子。当第二色彩空 间是YCoCg时，例如，factor[cldx]是{1.78, 1.41，1.7到。对于另一第二色彩空间，因分量 而异的缩放因子可取决于在逆色彩空间转换操作中该第二色彩空间的相应色彩分量的能 量放大来被修改。阵列中的变换系数TransCoeffLevel(变换系数水平）被如下地逆量化 和缩放。
[0218] d[x] [y] =Clip3 (-32768, 32767,（（TransCoeffLevelbllD門[yl^Y] [cldx][X] [y]*m[x] [y]*facto;r[cIdx]*levelScale[qP% 6]<<(qP/6)) + (l<<〇3dShift-l)))〉〉bdShi ft)
[0219] 或者，编码器和解码器可使用仅整数操作来执行缩放操作，其中化Ctorl[cldx] 和factor2[cIdx]包括定义的整数值使得facto;rl[cIdxVfactor2[cIdx]近似于 factor[cldx]。 阳220] d[x] [y] =Clip3 (-32768, 32767,（（TransCoefTLevelbllD門[yl^Y] [cldx][X]
[y] *m[x] [y] *facto;rl[cIdxVfactor2 [cldx]*levelScale[qP% 6] << (qP/6)) + (1<< 〇3dShi ft-l)))?bdShift) 阳221] 第二色彩空间的各色彩分量的因分量而异的缩放因子可被信号化在比特流中或 使用重构规则在编码器和解码器处导出。 阳222] 替换地，编码器和解码器可针对不同的色彩空间或不同的色彩空间的不同的色彩 分量来使用不同的因频率而异的缩放因子m[x][y]和111_〇32片]^]。不同的色彩空间/色 彩分量的因频率而异的缩放因子可被信号化在比特流中或使用重构规则在编码器和解码 器处导出。
[0223]G.附加的编码器侧改变的示例。 阳224] 除了对量化或缩放的改变之外，编码器侧决策制定过程可被修改来反映对QP值 或缩放的调整。编码器可修改在速率失真优化量化（"RD0Q")中使用的拉格朗日乘数AW匹配用于不同色彩空间的不同色彩分量的QP值。例如，如果QP值增加1，则相关的拉格朗 日乘数被增加针对畑OQ的A=A巧I/3。如果QP值改变某一其他量，则拉格朗日乘数 被相应地增加或减少。由此，如果通过将R、G和B分量的QP值调整-5、-3和-5来确定Y、 Co和Cg分量的QP值，则对应的RDOQ的拉格朗日乘数被分别设置为A_Y=A_RGB巧W、 入_C〇 =A_RGB巧3々和A_Cg=A_RGB巧W，其中A_RGB是在RGB色彩空间中的畑OQ的 拉格朗日乘数。 阳225] 替换地，编码器可在不改变QP值的情况下修改第二色彩空间中的RDOQ的拉格朗 日乘数。 阳226] 对于另一第二色彩空间，RDOQ的拉格朗日乘数可取决于对QP值或缩放作出的调 整来被类似的修改。 阳227] 除了RDOQ之外，另一速率失真决策制定过程的拉格朗日乘数A可取决于对QP值 或缩放作出的调整来被修改。例如，在速率失真分析中使用的A值当在编码模式或选项 (例如，帖内预测方向）之间决定用于在第二色彩空间编码时可根据第一色彩空间和第二 色彩空间之间QP值方面的差来被修改。编码器可根据速率失真成本来选择最佳模式或选 项，其被针对第二色彩空间的经修改的A值来加权。
[0228]H.使用仅编码器侧改变的替换方法。 阳229] 替换地，编码器可在逐单元的基础上调整QP值来补偿在逆色彩空间转换操作中 量化误差的能量的放大。编码器使用用于指定相应单元的QP值的现有句法元素来在逐单 元的基础上设置QP值。从经信号化的句法元素中，解码器在逐单元的基础上确定相应单元 的QP值，而不对QP值作出色彩空间调整。例如，对于被编码在第一色彩空间（例如，RGB) 中的第一单元，编码器可使用第一组QP值并信号化指示该第一单元的第一组QP值的句法 元素。接着，对于被编码在第二色彩空间（例如，YCoCg)中的第二单元，编码器可使用第二 组QP值并信号化指示该第二单元的第二组QP值的句法元素。该第二组QP值可如W上解 释的那样被确定W补偿在逆色彩空间转换操作中量化误差的能量的放大。例如，第二单元 的QP值可分别针对Y、Co和Cg分量用为-5、-3和-5的因子调整。对于另一第二色彩空 间，对QP值作出的调整被相应地修改。
[0230] 当色彩空间切换可在逐CU的基础上发生时，对QP值的调整可在逐CU的基础上被 信号化。在一些H. 265/肥VC实现中，QP值的偏移被信号化为针对不同CU的TU-级句法 的一部分。例如，句法元素cu_qp_delta_abs和cu_qp_delta_sign_flag可被用于指示被 编码在第一色彩空间（诸如RGB)中的第一CU的第一QP偏移，并且句法元素cu_qp_delta_ 油S和cu_qp_delta_sign_flag可之后被用于指示被编码在第二色彩空间（诸如YCoCg)中 的第二CU的第二QP偏移。可使用第二和第S色彩分量的其他QP偏移值来确定第二色彩 空间中的每色彩分量QP值。 阳231] 或者，当色彩空间切换可在逐片的基础上发生时，对QP值的调整可在逐片的基础 上被信号化。在一些H. 265/肥VC实现中，可使用slice_qp_delta、slice_ct)_qp_offset和slice_c;r_qp_offset句法元素来将QP值设置在片头部中W指示给定片的QP值。例如，句 法元素slice_qp_delta、slice_ct)_qp_offset和slice_c;r_qp_offset可被用于指不被编 码在第一色彩空间（诸如RGB)中的第一片的QP值，并且句法元素slice_qp_delta、slice_ d3_qp_offset和slice_c;r_qp_offset可之后被用于指示被编码在第二色彩空间（诸如 YCoCg)中的第二片的QP值。或者，当色彩空间切换可在各单元之间发生时，对QP值的调整 可在某个其他逐单元的基础上被信号化。 阳232]I.在编码或解码期间切换色彩空间时调整量化/缩放或逆量化/缩放的示例。 阳233]图12是示出用于在编码期间切换色彩空间时调整量化或缩放的一般化技术 (1200)，并且图13是示出用于在逐单元的基础上切换色彩空间时调整量化或缩放的更加 详细的示例技术（1300)。图像编码器或视频编码器（诸如参考图3或图5a-化描述的编码 器或其他编码器）可执行技术（1200)或技术（1300)。 阳234]图14是示出用于在解码期间切换色彩空间时调整逆量化或缩放的一般化技术 (1400)，并且图15是示出用于在逐单元的基础上切换色彩空间时调整逆量化或缩放的更 加详细的示例技术（1500)。图像解码器或视频解码器（诸如参考图4或图6描述的编码器 或其他解码器）可执行技术（1400)或技术（1500)。 阳235] 参考图12,编码器对图像或视频的各单元（例如，图片、片、CU、块）进行编码 (1210)W产生经编码的数据。作为编码的一部分，当在各单元之中的两个单元之间从第一 色彩空间切换到第二色彩空间时（例如，从RGB型色彩空间切换到YUV型色彩空间，或从 YUV型色彩空间切换到RGB型色彩空间），编码器根据每分量色彩空间调整因子来调整第二 色彩空间的各色彩分量的量化或缩放。编码器将经编码的数据作为比特流的一部分来输出 (1220)O 阳236] 参考图13,编码器确定（1310)第二色彩空间的各分量的QP值调整或缩放因子。 例如，编码器使用本文中描述的任一方法来确定QP值调整或缩放因子。编码器还确定第一 色彩空间的各分量的QP值和缩放因子。编码器得到（1320)视频的下一单元（例如，图片、 片、CU)并为该单元设置（1330)色彩空间。例如，编码器为该单元在RGB型色彩空间和YUV型色彩空间（诸如YCoCg)之间进行选择。编码器接着使用针对所选色彩空间的适当的QP 值和缩放因子来对该单元进行编码（1340)。编码器输出（1350)该单元的经编码的数据，其 包括指示该单元的色彩空间的一个或多个信号。编码器检查（1360)是否继续下一单元，并 且如果如此，则得到（1320)下一单元。 阳237] 参考图14,解码器接收（1410)作为比特流的一部分的经编码的数据。解码器对 经编码的数据进行解码（1420)W重构图像或视频的各单元（例如，图片、片、CU、块）。作 为解码的一部分，当在各单元之中的两个单元之间从第一色彩空间切换到第二色彩空间时 (例如，从RGB型色彩空间切换到YUV型色彩空间，或从YUV型色彩空间切换到RGB型色彩 空间），解码器根据每分量色彩空间调整因子来调整针对第二色彩空间的各色彩分量的逆 量化或缩放。
[0238] 参考图15,解码器确定（1510)针对第二色彩空间的各分量的QP值调整或缩放因 子。例如，解码器使用本文中描述的任一方法来确定QP值调整或缩放因子。解码器还确定 针对第一色彩空间的各分量的QP值和缩放因子。编码器得到（1520)针对视频的下一单元 (例如，图片、片、CU)的经编码的数据，其包括指示该单元的色彩空间的一个或多个信号。 解码器确定（1530)该单元的色彩空间。例如，基于（诸）信号，解码器为该单元在RGB型 色彩空间和YUV型色彩空间（诸如YCoCg)之间进行选择。解码器使用针对所选色彩空间 的适当的QP值和缩放因子来对该单元进行解码（1540)。解码器检查（1550)是否继续下一 单元，并且如果如此，则得到（1520)针对下一单元的经编码的数据。
[0239] 一般地，每分量色彩空间调整因子补偿在从第二色彩空间转换回第一色彩空间时 量化误差的能量的放大。否则，如果来自第一色彩空间的QP值和缩放因子被简单地应用到 第二色彩空间中的样本值，则第二色彩空间中的量化误差被回到第一色彩空间的逆色彩空 间转换操作放大。
[0240] 对于图12-15中示出的示例，比特流中的一个或多个句法元素可指示每分量色彩 空间调整因子。（诸）句法元素可被信号化在图片级、片级、用于编码单元或块的句法级或 某个其他句法级处。（诸）句法元素可包括指示第二色彩空间的第一色彩分量的QP值的句 法元素W及指示第二色彩空间的第二和第=色彩分量的偏移的句法元素。章节VII.D描述 了信号化第二色彩空间的各色彩分量的QP值的示例。 阳241] 或者，取代于被比特流中的句法元素指示，针对第二色彩空间的各色彩分量的每 分量色彩空间调整因子可取决于第二色彩空间根据规则被推导出，该推导从第一色彩空间 的各色彩分量的QP值开始。章节VII.E描述了用于第二色彩空间的各色彩分量的QP值的 导出规则的示例。 阳242] 调整量化或逆量化的动作可包括调整第一色彩空间的各色彩分量的最终QP值或 中间QP值W确定第二色彩空间的各色彩分量的QP值。例如，如果第一色彩空间是RGB并 且第二色彩空间是YCoCg,则针对Y、Co和Cg分量的每分量色彩空间调整因子可W是-5、-3 和-5。更一般地，针对量化和逆量化的每分量色彩空间调整因子可取决于在逆色彩空间转 换操作中第二色彩空间的相应色彩分量的能量放大。 阳243] 在编码或解码期间被调整的缩放可包括使用每分量色彩空间调整因子来缩放变 换系数。缩放可使用仅整数操作或浮点操作。每分量色彩空间调整因子可被合并到因频率 而异的缩放因子中或被分开地应用。例如，如果第一色彩空间是RGB并且第二色彩空间是YCoCg，则针对Y、Co和Cg分量的因分量而异的缩放因子可W是1. 78、1. 41和1. 78。更一 般地，针对缩放的每分量色彩空间调整因子可取决于在逆色彩空间转换操作中第二色彩空 间的相应色彩分量的能量放大。对于附加的细节，请参见章节VIII.F。
[0244] 或者，对于在编码期间不要求在解码期间对应改变的改变，编码器可在逐单元的 基础上设置每分量QP值。在运种情况下，比特流包括指示相应单元的每分量QP值的句法 元素。对于附加的细节，请参见章节VIII.H。
[0245] 鉴于可应用所公开的本发明的原理的许多可能的实施例，应当认识到，所示实施 例仅是本发明的优选示例，并且不应认为是限制本发明的范围。相反，本发明的范围由后续 的权利要求来界定。我们要求作为我们的发明保护落入运些权利要求范围和精神内的所有 内容。
【主权项】
1. 一种在具有图像编码器或视频编码器的计算设备中的方法，该方法包括： 对图像或视频的单元进行编码以产生经编码的数据，包括，当在所述单元中的两个单 元之间从第一色彩空间切换到第二色彩空间时，根据每分量色彩空间调整因子来调整针对 所述第二色彩空间的色彩分量的量化或缩放；以及 将所述经编码的数据作为比特流的一部分来输出。2. -种在具有图像解码器或视频解码器的计算设备中的方法，该方法包括： 接收作为比特流的一部分的经编码的数据；以及 对所述经编码的数据进行解码以重构图像或视频的单元，包括，当在所述单元中的两 个单元之间从第一色彩空间切换到第二色彩空间时，根据每分量色彩空间调整因子来调整 针对所述第二色彩空间的色彩分量的逆量化或缩放。3. 如权利要求1或2所述的方法，其特征在于，所述单元是图片。4. 如权利要求1或2所述的方法，其特征在于，所述单元是片。5. 如权利要求1或2所述的方法，其特征在于，所述单元是编码单元或块。6. 如权利要求1或2所述的方法，其特征在于，所述比特流包括指示所述每分量色彩空 间调整因子的一个或多个句法元素。7. 如权利要求6所述的方法，其特征在于，所述一个或多个句法元素被信号化在图片 级，并且其中所述一个或多个句法元素包括指示以下的句法元素：(a)所述第二色彩空间 的第一色彩分量的初始量化参数值或（b)所述第二色彩空间的所述第一色彩分量相对于 所述第一色彩空间的初始量化参数值的偏移。8. 如权利要求6所述的方法，其特征在于，所述一个或多个句法元素被信号化在片级， 并且其中所述一个或多个句法元素包括指示所述第二色彩空间的第一色彩分量相对于（a) 图片的初始量化参数值或（b)所述第一色彩空间的量化参数值的偏移的句法元素。9. 如权利要求7或8所述的方法，其特征在于，所述一个或多个句法元素还包括指示所 述第二色彩空间的第二和第三色彩分量相对于所述第一色彩空间的第二和第三色彩分量 的量化参数值的偏移的句法元素。10. 如权利要求7或8所述的方法，其特征在于，所述一个或多个句法元素还包括指示 所述第二色彩空间的第二和第三色彩分量相对于所述第二色彩空间的第一色彩分量的量 化参数值的偏移的句法元素。11. 如权利要求6所述的方法，其特征在于，所述一个或多个句法元素被信号化在编码 单元或块的语法级，并且其中所述一个或多个句法元素包括指示所述第二色彩空间的色彩 分量的偏移的句法兀素。12. 如权利要求1或2所述的方法，其特征在于，所述每分量色彩空间调整因子取决于 所述第二色彩空间根据规则来导出，而无需信号化指示所述第二色彩空间的色彩分量的每 分量色彩空间调整因子的句法元素。13. 如权利要求1或2所述的方法，其特征在于，所述调整包括调整所述第二色彩空间 的色彩分量的最终量化参数值。14. 如权利要求1或2所述的方法，其特征在于，所述调整包括调整所述第二色彩空间 的色彩分量的中间量化参数值。15. 如权利要求13或14所述的方法，其特征在于，所述第一色彩空间是RGB并且所述 第二色彩空间是YCoCg，并且其中针对Y、Co和Cg分量的每分量色彩空间调整因子是-5、-3 和-5〇16. 如权利要求1或2所述的方法，其特征在于，所述调整包括使用所述每分量色彩空 间调整因子来缩放变换参数。17. 如权利要求16所述的方法，其特征在于，所述缩放使用仅整数操作。18. 如权利要求16所述的方法，其特征在于，所述第一色彩空间是RGB并且所述第二 色彩空间是YCoCg，并且其中针对Y、Co和Cg分量的每分量色彩空间调整因子是大约1. 78、 1. 41 和 1. 78。19. 如权利要求1或2所述的方法，其特征在于，所述调整包括针对所述第二色彩空间 的不同色彩分量应用不同的缩放列表。20. 如权利要求1-19中任一所述的方法，其特征在于，所述每分量色彩空间调整因子 取决于在逆色彩空间转换操作中所述第二色彩空间的相应色彩分量的能量放大。21. 如权利要求1-19中任一所述的方法，其特征在于，所述每分量色彩空间调整因子 补偿在从所述第二色彩空间转换回所述第一色彩空间时量化误差的能量的放大。22. 如权利要求1所述的方法，其特征在于，所述调整包括在逐单元的基础上设置每分 量量化参数值。23. 如权利要求22所述的方法，其特征在于，所述比特流包括指示相应单元的每分量 量化参数值的句法元素。24. 如权利要求1-14、16、17或19-23中任一所述的方法，其特征在于，所述第一色彩空 间是RGB型色彩空间，并且所述第二色彩空间是YUV型色彩空间。25. 如权利要求1-14、16、17或19-23中任一所述的方法，其特征在于，所述第一色彩空 间是YUV型色彩空间，并且所述第二色彩空间是RGB型色彩空间。26. -种适于执行权利要求1-25中的任一项所述的方法的计算设备。27. -个或多个存储计算机可执行指令的计算机可读存储介质，所述计算机可执行指 令使得计算设备因此被编程为执行如权利要求1-25中的任一项所述的方法。
【专利摘要】在针对视频序列的各单元的自适应编码和解码中的创新可在编码和解码期间在各色彩空间之间切换时改善编码效率。例如，创新中的一些涉及在编码器在编码期间在视频序列内的各单元之间切换色彩空间时对量化或缩放的调整。其他创新涉及在解码器在解码期间在视频序列内的各单元之间切换色彩空间时对逆量化或缩放的调整。
【IPC分类】H04N9/64
【公开号】CN105432077
【申请号】CN201480029700
【发明人】B·李, J·许, J·G·沙利文
【申请人】微软技术许可有限责任公司
【公开日】2016年3月23日
【申请日】2014年3月27日
【公告号】WO2015143671A1