4:2:0表示的改进-因为高通信号的振幅的至 少一部分将被保持。当然，每当DA(x，y)在削波范围内时，削波操作将不引入任何失真。这 使得能够使用3
/)来表示输入值，而无需动态范围的任何扩 展，并且只要DA(x，y)在削波范围内就不牺牲可逆性，情况几乎总是这样。
[0234] 在一些实施方案中，带Dd<n^ACx,y：>的样本值通过将恒定偏移加到它的值 被偏移，以便产生具有从〇到2B - 1的范围的信号，如果这是原始输入信号范围的话。
CN 104982：036 A WL m T 3y/4b贝
[0235] 除了当削波影响信号时，该操作是完全可逆的，并且低通信号Jl)和输 入信号具有相同的动态范围。高通信号y))的动态范围的扩展通过削波 而被防止。削波可能引入失真，但是削波实际上限制高通信号的情况预期为稀少的，并且在 任何情况下削波的高通信号仍然提供增强信号。当在解码之后颠倒变换时恒定偏移能够被 减去。
[0236] 其中z标记指示根据（可能有损的）编码的重建。这个例子示出了垂直处理步骤。 相同的处理步骤也能够被与水平滤波相结合地应用。
[0237] 使用削波来限制高通信号的动态范围还能够在不使用提升的情况下被应用，但是 这可能牵涉牺牲确切的可逆性。并且，半量级低通信号的使用也能够在不使用提升的情况 下被应用，但是这可能牵涉牺牲确切的可逆性。
[0238] 在本节段中，提升和削波操作针对第一步骤垂直滤波级使用哈尔小波滤波器作为 LPF和HPF被描述，如参考图14所描述的。替换地，相同的提升和削波技术能够针对其它级 (例如，水平地）并且在其它LPF和HPF核的情况下被应用。
[0239] 在本节段中，存在对如应用于小波分解和小波重建的确切的可逆性的数个引用。 当在后续构码期间对带的样本值执行有损压缩时，可以对构码值的近似而不是对它们实际 的原始值执行解码器操作。一般而言，当有损压缩被执行时，确切的可逆性是不可能的。在 任何情况下，解码器可以对有损压缩的值执行与解码器将对于值的无损表示执行的相同的 (或相似的）逆转换操作。
[0240] 针对实施方案选项的其它替代方案 在本文中所描述的三带小波分解的例子中，H带在第一滤波级之后不经受附加的小波 分解。替换地，H带在第一滤波级之后经受附加的小波分解，以便产生LL带、LH带、HL带以 及HH带，其值然后被分配给较低分辨率色度采样格式的主帧和辅助帧。
[0241] 取决于实施方案，较低分辨率色度采样格式的主帧的构码的中间和/或最终结果 能够在较低分辨率色度采样格式的辅助帧的构码期间被使用。例如，构码器能够使用来自 主帧的构码的运动矢量（以及潜在地宏块/子宏块/子宏块分区信息和/或CU/PU/合并/ TU分段信息）来帮助搜索运动矢量(和对应的分段信息）以用于在对辅助帧进行构码时使 用。或者，构码器能够基于主帧的构码的结果来选择要在辅助帧的各种区域中应用的量化 步长尺寸值。
[0242] 在其它带分离滤波方法中，预处理操作包括针对4:4:4格式、4:2:2格式或4:2:0 格式的视频内容到4:0:0格式的帧包装的小波分解，所述4:0:0格式典型地被用于灰度或 单色视频内容。来自4:4:4格式、4:2:2格式或4:2:0格式的帧的色度信息能够被包装成 4:0:0格式的一个或多个附加或辅助帧的主要分量。
[0243] 为得到关于在前面节段的例子中能够被用于小波分解或其它带分离滤波的滤波 器的变例的附加细节，并且为得到关于针对这样的滤波器的实施方案选项的附加细节，见 以下参考文献： ? R.C.Calderbank，I.Daubechies，W.Sweldens，andB. -L.Yeo，"Wavelet TransformsThatMapIntegerstoIntegers,yyAppl. Comput. Harmon. Anal.,vol. 5， no. 3，pp. 332-369 (1998)〇 ? W.Sweldens,"TheLiftingScheme:AConstructionofSecondGeneration Wavelets,yySIAM Journal on Mathematical Analysis(1998)〇 ? A.Cohen,I.Daubechies，J. -C.Feauveau,"BiorthogonalBasesofCompactly SupportedWavelets, ^Communications on Pure and Applied Mathematics45 (5): 485-560 (1992)〇 ? Rec.ITU-TT.800 |ISO/IEC15444-1Information technology-JPEG 2000 image coding system: Core coding system(2002)〇 ? D.LeGallandA.Tabatabai，uSub-bandCodingofDigitalImagesUsing SymmetricShortKernelFiltersandArithmeticCodingTechniques,Proc. IEEE Inti. Conf. on Acoustics，Speech, and Signal Processing (ICASSP),pp. 761-764 (1988)〇 ?J.D.Villasenor,B.Belzer,andJ.Liao,"WaveletFilterEvaluationfor ImageCompression, ^IEEE Trans on Image Processing,pp. 1053-1057 (Aug. 1995)〇 ?G.Uytterhoeven,D.Roose,andA.Bultheel,Wavelet-Based Interactive Video Communication and Image Database Consulting Wavelet Transforms using the Lifting Scheme,TechnicalReportITA-Wavelets-WPl. 1,Katholieke UniversiteitLeuven,Revisedversion(April28， 1997)〇 ? J.Rothweiler,"PolyphaseQuadratureFilters-ANewSubbandCoding Technique,Proc. Int. Conf. on Acoustics，Speech, and Signal Processing,vol. 8，pp. 1280-1283 (1983)。 ? M.J.T.SmithandT.P.Barnwell,III，"ExactReconstructionTechniques forTree-structuredSubbandCoders,IEEE Trans, on Signal Processing,vol. 34， pp. 434- 441 (1986)〇
[0244] 6.针对带分离滤波/逆滤波的语法元素。
[0245] 在示例性实施方案中，比特流中的语法指示能够被用来识别构码器中应用的滤 波的类型和/或指示在解码时应该被应用的滤波的类型。例如，帧包装布置SEI消息的 content_interpretation_type语法元素能够指示滤波类型。扩展节段VIII.B中所示出 的表(例如，content_interpretation_type的附加值）能够指示小波分解或其它带分离滤 波的应用。值1-6的范围像在表中那样被定义。7的值能够指示第一带分离/小波滤波方 案，8的值能够指示第二带分离/小波滤波方案，9的值能够指示第三带分离/小波滤波方 案等等。不同的带分离/小波滤波方案可能在分解的型式(例如，三带分解对比四带分解， 用于重新布置样本值的不同方式)、所使用的滤波器和/或针对滤波器的实施方案选择的方 面不同。
[0246] 并且，比特流中的语法指示能够被用来识别构码器中应用的滤波的相位和/或 指示在解码时应该被应用的滤波的相位。例如，诸如视频可用性信息("VUI"）的chr〇ma_sample_loc_type_top_field和chroma_ample_loc_type_bottom_field元素这样的语法 元素能够被用来指示滤波相位(例如，产生中点值的滤波对比产生共站值的滤波)。当带 分离滤波和逆带分离滤波将哈尔小波对用于水平滤波和垂直滤波时，chroma_loc_info_ present_flag>chroma_sample_loc_type_top_field以及chroma_sample_loc_type_ bottom_field语法元素具有1的值。
[0247] 在针对H. 264/AVC标准或HEVC标准的构码/解码的示例性实施方案中，对特定语 法元素的值的附加约束可以应用。在帧顺序方法中，语法元素pic_output_flag能够针对 主视频帧被设置为1并且针对辅助视频帧被设置为0。例如，在H. 264/AVC中，当frame_ packing_arrangement等于5时pic_output_flag语法元素被设置为等于0,并且语法元素 current_frame_is_frameO_flag被设置为等于0。这与其中在主构成帧和辅助构成帧两者 中pic_output_flag被设置为相同值的方法形成对比。
[0248] 作为另一例子，在针对主帧和辅助帧的并排布置(在H. 264/AVC中，frame_ packing_arrangement等于3)或针对主帧和辅助帧的自顶向下布置（frame_packing_ arrangement等于4)中，修剪（cropping)矩形能够被设置成仅包封主构成帧，而不包封辅 助构成帧。替换地，修剪矩形能够被设置成包封主构成帧和辅助构成帧两者。
[0249] 7.示例性小波重建或其它逆带分离滤波。
[0250] 使用小波重建或其它逆带分离滤波，解码器从带的值重建输入信号的近似。带的 值可以是原始值的近似(在有损构码和对应的解码之后）或原始值的确切表示(例如，在无 损中间处理之后）。例如，解码器从带通滤波值(例如，针对带D、E以及F)重建输入信号的 值(例如，A的样本值)。一般而言，由解码器应用的低通/高通子带滤波技术和相关联的逆 处理操作反映由构码器应用的低通/高通子带滤波技术和相关联的操作。
[0251] 更详细地，解码器对较低分辨率色度采样格式的主帧和辅助帧的值进行解码。解 码器然后将来自较低分辨率色度采样格式的主帧和辅助帧的重建样本值分配给较高分辨 率色度采样格式的帧的适当带。在图14、图15以及图16中，例如，重建值被从较低分辨率 色度采样格式的(一个或多个）帧分配给如对于用于小波分解的方法适当的带C、D、E、F、G 和/或H。解码器然后对带中的值执行小波重建或其它逆带分离滤波。如果针对一些带的 值不可用或否则未用在重建中，则解码器能够对剩余带中的值执行小波重建或其它逆带分 离滤波。小波重建或其它逆带分离滤波的细节典型地匹配或者反映对应的小波分解或其它 带分离滤波的细节。
[0252] 当小波分解包括了滤波的多个级时，小波重建典型地以相反顺序对于受影响带执 行多个级。例如，在图14的例子中，用于整个分量平面A产生带CA(x，y)和带DA(x，y)的 垂直滤波级后面是用于垂直低通带CA(x，y)产生带EA(x，y)和带F=(x，y)的水平滤波 级。在对应的小波重建中，针对两个带EA(x，y)*FA(x，y)的重建版本的水平逆滤波级产 生带CA(x,y)的重建版本。然后，带CA(x,y)和带DA(x,y)的重建版本的垂直逆滤波产 生分量平面A的重建版本。
[0253] 对于一些实施方案选项(诸如滤波器抽头、对应的归一化因子、滤波器相位、针对 比特深度扩展的调整)，逆滤波的细节取决于对应的滤波如何被执行。例如，当小波分解使 用哈尔小波滤波器对时，小波重建能够使用哈尔小波滤波器对来颠倒小波分解。当小波分 解使用另一类型的滤波器对(例如，对称双正交多贝西小波滤波器对）时，小波重建使用具 有被定义成颠倒滤波的滤波器抽头和归一化因子的滤波器对。如果比特深度在从输入值产 生带的值时扩展了，则比特深度在重建分量平面的值时被恢复。
[0254]其它实施方案选项(诸如归一化如何发生、提升是否被使用、除法如何被实施、舍 入如何被应用、削波是否被使用）还可以被设置成匹配或者反映在小波分解或其它带分离 滤波期间执行的操作。或者，在一些情况下，解码器可以以不确切地反映在构码之前执行的 对应的滤波操作的方式实施逆滤波操作。
[0255]在一个实施方案中，例如，在帧解包期间，YUV4:2:0格式的帧的区域中的样本像 以下伪代码中所示出的那样被逆带分离滤波并且分配给YUV4:4:4格式的帧的重建色度 分量U'444和V'444。
}
i 其中z标记指示根据(可能有损的）编码的重建。
[0256] 8.针对采用带分离滤波/逆滤波的帧包装/解包的一般性的技术。
[0257]图17示出了针对采用小波分解或其它带分离滤波的帧包装的一般性的技术 (1700)。实施例如如参考图4所描述的帧包装器的计算设备能够执行该技术（1700)。
[0258] -般而言，根据技术（1700)，设备将较高分辨率色度采样格式的一个或多个帧包 装成较低分辨率色度采样格式的一个或多个帧。例如，设备将4:4:4格式的(一个或多个） 帧包装成4:2:0格式的(一个或多个）帧。或者，设备将4:2:2格式的(一个或多个）帧包装 成4:2:0格式的(一个或多个)帧。或者，设备将4:4:4格式的(一个或多个)帧包装成4:2:2 格式的(一个或多个）帧。或者，设备将4:4:4格式、4:2:2格式或4:2:0格式的(一个或多 个）帧包装成4:0:0格式的(一个或多个）帧。
[0259] 特别地，作为包装的一部分，设备对较高分辨率色度采样格式的(一个或多个）帧 的色度分量的样本值执行小波分解或其它带分离滤波以便产生多个带的样本值。设备然后 将多个带的样本值分配（1712)给较低分辨率色度采样格式的(一个或多个）帧的部分。
[0260] 例如，小波分解可以是如图14或图15中所示出的三带小波分解、如图16a或图 16b中所示出的四带小波分解、或其它小波分解。典型地，小波分解或其它带分离滤波使用 具有LPF和HPF的滤波器对。滤波器对可以是按比例或未封闭的（a)LPF= [1 1] / 2和 HPF= [1 -1] / 2;(b)LPF= [-1 1 8 8 1 -1] / 16 和HPF= [1 -1] / 2;(c)LPF= [-1 2 6 2 -1] / 8和HPF= [-1 2 -1] / 2 ;(d)基于正交镜像滤波器的LPF和HPF;(e) 基于多相正交滤波器的LPF和HPF; (f)基于共轭正交滤波器的LPF和HPF;或（g)某种其 它滤波器对。对于滤波器对，除法操作能够用算术右移操作加以实施、用整数除法操作加以 实施或者以另一方式实施。除法操作能够包括无舍入，包括最近整数舍入或者包括抖动舍 入。取决于实施方案，小波分解或其它带分离滤波可以使用提升。并且，取决于实施方案， 小波分解或其它带分离滤波可以包括针对带的样本值中的至少一些的削波。
[0261] 在许多例子中，小波分解或其它带分离滤波包括多个滤波级。取决于实施方案，多 个滤波级可以包括垂直滤波级，其后面是水平滤波级。或者，多个滤波级可以包括水平滤波 级，其后面是垂直滤波级。对于这样的多级滤波，取决于实施方案，用来补偿扩展的归一化 (a)能够在多个滤波级的每个滤波级之后发生，（b)能够针对多个滤波级中的一个或多个被 至少部分地推迟，或者（c)能够针对一个或多个滤波级被至少部分地忽视，以便提供带的样 本值的比例。
[0262] 设备然后能够对较低分辨率色度采样格式的(一个或多个)帧进行构码（1720)。替 换地，不同的设备执行构码（1720)。（一个或多个）设备能够在逐帧基础或其它基础上重复 该技术（1700)。
[0263] 设备能够发信号通知关于帧包装/解包的元数据。例如，设备发信号通知指示所 应用的滤波的类型和/或所应用的滤波的滤波相位的元数据。
[0264] 图18示出了针对采用小波重建或其它逆带分离滤波的帧解包的一般性的技术 (1800)。实施例如如参考图5所描述的帧解包器的计算设备能够执行该技术（1800)。
[0265] 在帧解包本身之前，设备能够对较低分辨率色度采样格式的一个或多个帧进行解 码（1810 )。替换地，不同的设备执行解码（1810 )。
[0266] 一般而言，根据技术（1800)，设备将较低分辨率色度采样格式的(一个或多个）帧 解包成较高分辨率色度采样格式的一个或多个帧。例如，设备将4:2:0格式的（一个或多 个）帧解包成4:4:4格式的(一个或多个）帧。或者，设备将4:2:0格式的(一个或多个）帧 解包成4:2:2格式的(一个或多个）帧。或者，设备将4:2:2格式的(一个或多个）帧解包成 4:4:4格式的(一个或多个）帧。或者，设备将4:0:0格式的(一个或多个）帧解包成4:4:4 格式、4:2:2格式或4:2:0格式的(一个或多个）帧。
[0267] 特别地，作为解包的一部分，设备将较低分辨率色度采样格式的(一个或多个）帧 的部分分配（1821)给多个带的样本值。设备然后对带的样本值执行（1822)小波重建或其 它逆带分离滤波以便产生较高分辨率色度采样格式的(一个或多个）帧的色度分量的样本 值。
[0268] 例如，小波重建可以是三带小波重建、四带小波重建或其它小波重建。典型地，小 波重建或其它带分离滤波使用具有LPF和HPF的滤波器对。对于滤波器对，除法操作能够 用算术右移操作加以实施、用整数除法操作加以实施或者以另一方式实施。除法操作能够 包括无舍入，包括最近整数舍入或者包括抖动舍入。取决于实施方案，小波重建或其它逆带 分离滤波可以使用提升。并且，取决于实施方案，小波重建或其它逆带分离滤波可以包括针 对带的样本值中的至少一些的削波。
[0269] 在许多例子中，小波重建或其它逆带分离滤波包括多个滤波级。取决于实施方案， 多个滤波级可以包括垂直滤波级，其后面是水平滤波级。或者，多个滤波级可以包括水平滤 波级，其后面是垂直滤波级。对于这样的多级滤波，取决于实施方案，用来补偿扩展的归一 化（a)能够在多个滤波级的每个滤波级之后发生，（b)能够针对多个滤波级中的一个或多个 被至少部分地推迟，或者（C)能够补偿在预处理中带的样本值的比例。
[0270] 设备还能够接收关于帧包装/解包的元数据。例如，设备接收指示所应用的滤波 的类型和/或所应用的滤波的滤波相位的元数据。
[0271] (一个或多个）设备能够在逐帧基础或其它基础上重复该技术（1800)。
[0272] 鉴于所公开的发明的原理可以被应用于的许多可能的实施例，应认识到，所图示 的实施例仅是本发明的优选例子，并且不应该被视为限制本发明的范围。相反，本发明的范 围由以下权利要求定义。我们因此要求落入这些权利要求的范围和精神内的全部作为我们 的发明。
【主权项】
1. 一种方法，其包括： 将较高分辨率色度采样格式的一个或多个帧包装成较低分辨率色度采样格式的一个 或多个帧，其中所述包装包括： 对较高分辨率色度采样格式的一个或多个帧的色度分量的样本值执行带分离滤波以 便产生多于一个的带的样本值；以及 将多于一个的带的样本值分配给较低分辨率色度采样格式的一个或多个帧的部分。2. 根据权利要求1所述的方法，进一步包括，在包装之后： 对较低分辨率色度采样格式的一个或多个帧进行构码。3. 根据权利要求1所述的方法，其中带分离滤波是三带小波分解或四带小波分解。4. 根据权利要求1所述的方法，其中带分离滤波使用提升和/或包括对多于一个的带 的样本值中的至少一些进行削波。5. 根据权利要求1所述的方法，其进一步包括发信号通知指示以下各项中的一个或 多个的元数据： 所应用的滤波的类型；以及 所应用的滤波的滤波相位。6. -种被适配成执行方法的计算设备，所述方法包括： 将较低分辨率色度采样格式的一个或多个帧解包成较高分辨率色度采样格式的一个 或多个帧，其中所述解包包括： 将较低分辨率色度采样格式的一个或多个帧的部分分配给多于一个的带的样本值；以 及 对多于一个的带的样本值执行逆带分离滤波以便产生较高分辨率色度采样格式的一 个或多个帧的色度分量的样本值。7. 根据权利要求6所述的计算设备，其中所述方法进一步包括，在解包之前： 对较低分辨率色度米样格式的一个或多个帧进行解码。8. 根据权利要求6所述的计算设备，其中逆带分离滤波是三带小波重建或四带小波 重建。9. 根据权利要求6所述的计算设备，其所述方法进一步包括接收指示以下各项中的 一个或多个的元数据： 所应用的滤波的类型；以及 所应用的滤波的滤波相位。10. -种被适配成执行方法的计算设备，所述方法包括： 将较高分辨率色度采样格式的一个或多个帧包装成较低分辨率色度采样格式的一个 或多个帧，其中较高分辨率色度采样格式是4:4:4格式、4:2:2格式或4:2:0格式，其中较 低分辨率色度采样格式是比较高分辨率色度采样格式低的4:2:2格式、4:2:0格式或4:0:0 格式，并且其中包装包括： 对较高分辨率色度采样格式的一个或多个帧的色度分量的样本值执行小波分解以便 产生多于一个的带的样本值；以及 将多于一个的带的样本值分配给较低分辨率色度采样格式的一个或多个帧的部分。
【专利摘要】当将诸如YUV 4:4:4这样的较高分辨率色度采样格式的视频帧包装成诸如YUV 4:2:0这样的较低分辨率色度采样格式的帧时，计算设备对较高分辨率帧的色度分量的样本值执行小波分解（或其它带分离滤波），从而产生多个带的样本值。设备将带的样本值分配给较低分辨率帧的部分。在对应的解包操作期间，计算设备将较低分辨率色度采样格式的帧的部分分配给多个带的样本值。设备对带的样本值执行小波重建（或其它逆带分离滤波），从而产生较高分辨率色度采样格式的帧的色度分量的样本值。当失真在包装成低分辨率帧的色度分量的构码期间已被引入时带分离滤波能够帮助改进重建的质量。
【IPC分类】H04N19/85, H04N19/46
【公开号】CN104982036
【申请号】CN201380055253
【发明人】G.J.萨利文, H.S.马尔瓦, 吴勇军
【申请人】微软技术许可有限责任公司
【公开日】2015年10月14日
【申请日】2013年10月18日
【公告号】EP2910023A1, US20140112394, WO2014066182A1