理操作的带分离滤波/逆滤波。
[0182] 根据第二组示例性预处理和后处理操作，带分离滤波和逆滤波分别被用于预处理 和后处理。在许多例子中，带分离滤波和逆滤波是小波分解和重建。帧包装能够包括作为 预处理操作的一部分的小波分解(分析)以便对色度样本值进行滤波。对应的帧解包然后包 括作为后处理的一部分的小波重建(合成）以对色度样本值进行逆滤波。
[0183] 例如，在这些方法中，YUV4:4:4帧能够被包装成两个YUV4:2:0帧，同时维持针 对YUV4:4:4帧的色度信息的几何对应。在它们的Y分量、U分量以及V分量之间具有良好 的几何对应的YUV4:2:0帧能够被更好地压缩，因为它们适合由被适配成对YUV4:2:0帧 进行构码的典型构码器所预期的模型。如在上面所描述的一些方法中，包装还能够被完成 使得两个YUV4:2:0帧中的一个表不正由YUV4:4:4帧所表不的完整场景，但是颜色分量 在较低分辨率下。这提供解码方面的选项。不能够执行帧解包或者选择不执行帧解包的解 码器能够仅仅采取表示场景的YUV4:2:0帧的重建版本并且直接地将它馈送给显示器。
[0184]同时，辅助帧(具有来自较高分辨率色度采样格式的帧的剩余色度信息）能够被认 为是要被与主帧组合的增强层信号。主要信号能量能够被集中到主帧中（通过在构码期间 将更多的比特赋予主帧)，同时辅助帧在构码期间对于增强层信号消耗任意少数目的比特。 当辅助帧被以较低比特速率(相对于主帧的较低质量）构码时，来自主帧的色度信息对于重 建之后的色度分量设置最小质量水平，并且来自辅助帧的任何信息能够被用来改进质量超 过该最小质量水平。
[0185] 1.针对4:4:4到4:2:0的3带小波分解的框架。
[0186] 在一组带分离滤波方法中，预处理操作包括针对4:4:4格式的视频内容到4:2:0 格式的帧包装的三带小波分解。例如，假定YUV4:4:4格式的样本值的三个原始阵列的高 度H是4的倍数，并且假定YUV4:4:4格式的样本值的三个原始阵列的宽度W也是4的倍 数。图14图示了采用三带小波分解作为预处理的帧包装的方法（1400)。在这个方法（1400) 中，YUV4:4:4 帧（801)被包装成两个YUV4:2:0 帧（1402，1403)。第一帧（1402)以YUV 4:2:0格式提供"主视图"-由YUV4:4:4帧（801)所表示的完整场景的较低色度分辨率版 本。第二帧（1403)以YUV4:2:0格式提供"辅助视图"并且包含剩余色度信息。
[0187] 对于阵列A(其中A是U色度样本值或V色度样本值)，针对第一级的小波分解被 定义为：
[0188] 在图14中，平面U被分解成带Q和带Du。平面V被分解成带Cv和带Dv。因此，对 于平面U或平面V来说，C和D分别是垂直低通滤波版本和垂直高通滤波版本。在垂直滤 波之后，相应的垂直低通带（CjPCv)通过水平小波分解被进一步分解。
， ?
[0189]在图14中，低通带心被分解成带Eu和带Fu。低通带0￥被分解成带Ev和带Fv。因 此，E和F分别是垂直低通滤波带的水平低通滤波版本和水平高通滤波版本。E和F能够被 称为LL小波带和LH小波带。在小波分解(视情况而定，包括归一化，如在下面所示）之后， 相应的带（DpDv、EpEv、Fu以及Fv)被布置为(一个或多个）YUV4:2:0帧的节段。
[0190] 其中B指示比特深度。在这个例子中，假定了比特深度对于预处理的输入样本值 和输出样本值是相同的。然而，在一些实施方案中，比特深度能够在预处理的输入样本值与 结果之间变化。一般地，较高分辨率色度采样格式的帧的样本值能够具有第一比特深度(诸 如每样本8、10、12或16个比特)，然而较低分辨率色度采样格式(在帧包装之后）的帧的样 本值具有比第一比特深度高的第二比特深度。并且，在一些情况下，预处理操作能够包括一 些信号到从〇至2B -1的范围的削波（clipping)。
[0191] 替换地，样本值能够被以不同的方式分配给区域。例如，来自YUV4:4:4帧的原始 U平面的数据能够被布置在辅助YUV4:2:0帧的U平面中，并且来自YUV4:4:4帧的原始V 平面的数据能够被布置在辅助YUV4:2:0帧的V平面中。在这个例子中，与图14相比，来 自F"的奇数行的样本值被分配给Ug,的下半部，并且来自Fv的偶数行的样本值被分配给 V&的上半部。或者，样本值简单地分配给U^,，并且来自巧的样本值被简单地分配 给Vg。总之，辅助YUV4:2:0帧的U平面(或V平面)是从YUV4:4:4帧的U平面(或V平 面）构建的，而不使来自不同的原始U和V平面的内容混合。
[0192] 总之，带D、E以及F形成输入阵列A的三带小波分解，所述输入阵列A可以表示平 面U或平面V的色度样本值。相对于到LL带、LH带、HL带以及HH带的更典型的四带小波 分解，HL带和HH带在三带分解中未被创建。替代地，垂直高通信号D被保持在全水平分辨 率下。同样地，带D、E以及F能够被称作H带、LL带以及LH带。在这个命名惯例中，第一 字母指示垂直高通（H)或低通（L)信号抽取，并且第二字母（当存在时）指示水平高通或低 通信号抽取。
[0193]YUV4:2:0格式的第一帧（1402)和第二帧（1403)能够被组织为单独的帧（由图14 中的暗线分离)。或者，YUV4:2:0格式的第一帧（1402)和第二帧（1403)能够被组织为具 有2XH的高度的单个帧(忽视图14中的暗线)。或者，YUV4:2:0格式的第一帧（1402) 和第二帧（1403)能够被组织为具有2XW的宽度的单个帧。或者，YUV4:2:0格式的第一 帧（1402)和第二帧（1403)能够使用针对H. 264/AVC标准或HEVC标准中的frame_packing_ arrangement_type所定义的方法中的任一个被组织为单个帧。
[0194] 图15示出了采用三带小波分解作为预处理的帧包装的另一示例性方法（1500)。 在这个方法（1500)中，YUV4:4:4帧（801)被包装成两个YUV4:2:0帧（1502，1503)。再 者，第一帧（1502)以YUV4:2:0格式提供"主视图"，然而第二帧（1503)以YUV4:2:0格式 提供"辅助视图"并且包含剩余色度信息。不像参考图14所图示的方法(其是水平定向的 分解，使得Yg包含全宽度半高度U和V区)，图15图示了其中包含半宽度全高度U和 V区的对应垂直定向的情况。对于图15中所示出的方法，垂直分解和水平分解的排序被交 换。
[0195] 再者，样本值能够被以不同的方式分配给图15的区域。例如，来自YUV4:4:4帧 的原始U平面的数据能够被布置在辅助YUV4:2:0帧的U平面中，并且来自YUV4:4:4帧 的原始V平面的数据能够被布置在辅助YUV4:2:0帧的V平面中。在这个例子中，与图15 相比，来自F"的奇数列的样本值被分配给的右半部，并且来自Fv的偶数列的样本值被 分配给的左半部。或者，样本值简单地分配给Ug,，并且来自巧的样本值被简单 地分配给。总之，辅助YUV4:2:0帧的U平面(或V平面）是从YUV4:4:4帧的U平面 (或V平面）构建的，而不使来自不同的原始U和V平面的内容混合。
[0196] 在本节段中，小波分解使用基于滤波器LPF= [1 1] / 2的低通滤波器("LPD")， 并且使用基于滤波器HPF= [1 -1] / 2的高通滤波器("HPF")。这个LPF-HPF滤波器对有 时被称为哈尔（Haar)小波滤波器对。在这个表示法中，方括号中的数字指示滤波器抽头，并 且分母指示归一化因子。滤波器对被水平地且垂直地、在水平地且垂直地定中心的采样相 位(通过滤波得到的中点值）的情况下、并且在从被推迟以遵循水平滤波和垂直滤波两者的 每个级除以二的情况下被应用。替换地，如在下面所描述的，小波分解使用在滤波器抽头、 滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不同的滤波器对。
[0197] 2.针对4:4:4到4:2:0的4带小波分解的框架。
[0198] 在另一组带分离滤波方法中，预处理操作包括针对4:4:4格式的视频内容到 4:2:0格式的帧包装的四带小波分解。再者，假定YUV4:4:4格式的样本值的三个原始阵 列的高度H是4的倍数，并且假定YUV4:4:4格式的样本值的三个原始阵列的宽度W也是 4的倍数。
[0199] 在参考图14所图示的方法中，垂直低通滤波的/水平高通滤波的带FA(x，y)在 将样本值分配给U:=和Vg时被垂直地抽取。交替行根据FA(x，y)被分配给和 。这个布置在不用首先应用反锯齿滤波的情况下发生。
[0200] 替换地，附加滤波被应用于带？4(1，y)的样本值，如图16a中所图示的，其继续图 14的第一部分但是包括YUV4:2:0格式的不同的第一帧（1602)和第二帧（1603)。特别地， 带？^1，y)通过垂直小波分解而被进一步分解成低通带6^1，y)和高通带扎"，y)。I
[0201] 在小波分解(视情况而定，包括归一化）之后，相应的带（DpDv、Eu以及Ev)中的一 些被布置为如参考图14所描述的(一个或多个）YUV4:2:0帧的节段。剩余的带（GpGpHu 以及Hv)被布置为(一个或多个）YUV4:2:0帧的节段如下。
[0202] 替换地，样本值能够被以不同的方式分配给区域。例如，图16b继续图14的第一 部分但是包括YUV4:2:0格式的不同的第一帧（1604)和第二帧（1605)。如在图16a的例 子中一样，相应的带（Du、Dv、Eu以及Ev)中的一些被布置为如参考图M所描述的(一个或多 个）￥爪^4:2:0帧的节段。剩余的带（611、6 ￥、馬以及1^)被布置为(一个或多个）￥爪^4:2:0 帧的节段如下： 且
[0203] 在图16b中，来自YUV4:4:4帧的原始U平面的数据被布置在辅助YUV4:2:0帧的 U平面中，并且来自YUV4:4:4帧的原始V平面的数据被布置在辅助YUV4:2:0帧的V平面 中。因此，辅助YUV4:2:0帧的U平面(或V平面）是从YUV4:4:4帧的U平面(或V平面） 构建的，而不使来自不同的原始U和V平面的内容混合。（相比之下，在图16a的例子中，辅 助YUV4:2:0帧的U平面(或V平面)具有来自YUV4:4:4帧的U分量和V分量的数据的混 合物。辅助YUV4:2:0帧的U平面(或V平面）的上半部包含来自原始U平面的数据，并且 下半部包含来自原始V平面的数据。）。
[0204] 总之，带D、E、G以及H形成输入阵列A的四带小波分解，所述输入阵列A可以表 示平面U或平面V的色度样本值。带D、E、G以及H对应于H带、LL带、LHL带以及LHH带。 在这个命名惯例中，第一字母指示第一垂直高通（H)或低通（L)信号抽取，第二字母（当存 在时）指示水平高通或低通信号抽取，并且第三字母(当存在时）指示LH带的附加的垂直高 通或低通信号抽取。
[0205] 类似地，在参考图15所图示的方法中，水平低通滤波的/垂直高通滤波的带Fa(x， y)在将样本值分配给时被水平地抽取。交替列根据Fa(x，y)被分配给1]:=和 VJ；。这个布置在不用首先应用反锯齿滤波的情况下发生。替换地，附加的滤波能够被应 用于带FA(x,y)的样本值。特别地，带FA(x,y)通过水平小波分解被进一步分解成低通带GA(x，y)和高通带扎"，y)。相应的带（DpDpEu以及Ev)中的一些被布置为如参考图15 所描述的(一个或多个）YUV4:2:0帧的节段。剩余的带（611、6￥、馬以及1^)被布置在(一个 或多个）YUV4:2:0帧的U$带和带中。
[0206]在本节段中，小波分解使用哈尔小波滤波器对。滤波器对被水平地且垂直地、在水 平地且垂直地定中心的采样相位(通过滤波得到的中点值）的情况下、并且在从被推后以遵 循最终滤波级的每个级除以二的情况下被应用。替换地，如在下面所描述的，小波分解使用 在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不 同的滤波器对。
[0207] 3?针对4:4:4到4:2:2的小波分解的框架。
[0208]在另一组带分离滤波方法中，预处理操作包括针对4:4:4格式的视频内容到 4:2:2格式的帧包装的小波分解。例如，对于阵列A(其中A是U色度样本值或V色度样本 值)，针对第一级的小波分解被定义为： 且
[0209]因此，平面U被分解成带C"和带D"，并且平面V被分解成带Cv和带Dv。对于平面U或平面V来说，C和D分别是水平低通滤波版本和水平高通滤波版本。在水平滤波之后， 相应的带心^為以及口"被布置为卜个或多个八爪^^^帧的节段如下。
并 且
[0210] 在这个方法中，所"制造的"信号YS(x,y)在解码之后能够简单地被丢弃。替换地， 高通滤波版本的样本值能够被分配给辅助帧的亮度分量，然而辅助帧的色度分量 和Vf(x.yl分配了在解码之后能够被丢弃的制造值。
[0211] 在本节段中，小波分解使用哈尔小波滤波器对。滤波器对在定中心的采样相位(通 过滤波得到的中点值）的情况下被水平地应用。替换地，如在下面所描述的，小波分解使用 在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不 同的滤波器对。
[0212] 4.针对4:2:2到4:2:0的小波分解的框架。
[0213] 在另一组带分离滤波方法中，预处理操作包括针对4:2:2格式的视频内容到 4:2:0格式的帧包装的小波分解。在这种情况下，原始U和V阵列的宽度是W/ 2,并且所 有三个原始阵列的高度是H。例如，对于阵列A(其中A是U色度样本值或V色度样本值)， 针对第一级的小波分解被定义为：
[0214] 因此，平面U被分解成带Q和带D"，并且平面V被分解成带Cv和带Dv。对于平面 U或平面V来说，C和D分别是垂直低通滤波版本和垂直高通滤波版本。在垂直滤波(视情 况而定，包括归一化）之后，相应的带（Q、Cv、以及Dv)被布置为(一个或多个）YUV4:2:0 帧的节段，如下。
〇
[0215]在这个方法中，所"制造的"信号在解码之后能够简单地被丢弃。替换 地，高通滤波版本的样本值能够被分配给辅助帧的亮度分量Yg：<x,y)的上半部，然而辅助 帧的色度分量Ug(x,y)和V.g<x，y)以及+Y=以,>1的下半部分配了在解码之后能够被丢 弃的制造值。
[0216] 在本节段中，小波分解使用哈尔小波滤波器对。滤波器对在定中心的采样相位(通 过滤波得到的中点值）的情况下被垂直地应用。替换地，如在下面所描述的，小波分解使用 在滤波器抽头、滤波器相位、归一化因子、归一化的定时、舍入的使用、削波的使用等方面不 同的滤波器对。
[0217] 5.滤波器的示例性实施方案。
[0218] 在前面节段中的一些例子中，小波分解使用其中LPF= [11]/ 2并且HPF= [1 -1] / 2的哈尔小波滤波器对。方括号中的数字指示滤波器抽头，并且分母指示归一化因 子。在前面节段中，滤波器对被水平地和/或垂直地、在滤波被执行的定中心的采样相位 (通过滤波得到的中点值）的情况下、并且在从被推后以遵循最终滤波级的每个级除以二的 情况下被应用。
[0219] 更一般地，用于小波分解或其它带分离滤波的滤波器取决于实施方案。所使用的 滤波器能够依据以下各项变化：（a)滤波器抽头、（b)归一化因子、（c)归一化如何发生(例 如，在每个滤波级之后，或者针对一个或多个滤波级部分地或完全推迟)、（d)比特深度扩展 是否被许可(例如，通过跳过或者降低归一化以便为一个或多个滤波级提供比例)、（e)除法 如何被实施(例如，采用算术右移操作或整数除法)、（f)舍入如何被应用（例如，无舍入、采 用最近整数舍入、采用抖动舍入)、（g)削波是否被使用和/或（h)另一因素。理想地，滤波 器对有低复杂性但是同样在去相关以及因此压缩方面提供良好性能。
[0220] 针对滤波器抽头、归一化因子以及归一化的定时的实施方案选项 如前面节段中所示，滤波器对的滤波器抽头可以是基于哈尔小波的。替换地，不同的滤 波器在预处理期间被用于小波分解或其它带分离滤波。例如，小波分解能够使用对称双正 交多贝西（Daubechies)小波滤波器对。滤波器对LPF= [-1 1 8 8 1 -1] / 16、HPF= [-1 1] / 2潜在地促进更好的压缩效率。这个滤波器有相同的采样相位(通过滤波得到的中点 值)。或者，作为另一例子，对于其中滤波级应该垂直地和/或水平地产生共站样本值(与输 入样本值对准)的滤波，小波分解能够使用滤波器对LPF= [-1 2 6 2 -1] / 8、HPF= [-1 2 -1] / 4。或者，来自另一滤波器族的滤波器对能够被使用。例如，滤波器对可以是基于 正交镜像滤波器的，但是这可能牵涉在不存在量化误差和舍入误差时未实现完美信号重建 的属性的滤波器。或者，作为另一例子，滤波器对可以是基于被用在AAC音频编码/解码中 的多相正交滤波器的。或者，作为再一个例子，滤波器对可以是基于共轭正交滤波器的，所 述共轭正交滤波器是包括使用多贝西正交小波的那些的许多正交滤波器组的基础。取决于 实施方案，滤波器对中的任一个可以是按比例或未封闭的。
[0221] 归一化因子一般地取决于滤波器抽头并且在滤波器的定义中被按照惯例表达为 分母。取决于实施方案，归一化因子能够被实施为每个滤波级之后的除法。或者，归一化中 的一些能够针对一个或多个滤波级被部分地或完全推迟，使得在后面级(例如，最终级）的 除法补偿在该级引入的扩展并且同样计及推迟的归一化。
[0222] 或者，小波分解或其它带分离滤波能够在带的样本值中许可一定数量的比特深度 扩展，以便降低舍入/截断误差并且潜在地许可确切的可逆性。例如，为了允许由哈尔滤波 器对的应用产生的已生成信号的比例，当从DA个阵列的样本值形成阵列时除以2能够被跳 过，或者当从FA个阵列的样本值形成阵列时除以2能够代替除以4被使用。（在这样的情况 下，如果适当，削波能够被应用来避免对〇到2B - 1范围的违犯。）。
[0223] 针对除法操作和舍入的实施方案选项 对于低通滤波器或高通滤波器，除法操作可以包括最近整数舍入。当使用整数算术时， 用来在等于某个值n(通常被表示为二的互补二进制数）的分子和对于某个k> 1等于2k 的分母的情况下这样做的典型方式是执行操作<+11 + 2(k~，》k，其中">>"表示算术右移 操作。
[0224] 当对于滤波执行除法操作时，抖动舍入或其它优化舍入能够被应用。例如，当除以 二的k次幂（S卩，除以2k)、采取形式 2^h-p)>>k时舍入因子能够被包括，其中值p 是舍入因子。值的不同型式能够被用于P。例如，P的值遵循诸如重复MXM块型式这样的 2D周期性型式在0与1之间交替。或者，p的值遵循伪随机基础在0与1之间交替。或者， P的值遵循"蓝噪声抖动"信号或其它抖动信号在〇与1之间交替。
[0225] 在定时方面，如上面所指出的，归一化(并且因此除法和舍入）能够被推迟直到最 终级为止。替换地，滤波级能够与在两个级之间应用的舍入级联，例如，使得中间舍入在垂 直滤波级与水平滤波级之间发生。
[0226] 针对值的削波、偏移以及范围的实施方案选项。
[0227] 在一些实施方案中，预处理操作包括用来防止动态范围扩展的削波。总的说来， 削波能够简化实施方案，但是它可能在处理一些病态输入信号值时引入失真。例如，LPF核 [-1 1 8 8 1 -1] / 16能够在处理无符号输入数据时产生负输出值。然而，因为图像和 视频信号典型地是高度统计上相关的，所以对于这样的负输出值来说通常很少在实践中发 生。事实上，它可能是如此少以致简单地对LPF的输出削波以不允许负输出值是明智的设 计选择。
[0228] 在许多前面的例子中，Y信号、U信号以及V信号的样本值具有从0到2B - 1的范 围。替换地，样本值能够具有某个其它范围。例如，样本值具有从到2 (B4 - 1的范 围。采用这个示例性替代信号范围，2^的偏移未被用在上述等式中。
[0229] 针对边缘处理的实施方案选项 对于使用小波分解或其它带分离滤波的方法中的任一个，预处理操作能够包括边缘处 理级。例如，边缘值能够被从边缘向外填补。或者，边缘值能够被反映在边缘处。或者，值 能够使用按模计算/循环卷绕被重复。
[0230] 在有或没有削波的情况下针对提升（lifting)的实施方案选项 对于使用小波分解的方法，提升可以被用来降低舍入/截断误差并且潜在地许可确切 的可逆性。提升能够被与削波相结合地使用。
[0231] 在一些实施方案中，例如，哈尔小波滤波器对的滤波器被适配成使用提升并且可 选地使用削波。在参考图14所描述的例子中，带分裂被首先垂直地(在y维度上)执行以便 创建低通信号CA(x,y)和高通信号DA(x,y)。如果输入值A444 (x, 2y)和A444 (x, 2y+ 1) 具有B个比特的动态范围（其中A可以是U色度分量或V色度分量的样本值)，则CA(x，y) *DA(x，y)的值的动态范围每个将是(近似地）B+1个比特。在许多情况下，动态范围的这 样的扩展是不期望的。提升能够被应用来在不牺牲确切的可逆性的情况下针对两个信号中 的一个来消除动态范围扩展，如下。
[0232] 在这个变例中，带CWtt(4fx. +y)和带DA(x，y)和参考图14所描述的例子中的带 CA(x,y)和带DA(x,y)服务相同的目的(低通和高通表示)。然而，y)的动态范围 是仅B个比特而不是B+ 1个比特，因为的动态范围近似地等于(；(1，y)带的 值一半。可逆性不因为这个提升操作而牺牲(不管由右移操作所引入的舍入/截断误差)， 因为原始信号能够通过用代数方法简单地颠倒这些等式被从带y)和带DA(X，y) 确切地恢复如下。
[0233] 在这个变换（即，DA(x，y)中用于带中的一个的样本值的动态范围仍然被 扩展为B+ 1个比特，而不是和输入信号具有相同的动态范围。用来解决这个差异 的一个方式是应用削波。图像内容和视频内容在性质上典型地是"低通" _邻近样 本值之间的极其大的量级差异在实践中是非常稀少的。带DA(x，y)表示邻近样本 值之间的差。为了削波，在构码器中计算DA(x，y)和之后，构码器对
进行计算(和构码)，而不是 简单地将〇4(1，y)构码为高通信号。这个操作将Da(x，y)的样本值削波为在至2(b4 -1的范围内。对应的解码器使用Dd'^dA(X,y)(或其有损解码的近似）代替使用0丄，y) (或其有损解码的近似）来颠倒带分离滤波。对于典型的视频内容，这个削波引入失真的情 况是稀少的，并且结果将仍然是优于使用仅