专利名称：决定区块式数字编码影像边界强度的方法
技术领域：
本发明有关于一种数字影像处理技术，特别是关于一种决定区块式数字编码影 -像边界强度(boundary strength或boundary filter strength)的方法。
背景技术：
区块式数字影像编码技术通常会将影像帧(fr a m e)分成多 个宏区块(macro block或MB), 并就其中4象素(picture element或 pixel)的亮度数据和颜色数据分别加以编码。例如，H.264的编 码技术中，宏区块是指包括16x 16个像素的影像区域。每一宏 区块的编码方式可以是同帧式预测(Intra Prediction)或跨帧式 预测(Inter Prediction)。同帧式预测的编码方式基本上是参照同 一帧中已经编码的区块，而就之间的差异进行编码。跨帧式预 测则是参照不同帧中已经编码的区块，并就之间的差异进行编式预测的编码方式。常用的跨帧式预测编码技术中，运动补偿(motion compensation)无疑于其中居极为重要的地位。运动补偿技术自 不同帧中已编码的^L频图^f象建立运动补偿区块，并以运动向量 (motion vector)表示相对于运动补偿区块的位移量。用以建立运 动补偿区块的视频图像通常称为参考图像(reference picture)。 除了运动向量之外，编码数据亦包括原始影像数据区块和其对 应的运动补偿区块的差值(residual),此差值本文以下称为预测 差值(prediction residual)。 il"如H.264的编码#支术，其运动向量 的单位可以精确至四分之一个像素。诸如H.264的编码技术，上述的运动补偿区块可以是于 一宏 区块内如图9A所示的16x16、 8x16、 16x8或8x8的区域，所述区 域称为分割(partition)。例如，若一宏区块分为4个8x8的区域， 则如图9A所示，此宏区块将会包括D0至D3共四个分割区域。 当分割是8x8的才莫式时，其又可以细分为如图9B所示的8x8 、 4x8、 8x4或4x4的区域，所述区域称为次分割(sub - partition)。 运动补偿区块亦可以是一个次分割。此种将宏区块又分成可变 大小的运动补偿区块的方式称为树状结构运动补偿(tree structured motion compensation)。每 一运动矛卜<尝区》夹可以只于应一 或二个运动向量。当一运动补偿区块对应至二个运动向量时， 此二运动向量可以对应至相同或不同的参考图像。以分割或次 分割区域作为运动补偿预测单位的编码技术，诸如H.264,位于 同一分割或次分割区域内的区块将对应于相同的运动补偿区块 和相同的运动向量。为了使动态区域和静态区域的编码效率更为精进，诸如 H.264的编码4支术还可以分别针对每 一 垂直相邻的宏区块对 (macroblock pair)以帧或图场(field)的模式编码。本文对于以帧 和图场冲莫式编码的宏区块分别称为Frame MB和Field MB。此种 特殊的编码模式通常称为宏区块调适性帧/图场编码 (macroblock adaptive frame/field coding)或简称为MBAFF 。 当二 相邻宏区块(可以分属于不同的宏区块对)均为Frame MB或均为 Field MB时，此二相邻宏区块称为具有相同的适配性(以下称 Parity),否则则称其Parity不同。区块式数字影像编码/译码系统中的译码动作主要包括逆 向量化(inverse quantization)和逆向余弦转换(inverse cosine transform)。解量化的动作可能无法百分之百恢复原来的影像数 据值，其于余弦转换的区块单元的边界(edge)尤其明显，此种问题称为区块效应(block effect)。区块效应通常会造成译码影 像视觉上的区块化，是以诸如H.264的编译码技术于其编码和译 码模块中均包括去区块(deblocking)处理的功能，以緩和或消除 区块效应。图1显示去区块处理模块120于区块式数字影像编码 器或译码器100中的地位，其接收译码单元110的影像数据输出 V，对影像数据V作必要的去区块处理，而后将去区块处理后的 结果D(V)输出至帧緩沖区(frame buffer)130。数字影像编码器或 译码器100尚包括其他的模块，为了说明简洁起见，并未显示于 图l中。传统去区块处理模块的主要运作内容可以图2的流程表示， 其包括决定影像帧内所有需要去区块处理的边界(步骤22)、决 定所有边界的边界强度(步骤24)以及依据边界强度对影像帧进 行去区块处理(步骤26)。此处的边界是指其位于区块单元的上 下或左右边侧，其可能位于宏区块或影像帧的内部。诸如H.264 的编译码技术中，边界强度可以是介于0至4间的数值。去区块 处理模块对于边界强度为0的边界不做任何去区块的处理。边界 强度值愈大，其施加于对应边界邻近影像数据的去区块强度愈 强。例如，边界强度值等于4的去区块强度即大于边界强度值等 于3、 2或1的去区块强度。典型的去区块处理在于改变边界两侧 (左右或上下)的像素值(亮度或颜色)，使其差值变小而减少视觉 上的突兀。边界强度值愈大，去区块强度愈大，则边界两侧的 像素值改变的幅度也将愈大。由以上说明可知，以诸如H.264的编码:技术对数字影像估文区块式编码或译码时，每 一 帧均需要有效率地决定所有的边界强度以利后续去区块处理的进行。故其有必要提出快速的决定区块式数字影像边界强度的方法，以增进整体去区块处理以及编 码/译码动作的效能
发明内容
本发明提出 一 种快速决定区块式数字影像边界强度的方 法，以增进整体去区块处理的效率。本发明另提出 一种以宏区块为基础的决定区块式数字影像 边界强度的方法，其能有效率地决定数字影像的边界强度。本发明提出 一 种决定区块式数字编码影像边界强度的方法，其包括依据一宏区块的编码方式为同帧预测或跨帧预测 以及其他编码信息决定位于此宏区块的左侧边界(left edges)、 上方边界(top edges)和内部边界(internal edges)的边界强度，其 中若该宏区块的编码方式为跨帧式预测，则当该宏区块内的二 相邻区块均不具有非零的预测差值且该二相邻区块属于相同的 运动补偿区块时，将该二相邻区块的边界强度设定为一第一强 度值，其中作用于此区块式数字编码影像的去区块程序依据边 界强度的不同而有不同强度的运算。本发明的决定区块式数字编码影像边界强度的方法亦可以 包括若二相邻区块中任一区块的编码数据具有非零的预测差 值，则将此二相邻区块的边界强度设为一第一强度值以及若 此二相邻区块属于相同的运动补偿区块，则将此二相邻区块的 边界强度设为 一 第二强度值，其中的二相邻区块位于区块式数 字编码影像中的同一宏区块内，此宏区块采用跨帧预测的编码 方式，且作用于该区块式数字编码影像的去区块程序依据边界 强度值的不同而有不同强度的运算。本发明所述的决定区块式数字编码影像边界强度的方法， 其能有效率地决定数字影像的边界强度，以增进整体去区块处 理的效率。
图l显示去区块处理模块于区块式数字影像编码器或译码 器中的地位。图2显示去区块处理模块已知的主要运作内容。图3 A例示 一 宏区块和其邻接宏区块的关系图。图3B例示 一宏区块的左侧边界、上方边界以及内部边界于宏区块中的位置。图4显示依据本发明的数字影像去区块方法的主要流程。 图5显示依据本发明 一实施例对于一Intra MB的左侧边界、上方边界和内部边界的边界强度决定方法。图6显示依据本发明一实施例对于一Inter MB的内部边界的边界强度决定方法的流程图。图6A例示其两侧的区块分别属于相同和不同分割区域的 内部边界。图7显示依据本发明 一 实施例对于一 Inter MB的上方边界 的边界强度决定方法的流程图。图8显示依据本发明 一 实施例对于一Inter MB的左侧边界 的边界强度决定方法的流程图。图9A显示一宏区块划分为分割区域的可能方式。图9B显示一8x8分割区域划分为次分割区域的可能方式。
具体实施方式
本文所称的边界强度是指二相邻区块(左右相邻或上下相 邻)间的边界的强度，以下在不至误解的前提下，有时可能直接 称为二相邻区块的边界强度，其意指该二相邻区块交接处边界的边界强度。图3A例示一宏区块Cur MB和其邻接宏区块的关系图，邻接
于宏区块Cur MB上方的宏区块于本文中将统称为Cur MB的 Top MB,而邻4妻于其左侧的宏区块则统称为其Left MB。图3B 例示一宏区块M的左侧边界EO - E3、上方边界E4 - E7以及内部 边界E8 - E31于宏区块M中的位置。宏区块可再分为如图3B所 示的16个大小为4x4的区块B0 - B15。举例而言，介于区块B0 和区块B1间的边界是内部边界E8，而介于区块B8和区块B10间 的边界是内部边界E28。不同于传统的以边界为基础的边界强度决定方法，依据本 发明的边界强度决定方法以宏区块为基础，其可以快速地决定 区块式数字影像中各种边界的强度。本发明针对每一宏区块， 先决定其编码方式，再依据其他编码信息决定该宏区块所有左 侧边界、上方边界以及内部边界的边界强度。由以下的实施例 说明可知，前述的其他编码信息可能包括预测差值、运动向量 的数目和内容、运动补偿区块和参考图像。参见图4，其显示依 据本发明的数字影像去区块方法的主要流程，其包括依据本发 明 一 实施例的边界强度决定方法。图4的数字影像去区块方法包 括步骤42的依据数字影像中每一宏区块的编码方式为同帧式预 测或跨帧式预测以及其他编码信息决定每 一 宏区块的左侧边 界、上方边界和内部边界的边界强度，以及步骤44的依据边界 强度对影像帧进行去区块处理。以同帧预测方式编码的宏区块以下简称Intra MB ,而以3争 帧预测方式编码的宏区块以下简称Inter MB。以下分别详细说 明依据本发明的Intra MB和Inter MB的左侧边界、上方边界和内 部边界的边界强度决定方法。图5显示依据本发明 一实施例对于一Intra MB的左侧边界、 上方边界和内部边界的边界强度决定方法。4十对此IntraMB的 每一边界E,若边界E是一左侧边界，意即位于IntraMB和其LeftMB间的边界，则其边界强度等于4(步骤52j、步骤52)。若边界 E是一上方边界，意即位于Intra MB和其Top MB间的边界，且 Intra MB和其Top MB均为Frame MB(即MBAFF中的帧编码宏区 块)，则其边界强度等于4(步骤54j、 55j、 54),否则其边界强度 等于3(步骤54j、 55j、 55)。若边界E是一内部边界，则其边界强 度等于3(步骤56)。如前所述，边界强度值愈大，去区块处理程 序施加于对应边界邻近影像数据的去区块强度愈强。换言之， 去区块处理程序对于Intra MB的左侧边界和上方边界可能施用 最强的去区块运算。图6显示依据本发明一实施例对于一Inter MB的内部边界 的边界强度决定方法的流程图。针对此Inter MB的每一内部边 界E，若内部边界E两侧的区块有任一 区块的编码数据具有非零 的预测差值(prediction residual),则其边界强度等于2(步骤61 j 、 步骤61)。若内部边界E两侧的区块属于相同的运动补偿区块， 则其边界强度等于0(步骤62j、步骤62)。若内部边界E两侧的区 块具有不同数目的运动向量，则其边界强度等于l(步骤63j、步 骤63)。若内部边界E两侧的区块均具有一个运动向量，且对应 于不同的参考图4象(reference picture)或者该二区块运动向量的 水平分量或垂直分量的差大于或等于一个像素，则其边界强度 等于l(步骤64j、步骤64)。若内部边界E两侧的区块均具有二个 运动向量，且该二区块对应于相同的参考图像，意即四个运动 向量均对应至同一参考图像，则当分属该二个不同区块的任二 个运动向量的水平分量或者垂直分量的差大于或等于一个像素 之时，其边界强度等于l(步骤65j、步骤65)。若内部边界E两侧 的区块均具有二个运动向量，且该二区块对应于不同的参考图 像，则其边界强度等于l(步骤66j、步骤66)。若内部边界E两侧 的区块均具有二个运动向量，且该二区块对应于不同的参考图
像A和参考图像B,则当对应于参考图像A的二个运动向量与参考图像B的二个运动向量的水平分量或者垂直分量的差大于或等于一个像素，则其边界强度等于l(步骤67j、步骤67)。其他状况，内部边界E的边界强度等于0(步骤68)。对于以四分之一个像素为运动向量单位的编码技术，诸如H.264， 一个像素的差距通常表示二者相差4。但是若目前考虑 的宏区块是Field MB之时，其垂直分量一个像素的差距表示二 者相差2。如前所述，位于同一分割或次分割区i或内的区块将对应于 相同的运动补偿区块。是以图6的步骤62j中，内部边界E两侧的 区块是否属于相同的运动补偿区块可以经由检视此二区块是否 位于同 一宏区块中的同 一分割或次分割区域之内而判定。图6A 例示其两侧的区块分别属于相同和不同分割区域的内部边界 E1和E2。由图6A可知，内部边界E1两侧的区块B0和B1均属于 分割区域DO，而内部边界E2两侧的区块B9和B12则分别属于不 同的分割区域D0和D1。以此方式可判定内部边界E1两侧的区块 (B0和B1)是属于相同的运动补偿区块(DO)，然内部边界E2两侧 的区块(B9和B12)则属于不同的运动补偿区块(D0和D1)。本领 域技术人员当可由此例的说明配合图9A和图9B对于分割和次 分割区域的揭示轻易推知于他种分割或次分割模式情况下的判 定方法。图7显示依据本发明一实施例对于一Inter MB的上方边界 的边界强度决定方法的流程图。针对此Inter MB的每一上方边 界E，若此Inter MB的Top MB是一 Intra MB,则上方边界E的边 界强度等于3(步骤71j、步骤71)。若此Inter MB和其Top MB的 Parity不同，则当上方边界E两侧的区块有任 一 区块的编码数据 具有非零的预测差值时，其边界强度设定为2，否则其边界强度 等于l(步骤72j、步骤72)。若此Inter MB和其Top MB的Parity相 同，则依照图6所示的内部边界的方式，决定上方边界E的边界 强度(步骤72j、步骤73)。图8显示依据本发明一实施例对于一Inter MB的左侧边界 的边界强度决定方法的流禾呈图。4十对此Inter MB的每一左侧边 界E,若此Inter MB的Left MB是一 Intra MB,则左侧边界E的边 界强度等于4(步骤81j、步骤81)。若此Inter MB和其Left MB的 Parity相同，则依照图6所示的内部边界的方式，决定左侧边界 E的边界强度(步骤82j、步骤82)。若此Inter MB和其Left MB的 Parity不同，则当此左侧边界E两侧的区块有任一 区块的编码数 据具有非零的预测差值时，其边界强度等于2，否则其边界强度等于l(步骤82j、步骤83)。以上所述仅为本发明较佳实施例，然其并非用以限定本发 明的范围，任何本领域技术人员，在不脱离本发明的精神和范 围内，可在此基础上做进一步的改进和变化，例如，虽然以上 说明多基于H.264的编码协定，然本发明的应用显然不限于此。 又如区块、宏区块、分割区域或次分割区域的大小、运动向量 的单位以及边界强度值(O - 4)的变异等等，上述变异或修改均 应视为在本揭示范畴之内而为所附的权利要求书所保护。附图中符号的简单说明如下22 - 26:去区块处理流程42 - 44:包括本发明边界强度决定方法的去区块处理流程 52 - 56:依据本发明的IntraMB边界强度决定方法的步骤 52j、 54j、 55j:依据本发明的Intra MB边界强度决定方法 的判断步骤61-68:依据本发明的Inter MB内部边界的边界强度决定方法的步骤 61j - 67j:依据本发明的InterMB内部边界的边界强度决定 方法的判断步骤71-73:依据本发明的Inter MB上方边界的边界强度决定 方法的步骤71j、 72j:依据本发明的Inter MB上方边界的边界强度决定 方法的判断步骤81-83:依据本发明的Inter MB左侧边界的边界强度决定方法的步骤81j- 82j:依据本发明的InterMB左侧边界的边界强度决定 方法的判断步骤100:区块式数字影像编码器或译码器110:译码单元120:去区块处理模块130:帧緩沖区B0-B15: 4x4区块Cur MB:目前宏区块D(V):去区块处理后的影像数据DO - D4: 分割区域或次分割区域E、 El - E31:边界Intra MB:以同帧预测方式编码的宏区块 Inter MB:以^争帧预测方式编码的宏区块 Left MB:相邻的左侧宏区块 M-.宏区块Top MB:相邻的上方宏区块 V:已译码影像数据
权利要求
1.一种决定区块式数字编码影像边界强度的方法，其特征在于，包括以下步骤若二相邻区块中任一区块的编码数据具有非零的预测差值，则将该二相邻区块的边界强度设为一第一强度值 以及若该二相邻区块属于相同的运动补偿区块，则将该二相邻区块的边界强度设为一第二强度值，其中该二相邻区块位于该区块式数字编码影像中的同一宏区块内，该宏区块采用跨帧预测的编码方式，且作用于该区块式数字编码影像的去区块程序依据边界强度值的不同而有不同强度的运算。
2. 根据权利要求l所述的决定区块式数字编码影像边界强 度的方法，其特征在于，该去区块程序针对边界强度等于该第 二强度值的边界不做任何去区块运算。
3. 根据权利要求l所述的决定区块式数字编码影像边界强 度的方法，其特征在于，决定该二相邻区块是否属于相同运动 补偿区块的方式是检视该二相邻区块是否位于该宏区块的同一 分割或次分割区i或之内。
4. 根据权利要求2所述的决定区块式数字编码影像边界强 度的方法，其特征在于，更包括以下步骤若该二相邻区块属于不同的运动补偿区块且具有不同数目的运动向量，则将该二相邻区块的边界强度设为 一 第三强度值。
5. 根据权利要求4所述的决定区块式数字编码影像边界强 度的方法，其特征在于，该去区块程序针对边界强度等于该第 一强度值相对于边界强度等于该第三强度值施以较强的去区块处理强度。
6. —种决定区块式数字编码影像边界强度的方法，其特征 在于，包括以下步骤依据一宏区块的编码方式为同帧预测或跨帧预测以及其他 编码信息决定该宏区块的左侧边界、上方边界和内部边界的边 界强度，其中若该宏区块的编码方式为跨帧式预测，则当该宏区块 内的二相邻区块均不具有非零的预测差值且该二相邻区块属于 相同的运动补偿区块时，将该二相邻区块的边界强度设定为一 第一强度值，其中作用于该区块式数字编码影像的去区块程序 依据边界强度的不同而有不同强度的运算。
7. 根据权利要求6所述的决定区块式数字编码影像边界强 度的方法，其特征在于，若该宏区块的编码方式为同帧式预观'J, 则将该宏区块的左侧边界的边界强度设为 一 第二强度值；当该 宏区块与一其上方区块均为帧模式编码的宏区块时，则将该宏 区块的上方边界的边界强度设为该第二强度值，反之，则设为 一第三强度值；将该宏区块的内部边界的边界强度均设为该第 三强度值。
8. 根据权利要求6所述的决定区块式数字编码影像边界强 度的方法，其特征在于，该去区块程序针对边界强度等于该第 一强度值的边界不做任何去区块运算。
9. 根据权利要求8所述的决定区块式数字编码影像边界强 度的方法，其特征在于，决定该二相邻区块是否属于相同运动 补偿区块的方式是检视该二相邻区块是否位于该宏区块的同一 分割或次分割区i或之内。
10. 根据权利要求7所述的决定区块式数字编码影像边界强 度的方法，其特征在于，更包括以下步骤若该二相邻区块属于不同的运动补偿区块且具有不同数目的运动向量，则将该二相邻区块的边界强度设为 一 第四强度值。
11. 根据权利要求10所述的决定区块式数字编码影像边界 强度的方法，其特征在于，该去区块程序针对边界强度等于该 第三强度值相对于边界强度等于该第四强度值施以较强的去区 块处理强度。
12.根据权利要求7所述的决定区块式数字编码影像边界强 度的方法，其特征在于，该去区块程序针对边界强度等于该第 二强度值相对于边界强度等于该第三强度值施以较强的去区块 处理强度。
全文摘要
本发明提出一种决定区块式数字编码影像边界强度的方法，其于一跨帧预测式编码的宏区块中，若判定二相邻区块中任一区块的编码数据具有非零的预测差值，则将此二相邻区块的边界强度设为一第一强度值，以及若此二相邻区块属于相同的运动补偿区块，则将此二相邻区块的边界强度设为一第二强度值。去区块程序针对边界强度等于第二强度值的数据不做任何去区块处理。本发明所述的决定区块式数字编码影像边界强度的方法，其能有效率地决定数字影像的边界强度，以增进整体去区块处理的效率。
文档编号H04N7/26GK101119494SQ20071014566
公开日2008年2月6日 申请日期2007年9月10日 优先权日2007年9月10日
发明者庄荣城 申请人:威盛电子股份有限公司