专利名称：提高运动补偿内插的图像质量的方法及装置的制作方法
技术领域：
本发明有关于一种运动补偿内插(motion compensated interpolation)，且特别 有关于提高运动补偿内插的图像(image)质量的方法及装置。
背景技术：
请参考图1，图1是依现有技术耦接于显示装置20的帧(frame)率转换电路10的 示意图。用于实施帧率转换电路10的操作的传统方法，是通过帧重复(frame r印etition) 来将图1所示的源帧(source frame)的源帧率转换成输出至显示装置20的帧的显示帧 率，由于相应的帧重复操作通常为不可靠图像转换，其通常会引起运动对象或背景的抖动 (judder)及模糊(blur)。因此，显示装置20的相应显示结果对于用户来讲是不可接受的。
为解决上述问题，图1所示的帧率转换电路10的传统结构建议如图2所示，其 中图2所示的输入信号8载送输入图1所示的帧率转换电路10的源帧，图2所示的输出 信号18载送图1所示的帧率转换电路10输出的内插帧。依据图2所示的传统结构，帧率 转换电路10包含运动估测器(motion estimator) 12及运动补偿内插器14。运动估测器 12依据源帧产生运动向量(motion vector)。运动补偿内插器14依据所述运动向量执行 运动补偿内插以产生所述内插帧，其中所述运动向量是由运动估测器12输出的中间信号 (intermediate signal) 13载送。 通过运动补偿内插而并非所述的帧重复，图2所示的传统结构将源帧的源帧率转 换成内插帧的显示帧率。所有由运动补偿内插器14产生并传送至显示装置20的内插帧都 依不同时刻计算得出，与所述的帧重复操作相比，其可产生更平滑的运动图像。然而，应用 运动补偿内插时，可导致某些副作用，例如一些可见伪影(visible artifact)。
应注意，来自运动估测器12的运动向量有时未能如实地表示真实对象运动，引 起所述内插帧中的可见伪影，例如所谓"破碎伪影"(broken artifact)及所谓"光晕伪 影"(halo artifact)。举例来讲，关于破碎伪影，对应于复杂运动区域(如跑动中的腿) 的运动向量可能是不正确的，因此对应于所述内插帧的显示结果将不可接受。与光晕伪影 相关的另一范例中，由于两个具有不同运动方向的视频对象(video object)通常存在覆盖 (covered)区域及未覆盖(uncovered)区域，所述运动向量可能是不正确的，从而导致不可 接受的显示结果。 由于来自运动估测器12的错误运动向量及/或源帧的图像内容的复杂性，应用运 动补偿内插时可能产生例如可见伪影的副作用。
发明内容
有鉴于此，特提供以下技术方案 本发明实施例提供一种提高运动补偿内插的图像质量的方法，包含依据至少两 个源帧，通过分析所述至少两个源帧的运动估测信息，产生内插帧；以及对于所述内插帧中 的所考虑的像素，依据所考虑的像素所在的区域的运动估测信息，对所考虑的像素选择性地执行所述后置滤波 本发明实施例另提供一种提高运动补偿内插的图像质量的装置，包含运动补偿内 插器及适应性后置滤波器。所述运动补偿内插器用于依据至少两个源帧，通过分析所述至 少两个源帧的运动估测信息来产生内插帧；所述适应性后置滤波器耦接于所述运动补偿内 插器，对于所述内插帧中的所考虑的像素，所述适应性后置滤波器依据所考虑的像素所在 的区域的运动估测信息对所考虑的像素选择性地执行所述后置滤波。 以上所述的提高运动补偿内插的图像质量的方法及装置，能够通过分析运动估测 信息来减少运动对象或背景的图像伪影，从而提高图像质量。
图1是依现有技术耦接于显示装置的帧率转换电路的示意图。
图2是图1所示帧率转换电路的传统结构的示意图。 图3是依本发明第一实施例用于提高运动补偿内插的图像质量的装置的示意图。
图4是图3所示信号分别载送的帧的示意图。 图5是与图3所示的运动补偿内插器处理的特定像素相关的内插帧的数据及其分 别在先前帧与当前帧中的相应数据。 图6是依第一实施例的图3所示适应性后置滤波器所考虑的像素之间边界的示意 图。 图7是图6所示边界的范例的示意图，其中图7所示的图像的前景与背景分别对 应于两个相反的运动向量。 图8是图6所示边界的另一范例的示意图，其中图8所示的边界是位于运动补偿 区域与非运动补偿区域之间。 图9是依第一实施例变异例的图3所示适应性后置滤波器所考虑的像素间的两边 界的示意图。
具体实施例方式
在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的 技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利 要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准 则。在通篇说明书及权利要求项中所提及的「包括」为一开放式的用语，故应解释成「包括 但不限定在」。此外，「耦接」一词在此包括任何直接及间接的电气连接手段。因此，若文中 描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它 装置或连接手段间接地电气连接至第二装置。 请参考图3，图3是依本发明第一实施例用于提高运动补偿内插的图像质量的图 像处理装置100的示意图。所述图像处理装置100包含运动估测器112、运动补偿内插器 114及适应性后置滤波器(adaptive post filter) 120。运动估测器112依据图3所示输 入信号SSF载送的源帧产生运动向量。此外，依据来自输入信号SSF的至少两个源帧，运动 补偿内插器114通过分析所述至少两个源帧的运动估测信息来产生内插帧，其中本实施例 的运动估测信息可代表运动向量，例如图3所示的中间信号Sw所载送的运动向量。
此外，对于所述内插帧中的一个所考虑的像素，适应性后置滤波器120依据所述 像素所在区域的运动估测信息对所述像素选择性地执行所述后置滤波。更具体地，适应性 后置滤波器120可依据与所述区域的运动估测信息相关的某些标准对所述像素选择性地 执行后置滤波。举例来讲，当所考虑的像素的运动向量为0时，适应性后置滤波器120可确 定不对所述像素执行所述后置滤波。在另一范例中，当所述区域的运动向量为0时，即所述 区域中所有像素的运动向量都为0时，适应性后置滤波器120可确定不对所述像素执行所 述后置滤波。 图4是图3所示的一些信号分别载送的帧的范例。如图4所示，源帧FpFe及 Fc是通过图3所示的输入信号SSF载送，且被运动估测器112及运动补偿内插器114旁路 (bypass)，因此，图3所示的另一中间信号SIF也载有被旁路的源帧FA、 FB及Fc。运动补偿 内插器114依据源帧FA、 FB及Fc执行运动补偿内插，以产生内插帧及FBC。所述运动补 偿内插器114在各自的时间点(respective time points)分别输出被旁路的源帧FA、FB及 Fc与内插帧FAB及FBC，因此，通过中间信号SIF载送的帧FpF^F^F^及Fc连续地输入适应 性后置滤波器120。 如上所述，适应性后置滤波器120选择性地执行所述后置滤波。即，内插帧及 FBc可在第一状况中被适应性后置滤波器120滤波，或者在第二状况中被适应性后置滤波器 120旁路。简单来讲，第一状况中对应的已滤波帧内插帧F^及F^与第二状况中被旁路的 内插帧F^及F^分别利用标记有F^及F^的带点区块(dotted block)表示。因此，在本实 施例中，透过图3所示的输出信号S『适应性后置滤波器120在各自的时间点输出被旁路 的源帧FA、 FB及Fc与已滤波/被旁路的内插帧及FBC。因此，输出信号SFF载送的帧FA、 Fab、 Fb、 FBe及Fe连续地从适应性后置滤波器120传送至耦接于适应性后置滤波器120的显 示装置，且在减少或移除伪影的状况下被显示装置所显示。 请再次参考图3，本实施例的适应性后置滤波器120可接收图3所示的另一中间 信号SME载送的运动估测信息，且可接收图3所示的另一中间信号S载送的运动补偿信 息，其中本实施例的运动补偿信息可代表上述运动补偿内插中使用的混合因子(blending factor)。所述混合因子的细节将在下文描述。 图5是与特定像素相关的内插帧的数据P及其分别位于先前帧(previousframe) 与当前帧(current frame)中的对应数据A、 B、 C及D的范例，所述特定像素是通过图3所 示的运动补偿内插器114处理，而所述内插帧可例如内插帧FAB或F^，其中，图中所示的MV 代表对应的运动向量。举例来讲，当数据P表示内插帧中的数据时，数据A及B可表示 源帧FA中的对应数据，而数据C及D可表示源帧FB中的对应数据。在另一范例中，当数据 P表示内插帧FBC中的数据时，数据A及B可表示源帧FB中的对应数据，而数据C及D可表 示源帧Fe中的对应数据。 在本实施例中，利用混合因子k，运动补偿内插器114通过混合非运动补偿内插分 量((B+C)/2)及运动补偿内插分量((A+D)/2)来执行运动补偿内插，以产生如下混合结果 (即，数据P): P = (1 _k) * ((B+C) /2) +k* ((A+D) /2) 其中混合因子k可依据本实施例的不同实施选择而改变。例如，混合因子k可由 下述方程式描述
k = ( a * IB-CI) / ( P * IB+C-A-D | + S ) 其中a及|3代表用于控制关于非运动补偿内插分量((B+C)/2)及运动补偿内插 分量((A+D)/2)的混合因子k大小的系数，S是用于避免上述方程中分母为O的较小数值。 在另一范例中，混合因子k等于a除以相邻像素的运动向量的方差(variance)，其中a在 本例中代表系数。在另一范例中，混合因子k可计算如下
k = a / ( P * IA-D | + S ) 其中a及|3在本例中代表控制混合因子k大小的系数，S在本例中是用于避免 上述方程中分母为0的较小数值。 依据上述的运动估测信息及/或运动补偿信息，适应性后置滤波器120判断是否 /何处/如何对中间信号SIF载送的所有内插帧分别执行所述后置滤波。因此，上述可见伪 影(例如破碎伪影及光晕伪影)可在未使图像细节退化的前提下被极大地减少或移除。
依据本实施例，所述后置滤波是代表模糊处理(plurring processing)。在本 实施例中，更特别地，依据运动估测信息，甚至运动补偿信息，适应性后置滤波器120对所 述被考虑像素所在的区域选择性地执行低通滤波，以产生所述像素的滤波值(filtered value)。此处，所述低通滤波是由如下低通滤波函数LPFX描述
LPFX(Pixel (X_LB)，…，Pixel (X—UB)) = E x LBX- PVx*Wx 其中下标X是代表沿着X方向上的一个像素位置，X_LB及X_UB是分别代表所述 区域内沿着X方向上的像素位置的下边界(lower bound)及上边界(u卯er bound) ，PVx是 代表特定像素位置X处的像素的像素值，Wx是代表特定像素位置X处的像素的加权值。举 例来说，X—LB及X—UB分别等于(X。-2)及(X。+2)，且X。是代表所述被考虑像素的像素位置， 而对应的加权值Wx可分别为1、2、2、2及1。 请参考图6及图7。图6是图3所示适应性后置滤波器120所考虑的像素p0及 q0间的边界Ll，其中p3、p2、pl、p0、q0、ql、q2及q3是代表多个沿着X方向上排布的像素， 上述的区域可包含一个或多个图6所示的像素。图7是图6所示的边界LI的范例，即，边 界L1-1，其中图7所示的图像的前景与背景分别对应于两个相反的运动向量MV2及MV1。
依本实施例的第一实施选择并参考图7，对于相邻像素对p0及q0，当像素pO 的运动向量MV(pO)与像素q0的运动向量MV(qO)之差的绝对值比阈值thl大时，S卩，当 |MV(pO)-MV(qO) I > thl的状况出现时，适应性后置滤波器120分别将关于像素pO及qO 的两个标志FTX(pO)及FTX(qO)设置为第一逻辑值'1，，即，FTX(pO) = l且FTX(qO)= l，其表明应当对像素pO及qO执行后置滤波。此外，当像素pO的运动向量MV(pO)与像 素q0的运动向量MV(qO)之差的绝对值比阈值th2大时(阈值th2比阈值th2大)，S卩，当 lMV(pO)-MV(qO) I > th2的状况出现时，适应性后置滤波器120分别将关于像素pi及ql的 两个标志FTX(pl)及FTX(ql)设置为第一逻辑值'1'，即，FTX(pi) = l及FTX(ql) = l，其 表明应当对像素pl及ql执行后置滤波。应注意，设置上述标志时也存在例外。当像素pl、 pO、qO及ql之外的特定像素n的运动向量MV(n)为O时，S卩，MV(n) =0的状况出现时，适 应性后置滤波器120强制地将关于像素n的标志FTX(n)设置为第二逻辑值'0'，即，FTX(n) =O，其表明不应当对像素n执行后置滤波。 因此，依据关于像素的标志FTX()，适应性后置滤波器120判断是否旁路所考虑像 素的像素值，或者产生所考虑像素的滤波值。举例来说，若标志FTX(pO)被设为第一逻辑值'r，适应性后置滤波器120产生如下的像素po的滤波值pv' (po): PV， (pO) = LPF(p2， pl， pO， q0， ql) 此外，若标志FTX(pl)被设置为第一逻辑值'l'，则适应性后置滤波器120产生如
下的像素pl的滤波值PV' (pi): PV， (pi) = LPF(p3， p2， pl， pO， qO) 类似地，若标志FTX (qO)被设置为第一逻辑值'1'，适应性后置滤波器120产生如
下的像素qO的滤波值PV' (qO): PV， (qO) = LPF(pl， pO， qO， ql， q2) 此外，若标志FTX(q 1)被设置为第一逻辑值'1'，适应性后置滤波器120产生如下
的像素ql的滤波值PV' (ql): PV， (ql) = LPF(pO， qO， ql， q2， q3) 对于上述的例外，当MV(n) = 0的状况出现时，其表明所述像素n位于静态图像区 域(still image area)中，像素n的像素值将被旁路。即，不会产生像素n的滤波值。
图8是图6所示的边界LI的另一范例，即边界Ll-2，其中图8所示的边界是运动 补偿区域与非运动补偿区域之间的边界。依据本实施例的第二实施选择并参考图8，对于 相邻像素对pO及qO，当像素pO的混合因子k(pO)与像素qO的混合因子k(qO)之差的绝 对值比另一阈值th3大时，S卩，当Ik(pO)-k(qO) I > th3的状况出现时，适应性后置滤波器 120分别将关于像素p0及q0的两个标志FTX(pO)及FTX(qO)设置为第一逻辑值'1'，即， FTX(pO) = l及FTX(qO) = 1，其表明应当对像素p0及q0执行后置滤波。应注意，设置上 述标志时也存在例外。当像素pO及qO之外的特定像素n的运动向量MV(n)为O，S卩，MV(n) =0的状况出现时，适应性后置滤波器120强制地将关于像素n的标志FTX(n)设置为第二 逻辑值'O'，S卩，FTX(n) = O，其表明不应当对像素n执行后置滤波。 因此，依据关于像素的标志FTX()，适应性后置滤波器120判断是否旁路所考虑
像素的像素值，或者产生所考虑像素的滤波值。与上述第一实施选择相比，第二实施选择的 描述中与其相似的部分此处不另赘述。 依据本实施例的第三实施选择并参考图8所示的非运动补偿区域，对于像素p0， 当像素p2的混合因子k(p2)、像素pl的混合因子k(pl)、像素p0的混合因子k(p0)、像素q0 的混合因子k(qO)及像素ql的混合因子k(ql)都小于另一阈值th4时，S卩，当k (p2) < th4 及k(pl) 〈th4及k(p0) 〈th4及k(q0) 〈th4及k(ql) < th4的状况出现时，适应性后 置滤波器120将关于像素p0的标志FTX(pO)设置为第一逻辑值'1'，即，FTX(pO) = l，其 表明应当对像素pO执行后置滤波。应注意，设置上述标志时也存在例外。当像素pO的运 动向量MV(pO)为0时，S卩，MV(pO) = 0的状况出现时，适应性后置滤波器120强制地将关 于像素pO的标志FTX(pO)设置为第二逻辑值'0'，即，FTX(pO) = O，其表明不应当对像素 pO执行后置滤波。 因此，依据关于像素的标志FTX()，适应性后置滤波器120判断是否旁路所考虑 像素的像素值，或者产生所考虑像素的滤波值。第三实施选择中与第一实施选择相似的描 述此处不另赘述。 图9是依第一实施例变异例的适应性后置滤波器120所考虑的像素间的两边界L1 及L2。本变异例与第一实施例的差异如下所述。在本变异例中，所述后置滤波为二维滤波(two dimensional filtering)，而不是第一实施例所揭露的一维滤波。因此，第一实施例 中的标志FTX ()被扩展为分别对应X方向及Y方向的两个标志FTX ()及FTY ()，低通滤 波函数LPFX (Pixel (X_LB) ，. . . ， Pixel (X_UB))被扩展为二维低通滤波函数LPFX (Pixel (X_ LB， Y_LB) ，. . . ， Pixel (X_UB， Y_UB))，其中Y_LB及Y_UB分别表示所述区域内像素位置沿着 Y方向的下边界及上边界。 依本变异例，若关于像素p0的标志FTX (p0)、关于像素m0的标志FTX (mO)及关于
像素pO的标志FTY(pO)最后都被适应性后置滤波器120设置为第一逻辑值'l'，适应性后
置滤波器120产生如下的像素pO的滤波值PV' (pO): PV， (pO) = LPF(p2， pl， p0， q0， ql， m2， ml， mO， nO， nl) 所述变异例中与第一实施选择相似的描述此处不另赘述。 以上所述 仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修 饰，皆应属本发明的涵盖范围。
权利要求
一种提高运动补偿内插的图像质量的方法，包含依据至少两个源帧，通过分析该至少两个源帧的运动估测信息，产生一个内插帧；以及对于该内插帧中的一个所考虑的像素，依据该所考虑的像素所在的区域的运动估测信息，对该所考虑的像素选择性地执行后置滤波。
2. 如权利要求1所述的提高运动补偿内插的图像质量的方法，其特征在于，该运动估 测信息代表运动向量，该对该所考虑的像素选择性地执行该后置滤波的步骤更包含判断该所考虑的像素的运动向量与该区域内另一像素的运动向量间的差值是否达到 阈值，以判断是否对该所考虑的像素执行该后置滤波。
3. 如权利要求1所述的提高运动补偿内插的图像质量的方法，其特征在于，该后置滤 波更依据运动补偿信息来对该所考虑的像素选择性地执行。
4. 如权利要求3所述的提高运动补偿内插的图像质量的方法，其特征在于，该运动补 偿信息代表混合因子，该对该所考虑的像素选择性地执行该后置滤波的步骤更包含判断该所考虑的像素的混合因子与该区域内另一像素的混合因子间的差值是否达到 阈值，以判断是否对该所考虑的像素执行该后置滤波。
5. 如权利要求3所述的提高运动补偿内插的图像质量的方法，其特征在于，该运动补 偿信息代表混合因子，该对该所考虑的像素选择性地执行该后置滤波的步骤更包含判断该区域内多个像素的混合因子是否都小于阈值，以判断是否对该所考虑的像素执 行该后置滤波。
6. 如权利要求1所述的提高运动补偿内插的图像质量的方法，其特征在于，在该选择 性地执行该后置滤波的步骤中，该后置滤波为二维滤波。
7. 如权利要求1所述的提高运动补偿内插的图像质量的方法，其特征在于，该运动估测信息代表运动向量，该对该所考虑的像素选择性地执行该后置滤波的步骤更包含当该所考虑的像素的运动向量为0时，确定不对该所考虑的像素执行该后置滤波。
8. 如权利要求7所述的提高运动补偿内插的图像质量的方法，其特征在于，该对该所 考虑的像素选择性地执行该后置滤波的步骤更包含当该区域内多个像素的运动向量都为0时，确定不对该所考虑的像素执行该后置滤波。
9. 如权利要求1所述的提高运动补偿内插的图像质量的方法，其特征在于，该后置滤 波代表模糊处理。
10. 如权利要求9所述的提高运动补偿内插的图像质量的方法，其特征在于，该对该所考虑的像素选择性地执行该后置滤波的步骤更包含依据该所考虑的像素所在的区域的运动估测信息，对该区域选择性地执行低通滤波， 以产生该所考虑的像素的一个滤波值。
11. 一种提高运动补偿内插的图像质量的装置，包含运动补偿内插器，用于依据至少两个源帧，通过分析该至少两个源帧的运动估测信息， 产生一个内插帧；以及适应性后置滤波器，耦接于该运动补偿内插器，对于该内插帧中的一个所考虑的像素， 依据该所考虑的像素所在的区域的运动估测信息，该适应性后置滤波器对该所考虑的像素 选择性地执行该后置滤波。
12. 如权利要求11所述的提高运动补偿内插的图像质量的装置，其特征在于，该运动 估测信息代表运动向量，该适应性后置滤波器判断该所考虑的像素的运动向量与该区域内 另一像素的运动向量间的差值是否达到阈值，以判断是否对该所考虑的像素执行该后置滤 波。
13. 如权利要求ll所述的提高运动补偿内插的图像质量的装置，其特征在于，该适应 性后置滤波器更依据运动补偿信息对该所考虑的像素选择性地执行该后置滤波。
14. 如权利要求13所述的提高运动补偿内插的图像质量的装置，其特征在于，该运动 补偿信息表示混合因子，该适应性后置滤波器判断该所考虑的像素的混合因子与该区域内 另一像素的混合因子间的差值是否达到阈值，以判断是否对该所考虑的像素执行该后置滤 波。
15. 如权利要求13所述的提高运动补偿内插的图像质量的装置，其特征在于，该运动 补偿信息代表混合因子，该适应性后置滤波器判断该区域内多个像素的混合因子是否都小 于阈值，以判断是否对该所考虑的像素执行该后置滤波。
16. 如权利要求ll所述的提高运动补偿内插的图像质量的装置，其特征在于，该后置 滤波为二维滤波。
17. 如权利要求11所述的提高运动补偿内插的图像质量的装置，其特征在于，该运动 估测信息代表运动向量，当该所考虑的像素的运动向量为0时，该适应性后置滤波器确定 不对该所考虑的像素执行该后置滤波。
18. 如权利要求17所述的提高运动补偿内插的图像质量的装置，其特征在于，当该区 域内多个像素的运动向量都为0时，该适应性后置滤波器确定不对该所考虑的像素执行该 后置滤波。
19. 如权利要求11所述的提高运动补偿内插的图像质量的装置，其特征在于，该后置 滤波代表模糊处理。
20. 如权利要求19所述的提高运动补偿内插的图像质量的装置，其特征在于，依据该 运动估测信息，该适应性后置滤波器对该区域选择性地执行低通滤波，以产生该所考虑的 像素的一个滤波值。
全文摘要
本发明提供一种提高运动补偿内插的图像质量的方法及装置。所述提高运动补偿内插的图像质量的方法包含依据至少两个源帧，通过分析所述至少两个源帧的运动估测信息来产生内插帧；以及对于所述内插帧中的所考虑的像素，依据所考虑的像素所在区域的运动估测信息，对所考虑的像素选择性地执行所述后置滤波。上述提高运动补偿内插的图像质量的方法及装置能够通过减少运动对象或背景的图像伪影而提高图像质量。
文档编号H04N7/01GK101719978SQ20091018022
公开日2010年6月2日 申请日期2009年10月9日 优先权日2008年10月9日
发明者张德浩, 林修身, 梁金权 申请人:联发科技股份有限公司