专利名称：用以决定插补画面的移动向量的影像处理装置的制作方法
技术领域：
本实用新型涉及一种影像处理机制，尤指一种用以决定一插补区块的一移 动向量的影像处理装置。
背景技术：
目前传统影像插补机制在决定一插补画面中一插补区块的移动向量时，系
直接以区块比对算法(block matching algorithm )的运算结果来决定其移动 向量，并据此产生该插补区块的影像。请参考图1，其系为区块比对算法的操 作示意图。如图1所示，影像画面F2、 F3系为输入影像中前、后两张的画面， 而画面Finter系为传统影像插补机制所产生的一插补画面，A' L'系代表影 像画面F2、 F3中的背景影像，图中的虚线箭头系表示背景影像移动的方向，而 实线箭头则表示一前景物体移动的方向，在影像画面F2中F' ~1'的背景影像 被该前景物体所遮盖住，而在下一张影像画面F3中则是C' F'的背景影像被 该前景物体所遮盖住；由于区块比对算法可在前、后两张影像画面F2、 F3中皆 可找到背影影像A'、 B'、 J'、 K'、 L'，所以，可决定出相对应区块的正确目标 移动向量，并将背景影像A，、 B，、 J，、 K，、 L'呈现于画面Finter上(如图1 所示)；另外，区块比对算法亦可在前、后两张影像画面F2、 F3中找到前景物 体的影像，因此，可决定出相对应区块的正确目标移动向量，并将前景物体的 影像呈现于画面Finter上。
然而，在决定区域Rinter与Rinter，内的插补区块的目标移动向量时， 理想上区域Rinter与Rinter'内的插补区块的目标移动向量应系为背景移动 向量以使得区域Rinter与Rinter，内可呈现出背景影像，例如，区域Rinter 理想上应呈现背景影像C，、D，，而区域Rinter'理想上应呈现背景影像H'、 I'，然而，实际上，由于区块比对算法在影像画面F3中找不到背景影像C'、 D'( 已被前景物体所盖住)，而在影像画面F2中找不到背景影像H'、 r (原本被 前景物体所盖住)，所以，区块比对算法并无法以一般影像比对的方式决定出 正确的移动向量，造成插补区域Rinter、 Rinter'实际所呈现的影像失真，当 应用于画面更新频率(frame rate)转换时，传统影像插补机制将会大幅降低 输出影像的质量。
实用新型内容
本实用新型所要解决的技术问题是提供一种用以决定插补画面的移动向量 的影像处理装置，有助于提升执行画面更新频率转换运作的影像质量。 为了解决以上技术问题，本实用新型提供了如下技术方案 本实用新型提供一种影像处理装置。该影像处理装置用于进行运动画面插 补时决定一插补画面的影像覆盖区/影像显露区的移动向量，其中该插补画面由 复数个区块所组成，而该影像处理装置包含有一储存单元与一计算单元，以及 该计算单元更包括一候选向量产生模块及一移动向量决定模块。该储存单元系 用于至少储存该插补画面的一前一原始画面与一后一原始画面以及一前一插补 画面的一起始位置；该候选向量产生模块系用于决定该插补画面的复数区块的 复数第一候选向量与复数第二候选向量；该移动向量决定模块系依据该插补画 面的该些区块的该些第一候选向量、该些第二候选向量与该前一插补画面的该 起始位置，决定位于该插补画面的影像覆盖区/影像显露区的一区块的移动向
本实用新型采用的用以决定插补画面的移动向量的影像处理方法及其相关 装置针对插补画面中属于影像覆盖区或影像显露区的区块，可正确地计算出该 区块的目标移动向量，使得以该目标移动向量来进行影像插补时可得到较佳的 影像，有助于提升执行画面更新频率转换运作的影像质量。
图1为传统区块比对算法的操作示意图。图2为本实用新型的影像处理装置的第一实施例的组件示意图。
图3 (a)为图2所示的影像处理装置的操作流程图。 图3(b)为图2所示的影像处理装置的第二实施例的操作流程图。 图4为图2所示的计算单元进行画面更新频率转换时所产生的输出影像的 示意图。
图5(a)为图2所示的计算单元计算代表移动向量变异程度的数值的范例示
图5(b)为包含有多个移动向量变异值的第一数值曲线CV的范例示意图。
图6(a)为图2所示的计算单元使用候选向量MV1进行区块比对运算所分别 计算出的区块比对差值曲线DCV的范例示意图。
图6 (b)为图2所示的计算单元使用候选向量MV2进行区块比对运算所分别 计算出的区块比对差值曲线DCV'的范例示意图。
图7为图2所示的计算单元所决定出的起始位置P广P4与Pr P4'的范 例示意图。
主要组件符号说明
200影像处理装置
210储存单元
220移动向量决定模块
2151影像差异值产生模块
2201起始位置决定模块
具体实施方式
205 计算单元 215候选向量产生模块 225影像产生模块 2152候选向量决定模块 2202向量选择模块
首先，为方便阅读，以下系将前一张影像画面中并未被前景物体遮住但却 在下一张影像画面中被前景物体所遮住的背景影像区域，称作影像覆盖区( covered area )，并将前一张影像画面中被前景物体遮住但却在下一张影像画
面中出现(未被前景物体所遮住)的背景影像区域，称作影像显露区(uncovered area);举例来说，图1所示的背景影像C'、 D'、 E'系为影像覆 盖区，而背景影像G'、 H'、 I'系为影像显露区；请注意，以上定义仅用以方 便说明本实用新型的实施例的操作，并非本实用新型的限制。
请搭配参照图2与图3(a)，其分别绘示本实用新型第一实施例的影像处理 装置200及其相关操作步骤的流程；为了方便说明，以下系搭配图3(a)的步骤 来说明图2的影像处理装置200的操作，需注意的是，倘若大体上可达到相同 的结果，并不需要一定照图3(a)所示的流程中的步骤顺序来进行，且图3(a) 所示的步骤不一定要连续进行，亦即其它步骤亦可插入其中。如图2所示，影 像处理装置200包含有一计算单元205与一储存单元210，影像处理装置200 用于进行运动画面插补时决定一插补画面的至少影像覆盖区/影像显露区的移 动向量，而该插补画面系由复数个区块所组成；其中储存单元210系用于至少 储存一插补画面的前一张原始画面与其后一张原始画面以及前一张插补画面中 影像覆盖区/影像显露区的一起始位置(starting position/point )，计算单 元205则耦接至储存单元210，并包含一候选向量产生模块215、 一移动向量决 定模块220与一影像产生模块225，候选向量产生模块215用于决定该插补画 面的复数区块的复数第一候选向量(亦称为左移动向量)与复数第二候选向量 (亦称为右移动向量)，而移动向量决定模块220系依据该插补画面的该些区 块的该些左移动向量、右移动向量与该前一张插补画面的该起始位置，来决定 位于该插补画面的影像覆盖区/影像显露区的每一区块的相对应移动向量，以及 影像产生模块225系依据移动向量决定模块220所决定的移动向量来产生该插 补画面的影像覆盖区/影像显露区中每一区块的影像。
详细来说，候选向量产生模块215更包含一影像差异值产生模块2151与一候选向量决定模块2152，影像差异值产生模块2151系依据一区块的复数个邻 近区块的复数原始移动向量来决定该区块的一影像差异值(步骤305 )，候选 向量决定模块2152则依据一维空间复数连续区块的复数影像差异值分别决定 该复数连续区块的该些左移动向量与该些右移动向量(步骤310 )。此外，移 动向量决定模块220则包含一起始位置决定模块2201与一向量选择模块2202， 起始位置决定模块2201系利用该插补画面的该复数个区块的该些左移动向量 及该些右移动向量的其中之一，来计算该复数个区块所对应的复数个区块比对 差值，并依据该些复数个区块比对差值的数值变化来决定该插补画面的该起始 位置(步骤315 )，以及向量选择模块2202系依据该插补画面的该起始位置与 该前一插补画面的该起始位置来产生一参考向量，并比较该参考向量与该插补 画面的影像覆盖区/影像显露区中每一区块的该相对应左、右移动向量，选取该 相对应左、右移动向量与该参考向量较不相近的其中之一来作为该每一区块的 目标移动向量(歩骤320 )。
请注意，第一实施例的原始移动向量系依据前一张原始画面及后一张原始 画面进行区块比对所获得，而决定该插补画面的该起始位置的步骤(亦即歩骤 315 )可先利用该些左移动向量及该些右移动向量其中之一，来计算该复数个区 块所对应的复数个区块比对差值，接着再依据所计算的该些区块比对差值的数 值变化来决定该起始位置，详细操作将于后续说明。值得注意的是，在第一实 施例中影像处理装置200并未决定前一插补画面的影像覆盖区/影像显露区的 起始位置，换言之，其系假设在已得知前一插补画面的影像覆盖区/影像显露区 的起始位置的状况下，仅计算目前该张插补画面中影像覆盖区/影像显露区的起 始位置，而不需额外计算前一插补画面的影像覆盖区/影像显露区的起始位置。
8此外，在本实用新型的第二实施例中，搭配参照图3(b)的流程图，图2的
候选向量产生模块215亦可被设计用来决定一第一插补画面的至少一第一插补 区块的候选向量(分别称为左、右移动向量)MV1、 MV2 (步骤405 )，以及决 定一第二插补画面的至少一第二插补区块的候选向量MV1'、 MV2，(步骤410 )，实作上在本实施例中候选向量产生模块215对第一、第二插补画面中的每 一插补区块皆产生相对应的两候选向量，每一区块的大小例如包含有8X8的像 素范围；此外，移动向量决定模块220系被设计为至少分别使用第一插补区块 的一候选向量(例如MV1 )与第二插补区块的一候选向量(例如MV1，)来计算 第一、第二插补画面的复数个插补区块所对应的复数个区块比对差值(步骤 415与步骤420 )，并将该等区块比对差值储存至储存单元210中，接着再依据 前述该等区块比对差值的数值变化来决定第一插补画面中至少一起始位置与第 二插补画面中至少一起始位置(歩骤425 )，其中该两起始位置系为一影像覆 盖区或一影像显露区的边缘位置，移动向量决定模块220会依据第一插补画面 中该起始位置与第二插补画面中该起始位置来决定第二插补区块的目标移动向 量(步骤430 )，其中第一、第二插补画面之间至少存在一非影像插补所产生 的画面，亦即，第一插补画面可以是第二插补画面前一张影像插补所产生的画 面，举例来说，请参照图4，其所绘示为图2所示的计算单元205对多个输入 影像(图框或图场，在此仅绘示Fn-1、 Fn、 Fn+1 )进行画面更新频率转换( frame rate conversion)以产生多个输出影像，例如，图框Fn-l、 Fn、 Fn+1 等系为60Hz的输入图框，计算单元205系将该等输入图框进行画面更新频率转 换以产生具有120Hz的图框；频率60Hz与120Hz非本实用新型的限制。下述的 操作虽以第二实施例为例进行说明，然其操作亦适用于第一实施例，为省略篇幅，不另赘述。
实际上处理时，影像处理装置200系于画面Fn-1、 Fn中产生一插补画面( 第一插补画面F')，并于画面Fn、 Fn+1中产生另一插补画面(第二插补画面 F'')，第二插补画面F''即是目前欲插补出的画面而第一插补画面F'是前 一张影像插补所产生的画面；在另一实施例中，第一插补画面亦可以是第二插 补画面F''后一张影像插补所产生的画面，此不违背本实用新型的技术精神。 以图4的影像画面Fn-l、 Fn、 Fn+1为例子来说，前景物体的移动方向系由右至 左水平移动，而背景影像系由左至右水平移动；需注意的是，在此为方便说明 系仅以水平移动的例子作为说明，然而，任一特定方向(垂直方向或画面的对 角方向等)的影像移动皆可使用本实用新型的实施例进行处理。
以下叙述系先对候选向量产生模块215针对每一插补画面(包括F， 、 F，' 等)的每一插补区块产生两候选向量的实际运作来进行说明；于此，画面F' 系指第一插补画面，而画面F'，系指第二插补画面。首先，影像差异值产生模 块2151会依据区块比对算、法(block matching algorithm )计算所有插补区块 的移动向量，再以每一个所计算出的移动向量与其复数个邻近区块的复数个移 动向量，来计算移动向量的混乱程度，以算出一数值曲线，其中，以本实施例 来说，该数值曲线系为沿某一插补区块水平方向的移动向量混乱程度的剖面所 形成的曲线，该数值曲线即为一维空间复数个连续区块的差异值，而该混乱程 度代表移动向量的变异值(motion vector variance )，亦即，该数值曲线包 含有沿着一特定方向上代表不同移动向量变异程度的复数个数值。请参照图 5(a)，图5(a)是本实用新型计算代表移动向量变异程度的数值的范例示意图； 例如，若第一插补区块与其复数个邻近区块(如图5(a)所示，位于5X5的区块范围)依区块比对算法所计算出的复数个移动向量分别是MV00与
MV-2-2~MV22，则根据该等移动向量可计算出一移动向量变异值MV一VAR，其算 法是取该等移动向量中最大水平分量减去其中最小水平分量所得的绝对值，再 加上该等移动向量中最大垂直分量减去其中最小垂直分量所得的绝对值， MV_VAR可利用以下的等式表示之
MV—VAR = |MAX(MVx) - MIN(MVX〗+ |MAX(MVy) - MIN(MVy〗等式(1)
其中MVx和MVy分别代表水平分量(x轴分量)与垂直分量(y轴分量)。 需注意的是，5X5的区块范围并非是本实用新型的限制，其亦可利用NXN或 是NXM的区块范围来实作之，其中参数N与M皆是正整数且N不等于M;此外， 计算移动向量变异值MV一VAR的方式亦可改用等式(2)或等式(3)来实现 MV一VAR = |MAX(MVX ) - MIN(MVX〗+ |MAX(MVy)- MIN(MVy〗+ SAD
等式(2)
MV—VAR = a x JMAX(MVX)- MIN(MVx) + !MAX(MVy)- MIN(MVy〗}+ p x SAD
等式(3)
其中数值SAD系为第一插补区块依照区块比对法所算出的一区块比对差值， 参数a、 P系为加权参数；凡可用以计算代表移动向量变异程度的数值的任一 实施变化，皆属于本实用新型的范畴。由上所述，依据等式(l)、等式(2)或等 式(3)其中之一，计算单元205逐一针对不同的插补区块进行计算，如此可得出 第一数值曲线CV，如图5(b)所示。
图5(b)所绘示为是本实用新型包含有多个移动向量变异值的第一数值曲 线CV。 MBOO系为第一插补区块，而在图5(b)中候选向量决定模块2152系决定 出第一插补区块MBOO的两候选向量MV1、 MV2，首先，以背景或前景影像移动的方向(例如水平方向)来看，候选向量决定模块2152在空间上延着第一插补
区块MBOO的两侧复数个(例如两侧各六个，MB10~MB60与MB-10 MB-60 )区块 的相对应移动向量变异值，在该等相对应移动向量变异值范围内取出一极大值 (例如图5 (b)所示之VARmax )，并在该等相对应移动向量变异值范围内找出该 极大值VARmax左、右两侧的极小值所对应到的区块，例如，可找到区块MB-40 与MB50，而此左、右两区块MB-40与MB50分别利用区块比对算法所计算的移 动向量即作为第一插补区块MBOO的两候选向量MV1、 MV2，换句话说，第一插 补区块MBOO的候选向量MV1系对应至位于第一数值曲线CV的极大值VARmax 的左侧的极小值VARmin，亦称候选向量MV1为第一插补区块MBOO的左移动向 量，而其候选向量MV2系对应至位于第一数值曲线CV的极大值VARmax的右侧 的极小值VARmin'，亦称候选向量MV2为第一插补区块MBOO的右移动向量，； 而候选向量MV1、 MV2的其中之一系对应至背景移动向量(background motion vector )， 而其另一贝l)X寸应于前景禾多动向量(foreground motion vector )， 这是因为属于影像覆盖区或影像显露区的插补区块周围的移动向量变异值将会 相当大，而左、右两侧的最小移动向量变异值所对应的影像区块，其会对应于 一前景移动向量或一背景移动向量，视其位于影像覆盖区或影像显露区而定。 因此，若第一插补区块MB00系位于影像覆盖区与影像显露区的其中之一，则其 候选向量MV"1、 MV2的其中之一对应于背景移动向量，而其另一对应于前景移 动向量；需注意的是，本实用新型的实施例中的两候选向量(或称左、右移动 向量)实质上分别是一前景向量与一背景向量，实际运算时一区块的两候选向 量可能并非恰好是前景、背景向量，然本实用新型的影像处理装置200亦可适 用于此一情况中。藉由上述的操作，候选向量决定模块2152可计算出第一插补
12画面F'中每一插补区块的相对应两候选向量MV1与MV2。
请参照图6(a)，其所绘示为本实用新型的起始位置决定模块2201使用第 一插补画面F'的每一插补区块的左候选向量MV1进行区块比对运算所分别计 算出的对应于第一插补画面F'的复数个插补区块的复数个区块比对差值(以 图6(a)所示的曲线DCV表示)；依据该等区块比对差值DCV的数值变化，起始 位置决定模块2201可决定出第一插补画面F'的复数个起始位置，而该等起始 位置系位于影像覆盖区(或影像显露区)的边缘，因此可用于判断出影像覆盖 区(或影像显露区)的实际影像区域。实作上，针对曲线DCV (包含有使用候 选向量MV1所算出的复数个区块比对差值)，起始位置决定模块2201系侦测其 数值变化的大小，当曲线DCV (包含有使用候选向量MV1所算出的复数个区块 比对差值)中一由左至右的数值变化由小至大改变且包含达到一预定值TH的 一区块比对差值时，起始位置决定模块2201会以该区块比对差值所对应的区块 位置来作为该第一插补画面中一起始位置，亦称为影像覆盖区(或影像显露区 )的起始点；例如，以图6(a)来说，起始位置决定模块2201系将区块比对差 值Dl所对应的起始位置Pl以及区块比对差值D2所对应的起始位置P2决定为 可判断出影像覆盖区(或影像显露区)的边缘位置，这是因为以影像画面 Fn-l、 Fn中的水平方向来说，前景物体系由右至左移动，而背景影像系由左至 右移动，使用影像范围Rl内的区块的候选向量MV1 (此时实际上系对应于背景 移动向量)来计算其所对应到的一区块比对差值，系取第一插补画面F'之前、 后两张影像画面Fn-l、 Fn的影像范围Rl'与Rl''内的影像来计算，而因为影 像范围R1'与R1"的影像系为相同/相似的背景影像，所以影像范围R1所对 应到的计算出的区块比对差值皆相当小；当所计算的影像范围内的区块实际系位于影像覆盖区时(例如影像范围R2内的区块)，则使用候选向量MV1 (此时
实际上仍对应于背景移动向量)所计算出的区块比对差值会开始变大，这是因
为在前、后两张影像画面F1、 F2的影像范围R2'与R2"内找不到相同或相似 的影像，其中影像范围R2'内系背景影像，影像范围R2"内系前景影像；以 影像范围Rl与R2之间的一起始位置所对应的计算出的区块比对差值来说，其 数值变化将由左至右、由小至大突然增加而大于预定值TH，因此区块比对差值 Dl所对应的起始位置Pl即是影像覆盖区(或影像显露区)的一边缘位置，请 注意，此时仅知起始位置P1系影像覆盖区或影像显露区的边缘位置，需待计算 单元205后续进行其它运算始能得知起始位置P1实际系为影像覆盖区的边缘位 置。
此外，使用影像范围R3内的区块的候选向量MV1 (此时实际上系对应于前 景移动向量)来计算其所对应到的一区块比对差值，会取影像画面Fn-l、 Fn 的影像范围R3'与R3"内的影像来计算，而因为影像范围R3'与R3，'的影 像系为相同/相似的前景影像，所以影像范围R3所对应到的计算出的区块比对 差值皆相当小；当所计算的影像范围内的区块实际系位于影像显露区时(例如 影像范围R4内的区块)，则使用候选向量MV1 (此时实际上仍对应于前景移动 向量)所计算出的区块比对差值会开始变大，这是因为在影像画面F1、 F2的影 像范围R4'与R4"内找不到相同或相似的影像，其中影像范围R4'内系前景 影像，影像范围R4''内系背景影像；以影像范围R3与R4之间的一起始位置 所对应的计算出的区块比对差值来说，其数值变化将由左至右、由小至大突然 增加而大于预定值TH，因此区块比对差值D2所对应的起始位置P2即是影像覆 盖区(或影像显露区)的一边缘位置，请注意，此时仅知起始位置P2系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续进行其它运算始能得知 起始位置P2实际系为影像显露区的边缘位置。
同理，如图6(b)所示，起始位置决定模块2201可使用第一插补画面F'的 每一插补区块的右候选向量MV2进行区块比对运算，以分别计算出的对应于第 一插补画面F'的复数个插补区块的复数个区块比对差值(以图6(b)所示的曲 线DCV'表示)；依据该等区块比对差值DCV'的数值变化，起始位置决定模块 2201可决定出第一插补画面F'中两起始位置P3、 P4，而该等起始位置系位于 影像覆盖区(或影像显露区)的边缘，因而可用于判断出影像覆盖区(或影像 显露区)的实际影像区域。实作上，针对曲线DCV'，起始位置决定模块2201 系侦测其数值变化的大小，当曲线DCV，(包含使用候选向量MV2所算出的复 数个区块比对差值)中一由左至右的数值变化由大至小改变且包含达到一预定 值TH'的一区块比对差值时，起始位置决定模块2201会以该区块比对差值所 对应的区块位置来作为该第一插补画面中一起始位置，亦称为影像覆盖区(或 影像显露区)的起始点；例如，以图6(b)来说，起始位置决定模块2201会将 区块比对差值D3所对应的起始位置P3以及区块比对差值D4所对应的起始位置 P4决定为可判断出影像覆盖区(或影像显露区)的边缘位置，这是因为当所计 算的影像范围内的区块实际系位于影像覆盖区时(例如影像范围R5内的区块 )，使用影像范围R5内的区块的候选向量MV2 (此时实际上系对应于前景移动 向量)来计算其所对应到的一区块比对差值，系取影像画面Fn-l、 Fn的影像范 围R5，与R5"内的影像来计算，而因为影像范围R5'与R5"的影像系为不 同的背景影像，所以影像范围R5所对应到的计算出的区块比对差值皆较大；而 当所计算的影像范围内的区块位于前景物体影像区域时(例如影像范围R6内的区块)，则使用候选向量MV2 (此时实际上仍对应于前景移动向量)所计算
出的一区块比对差值会变小，这是因为在两张影像画面F1、 F2的影像范围R6' 与R6"内的影像系为相同的前景物体影像；因此，对于影像范围R5与R6之 间的一起始位置P3所对应的计算出的区块比对差值D3来说，其数值变化将由 左至右、由大至小突然减少而小于预定值TH，，因此区块比对差值D3所对应的 起始位置P3即是影像覆盖区(或影像显露区)的一边缘位置，请注意，此时仅 知起始位置P3系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续 进行其它运算始能得知起始位置P3实际系为影像覆盖区的边缘位置。
此外，当所计算的影像范围内的区块实际系位于影像显露区时(例如影像 范围R7内的区块)，使用影像范围R7内的区块的候选向量MV2 (此时实际上 系对应于背景移动向量)来计算其所对应到的一区块比对差值，会取影像画面 Fn-l、 Fn的影像范围R7'与R7'，内的影像来计算，而因为影像范围R7'与 R7"的影像系为不同的影像，其中影像范围R7'内系为前景物体影像，而影 像范围R7'，内系为背景影像，所以影像范围R7所对应到的计算出的区块比对 差值皆相当大；而当所计算的影像范围内的区块实际系位于背景影像区域时( 例如影像范围R8内的区块)，则使用候选向量MV2 (此时实际上仍对应于背景 移动向量)所计算出的一区块比对差值会开始变小，这是因为影像范围R8，与 R8'，内系为相同/相似的背景影像；因此，对于影像范围R7与R8之间的一起 始位置P4所对应的计算出的区块比对差值D4来说，其数值变化将由左至右、 由大至小突然减少而小于预定值TH'，因此区块比对差值D4所对应的起始位置 P4即是影像覆盖区(或影像显露区)的一边缘位置，请注意，此时仅知起始位 置P4系影像覆盖区或影像显露区的边缘位置，需待计算单元205后续进行其它运算始能得知起始位置P4实际系为影像显露区的边缘位置。
如上所述，起始位置决定模块2201系对第一插补画面中每一插补区块使用 其左、右两候选向量MV1、 MV2进行区块比对运算来得到该等区块比对差值(例 如图6(a)所示的曲线DCV与图6(b)所示的曲线DCV');起始位置决定模块2201 亦可对第二插补画面中的每一插补区块使用其左、右两候选向量MV1'、 MV2， 进行区块比对运算来得到另外复数个区块比对差值，并同样利用该等另外的区 块比对差值来得到影像覆盖区(或影像显露区)的边缘起始位置(或称起始点) Pl， P4';由于其运算过程类似于前述的运算过程，因此在此不另赘述。
在起始位置决定模块2201计算出起始位置P广P4以及P1， P4'后，向量 选择模块2202依据起始位置P广P4以及Pl， ~P4'已可得知第一插补画面与第 二插补画面中一影像覆盖区(或一影像显露区)实际存在的区域，例如，向量 选择模块2202依据起始位置Pl (或Pl，)往右侧并依据起始位置P3 (或P3'
)往左侧所找到的影像区域，即是第一插补画面(或第二插补画面)中的影像 覆盖区或影像显露区，而依据起始位置P2 (或P2')往右侧并依据起始位置 P4 (或P4，)往左侧所找到的影像区域，即是第一插补画面(或第二插补画面
)中的影像覆盖区或影像显露区，值得注意的是，此处所找到的影像区域尚未 被确认为一影像覆盖区或一影像显露区，仅知其为影像覆盖区与影像显露区的 其中之一，需另依据所找到的影像区域内的区块的候选向量MV1'、 MV2'的向
量差来进一步地判断该影像区域系为影像覆盖区或系为影像显露区，其详细运 作于稍后描述；此外，当候选向量MV1'、 MV2'的向量差愈大时，影像覆盖区 (或影像显露区)的实际影像区域亦会愈大，反之亦然。
承上所述，起始位置决定模块2201在计算出起始位置P1 P4与P1' P4'后，向量选择模块2202可依据起始位置P1 P4与P1' P4'来决定上述第二插
补区块的目标移动向量，该目标移动向量系用来决定/产生第二插补区块的实际
影像。具体来说，请参照图7，其系为起始位置决定模块2201所决定的起始位 置P1 P4与Pl' P4'的范例示意图；向量选择模块2202会分别参考Pl与Pl'、 P2与P2'、 P3与P3，以及P4与P4，来算出参考向量V广V4，以依据参考向量 V1 V4中至少其一从第二插补区块的候选向量MV1'、 MV2'中选取其中之一来决 定该目标移动向量，其中参考向量V广V4皆对应或相近于前景移动向量，而实 作上，向量选择模块2202系比较参考向量V广V4中至少其一与候选向量MVr、 MV2，，当参考向量VfV4其中之一相近于候选向量MVl'、 MV2'的其中之一时， 向量选择模块2202会选取候选向量MV1' 、 MV2'的另一来作为该目标移动向量， 因此，若第二插补区块实际位于影像覆盖区或影像显露区，则所决定出的目标 移动向量会对应或相近于背景移动向量，例如，若第二插补区块系为图7所示 的MB，则候选向量MV1'系对应或相近于背景移动向量而候选向量MV2'则对 应或相近于前景移动向量，如此，向量选择模块2202会选取对应或相近于背景 移动向量的候选向量MV1'作为目标移动向量，并依此所决定的目标移动向量 来产生插补区块MB的影像；而若第二插补区块系为图7所示的MB'，则候选向 量MV1'系对应或相近于前景移动向量而候选向量MV2，则对应或相近于背景移 动向量，向量选择模块2202会选取对应或相近于背景移动向量的候选向量MV2' 作为目标移动向量，并依此所决定的目标移动向量来产生插补区块MB'的影像。 此外，若第二插补区块实际并非位于影像覆盖区或影像显露区，则向量选 择模块2202仍可决定出正确的移动向量，例如，若第二插补区块系为图7所示 的MB"，则其候选向量MV1'、 MV2，皆系对应或相近于背景移动向量，因此，无论是否依据参考向量V1 V4来决定插补区块MB，，的目标移动向量，向量选 择模块2202任意挑选其两第二候选向量MV1'、 MV2，其中之一作为其目标移动 向量，实际上对于插补区块MB''来说皆是得以产生较佳背景影像画面的移动 向量；另外，若第二插补区块系为图7所示的MB，，，，则其候选向量MV1，、MV2， 皆系对应或相近于前景移动向量，向量选择模块2202任意挑选两候选向量 MV1，、 MV2，其中之一作为其目标移动向量，实际上对于插补区块MB，，'来说 皆是得以产生较佳前景物体影像画面的移动向量。
在另一实施例中，亦可仅藉由单一参考向量从第二插补区块的候选向量 MV1'、MV2'中选取其中之一来决定该目标移动向量，而此亦落入本实用新型的 范畴；需注意的是，在此实施例中，例如若仅藉由参考向量V1来决定目标移动 向量，则向量选择模块2202不需计算出参考向量V2 V4，然而，仍需决定出起 始位置P1 P4与PI' ~P4'，以便判断影像覆盖区与影像显露区的实际影像区域， 换言之，本实用新型的实施例仅藉由决定两起始位置(Pl与Pl'、 P2与P2'、 P3与P3，及P4与P4'其中一组)，即可决定出第二插补区块的目标移动向量。
产生第二插补区块的影像的实际运作则详述于下。首先，由于本实用新型 的实施例主要系以水平移动影像的例子作为说明，因此以移动向量由左至右的 方向为正，反之，其相对的方向(由右至左)则为负；然而，此非本实用新型 的限制，凡在二维平面空间上以某一特定方向为正，再以其相对方向为负的例 子，皆符合本实用新型的精神。计算单元205系以第二插补区块的一候选向量 减去其另一候选向量所得到的向量差，来判断第二插补区块系落于影像覆盖区 或系落于影像显露区，请再次参考图7，举例来说，对于图7中插补区块MB而 言，计算单元205内的影像产生模块225将插补区块MB的候选向量MV1，减去其候选向量MV2，，所得到的向量差为正，因此判断插补区块MB系属于影像覆 盖区，接着依照所决定的目标移动向量至第二插补画面的前一张非插补画面Fn 中取得相对应区块的影像来作为插补区块MB的影像；另外，对于图7中插补区 块MB，，影像产生模块225将插补区块MB'的候选向量MV1，减去其候选向量 MV2'，所得到的向量差为负，因此判断区块MB系属于影像显露区，接着依照所 决定的目标移动向量至第二插补画面之后一张非插补画面Fn+1中取得一相对 应区块的影像来作为插补区块MB'的影像；换言之，由于可利用第二插补区块 的两候选向量的向量差来判断第二插补区块系落入一影像覆盖区或系落入一影 像显露区，所以，影像产生模块225可利用判断的结果，自第二插补画面之前 一张非插补画面的影像与后一张非插补画面的影像中择一作为第二插补区块的 影像。
综上所述，针对插补画面中属于影像覆盖区或影像显露区的区块，本实用 新型的实施例中的影像处理装置200可正确地计算出该区块的目标移动向量， 使得以该目标移动向量来进行影像插补时可得到较佳的影像，有助于提升执行 画面更新频率转换运作的影像质量。
以上所述仅为本实用新型的较佳实施例，凡依本实用新型申请专利范围所 做的均等变化与修饰，皆应属本实用新型的涵盖范围。
权利要求1.一种影像处理装置，用于进行运动画面插补时，决定一插补画面的影像覆盖区/影像显露区的移动向量，该插补画面由复数个区块所组成，其特征在于，该影像处理装置包含有一储存单元，用于至少储存该插补画面的一前一原始画面与一后一原始画面以及一前一插补画面的一起始位置；以及一计算单元，耦接至该储存单元，包含有一候选向量产生模块，用于决定该插补画面的复数区块的复数第一候选向量与复数第二候选向量；以及一移动向量决定模块，依据该插补画面的该些区块的该些第一候选向量、该些第二候选向量与该前一插补画面的该起始位置，决定位于该插补画面的影像覆盖区/影像显露区的一区块的一移动向量。
2. 如权利要求1所述的影像处理装置，其特征在于，该候选向量产生模块包含有一影像差异值产生模块，依据该区块的复数个邻近区块的复数原始移动向 量，决定该区块的一影像差异值；以及一候选向量决定模块，依据一维空间复数连续区块的复数影像差异值，分 别决定该些连续区块的复数第一候选向量与复数第二候选向量。
3. 如权利要求1所述的影像处理装置，其特征在于，该移动向量决定模块包含有一起始位置决定模块，利用该插补画面中该些区块的该些第一候选向量及 该些第二候选向量的其中之一，来计算该些区块所对应的复数个区块比对差值，并依据该些区块比对差值的数值变化来决定该插补画面的一起始位置；以及一向量选择模块，依据该插补画面的该起始位置与该前一插补画面的该起 始位置来产生一参考向量，并比较该参考向量与该插补画面的影像覆盖区/影像显露区中该区块的该第一、第二候选向量，选取该第一、第二候选向量与该参 考向量较不相近的其中之一作为该区块的该移动向量。
专利摘要本实用新型公开了一种用以决定插补画面的移动向量的影像处理装置，有助于提升执行画面更新频率转换运作的影像质量。该影像处理装置包含有一储存单元，用于至少储存该插补画面的一前一原始画面与一后一原始画面以及一前一插补画面的一起始位置；以及一计算单元，耦接至该储存单元，包含有一候选向量产生模块，用于决定该插补画面的复数区块的复数第一候选向量与复数第二候选向量；以及一移动向量决定模块，依据该插补画面的该些区块的该些第一候选向量、该些第二候选向量与该前一插补画面的该起始位置，决定位于该插补画面的影像覆盖区/影像显露区的一区块的一移动向量。
文档编号H04N7/26GK201374785SQ20092000518
公开日2009年12月30日 申请日期2009年3月4日 优先权日2009年3月4日
发明者林于森, 许得卫, 陈仲怡 申请人:晨星软件研发(深圳)有限公司;晨星半导体股份有限公司