专利名称：影像处理装置的制作方法
技术领域：
本实用新型涉及一种影像处理机制，尤指一种藉由侦测影像画面内容中被摄影镜
头所追踪的影像对象来决定一待插补影像区块所使用的目标移动向量的影像处理装置。
背景技术：
—般来说，产生一插补影像中一待插补影像区块所需要的移动向量系参考邻近时 间点上两影像的影像区块来决定移动向量并产生该待插补影像区块位置上所应插补的影 像区块。然而，直接利用一般的影像插补方法来插补任何种类的影像有时将会产生严重的 插补错误，例如，在某些场景画面中，可发现摄影镜头追踪正在移动的物体，由于摄影镜头 进行追踪的关系，显示于场景画面中被追踪的物体具有较慢的移动(亦即对应到较小的移 动向量)，而其它的背景影像在影像画面中会看到其具有较快的移动(亦即对应到较大的 移动向量)。通常来说，若被摄影镜头所追踪的物体一直位于画面的中央附近，此时若使用 上述的传统方法来决定影像插补时所需要的移动向量并不会产生问题。然而，该物体可能 突然间被一背景所遮住，如此即难以侦测出该影像对象的真实移动方向(true motion);举 例来说，请参照图1，图1是使用传统作法来对图框数据执行影像插补的示意图。在图1中 系摄影镜头追踪某一名正在奔跑的人，斜线圆圈系表示该人物，而空心圆圈以及实心圆圈 系分别表示背景影像中的绿地以及树木，图1的左半部的例子系说明该人物于图框f3的 时间点突然完全被树木所遮住，而在图1的右半部的例子则系表示该人物于图框f3'的时 间点突然某些部位被树木所遮住。为了说明方便，图1中仅绘示出摄影镜头水平地移动来 追踪该人物，故在图1中系仅简单地表示出该人物、绿地以及树木的相对位置关系。如图1 的左半部所示，于图框f2时仍可看到该人物的存在，而于图框f3时该人物已完全被树木遮 住，对于图1的右半部来说，于图框f2'时仍可看到该人物的存在，而于图框f3'时该人物 的某些部位已被树木所遮住。无论是在上述何种情况下，使用传统作法来决定待插补影像 区块所需要的移动向量，会因为在下一张图框(亦即f3、f3')中找不到对应于该人物的影 像区块而选择将其它较相像的影像区块插补至待插补影像区块位置P1、P1'，但是其它较相 像的影像区块并非即代表对应到该人物的影像区块，换言之，传统作法可能将不相干的影 像区块插补至原本应插补出该人物的影像的影像区块位置P1、P1'而造成插补错误。 另外，若某一影像对象在前一张图框中被背景影像所遮挡住而在下一张图框才出 现在画面中，使用传统作法来决定产生一待插补影像区块所需要的移动向量亦如上述所 说，极有可能发生插补错误的情形。例如，请参照图2，图2是使用传统作法对另一图框数据 执行影像插补的示意图。如图2的左半部所示，于图框f4时该人物(斜线圆圈)的某一部 分仍被树木所遮盖，而于图框f5时该人物已不被树木(实心圆圈)所遮住而可看到该人物 的全部影像，而图2的右半部则系说明当使用传统作法来决定插补影像finter的待插补影 像区块位置P2的移动向量时，因为上一张图框f4'的位置P2'上的影像与下一张图框f5' 的位置P2"上的影像差异甚大，传统作法会选择将其它较相像但可能不相干的影像区块插 补至位置P2上，但是由于其它较相像的影像区块并非即代表对应到该人物所被遮住的部位，故传统作法易造成影像插补错误；例如，在图2的右半部的例子中即系将位置P2"'的影 像(代表绿地的影像)直接插补至位置P2上而造成明显的错误。
实用新型内容本实用新型所要解决的技术问题是提供一种藉由侦测影像画面中是否有被摄影 镜头所追踪的影像对象来决定待插补影像区块的目标移动向量的值的影像处理装置，以解 决上述的问题。 为了解决以上技术问题，本实用新型提供了如下技术方案 本实用新型提供了一种影像处理装置。影像处理装置至少包含有一处理电路与一 计算电路。处理电路系用来侦测第一影像画面中第一影像区块的移动向量以决定第一影像 区块的旗标值，该旗标值系用以指示出第一影像区块的影像内容是否相对地具有较小的变 化，以及计算电路系耦接于处理电路并依据旗标值计算用于待插补影像区块的目标移动向 本实用新型采用一种藉由侦测影像画面中是否有被摄影镜头所追踪的影像对象 来决定待插补影像区块的目标移动向量的值的影像处理装置，克服了现有技术存在的插补 错误。
图1为使用传统作法来对图框数据执行影像插补的示意图。 图2为使用传统作法对另一图框数据执行影像插补的示意图。 图3为本实用新型一实施例的影像处理装置的示意图。 图4为图3所示的影像处理装置针对图框数据进行影像插补的范例示意图。 图5-1为图3所示的影像处理装置的操作流程图。 图5-2为图5-l之后的延续流程图。主要组件符号说明
100影像处理装置 105统计电路 110处理电路 115计算电路
具体实施方式请参照图3，图3是本实用新型一实施例的影像处理装置100的示意图。影像处理 装置100包含有统计电路105、处理电路110与计算电路115。对于决定某一影像区块的旗 标值来说，处理电路110藉由至少侦测一第一影像画面中一第一影像区块的移动向量MV' 来决定第一影像区块的旗标值Vflag，其中旗标值Vflag系用以指示出第一影像区块的影 像内容是否相对地具有较小的变化，例如用以指示第一影像区块是否对应至摄影镜头所追 踪的影像对象；此处须注意的是，影像处理装置100的目的在于决定出插补一待插补影像 中的待插补影像区块MB时所需要的目标移动向量MV，第一影像画面系指在该待插补影像 之前的任一参考影像画面，而旗标值Vflag的内容系用来供计算电路115决定目标移动向量MV时参考之用。 实作上，统计电路105(其耦接于处理电路110)会先统计第一影像画面(图框或 图场)中移动向量大于一预定向量大小Vpre的复数个影像区块的个数，而进行统计的目的 系为了之后处理电路110可检视是否该复数个影像区块的个数大于或等于一特定数值N1 以判断该第一影像画面中是否有背景影像快速移动的情形，亦即，其系检视大于预定向量 大小Vpre的移动向量个数是否占第一影像画面中移动向量总个数的某一比例之上；数值 Nl可预先设定或是动态地调整。如此作的原因是当出现摄影镜头追踪影像对象的情形时， 其余的背景影像部分一般会占有第一影像画面中较大的比例。因此，若大于预定向量大小 Vpre的移动向量个数大于或等于特定数值Nl，则处理电路110可先确定第一影像画面中系 出现背景影像快速移动的情形并接着进行设定旗标值的操作；反之，则表示第一影像画面 中并未发生背景影像快速移动的情形。无论第一影像画面中的任一影像区块是否具有大于 预定向量大小Vpre的移动向量，处理电路IIO会预先将第一影像画面中所有影像区块的旗 标值设定成指示出其各自的影像区块并未对应于摄影镜头所追踪的影像对象。当然，为了 更加地确定是否存在有背景影像快速移动的情形，处理电路110可进一步检视大于预定向 量大小Vpre的该些移动向量是否具有一致的方向性(例如该些移动向量彼此间的差异是 否均落于一预定范围)；若有一致的方向性，则可进一步地确定第一影像画面中有背景影 像快速移动的情形。处理电路110决定旗标值的操作则于下一段落中详述 如上所述，当确定第一影像画面中出现背景影像快速移动的情形时(亦即大于预 定向量大小Vpre的移动向量个数大于或等于特定数值Nl且具有一致的方向性)，处理电 路110挑出移动向量小于预定向量大小Vpre的影像区块，有该些影像区块的存在，代表第 一影像画面中极有可能有摄影镜头所追踪的影像对象，因此处理电路110接着将该些影像 区块所对应的旗标值设定为'l'以指示出该些影像区块系对应至摄影镜头所追踪的影像对 象，同时亦记录该些影像区块的移动向量以供后续计算电路115使用。举例来说，对于第 一影像区块而言，处理电路IIO会比较第一影像区块的移动向量MV'与预定向量大小Vpre 以决定旗标值Vflag，若移动向量MV'小于预定向量大小Vpre，则第一影像区块的旗标值 Vflag会被设定为'l'。 以上决定旗标值的方式系较为直觉的方式，然而，因为旗标值的内容会影响到后 续计算电路115的操作，所以实际上于决定旗标值时会另外参考其它法则以精确地决定出 旗标值的内容。举例来说，当第一影像区块的移动向量MV'小于预定向量大小Vpre时，处 理电路110会另判断第一影像区块的至少一邻近影像区块的移动向量是否亦小于预定向 量大小Vpre来决定第一影像区块的旗标值Vflag。这是因为一般来说一个被摄影镜头所追 踪的物体不会仅具有单一影像区块大小，所以，若第一影像区块的移动向量MV'小于预定向 量大小Vpre，则其至少一邻近影像区块的移动向量亦应小于预定向量大小Vpre才可合理 地指示出第一影像区块系对应到摄影镜头所追踪的影像对象。因此，若第一影像区块的移 动向量MV'小于预定向量大小Vpre而其邻近影像区块的移动向量中却反常地未有任一移 动向量小于预定向量大小Vpre，则有可能系因为计算误差而造成第一影像区块的移动向量 MV'小于预定向量大小Vpre，此时处理电路110会将第一影像区块的旗标值Vflag设定为 '0'来表示出第一影像区块并未对应至摄影镜头所追踪的影像对象。 另外，承上所述，为更加确认旗标值Vflag，处理电路IIO亦可另计算第一影像区块与移动向量小于预定向量大小Vpre的另一影像区块MB1 (即MB1同样对应到摄影镜头所 追踪的影像对象)之间的一区块比对差值D1，并计算第一影像区块与移动向量大于预定向 量大小Vpre的一影像区块MB2 (即MB2对应到背景影像)之间的一区块比对差值D2，以及 判断区块比对差值Dl是否远小于区块比对差值D2来决定第一影像区块的旗标值Vflag。 例如，以上述人与树木的例子来说，同样对应到人的两影像区块之间的区块比对差值(亦 即D1)势必远小于分别对应到人与树木的两影像区块之间的区块比对差值(亦即D2)，因 此，若区块比对差值Dl远小于区块比对差值D2，则处理电路110可进一步确定将第一影像 区块的旗标值Vflag设定为'l';反之，处理电路110会将其旗标值Vflag设定为'0'。 如上所述，在决定出旗标值Vflag的内容之后，耦接于处理电路110的计算电路 115会依据旗标值Vflag的内容计算用于待插补影像区块MB的目标移动向量MV。在本实 施例中，待插补影像区块MB所位于一插补影像中的位置系相同于第一影像区块于第一影 像画面中的相对位置；然而，此非本实用新型的限定。明确地说，计算电路115系依据旗标 值Vflag的内容决定是否将处理电路110所记录的第一影像区块的移动向量MV'作为待插 补影像区块MB的一候选移动向量，接着再从待插补影像区块MB的所有候选移动向量中选 出目标移动向量MV。需注意的是，第一影像区块系对应到摄影镜头所追踪的影像对象，其移 动向量理想值为零，因此之后在决定目标移动向量MV的步骤中，移动向量零亦会被纳入考 虑。请参照图4，图4是图3所示的影像处理装置100针对图框数据进行影像插补的范例示 意图。图4所示的斜线圆圈系表示一个被摄影镜头所追踪的物体(例如正在奔跑中的人)， 空心圆圈、实心圆圈、交叉记号与三角形记号则分别表示不同的背景影像(例如绿地、树木 等等)。假定上述的第一影像画面系指f'，待插补影像区块MB与第一影像区块的位置分别 位于P4与P4'上，处理电路110会将第一影像区块的旗标值Vf lag设定为'1'并将第一影 像区块的移动向量MV'(理论值为零)记录下来；例如，若移动向量MV'是零，则代表可参 考相邻影像画面中相同空间位置上的影像区块来产生某一待插补影像区块所需要的影像。 由于第一影像区块的旗标值Vflag的内容系指示出第一影像区块对应到被摄影 镜头追踪的影像对象，所以计算电路115会将第一影像区块的移动向量MV'作为产生待插 补影像区块MB时较有可能使用的一候选移动向量。详细来说，计算电路115在决定待插补 影像区块MB的目标移动向量MV时，会根据每个候选移动向量来分别计算其各自对应的候 选区块比对差值Dl' Dn'(假设有n个候选移动向量)。然而，计算电路115会适当调整候 选区块比对差值D1' Dn'，使得根据移动向量MV'而计算出的候选区块比对差值D1'(例 如若移动向量MV'的值为零，则候选区块比对差值D1'即是图框f6的位置P4"上的影像与 图框f7的位置P4"'上的影像之间的差异)比其它候选区块比对差值D2' Dn'来得小，例 如，计算电路115会减小候选区块比对差值D1'(例如将D1'除以2)或提高其它候选区块 比对差值D2' Dn'。如此作的目的是希望计算电路115从待插补影像区块MB的候选区块 比对差值D1' Dn'中选出一最小区块比对差值时能够有较大的机率选到D1'，以使得计算 电路115可使用对应于D1'的移动向量(亦即MV')来作为待插补影像区块MB的目标移动 向量MV。 以影像质量来说，当发生被摄影镜头所追踪的影像对象于下一张图框f7中突然 出现时，为了使位置P4上的待插补影像区块MB所呈现的影像不产生人为假影，使用图框f6 的位置P4"上的影像以或是图框f7的位置P4"'上的影像来产生待插补影像区块MB的影像系较好的作法，故此时偏好计算电路115应选出移动向量MV'(其值为零)来作为待插 补影像区块MB的目标移动向量MV。相反地，若第一影像区块的旗标值Vflag的内容指示 出第一影像区块并未对应到任一被摄影镜头追踪的影像对象(亦即旗标值Vflag系设定为 '0')，则计算电路115不会刻意将第一影像区块的移动向量MV'作为产生待插补影像区块 MB时的一候选移动向量，因此不会产生任何的插补错误；举例来说，假设图4的第一影像画 面f'中位置P4'上的第一影像区块系对应到树木(即实心圆圈)而非对应到人物(即斜 线圆圈)，则第一影像区块的旗标值会为'0'，因此计算电路115即进行习知的区块比对搜 寻来产生插补影像f inter中位置P4上待插补影像区块MB的移动向量，因而不会刻意另将 其它与旗标值相关的移动向量选为候选移动向量。 此外，处理电路110可能需要将已设定为'l'的旗标值Vflag内容清掉使之变成 空的(皿ll)。以图4为例，若在位于第一影像画面f'及影像画面f6之间的任一影像画面 中侦测出发生场景变换(scene change)的情形(亦即侦测出第一影像画面f'及影像画面 f6/f7系分属不同的场景画面)，则为了避免计算电路115在决定待插补影像区块MB的目 标移动向量MV时刻意将第一影像区块的移动向量MV'设定为具有较高的可能性，处理电路 110会将原先被设定为'1'的第一影像区块的旗标值Vflag清掉以使得计算电路115不会 将移动向量MV'设为具有较高的可能性；此时，旗标值Vflag系指示出第一影像区块的影像 内容未必相对地具有较小的变化。因此，即使发生了场景变换，计算电路115在决定待插补 影像区块MB的目标移动向量MV时将不会因移动向量MV'具有较高的可能性而产生错误。 另外，处理电路110在决定第一影像画面f'中发生摄影镜头追踪影像对象的情形 之后，其亦会持续地检查后续影像画面中是否亦发生摄影镜头追踪影像对象的情况；倘若 检查出后续影像画面中并未有摄影镜头追踪影像对象的情况，则处理电路110会清掉第一 影像画面f'中具有内容为'1'的旗标值(例如图4中的Vflag)，例如，当在位于第一影像 画面f'及影像画面f6之间的某一影像画面中侦测/统计出当时移动向量大于预定向量大 小Vpre的影像区块个数变得少于特定数值N1时，表示此一影像画面中未必有镜头追踪特 定影像的情形，换言之，第一影像区块的影像内容未必相对地具有较小的变化。此时，处理 电路110会清掉第一影像区块的旗标值Vflag的内容以使得计算电路115在决定目标移动 向量MV时不会刻意将第一影像区块的移动向量MV'设定为具有较高的可能性。 再者，在本实施例中，将第一影像画面f'的第一影像区块的旗标值Vflag决定为
'l'之后，处理电路iio亦持续地检查后续影像画面中与第一影像区块相同空间位置的影
像区块的邻近影像区块是否仍有至少一邻近影像区块的旗标值亦设定为'l';倘若并未有
任一邻近影像区块的旗标值被设定为'r，则处理电路iio会清掉第一影像画面f'的第一
影像区块的旗标值Vflag以避免决定待插补影像区块MB的目标移动向量MV时刻意将第一 影像区块的移动向量MV'设定为具有较高的可能性。 需注意的是，虽然图4的例子中仅说明当被摄影镜头所追踪的影像对象突然出现 时影像处理装置100的操作方式，但是影像处理装置100亦可用于当被摄影镜头所追踪的 影像对象突然消失时决定出较佳的目标移动向量以避免人为假影；为了简化本说明书的篇 幅，在此不另赘述。最后，为使读者能够迅速了解本实用新型的精神，在此附上图3所示的 影像处理装置100的操作流程图(亦即图5-1与图5-2)，为了避免篇幅过于冗长，其步骤说 明不再赘述。[0031] 以上所述仅为本实用新型的较佳实施例，凡依本实用新型申请专利范围所做的均 等变化与修饰，皆应属本实用新型的涵盖范围。
权利要求一种影像处理装置，其特征在于，它包含有一处理电路，用来侦测一第一影像画面中一第一影像区块的一移动向量来决定该第一影像区块的一旗标值，该旗标值用以指示该第一影像区块的影像内容是否相对地具有较小的变化；以及一计算电路，耦接于该处理电路，用来依据该旗标值计算用于一待插补影像区块的一目标移动向量。
2. 如权利要求1所述的影像处理装置，其特征在于，其中所述待插补影像区块位于一 插补影像中与该第一影像区块相同的空间位置。
3. 如权利要求1所述的影像处理装置，其特征在于，所述计算电路具有判断结构，依据 该旗标值选择性地将该第一影像区块的该移动向量作为该待插补影像区块的一候选移动 向量，以及从该待插补影像区块的复数个候选移动向量选出该目标移动向量。
4. 如权利要求3所述的影像处理装置，其特征在于，其中当所述旗标值指示该第一影 像区块的影像内容相对地具有较小的变化时，该计算电路会将该第一影像区块的该移动向 量作为该候选移动向量。
5. 如权利要求4所述的影像处理装置，其特征在于，其中当所述旗标值指示该第一影 像区块的影像内容相对地具有较小的变化时，该计算电路为使用该第一影像区块的该移动 向量来计算用于该待插补影像区块的一候选区块比对差值，并减小该候选区块比对差值或 提高该待插补影像区块的复数个候选区块比对差值中除了该候选区块比对差值以外的其 余候选区块比对差值；以及该计算电路会从该待插补影像区块的该复数个候选区块比对差 值中选出一最小区块比对差值，并使用对应于该最小区块比对差值的一移动向量来作为该 目标移动向量。
6. 如权利要求1所述的影像处理装置，其特征在于，其还包含有 一统计电路，耦接于该处理电路，用来统计该第一影像画面中移动向量大于一预定向量大小的复数个影像区块的个数；其中该处理电路另判断该复数个影像区块的个数是否大于一特定数值；当该复数个影 像区块的个数大于该特定数值且该复数个移动向量彼此间的差异均落于一预定范围时，该 处理电路通过比较该第一影像区块的该移动向量与该预定向量大小来决定该第一影像区 块的该旗标值。
7. 如权利要求6所述的影像处理装置，其特征在于，其中当所述第一影像区块的该移 动向量小于该预定向量大小时，该处理电路另判断该第一影像区块的至少一邻近影像区块 的一移动向量是否小于该预定向量大小来决定该第一影像区块的该旗标值。
8. 如权利要求6所述的影像处理装置，其特征在于，其中当所述第一影像区块的该移 动向量小于该预定向量大小时，该处理电路另计算该第一影像区块与具有小于该预定向量 大小的一移动向量的一影像区块之间的一第一区块比对差值，并计算该第一影像区块与具 有大于该预定向量大小的一移动向量的一影像区块之间的一第二区块比对差值，以及判断 该第一区块比对差值是否小于该第二区块比对差值来决定该第一影像区块的该旗标值。
9. 如权利要求1所述的影像处理装置，其特征在于，其还包含有一统计电路，耦接于该处理电路，用来统计该第一影像画面之后一第二影像画面中移 动向量大于一预定向量大小的复数个影像区块的个数；其中该处理电路另判断该复数个影像区块的个数是否小于一特定数值；当该复数个影 像区块的个数小于该特定数值时，该处理电路会设定该第一影像区块的该旗标值，而该旗 标值代表该第一影像区块的影像内容未必相对地具有较小的变化。
专利摘要本实用新型公开了一种影像处理装置，克服了现有技术存在的的插补错误。该影像处理方法包含有侦测一第一影像画面中一第一影像区块之移动向量来决定第一影像区块的旗标值，该旗标值系用以指示第一影像区块的影像内容是否相对地具有较小的变化；以及依据旗标值计算用于一待插补影像区块的目标移动向量。
文档编号H04N5/44GK201436805SQ200920006430
公开日2010年4月7日 申请日期2009年3月3日 优先权日2009年3月3日
发明者王甦群, 陈仲怡 申请人:晨星软件研发(深圳)有限公司;晨星半导体股份有限公司