专利名称：内插帧生成方法和内插帧生成设备的制作方法
技术领域：
本发明的 一个实施例涉及生成和在形成运动图像的帧图像之间
4悉入内才翁帧的4支术，以及以流畅和自然的运动方式显示只于象(object)
背景技术：
当在液晶显示器(LCD)上显示运动图^f象时，LCD以(例如) 60帧/秒的速率显示帧图像(下文中简称"帧，，)。帧是通过处理60 场/秒的隔行信号获得的连续扫描图像。特别地，LCD持续1/60秒 显示一帧。
当7见看LCD上显示的这种图 <象时，前一帧的图1象在7见看者眼睛 的一见觉持续(persistence)时停留(leave )。因此，存在图4象中的运 动对象出现模糊的情况，或者对象出现不自然的运动。在大屏幕中 这种现象出现得更明显。
为了防止运动图像的这种模糊，存在一种通过在两个连续帧之 间插入内插帧来显示运动图^象的已知方法(参考第2005-6275号日 本专利申请KOKAI公开出版物)。在参考的方法中，在包括在前帧 和在后帧的两个输入帧或更多输入帧之间执行形成帧的图像块的匹 配，从而检测每个块的运动矢量(对象运动的方向和距离)。通过利 用每个块的运动矢量生成位于输入帧之间的新内插帧。在两个输入 帧之间插入内插帧，从而利用增加数目的帧显示运动图像。 上述块匹配是检测在后帧中的哪个图像块与预定尺寸的图像块 匹配的方法。计算在前帧中的一个图<象块的<象素与在后帧中的4壬意
一个图像块的相应像素之间的差分(difference ),并且具有差分的最 小累积值(绝对差分的总和[SAD])的在后帧的图像块被检测作为 最类似、于在前帧的图傳-块的图傳-块。在前帧与在后帧的最类以的块:
之间的位置的差分被检测作为运动矢量。
当基于利用SAD的块匹配估计对象的运动时，如果在iir入帧中 存在周期图案，则不能在周期图案中的图像块中估计出准确的运动 矢量。第2005-56410号日本专利申请KOKAI公开出版物公开了一 种技术，在该技术中，如果所观察的图像是周期图案，则利用周围 图像块的运动矢量校正图像块的运动矢量。进一步地，第 2006-208792号日本专利申讳-才是交了 (于2006年7月31日4是交) 一种利用两个尺寸(two sizes)的块来4全测运动矢量的冲支术。
通过利用块匹配检测运动矢量的准确性不是很好，并且检测有 时以失败告终。 一全测运动矢量的失败对图<象处理有4艮大影响，并会 引起图像损坏。因此，需要在4企测图像矢量时采取防止失败的方法。
发明内容
本发明的目的是提供一种不管运动矢量的检测准确性如何均能 够防止图像损坏(breakdown )的内插帧生成设备和内插帧生成方法。
根据本发明的一个方面，提出了一种通过利用多个输入帧图像 生成在连续帧之间插入的新的内插帧的内插帧生成方法，包4舌通 过在输入帧图像之间的块匹配处理来检测帧图像中的对象的运动矢 量；判别一全测过程中所检测的运动矢量的确定性，并基于该判别的 结果判别确定运动矢量和不确定运动矢量；以及通过利用^r测过程 中所检测的运动矢量生成内插帧，其中，该生成过程是通过将在判
别过程中被判别为不确定运动矢量的运动矢量的值设置为零，来生 成内插帧。
才艮据上述方法，在生成内插帧的过程中不^f吏用不确定运动矢量。 因此，有可能防止运动检测中的失败所引起的图像损坏。
根据本发明，可以提供一种不管运动矢量的检测准确性如何均 能够防止图像损坏的内插帧生成设备和内插帧生成方法。
本发明的其它目的和优点将在以下的描述中^合出，并且部分地 将从描述变得明显，或者可以通过实施本发明来获得。通过下文中 特别指出的装置及其结合可以实现和获得本发明的多个目的和优点。
附图结合并构成说明书的一部分，示出了本发明的实施例，并 与上述概括描述和以下实施例的详细描述一起用于解释本发明的原理。
图1是示出了才艮据本发明的内插帧生成i殳备的实施例的框图2是用于解释块匹配处理的实例的示意图3是示出了判别运动矢量的确定性的方法的实例的示意图4是示出了根据图3所示的方法4丸4亍的内插帧生成设备10 的处理过考呈的流禾呈图5是示出了判别运动矢量的确定性的方法的另一个实例的示 意图；以及
图6是示出了才艮据图5所示的方法执行的内插帧生成设备10 的处理过程的流程图。
具体实施例方式
下文中将参考附图详细描述根据本发明的多个实施例。总的来 讲，根据本发明的一个实施例，提出了一种通过利用多个输入帧图 像生成在连续帧之间插入的新的内插帧的内插帧生成方法，包括 通过输入帧图像之间的块匹配处理来检测帧图像中的对象的运动矢 量；判别(determining) ^r测过程中所才企测出的运动矢量的确定性， 并基于该判别的结果判别确定运动矢量和不确定运动矢量；以及通 过利用才企测过程中所4企测出的运动矢量生成内4翁帧，其中，该生成
值i殳置为零，来生成内插帧。
图1是示出了根据本发明的内插帧生成设备(帧号改变设备) 的实施例的框图。图1的内插帧生成设备10包括帧存储部11、运 动矢量4全测部12、内插帧生成部13、以及判别部14。运动矢量才全 测部12例如通过块匹配处理从输入图像信号中的两个连续帧检测 运动矢量。特别地，运动矢量才企测部12计算两个输入帧图像中的图 像块的对应像素的值之间的绝对差分值，并选择对应于绝对差分值 的SAD的最小值的运动矢量作为势运动矢量(potential motion vector )。 llT入图 <象4言号的帧率例3口是60帧/秒。
内插图^f象生成部13基于运动矢量4企测部12的才企测结果生成内 插帧，并在两个帧之间插入内插帧。其中插入有内插帧的输出图像 信号的帧率是例如60帧/秒。
判别部14判别由运动矢量4全测部12 一全测出的运动矢量的确定 性。具体地，判别部14判别由运动矢量才企测部12才企测出的运动矢
量的确定'f生，并基于4企测结果分辨确定运动矢量和不确定运动矢量。 特别地，判别部14将具有等于或大于特定阈值的大小的矢量判别为
不确定运动矢量。作为另 一 个实例，判别部14将与对应于该矢量(待 判别的运动矢量)的l象素周围的^象素的运动矢量的匹配比率不超过 特定阈值的矢量判别为不确定矢量。
具体地，判别部14为每个像素判别检测出的运动矢量是否正 确。然后，判别部14通过利用检测出的运动矢量判别是否生成内插 帧，以通过利用周围块的运动矢量生成内插帧，或者通过利用为零 的运动矢量生成内插帧。其后，判别部14向内插图像生成部13提 供判别的结果。内插图像生成部13基于判别部14的判别结果生成 内插图像。
内插图像生成部13通过利用由运动矢量检测部12 4全测出的运 动矢量生成内插帧。当生成内插帧时，内插图像生成部13将被判别 部14判别为不确定运动矢量的运动矢量作为零矢量。作为另 一种生 成方法，内插图像生成部13通过结合(混合)基于^皮判别部14判 别为确定运动矢量的运动矢量生成的图像和通过利用被判别为不确 定运动矢量的运动矢量作为零矢量生成的图像，生成内插帧。
可以将运动矢量判别部12、内插图像生成部13、以及判别部 14形成为利用离散电子电^各(discrete electronic circuits )的石更4牛或 由CPU执行的软件(未示出)。
图2是用于解释块匹配处理的实例的示意图。如图2所示，才是 出了 一种通过关于点对称的图像块之间的块匹配处理确定运动矢量 的方法。具体地，在图2的方法中，通过对在前帧(prior frame ) 20 详口在后顿(subsequent frame ) 22 (它^f门之间有内4悉巾贞21 )上的图^f象 块进行一个Y象素冲妾着一个〗象素的(pixel by pixel)比4交来计算SAD。 图像块关于内插帧21中的内插图像块41的插入位置上的点是对称
的。从两个尺寸中选出该处理中所使用的图像块的尺寸。将连接最
类似的图像块(即，具有最小的SAD)的矢量判别为运动矢量。在 在前帧20中的预定4叟索范围40和在后帧22中^j"应于4叟索范围40 的预定搜索范围42中进行该比较。
假设图像块43和图像块44形成一对最类似的图像块，从图像 块43到图像块44的矢量被判别为内插图像块41的运动矢量。基于 该运动矢量和彼此最类似的图像块43和44的数据生成内插帧21 中的内插图^f象块41。
在图2所示的方法中，预定尺寸的块在关于内插帧图像的插入 位置上的点对称的两个帧(它们之间有内插帧)上平行移动。然后， 为该块中的每个^f象素计算位于这两个帧上的相应位置上的像素的^f象 素值之间的差分值，并判别差分值的累积总和的值。将SAD具有最 小值的方向判别为该块的运动矢量。
图3是示出了判别运动矢量的确定性的方法的实例的示意图。 图4是示出了根据图3的方法4丸行的内插帧生成i殳备10的处理过程 的流程图。在图3中，假设检测出的运动矢量被判别为(2Xa， 2Ya) (图4的4医Sl )。然后，判别部14通过利用以下方寿呈式(1 )来对 内插图像Pa [X, Y]的运动矢量的确定性(该矢量是否是正确的矢 量)进行判别(框S2)。
|PO[X-Xa， Y-Ya]-Pl[X + Xa， Y + Ya] |<Thl…(1 )
在方程式(1)中，右边的Thl是特定阈值。左边表示差分矢 量的绝对值。当将方程式(1 )用于检测出的运动矢量时，判别部 14判别4企测出的运动矢量是正确的，并通过利用该运动矢量生成内 插帧(框S3)。当方程式(1)不适用时，判别部14通知内插图1象
生成部13。 一旦接收到通知，内插图像生成部13就通过利用零运 动矢量生成内插帧(才匡S4)。
如上所述，才艮据上述实施例，将内插帧的在前帧和在后帧之间 的差分矢量的绝对值与特定阈值Thl进行比较，并将差分矢量的绝 对值小于阈值Thl的运动矢量判别为确定运动矢量。将上述条件不 适用的矢量判别为不确定运动矢量。然后，通过利用^皮判别为不确 定运动矢量的运动矢量生成内插帧。进一步地，当将运动矢量判别 为不确定运动矢量时，通过利用零运动矢量生成内插帧。才艮据上述 结构，在内插帧的生成过程中能够消除不确定运动矢量。因此，可 以提供一种不管运动矢量的检测准确性如何均能够防止图像损坏的 内 一翁帧生成方法和内4#帧生成i殳备。
本发明不局限于上述实施例。图5是示出了判别运动矢量的确 定性的方法的另一个实例的示意图。图6是示出了根据图5的方法 的内插帧生成设备IO的处理过程的流程图。在图5中，假设待判别 的冲企测出的运动矢量为(2Xa， 2Ya)(图6的才匡SIO)。然后判别部 14判别内插图像Pa [X, Y]的运动矢量的确定性。具体地，判别部 14通过检测图像Pa [X, Y]的像素的左边和右边的n个像素Pa [X，， Y，]是否匹配来判别内插图像Pa [X， Y]的运动矢量的确定性。在该 处理中，利用以下的方禾呈式(2)(才匡S20)。
|P0[X'-Xa,Y'-Ya]-Pl[X'+Xa,Y'+Ya]|<Th2 ... ( 2 )
在方程式(2)中，右边的Th2是特定阈值。左边表示差分矢 量的绝对值。内插图像生成部13判别方程式(2)所适用的周围像 素的凄t目Ct，并计算该凄史目的比率M (0《M< 1 )(斗匡S20)。然后， 内插图像生成部13根据该比率(匹配程度)M生成内插图像(框 30)。具体地，内插图像生成部13通过将利用检测出的运动矢量生 成的图像和利用零运动矢量生成的图像进行混合来生成内插帧。具
体地，内插图像生成部13基于以下方程式(3 )生成内插帧，其中， 通过利用检测出的运动矢量生成的内插图像是Pv [X， Y],通过利 用零运动矢量生成的内插图像是PvO [X, Y]。<formula>formula see original document page 12</formula>(3)
M不4又:帔用作匹配凄t目的比率，而且更大的一又重可以一皮分配结、 与对象像素直接相邻的像素，并且在待才企测的像素离开对象像素时，
该权重会逐渐下降。进一步地，尽管仅关于图5中的水平方向(X-轴)判别匹配程度，但是，也可以利用关于垂直方向(Y-轴)判别 的匹配禾呈度。进一步i也，可以关于整个块判别匹配禾呈度。
对于本领域的技术人员来说，将很容易发现其它优点和改进方 案。因此，本发明具有其更宽的范围，而并不局限于在此描述并示 出的特定细节和各个实施例。因此，在不背离由所附;f又利要求及其 等价物所限定的总体发明思想的精神和范围的情况下，可以进行多
种改进。
权利要求
1.一种内插帧生成方法，通过利用多个输入帧图像生成插在连续帧之间的新的内插帧，其特征在于，包括通过在所述输入帧图像之间的块匹配处理来检测帧图像中的对象的运动矢量(S1)；判别所述检测过程中所检测到的所述运动矢量的确定性，并基于所述判别的结果来判别确定运动矢量和不确定运动矢量(S2)；以及通过利用所述检测过程中所检测到的所述运动矢量生成所述内插帧(S3，S4)，其中，所述生成过程(S3，S4)是通过将在所述判别过程中被判别为不确定运动矢量的运动矢量的值设置为零来生成所述内插帧。
2. 才艮据^L利要求1所述的内插帧生成方法，其特4正在于，所述生成过程(S3, S4)是通过将基于在所述判别过程 中被判别为确定运动矢量的运动矢量生成的图像与基于在所 述判别过程中#皮判别为不确定运动矢量且其值^皮设置为零的 运动矢量生成的图^^结合，来生成所述内插帧。
3. 根据权利要求1所述的内插帧生成方法，其特征在于，所述判别过程(S2 )是将具有等于或大于特定阈值的值的 矢量判别为所述不确定运动矢量。
4. 4艮据权利要求1所述的内插帧生成方法，其特征在于，所述判别过程(S2 )是将待判别的运动矢量判别为所述不 确定运动矢量，其中，所述待判别的运动矢量与对应于所述待 判别的运动矢量的像素周围的多个像素的运动矢量的匹配比 率等于或小于特定阈值。
5. —种内插帧生成设备，通过利用多个输入帧图像生成插在连续 帧之间的新的内插帧，其特征在于，包括才企测部(12),用于通过在所述输入帧图像之间的块匹配 处理来才企测帧图^象中的对象的运动矢量；判别部(14 ),用于判别在所述纟企测部中所4全测到的运动 矢量的确定性，并基于所述判别的结果判别确定运动矢量和不 确定运动矢量；以及生成部(13)，用于通过利用所述才企测过禾呈中所4全测到的 运动矢量生成所述内插帧，其中，所述生成部(13 )通过将在所述判别过程中被判别为不确 定运动矢量的运动矢量的值设置为零来生成所述内插帧。
6. 根据权利要求5所述的内插帧生成设备，其特征在于，所述生成部(13 )通过将基于在所述判别过程中被判别为 确定运动矢量的运动矢量生成的图^象与基于在所述判别过程 中一皮判别为不确定运动矢量且其值一皮i殳置为零的运动矢量生 成的图像结合，来生成所述内插帧。
7. 根据权利要求5所述的内插帧生成设备，其特征在于，所述判别部(14)将具有等于或大于特定阈值的值的矢量 判别为所述不确定运动矢量。
8. 根据权利要求5所述的内插帧生成设备，其特征在于，所述判别部(14 )将4寺判别的运动矢量判别为所述不确定 运动矢量，其中，所述待判别的运动矢量与对应于所述待判别 的运动矢量的〗象素周围的多个4象素的运动矢量的匹配比率等 于或小于特定阔值。
全文摘要
根据一个实施例，通过利用多个输入帧图像生成插在连续帧之间的新的内插帧的内插帧生成方法包括通过在输入帧图像之间的块匹配处理来检测帧图像中的对象的运动矢量(S1)；判别检测过程中所检测到的运动矢量的确定性，并基于判别结果判别确定运动矢量和不确定运动矢量(S2)；以及通过利用检测过程中所检测到的运动矢量生成内插帧(S3，S4)。生成过程(S3，S4)是通过将在判别过程中被判别为不确定运动矢量的运动矢量的值设置为零来生成内插帧。
文档编号H04N5/14GK101193201SQ200710187110
公开日2008年6月4日 申请日期2007年11月14日 优先权日2006年11月28日
发明者佐藤考, 吉村博, 小川佳彦, 山崎雅也, 平山桂子, 庄野温夫, 滨川洋平, 道庭贤一 申请人:株式会社东芝