专利名称：移动矢量检测方法、图像处理装置、图像显示装置及程序的制作方法
技术领域：
本发明涉及检测表示映像的被摄体的移动的移动矢量的技术。
背景技术：
作为该技术，有将在时间轴上排列而构成映像的多个帧分别分割为多个块，检测各块的移动矢量的技术。该技术中，以块单位对帧进行扫描。通过该扫描，各块依次成为移动矢量的检测对象。即，移动矢量的检测按各块依次进行。作为该技术的一个，已知有对移动矢量的检测使用已检测出的移动矢量，从而提高准确的移动矢量的检测效率的技术(专利文献1)。
该技术中，在已检测出的移动矢量中利用与移动矢量的检测对象的块空间式或时间式相邻的块的矢量。空间式相邻的块是在与对象块相同的帧内与该块相邻的块。时间式相邻的块是与含有对象的块的帧相邻的帧内的、相当于该块的位置的块和与该块相邻的块。两者称作“相邻块”。一般的映像中，在块和相邻块之间准确的移动矢量大大不同是很少见的，因此准确的移动矢量的大多数成为空间式及时间式连续的移动矢量。从而根据该技术，能提高移动矢量的检测效率。
专利文献1特开平11-510937号公报专利文献1所述的技术中，根据对象的块的移动矢量的检测中使用的移动矢量和该块的移动矢量的连续性，该块的移动矢量的检测精度零散。对于该点，对构成从上空映射在网球场高速移动的球的映像的一个帧进行移动矢量的检测的情况为例进行说明。
此时，帧内的大多块群被网球场的静止图像占据，这些块群中包围的块群被高速移动的球的图像占据。在此，帧从左上向右下被扫描。此时，对象块反复进行从帧的左上端的块向右逐个移动，到达右端的块之后向下行的左端的块移动，向右逐个移动的移动。从而与对象的块相同的帧所包含的相邻块中，检测中使用移动矢量的块成为位于对象的块的上方的块及位于左方的块。
进一步，对象块是球的图像的块中，在帧内最初成为对象的块(以下为“顶部球块”)。在此，若球在帧内从上向下移动，则顶部球块的移动矢量的检测中使用移动矢量的帧内的相邻块中含有与球的移动相对应的移动矢量的块。从而提高顶部球块的移动矢量的检测精度。另一方面，若球在帧内从下向上移动，则顶部球块的移动矢量的检测中使用移动矢量的帧内的相邻块中含有的块仅成为与网球场的移动相对应的移动矢量即大小为零的移动矢量的块。从而顶部球块的移动矢量的检测精度显著降低。
发明内容
本发明鉴于上述问题而提出的，其目的在于，提供一种以稳定的精度有效地检测移动矢量的移动矢量检测方法、图像处理装置、图像显示装置及程序。
本发明的移动矢量检测方法，将在时间轴上排列而构成映像的多个帧分别分割为多个块，利用已检测出与该块相邻的另一块的移动矢量而检测对象的块的移动矢量，分别对所述多个帧依次进行扫描，在该各个帧中使所述对象的块从某一块向另一块依次迁移，从而进行针对该帧的扫描，所述移动矢量检测方法包括使所述对象的块从第一块向沿着第一方向接在该块之后的第二块迁移的步骤；和使所述对象的块从第三块向沿着与所述第一方向不同的第二方向接在该块之后的、与所述第二块相邻的第四块迁移的步骤。
以往的技术中移动矢量的检测精度零散是由于，相对于被摄体移动的方向任意，在帧的扫描中对象的块相互相邻的块之间迁移的方向(以下为“相邻迁移方向”)相同。详情如下。
移动矢量大多是通过被摄体跨过数帧移动而产生的。在此，将含有成为移动矢量的检测的对象的块的帧作为“目前帧”，其之前的帧作为“前帧”。此时，与对象的块空间式相邻的目前帧的块、及时间式相邻的前帧的块的移动矢量与对象的块的移动矢量相近的可能性高。从而若使用与对象的块相邻的块(相邻块)的已检测出的移动矢量，则即使在限定的处理负荷中也能良好地检测出准确的移动矢量。
在此，对象块中含有移动的被摄体。此时，若相邻块中对于含有对象块所含有的被摄体的前帧的块(称作“前有助大块”)，已检测移动矢量，则使用该移动矢量，能高精度地检测出对象块的移动矢量。另外，对于称作相当于前有助大块的目前帧的块(“目前有助大块”)，若已检测出移动矢量，则使用该移动矢量，能高精度地检测出对象的块的移动矢量。
由此，相邻块中，检测对象块的移动矢量之际，有利用价值高的前有助大块和目前有助大块，利用这些块的移动矢量检测移动矢量。但是存在前帧的块的移动矢量成为未检测的情况。是在前帧之前不存在帧的情况。此时，不能利用前有助大块的移动矢量。另一方面，即使前帧之前不存在帧也能检测出目前帧的块的移动矢量。但是目前有助大块的移动矢量并不限于事先检测。事先检测目前有助大块的移动矢量仅限于对象的块中含有的被摄体移动的方向、目前有助大块和对象块之间的扫描顺序(成为对象块的顺序)合致的情况。
目前有助大块并不限于一个，普遍成为多个。并且，即使是任意一个，若事先检测出目前有助大块的移动矢量，则移动矢量的检测精度变高。如假设网球场为例明确那样，目前有助大块大多密集存在，其存在位置从对象的块成为向某一方向前进的位置。但是，在相邻迁移方向一样的情况下，目前有助大块的移动矢量一个都未检测出的可能性变高。其结果，移动矢量的检测精度大大零散。
对此，根据上述的移动矢量检测方法，对象块向第二块移动的方向、和向与第二块相邻的第四块移动的方向不同。但是在含有第一～第四块的区域中相邻迁移方向不一样。从而目前有助大块的移动矢量一个都未检测出的可能性变低。从而抑制移动矢量的检测精度的零散，移动矢量的检测精度稳定。其效果在对象块的移动矢量的检测中使用的移动矢量限于目前帧内的块的移动矢量的情况下显著。另外，根据上述的移动矢量检测方法，对象块的移动矢量的检测中使用与该块相邻的块的已检测出的移动矢量，因此能有效地检测出准确的移动矢量。
由此，根据上述的移动矢量检测方法，能以稳定的精度有效地检测出移动矢量。
在移动矢量的检测中使用相邻块的已检测出的移动矢量时，若以低精度检测出某一块的移动矢量，则使用该移动矢量的相邻块的移动矢量的检测中有可能带来不良影响。该不良影响涉及的空间式及时间式的范围随着检测精度低而变大。根据上述的移动矢量检测方法，能降低目前有助大块的移动矢量一个都未检测出的可能性，即能降低移动矢量的检测精度显著下降的可能性，因此能使低精度中的移动矢量的检测的不良影响涉及的空间式及时间式的范围变窄。其效果与消耗至对全部的块检测出准确的移动矢量的帧显现为止的帧的数量的减少相结合。
作为以不同的方向进行扫描的方法，考虑为，针对一个帧以不同的方向进行多次扫描，按各块合成所检测出的多个移动矢量，求出移动矢量。但是，该方法中，应进行的检测的次数明显增加。对此，根据上述的移动矢量检测方法，可使针对一个帧的扫描的次数设为一次，因此不增加检测次数就能完成。即在上述的移动矢量检测方法中也有由现实的运算量完成的优点。
根据上述的移动矢量检测方法，以所述扫描一笔进行的方式进行所述扫描。将帧分割为矩阵状而得到全部的块的情况下，作为对一个帧进行扫描的方法，考虑例如对于帧的上半部分的行从左向右进行扫描，对于下半部分从右向左进行扫描的方法。该方法中，相邻迁移方向成为左右的两种类。另一方面，在上述的方式中，扫描一笔进行，因此相邻迁移方向成为下左右、上左右、上下左、上下右或上下左右的至少三种类。如上所述，根据该方式，能使相邻迁移方向的多样化的程度充分地变大。另外，扫描路径在帧内弯折几次，因此能进一步确保相邻迁移方向多样化的较宽的区域。此外，为了使相邻迁移方向为上下左右的四种类，例如将扫描进行为涡形状即可。
在上述的移动矢量检测方法中，各帧的分割以将块排列成一列而构成的线跨过多个列相邻的方式进行，以通过所述第二块及所述第四块的方式横切所述线，所述对象的块在所述第一方向迁移的块、和在与所述第一方向不同的方向迁移的块相邻且交替排列的直线存在的方式进行针对各帧的扫描。根据该方式，可使帧的相邻迁移方向的多样化的程度的偏向变小。
在上述的移动矢量检测方法中，所述第一及第二块为第一帧(前帧)的块，所述第三及第四块为与所述第一帧相邻地接在其之后的第二帧(目前帧)的块，以通过所述第二块及所述第四块地贯通帧，所述对象的块在所述第一方向迁移的块、和在与所述第一方向不同的方向迁移的块相邻且交替排列的直线存在的方式进行针对各帧的扫描。根据该方式，可使跨过多个帧的相邻迁移方向的多样化的程度的偏向变小。
根据上述的移动矢量检测方法中，所述第一块和所述第四块为相同的块。在该方式中，对象的块向第四块迁移的方向和从第四块迁移的方向不同。即在第四块中扫描路径弯折。作为被弯折的角度可采用的角度根据将帧分割为多个块的方式而不同。但是被弯折的是扫描路径，因此作为弯折的角度采用180度的方式不包含在本方式中。
本发明的图像处理装置，生成插补相邻的帧间的图像的移动的插补图像，所述图像处理装置包括检测电路，将在时间轴上排列而构成映像的多个帧分别分割为多个块，利用已检测出与该块相邻的另一块的移动矢量而检测对象的块的移动矢量，分别对所述多个帧依次进行扫描，在该各个帧中使所述对象的块从某一块向另一块依次迁移，从而进行针对该帧的扫描；和生成电路，利用由所述检测电路检测出的移动矢量，生成所述插补图像；所述检测电路包括使所述对象的块从第一块向沿着第一方向接在该块之后的第二块迁移的部件；和使所述对象的块从第三块向沿着与所述第一方向不同的第二方向接在该块的、与所述第二块相邻的第四块迁移的部件。
根据该图像处理装置，通过与关于上述的移动矢量检测方法所述的理由相同的理由，能以稳定的精度有效地检测出移动矢量，并且能使消耗至对于全部的块检测出准确的移动矢量的帧显现为止的帧的数量减少。另外，该图像处理装置中有基于与关于上述的移动矢量检测方法所述的理由相同的理由的优点、即以现实的运算量完成的优点。由此根据该图像处理装置，以现实的运算量从插补图像的生成的开始不久会生成高品质的插补图像。
本发明的图像显示装置，包括上述的图像处理装置；和电光学装置，发光特性或光的透过特性根据所赋予的电能而变化的多个电光学元件被排列成面状；使所述多个电光学元件的发光特性或光的透过特性根据由所述图像处理装置所生成的所述插补图像而变化，显示所述图像和该插补图像。
电光学元件中，作为发光特性通过所赋予的电能而变化的元件可列举OLED(Organic Light-Emitting Diode)元件或无机EL(ElectroLuminescent)元件、场(field)/发射(FE)元件、表面导电型发射(SESurface-conduction Electron-emitter)元件、弹道电子放出(BSBallisticelectron Surface emitting)元件、LED(Light Emitting Diode)元件等各种发光元件。作为光的透过特性由所赋予的电能而变化的元件，可列举液晶的像素或电泳显示器的像素等各种的、光的透过率由电能而变化的光阀像素。
根据该图像显示装置，由于具有上述的图像处理装置，因此以现实的运算量从插补像素的显示的开始不久能显示高品质的插补图像。
本发明的程序，使生成插补相邻的帧间的图像的移动的插补图像的图像处理装置执行检测步骤，将在时间轴上排列而构成映像的多个帧分别分割为多个块，利用已检测出与该块相邻的另一块的移动矢量而检测对象的块的移动矢量，分别对所述多个帧依次进行扫描，在该各个帧中使所述对象的块从某一块向另一块依次迁移，从而进行针对该帧的扫描；和生成步骤，利用在所述检测步骤中检测出的移动矢量，生成所述插补图像；所述检测步骤包括使所述对象的块从第一块向沿着第一方向接在该块之后的第二块迁移的步骤；和使所述对象的块从第三块向沿着与所述第一方向不同的第二方向接在该块的、与所述第二块相邻的第四块迁移的步骤。
根据该程序，通过与关于上述的移动矢量检测方法所述的理由相同的理由，能以稳定的精度有效地检测出移动矢量，并且能使消耗至对于全部的块检测出准确的移动矢量的帧显现为止的帧的数量减少。另外，该程序中有基于与关于上述的移动矢量检测方法所述的理由相同的理由的优点、即以现实的运算量完成的优点。由此根据该程序，以现实的运算量从插补图像的生成的开始不久会生成高品质的插补图像。
图1是表示本发明的各实施方式的图像显示装置1的构成的图；图2是用于说明基于构成图像显示装置1的插补图像生成电路15的插补图像数据的生成的图；图3是用于说明基于构成图像显示装置1的移动矢量运算电路14的移动矢量的检测的概略的图；图4是用于说明一般的扫描的方向的图；图5是表示限制检索的一例的图；图6是用于说明一般的扫描的问题点的图；图7是用于说明相邻迁移方向一样的情况下的问题点的图；图8是表示基于本发明的第一实施方式的移动矢量运算电路14A的扫描的方向的图；图9是本发明的第一实施方式的移动矢量检测处理的流程图；图10是表示基于移动矢量运算电路14A的移动矢量的检测的样子的图；图11是表示本发明的第一实施方式的变形例的扫描路径的图；图12是表示本发明的第一实施方式的另一变形例的扫描路径的图；图13是表示基于本发明的第二实施方式的移动矢量运算电路14B的扫描方向的图；图14是本发明的第二实施方式的移动矢量检测处理的流程图；图15是表示将图像显示装置作为显示装置而采用的移动型的个人计算机的构成的图；图16是表示将图像显示装置1作为显示装置而采用的便携电话机的构成的图；图17是表示将图像显示装置1作为显示装置而采用的便携信息终端的构成的图。
图中1(1A、1B)-图像显示装置；10(10A、10B)-图像处理装置；14(14A、14B)-移动矢量运算电路；15-插补图像生成电路；20-电光学装置。
具体实施例方式
参照
本发明的适宜的实施方式。说明的实施方式为第一～第二这两个。在各图的符号中，“A”～“B”分别意味着与第一～第二实施方式对应的符号。以下的说明中，首先说明各实施方式共同的部分，接着依次说明各实施方式固有的部分。
各实施方式共同的部分图1是表示本发明的各实施方式的图像显示装置1(1A，1B)的构成的图。图像显示装置1是输入帧频率为60Hz的低帧频率映像，将该低帧频率映像通过帧插补变换为帧频率为120Hz的高帧频率映像而显示的装置，具备图像处理装置10(10A、10B)及电光学装置20。图像处理装置10输入低帧频率映像的映像数据D1，将映像数据D1通过帧插补变换为高帧频率映像的映像数据D2，并输出。映像数据D1及D2的帧是相同的尺寸。
电光学装置20是发光特性或光的透过特性由所赋予的电能而变化的多个电光学元件被排列成面状的整步(hold)型显示装置，输入从图像处理装置10输出的映像数据D2，使多个电光学元件的发光特性或光的透过特性根据映像数据D2来变化，从而显示映像数据D2的映像。电光学元件是例如OLED元件等的发光元件。
整步型显示装置中，由于图像中含有的被摄体的移动和追随它的观察者的视点的移动的偏差的缘故，产生由观察者知觉的被摄体的轮廓不明确的现象(以下称作“动画模糊”)。作为用于解决该动画模糊的方法，有无需将各发光元件的灰度跨过帧期间的全长而维持，如代表CRT(CathodeRay Tube)的脉冲型的显示装置那样使各发光元件间歇地发光的方法。但是若在使各发光元件发光的各期间有间隔，则称作图像整体的亮度周期地变动的闪光(flicker)的现象显著。在此，本发明的各实施方式中，通过帧插补提高映像的帧频率，从而防止动画模糊及闪光。
图像处理装置10具备输入缓冲器11、目前帧缓冲器12、前帧缓冲器13、移动矢量运算电路14(14A、14B)、插补图像生成电路15及映像合成电路16。输入缓冲器11输入映像数据D1，以帧单位输出。目前帧缓冲器12保持从输入缓冲器11输出的最新的帧即目前帧的图像数据。在该保持的开始之前，前帧缓冲器13开始保持在目前帧缓冲器12中的图像数据的保持。即在前帧缓冲器13中保持前帧的图像数据。
移动矢量运算电路14，通过使用目前帧的图像数据和前帧的图像数据的运算，检测表示从前帧到目前帧的被摄体的移动的矢量。插补图像生成电路15生成插补图像数据并输出。移动矢量运算电路14及插补图像生成电路15通过DSP(数字/信号/处理)，或计算机执行与各实施方式相对应的程序来实现。
由插补图像生成电路15生成的插补图像数据是表示插入在前帧和目前帧的中间的中间帧的图像(以下称作“插补图像”)的数据。该插入用于插补映像中的被摄体的移动，插补图像数据的生成中需要移动补偿。并且在本发明的各实施方式中，使用由移动矢量运算电路14检测出的移动矢量和目前帧的图像数据，生成插补图像数据。映像合成电路16交替输出按每1/60秒更新的前帧的图像数据、和按每1/60秒生成的插补图像数据。由此输出映像数据D2。在映像数据D2中，在映像数据D1的相邻帧中间存在插补图像数据的帧。
图2是用于说明基于插补图像生成电路15的插补图像数据的生成的图。该例子中，在帧插补前的映像中相邻的第N-1帧和第N帧中间插入在插补图像生成电路15中生成的第N-1/2帧。如图所示，为了插补映像中的被摄体的移动，应以帧内的被摄体G1位于表示第N-1帧和第N帧之间的被摄体G1的移动的直线上的方式生成第N-1/2帧的插补图像数据。即上述的直线或准确地检测将该直线投影到帧而得到的移动矢量十分重要。
图3是用于说明基于移动矢量运算电路14的移动矢量的检测的概略的图。该检测通过公知的块匹配法来进行。块匹配法中，例如在检测表示从前帧到目前帧的被摄体的移动的移动矢量时，将前帧分割为相同的形状及尺寸的多个块，对各块检测移动矢量。各块的检测中，在目前帧中进行依次特定与该块相同的形状及尺寸的区域的检索，且对该块的图像和所特定的区域的图像进行比较，基于比较结果特定该块的移动矢量。该比较及特定的方法为任意。例如特定将对应的位置的像素值的差分的绝对值对全部的像素合计之后的绝对差分和变为最小的一个区域，将该区域的中心点作为终点，将处理对象的块(以下为“对象块”)的中心点作为始点的矢量特定为移动矢量。另外，例如对所对应的位置的像素的值相等的像素的数量进行计数，特定计数值最高的一个区域，将该区域的中心点作为终点，将对象块的中心点作为始点的矢量特定为移动矢量。此外，对所特定的区域的上述绝对差分低于规定的基准值时，或上述计数值在规定的基准值以上时，使移动矢量为未定。
图3示出了检测表示从第N-1帧到第N帧的被摄体G2的移动的移动矢量的例子。该例子中，在第N帧内每次将区域移动一像素或多个像素，从而进行区域的检索。并且，最终特定区域R。图3中示出了由此得到的移动矢量MV1映射在假设的图即矢量图上的情况。该矢量图是将第N-1帧和第N帧重叠而得到的，各块的中心点与该块的移动矢量的始点一致。如图所示，移动矢量MV1表示被摄体G2的移动。这是因为被摄体G2的一部分被包含在块FB1中。
作为上述的检索，一般有广域检索和限制检索(变动量限制检索)。广域检索是检索范围宽的检索。由于检索范围宽，因此能检测大量变化的移动矢量，但是由于像素的比较次数多，因此处理量变多。限制检索是检索范围窄的检索。由于检索范围窄，因此能检测出大量变化的移动矢量，但是由于图像的比较次数少，因此能减少处理量。移动矢量运算电路14不进行广域检索而进行限制探索。
限制检索是基于在相邻的块之间被摄体的移动大大不同的可能性低的思想的检索，参照相邻块的已检测出的移动矢量特定检索范围，从而即使在窄的检索范围内也能进行高精度的移动矢量的检测。从而若进行限制检索，则必须存在已检测出移动矢量的相邻块。这是通过将各帧以块单位依次进行扫描而达成的。
图4是用于说明一般的扫描的方向的图。如图所述，一般的扫描将块的行方向即左右方向作为主扫描方向，将块的列方向即上下方向作为副扫描方向，从左上向右下进行。左右方向的处理根据列编号以上升顺序进行，上下方向的处理根据行编号以上升顺序进行。具体而言，对象块从第一行第一列块迁移到第一行第二列块，接着迁移到第一行第三列块，、、、接着迁移到第一行第七列块，接着迁移到第二行第一列块，接着迁移到第二行第二列块，、、、最后迁移到第六行第七列块。
图5是限制检索的一例子的图。该图的例子示出了窄上述的一般的扫描下，检测第N-1帧到第N帧的块FB3的移动矢量时的情况。此时已检测出第N帧内的四个相邻块的移动矢量(包含移动矢量MV2)。从而参照它，能决定用于确定检索范围的代表矢量MV2′。从四个移动矢量确定代表矢量的方法是任意的。另外，应参照移动矢量，相同的帧内的相邻块的数量不限于四个。
另一方面，由于已检测出第N-1帧内的六个相邻块的移动矢量(含有移动矢量MV3)，因此能参照它决定代表矢量MV3′。从六个移动矢量决定代表矢量的方法是任意的。另外，应参照移动矢量，相邻帧内的相邻块的数量并不限于六个。
接着，求出以相当于块FB3的中心点FP3的第N-1帧内的点FP4成为始点的方式配置代表矢量MV2′及代表矢量MV3′时的终点的位置，特定以各位置为中心的检索范围SA2。检索范围SA2比一个块其纵横均宽1～3像素。此外，图5为一例子，代表矢量的数量不限于两个，检索范围的宽度不限于上述的宽度。
图6是用于说明一般的扫描的问题点的图。该图中所述的目前帧是在映像中显现在第二的帧。从而已检测出移动矢量的块限于目前帧内的块。另外，该目前帧分割为6行7列的块，第3行第4列的块成为对象块FB2。该目前帧中，对象物G3跨过第3～第5行第4列的3个块而存在。对象物G3在前帧中跨过第3～5行第5～6列的6个块而存在。
如上所述，一般的扫描中，块的行方向成为主扫描方向，列方向成为副扫描方向，从左上向右下进行。从而同一帧内相互相邻的块间的对象块的迁移方向即相邻迁移方向在帧中仅成为从左到右的一个方向。即，帧中的迁移方向相同。在这样的扫描中，目前帧内的相邻块中已检测出移动矢量是限于图中上方的3个块及图中左方的1个块。从而，对象块FB2的移动矢量的检测中，这些块成为参照块RB1，参照其移动矢量。参照块RB1中不存在移动的某一被摄体，因此移动矢量的大小均变为零。从而，基于参照块RB的移动矢量特定的、前帧内的检索范围SA3不可能检测出准确的移动矢量。
图7是用于说明相邻迁移方向相同的情况下的问题点的图。该图的例子与图6的例子不同的点仅仅如下将上下方向作为主扫描方向，将左右方向作为副扫描方向，从右上向左下进行扫描。图7的例子中，目前帧内的相邻块中已检测出移动矢量是限于图中右方的3个块及图中上方的1个块。从而对象块FB2的移动矢量的检测中，这些块成为参照块RB2，参照其移动矢量。参照块RB2中存在移动的某一被摄体G3，因此其移动矢量与被摄体G3的移动相对应。从而基于参照块RB2的移动矢量特定的、前帧内的检索范围SA4能检测出准确的移动矢量。
但是图7的例子中，能检测出准确的移动矢量只是偶然而已。例如，若对象物G3向反方向移动，则移动矢量的检测精度明显降低。这样的检测精度的显著的零散的原因是因为相邻迁移方向相同。与对象块相同的帧内的相邻块中，相当于含有在对象块内含有的被摄体的前帧的块的目前有助大块经常密集，因此若相邻迁移方向相同，则一个都不能检测出目前有助大块的移动矢量的可能性变高，检测精度显著下降的可能性变高。这在不能使用前帧的块的已检测出移动矢量的情况下，具体而言第二帧为目前帧的情况下较显著。
限制检索之下，若对象块的移动矢量的检测精度零散，则其不良影响不仅涉及到目前帧和前帧之间的插补图像的品质，也涉及到后面继续的很多的插补图像的品质，不能消除移动画面的模糊，也有可能产生新的问题。在此，本发明的各实施方式中，进行限制检索的移动矢量运算电路14进行不同的相邻迁移方向的扫描，也抑制检测精度的零散。
(第一实施方式)图8是表示基于本发明的第一实施方式的移动矢量运算电路14A的扫描路径的图。如图所示，本实施方式中，帧分割为6行7列的块。以将帧内的全部的块一笔追寻的方式确定图中的扫描路径，对象块的迁移目的地的块必须与迁移源的块相邻，另外，在该扫描路径中，除去最初的块、第2行第7列的块、第3行第7列的块、第4行第1列的块、第5行第1列的块及最后的块的36个块中，对象块迁移过来的方向和迁移过去的方向不同。具体而言，这些块上扫描路径垂直地弯折。
图9是本发明的第一实施方式的移动矢量检测处理的流程图。移动矢量检测处理是检测一个帧量的移动矢量的处理。移动矢量运算电路14A进行移动矢量检测处理是因为在前帧缓冲器13保持前帧的图像数据，所以第二帧成为目前帧。
如图所示，移动矢量运算电路14A首先将前帧分割为多个块(步骤201)。实际上设定一个帧中含有的块的行数(具体为6个)及列数(具体为7个)。此外，通常行数及列数不变，因此无需按每个帧进行其设定，也可以只对最初的帧进行。接着移动矢量运算电路14A使最初的块成为对象块(步骤202)。例如在规定的存储区域，作为行编号写入1，作为列编号写入1，从而进行。
接着移动矢量运算电路14A通过限制检索，检测对象块的移动矢量(步骤203)。接着判断对象块是否为最终块(步骤204)。该判断通过例如对存储在上述规定的存储区域的行编号和6，列编号和7进行比较二进行，其结果在两个比较结果一致时变为肯定。若该判定的结果为否定，则移动矢量运算电路14A使图8的扫描方向的下一个块为对象块(步骤205)。即，使对象块迁移到下一个块。具体而言，更新上述的规定的存储区域的行编号或列编号。并且，处理返回到步骤203，以下反复进行步骤203～205的处理。在该反复处理中，反复更新上述的规定的存储区域的行编号及列编号。进行这样的更新，以基于移动矢量运算电路14A的扫描路径变为图8所示的路径。步骤203～205的处理的反复结束，移动矢量检测处理结束的情况是步骤204的判定的结果变为肯定的情况。
图10是表示基于移动矢量运算电路14A的移动矢量的检测的样子的图。该图中的例子基于与图6及图7的例子相同的映像及相同的帧。图10的例子中，目前帧内的相邻块中，已检测出移动矢量的是图中右方的3个块、图中上方的一个块及图中下方的一个块。从而对象块FB2的移动矢量的检测中，这些块成为参照块RB3，参照其移动矢量。参照块RB3中存在移动的某一被摄体G3，因此其移动矢量与被摄体G3的移动相对应。从而，基于参照块RB3的移动矢量而特定的、前帧内的检索范围SA5能检测出准确的移动矢量。
如上所述，基于移动矢量运算电路14A的扫描中，从第一块(例如，第3行第6列的块)向第2块(例如，第3行第5列的块)的迁移方向、和从第3块(例如，第4行第4列的块)向与第2块相邻的第4块(例如，第3行第4列的块)的迁移方向不同。从而含有第1～第4块的区域中相邻迁移方向不同。因此已检测出目前有助大块(例如图10的第3行第5列的块)的可能性变高。从而抑制移动矢量的检测精度的零散，移动矢量的检测精度稳定。
另外，根据移动矢量运算电路14A，已检测出目前有助大块的可能性变高，因此第2帧为目前帧时，即对象块的移动矢量的检测中使用的移动矢量限于目前帧内的块的移动矢量时，能降低移动矢量的检测精度显著下降的可能性。从而减少消耗至显现对全部的块检测出准确的移动矢量的帧的帧数。
另外，根据移动矢量运算电路14A，一笔追寻帧内的全部的块而进行帧的扫描，因此扫描路径在帧内弯折几次。具体而言，36个块的每一个中垂直地弯折。因此能大大确保相邻迁移方向的多样化的程度及相邻迁移方向不同的区域。具体而言，相邻迁移方向成为上下左右的4个方向，相邻迁移方向不同的区域跨过整个帧。另外，根据移动矢量运算电路14A，进行限制检索，针对一个帧的扫描的次数为一次。从而能以现实的运算量有效地检测出移动矢量。
在此，假设变形本实施方式而得到的、对于帧的上半部分的行从左向右进行扫描，对于下半部分的行从右向左进行扫描的装置。该装置中，相邻迁移方向在上半部分和下半部分的边界附近多样化，但是在其他区域中不是多样化。即，多样化的程度大大偏向。对此，基于移动矢量运算电路14A的扫描中，横切行或列的某一直线中，对象块以特定的方向迁移的块和以与特定的方向不同的方向迁移的块相邻且交替排列。例如着目于第3列的块，则相邻迁移方向在第1行中为右，第2行中为下，第3行中为左，第4行中为下，第5行中为右，第6行中为下。如上所述，根据移动矢量运算电路14A，能使多样化的程度的空间的偏向变小。这有助于减少消耗至显现对全部的块检测出准确的移动矢量的帧的帧数。
图11及图12是表示任意的本发明的第一实施方式的变形例的扫描路径的图。如图所示，对第一实施方式进行变形，使扫描进行为涡形状，使扫描进行为コ字状。另外，例如也可以将所述的扫描路径向反方向追寻而进行扫描，也可以作成如扫描向右方向进行的行和向左方向进行的行交替排列的扫描路径，也可以作成如扫描向下方向进行的列和向上方向进行的列交替排列的扫描路径。
由此，根据图像处理装置10A，具备移动矢量运算电路14A；使用由移动矢量运算电路14检测出的移动矢量而生成插补图像数据的插补图像生成电路15；因此以现实的运算量能生成比不具有移动矢量运算电路14A的图像处理装置还要高的品质的插补图像数据。另外，根据图像处理装置10A，输入帧频率为60Hz的映像数据D1，从该映像数据D1生成高品质的插补图像数据，进行帧插补，能生成帧频率为120Hz的映像数据D2。即，通过不具有移动矢量运算电路14的图像处理装置能生成比从映像数据D1生成的120Hz的映像数据还要高的品质的映像数据D2。
另外，图像显示装置1A具备图像处理装置10A；输入由图像处理装置10A生成的插补图像数据，显示由该数据表示的插补图像的电光学装置20；因此以现实的运算量能显示比不具有图像处理装置10A的图像显示装置还要高品质的插补图像。另外，图像显示装置1A中，将映像数据D1输入而显示的映像使用映像数据D2。映像数据D2的品质如上所述，因此根据图像显示装置1A，不具有图像处理装置10A的图像显示装置能显示比输入映像数据D1而显示的映像还要高品质的映像。从而能防止移动画面模糊及闪光。
(第二实施方式)图13是表示基于本发明的第二实施方式的移动矢量运算电路14B的扫描路径的图。如图所述，基于矢量运算电路14B的扫描路径在偶数号的成为目前帧的偶数帧和奇数号的成为目前帧的奇数帧中不同。偶数帧中的扫描路径与基于第一实施方式的矢量运算电路14A的扫描路径相同，但是奇数帧中的扫描路径与偶数帧中的扫描路径成为反方向。以下，将偶数帧中的扫描路径的方向称作“正方向”，将奇数帧中的扫描路径的方向称作“反方向”。
图14是本发明的第二实施方式的移动矢量检测处理的流程图。如图所述，移动矢量运算电路14B首先判定目前帧是否为偶数帧(步骤301)，若为偶数帧则将正方向的扫描路径、和若为偶数帧则将反方向的扫描路径作为目前帧的扫描路径采用(步骤302或303)。以下的处理与图9的步骤201～205的处理相同(步骤304～308)。但是步骤305、307及308的各处理的内容与所采用的扫描路径相对应。
如上所述，根据移动矢量运算电路14B、图像处理装置10B或图像显示装置1B，得到与通过第一实施方式的移动矢量运算电路14A、图像处理装置10A或图像显示装置1A而得到的效果相同的效果。另外，根据移动矢量运算电路14B，目前帧中对象块迁移到某一块(以下为“块A”)的方向、和在前帧中对象块迁移到相当于块A的块(以下为“块B”)的方向成为反方向，因此跨过多个帧而进行比较的情况下，相邻迁移方向的多样化的程度大于第一实施方式的多样化的程度。另外，在基于移动矢量运算电路14B的处理中，在贯通多个帧的某一直线中，对象块在特定的方向迁移的块和在与特定的方向不同的方向迁移的块相邻而交替排列。从而根据移动矢量运算电路14B，能减少多样化的程度的时间式的偏向。这有助于减少消耗至显现对全部的块检测出准确的移动矢量的帧的帧数。
对于本实施方式，可以进行与针对第一实施方式的变形相同的变形。另外，本实施方式中，扫描路径在偶数帧和奇数帧中成为反方向，但是并不局限于此。例如也可以将偶数帧中的扫描的相邻迁移方向仅作为下方向，将奇数帧中的扫描的相邻迁移方向仅作为右方向。另外，也可以对本实施方式进行变形，使对象块迁移的方向在块A和块B之间一致，在块A和在前帧中与块B相邻的块之间不同。
另外，在上述的各实施方式中，将帧及块的形状作成长方形，将帧分割为矩阵状，但是这只不过是例子而已。另外，也可以对上述的各实施方式进行变形，在插补图像数据生成中仅使用前帧，或使用前帧及目前帧。另外，也可以将帧频率提高为3倍以上。另外，也可以不变更帧频率而延长映像的长度。
(应用例子)接着说明适用图像显示装置1的电子设备。
图15是表示将上述的图像显示装置1作为显示装置而采用的移动型的个人计算机的构成的立体图。个人计算机2000具备图像显示装置1和主体部2010。在主体部2010设置有电源开关2001及键盘2002。该图像显示装置1的显示盘30在电光学元件中使用OLED元件，因此能显示视场角宽的显而易见的画面。
图16示出了适用图像显示装置1的便携电话机的构成。便携电话机3000具备多个操作按钮3001及滚动按钮3002及作为显示装置的图像显示装置1。通过操作滚动按钮3002，而滚动显示在图像显示装置1的显示盘30中的画面。
图17示出了适用图像显示装置1的便携信息终端(PDAPersonalDigital Assistans)的构成。信息便携终端4000具备多个操作按钮4001及电源开关4001及作为显示装置的图像显示装置1。若操作电源开关4002，则地址或日程表等各种信息显示在图像显示装置1的显示盘30中。
此外，作为适用本发明的图像显示装置1的电子设备，除了在图15到图17所示之外，还可列举可显示电视或摄像机等的映像的设备。另外，作为适用本发明的图像处理装置10的电子设备，除了在图15到图17中所示之外，还可列举能输出电视或摄像机、映像唱机(video player)等的映像数据的设备。
权利要求
1.一种移动矢量检测方法，将在时间轴上排列而构成映像的多个帧分别分割为多个块，利用已检测出与该块相邻的另一块的移动矢量而检测对象的块的移动矢量，分别对所述多个帧依次进行扫描，在该各个帧中使所述对象的块从某一块向另一块依次迁移，从而进行针对该帧的扫描，包括使所述对象的块从第一块向沿着第一方向接在该块之后的第二块迁移的步骤；和使所述对象的块从第三块向沿着与所述第一方向不同的第二方向接在该块之后的、与所述第二块相邻的第四块迁移的步骤。
2.根据权利要求1所述的移动矢量检测方法，其特征在于，以所述扫描一笔进行的方式进行所述对象的块的迁移。
3.根据权利要求1所述的移动矢量检测方法，其特征在于，以将块排成一列构成的线跨过多个列而相邻的方式进行各帧的分割，以通过所述第二块及所述第四块地横切所述线，所述对象的块在所述第一方向迁移的块、和在与所述第一方向不同的方向迁移的块相邻且交替排列的直线存在的方式进行针对各帧的扫描。
4.根据权利要求1所述的移动矢量检测方法，其特征在于，所述第一及第二块为第一帧的块，所述第三及第四块为与所述第一帧相邻地接在其之后的第二帧的块，以通过所述第二块及所述第四块地贯通帧，所述对象的块在所述第一方向迁移的块、和在与所述第一方向不同的方向迁移的块相邻且交替排列的直线存在的方式进行针对各帧的扫描。
5.根据权利要求1所述的移动矢量检测方法，其特征在于，所述第一块和所述第四块为相同的块。
6.一种图像处理装置，生成插补相邻的帧间的图像的移动的插补图像，包括检测电路，将在时间轴上排列而构成映像的多个帧分别分割为多个块，利用已检测出与该块相邻的另一块的移动矢量而检测对象的块的移动矢量，分别对所述多个帧依次进行扫描，在该各个帧中使所述对象的块从某一块向另一块依次迁移，从而进行针对该帧的扫描；和生成电路，利用由所述检测电路检测出的移动矢量，生成所述插补图像，所述检测电路包括使所述对象的块从第一块向沿着第一方向接在该块之后的第二块迁移的部件；和使所述对象的块从第三块向沿着与所述第一方向不同的第二方向接在该块的、与所述第二块相邻的第四块迁移的部件。
7.一种图像显示装置，包括权利要求6所述的图像处理装置；和电光学装置，发光特性或光的透过特性根据所赋予的电能而变化的多个电光学元件被排列成面状，使所述多个电光学元件的发光特性或光的透过特性根据由所述图像处理装置所生成的所述插补图像而变化，显示所述图像和该插补图像。
8.一种程序，使生成插补相邻的帧间的图像的移动的插补图像的图像处理装置执行检测步骤，将在时间轴上排列而构成映像的多个帧分别分割为多个块，利用已检测出与该块相邻的另一块的移动矢量而检测对象的块的移动矢量，分别对所述多个帧依次进行扫描，在该各个帧中使所述对象的块从某一块向另一块依次迁移，从而进行针对该帧的扫描；和生成步骤，利用在所述检测步骤中检测出的移动矢量，生成所述插补图像；所述检测步骤包括使所述对象的块从第一块向沿着第一方向接在该块之后的第二块迁移的步骤；和使所述对象的块从第三块向沿着与所述第一方向不同的第二方向接在该块的、与所述第二块相邻的第四块迁移的步骤。
全文摘要
图像处理装置(10)具备移动矢量运算电路(14)；使用由移动矢量运算电路(14)检测出的移动矢量而生成插补图像的插补图像生成电路(15)。移动矢量运算电路(14)，将多个帧分别分割为多个块，使用已检测出与该块相邻的块的移动矢量而检测对象的块的移动矢量，依次对各帧进行扫描，各帧中使对象的块从某一块向另一块依次迁移，而进行针对该帧的扫描。移动矢量运算电路(14)使对象的块从第一块向沿着第一方向接在该块之后的第二块迁移，并且从第三块向沿着与第一方向不同的第二方向接在该块的、与第二块相邻的第四块迁移。从而以稳定的精度有效地检测出移动矢量。
文档编号H04N5/14GK1984239SQ20061016696
公开日2007年6月20日 申请日期2006年12月13日 优先权日2005年12月14日
发明者新井义雄, 池上富雄 申请人:精工爱普生株式会社