专利名称：图像处理装置和方法以及图像显示装置和方法
技术领域：
本发明涉及图像处理装置和方法以及图像显示装置和方法。本发明特别涉及向图像的帧之间插入新的插值帧的帧插值处理。
背景技术：
液晶显示器等维持型显示器在I帧期间内持续显示相同图像，在图像中的物体运动的情况下，人眼对于运动物体的追踪是连续移动的，与此相对，由于物体的移动表现为以I帧为单位的不连续移动，因此，存在边缘部分看起来模糊的问题。与此相对，可考虑通过对帧进行插值而增多显示帧数，使物体的移动变得顺畅。并且，关于将电影等的胶片视频转换成电视信号的素材，由于两者(胶片视频与电视信号)的帧频的差异，成为由同一帧制作出2帧或3帧的图像信号，如果直接进行显示，则存在运动模糊或者产生运动不平滑(jerky)这样的抖动(judder)的问题。并且，同样地，关于将进行计算机处理后的视频转换成电视信号的素材，也成为由同一帧制作出2帧的图像信号，如果直接进行显示，则同样存在产生抖动的问题。作为现有的图像处理装置和方法，已知有利用与前一帧的帧相同的图像对插值帧进行插值的零阶保持法、利用前一帧的图像与后一帧的图像的平均图像对插值帧进行插值的平均值插值法等，但是，关于零阶保持法，对于在一定方向上运动的图像，不进行平滑的移动，因此，依然没有解决维持型显示器的模糊问题。并且，平均值插值法存在运动的图像成为重影图像的问题。作为其改善策略，根据 相对于插值帧的插值像素处于点对称位置的时间上靠前的帧上的像素与时间上靠后的帧上的像素的像素之间相关性最大的像素，生成插值帧的插值像素(例如参照专利文献I)。在该方法中，由于进行像素单位的相关性检测，因此，有时虽然图像内容不同，但是也检测为像素之间的相关性较大，有时无法正确生成插值帧。专利文献I日本特开2006-129181号公报(第8页、第3图)现有的帧插值处理如上所述那样构成，存在运动模糊或者产生运动不平滑这样的抖动的问题。并且，在检测像素单位的相关性的方法中，由于无法正确进行相关性检测而无法正确生成插值帧，特别是在进行插值的帧前后物体时隐时现的情况下，存在插值帧显著紊乱这样的问题、以及帧插值处理的运算量较多(在硬件上，电路规模较大)这样的问题。
发明内容
本发明的图像处理装置在输入图像的当前帧与所述当前帧前一帧的帧即第I延迟帧之间插入插值帧，其特征在于，该图像处理装置具有:运动矢量检测部，其参照所述第I延迟帧的数据和所述当前帧前二帧的帧即第2延迟帧的数据，计算从所述第2延迟帧到所述第I延迟帧的第I运动矢量，参照所述当前帧的数据和所述第I延迟帧的数据，计算从所述当前帧到所述第I延迟帧的第2运动矢量；运动矢量转换部，其将所述第I运动矢量转换成从所述第I延迟帧到所述插值帧的第3运动矢量，将所述第2运动矢量转换成从所述当前帧到所述插值帧的第4运动矢量；以及插值帧生成部，其根据所述第3运动矢量、所述第4运动矢量、所述第I延迟帧的数据和所述当前帧的数据，生成所述插值帧的数据，输出将所述插值帧的数据插入到所述当前帧的数据与所述第I延迟帧的数据之间后的图像数据，所述运动矢量检测部设定与所述插值帧的插值对象块对应的、所述第I延迟帧内的块，作为处理对象块，生成多个测试插值数据，该多个测试插值数据包含由构成所述第2延迟帧的一部分的块的数据和构成所述当前帧的一部分的块的数据的每个像素的平均值构成的第I组测试插值数据、由构成所述当前帧的一部分的块的数据构成的第2组测试插值数据、由所述第2延迟帧的块数据构成的第3组测试插值数据，所述运动矢量检测部对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，生成与相关性最强的所述测试插值数据对应的运动矢量作为第I运动矢量和第2运动矢量中的至少一方，所述第I组测试插值数据是根据所述第2延迟帧的多个块和所述当前帧的多个块而得到的，所述第2组测试插值数据是根据所述当前帧的多个块而得到的，所述第3组测试插值数据是根据所述第2延迟帧的多个块而得到的。根据本发明，设时间上连续的3个帧的中心帧为最准确的帧，对从时间上靠前的帧和靠后的帧到中心帧的运动矢量进行评价，由此，能够计算高精度的运动矢量，因此，能够内插插值帧而不会导致图像紊乱。进而，在进行插值的帧前后物体时隐时现的情况下，也能够内插插值帧而不会导致图像紊乱。
图1是示出本发明的实施方式I的图像显示装置的结构的框图。图2是示出图1的运动矢量检测部12内的测试插值部4的具体例的框图。图3是示出图1的运动矢量2内的插值数据评价部5和运动矢量决定部6的具体例的框图。图4是用于说明图1的运动矢量检测部12的动作的图。图5是用于说明图1的运动矢量转换部13和插值帧生成部14的动作的图。图6是用于说明图1的运动矢量转换部13和插值帧生成部14的动作的图。图7是用于说明图1的运动矢量转换部13和插值帧生成部14的动作的图。图8是示出当前帧、第I延迟帧和第2延迟帧的每个帧中的图像的例子的图。图9是示出缩小图8所示的输入图像后的图像数据的具体例的图。图10是示出位于以第I缩小延迟帧SFl上的处理对象块为中心而点对称的位置的第2缩小延迟帧SF2和当前缩小帧SR)中的2对块的图。图11是示出基于图10的2对块中的一对数据的测试插值数据的生成的图。图12是示出基于图10的2对块中的另一对数据的测试插值数据的生成的图。图13是示出基于当前缩小帧SR)上的一个块的数据的测试插值数据的生成的图。图14是示出基于当前缩小帧SR)上的另一个块的数据的测试插值数据的生成的图。图15是示出基于第2缩小延迟帧SF2上的一个块的数据的测试插值数据的生成的图。图16是示出基于第2缩小延迟帧SF2上的另一个块的数据的测试插值数据的生成的图。图17是用于说明图1的运动矢量放大部7的动作的具体例的图。图18的(a)和(b)是用于说明图1的运动矢量转换部13的动作的具体例的图。图19是用于说明图1的插值帧生成部14的动作的具体例的图。图20是示出在通过软件实现本发明的图像处理的情况下利用的由计算机系统构成的图像处理装置的框图。图21是示出本实施方式的图像显示装置的处理工序的流程图。标号说明2:图像缩小部；3:块切出部；4:测试插值部；5:插值数据评价部；6:运动矢量决定部；7:运动矢量放大部；10:图像处理装置；11:帧存储器；12:运动矢量检测部；13:运动矢量转换部；14:插值帧生成部；15:图像显示部；21:当前帧图像缩小部；22:第I延迟帧图像缩小部；23:第2延迟帧图像缩小部；31:当前帧块切出部；32 第2延迟帧块切出部；33:第I延迟帧块切出部。
具体实施例方式下面，根据附图对本发明的实施方式进行说明。本发明的图像处理装置通过插值而在构成输入动态图像的帧列中的当前帧与当前帧前一帧的帧之间生成新的插值帧，本发明的图像显示装置具有显示从 上述图像处理装置输出的图像数据的图像显示部。实施方式I图1是示出本发明的实施方式I的图像显示装置的结构的图。实施方式I的图像显示装置具有图像处理装置10和图像显示部15，图像处理装置10具有帧存储器11、运动矢量检测部12、运动矢量转换部13、插值帧生成部14和图像显示部15。该图像处理装置例如能够构成广播接收装置、图像记录再现装置或个人计算机(PC)等的一部分。并且，图像显示装置5例如能够构成电视、视频投影仪或PC等的一部分。图像数据H)被输入到帧存储器11、运动矢量检测部12和插值帧生成部14。帧存储器11保存2帧表示输入动态图像的当前帧的图像的图像数据!7O，输出相对于图像数据H)延迟I帧的图像数据Fl和相对于图像数据H)延迟2帧的图像数据F2。由此，将图像数据H)称为当前帧的数据，将图像数据Fl称为第I延迟帧的数据，将图像数据F2称为第2延迟帧的数据。并且，当前帧、第I延迟帧和第2延迟帧分别由与各自的帧数据相同的标号F0、F1、F2表不。第I延迟帧Fl的数据被输入到运动矢量检测部12和插值帧生成部14，第2延迟帧F2的数据被输入到运动矢量检测部12。运动矢量检测部12参照当前帧H)的数据、第I延迟帧Fl的数据和第2延迟帧F2的数据，依次选择第I延迟帧Fl上的多个块中的每个块(构成帧的一部分，由多个像素构成)，针对选择出的块，计算从第2延迟帧F2到第I延迟帧Fl的第I运动矢量MVl和从当前帧H)到第I延迟帧Fl的第2运动矢量MV2，输出到运动矢量转换部13。例如通过将第I延迟帧Fl分割成多个矩形区域，得到第I延迟帧Fl上的块。运动矢量转换部13将第I运动矢量MVl和第2运动矢量MV2转换成从第I延迟帧Fl到插值帧IF的第3运动矢量MV3和从当前帧H)到插值帧IF的第4运动矢量MV4，输出到插值帧生成部14。插值帧生成部14根据第I延迟帧Fl的数据、当前帧H)的数据、第3运动矢量MV3和第4运动矢量MV4，生成位于当前帧H)与第I延迟帧Fl之间的插值帧IF的数据，向图像显示部15输出由将生成的插值帧IF的数据插入到当前帧H)的数据与第I延迟帧Fl的数据之间的帧列构成的图像数据D0。图像显示部15显示图像数据D0。接着，对运动矢量检测部12的结构进行详细说明。运动矢量检测部12具有图像缩小部2、块切出部3、测试插值部4、插值数据评价部
5、运动矢量决定部6和运动矢量放大部7，图像缩小部2具有当前帧图像缩小部21、第I延迟帧图像缩小部22和第2延迟帧图像缩小部23，块切出部3具有当前帧块切出部31、第I延迟帧块切出部32和第2延迟帧块切出部33。当前帧图像缩小部21缩小当前帧H)并输出当前缩小帧SF0，第I延迟帧图像缩小部22缩小第I延迟帧Fl并输出第I缩小延迟帧SF1，第2延迟帧图像缩小部23缩小第2延迟帧F2并输出第2缩小延迟帧SF2。当前帧图像缩小部21、第I延迟帧图像缩小部22和第2延迟帧图像缩小部23中的缩小率相同，由标号α表示。当前帧块切出部31、第I延迟帧块切出部32和第2延迟帧块切出部33分别接收当前缩小帧SF0、第I缩小延迟帧SFl和第2缩小延迟帧SF2，分别切出(提取)构成画面一部分的块，输出块内像素的数据(像素值)的集合作为块数据。即，当前帧块切出部31从当前缩小帧SR)中切出块，第I延迟帧块切出部32从第I缩小延迟帧S Fl中切出块，第2延迟帧块切出部33从第2缩小延迟帧SF2中切出块。各块例如由具有横向X个、纵向Y个的像素(Y行)的尺寸的矩形区域构成。S卩，从当前缩小帧SR)中切出的块、从第I缩小延迟帧SFl中切出的块、从第2缩小延迟帧SF2中切出的块的纵向尺寸(像素数)和横向尺寸(像素数或者行数)相互相等。下面，对通过插值而生成插值帧IF内的一个块时的处理进行说明。为了进行该处理，设定与以和生成缩小帧SF0、SF1、SF2时相同的缩小率α缩小插值帧IF内的要进行插值的块(插值对象块)而得到的块(缩小块)对应的、第I缩小延迟帧S Fl内的一个块FlBa作为处理对象块，切出(提取)该处理对象块FIBa、当前缩小帧SFO内的多个块、第2缩小延迟帧SF2内的多个块。从当前缩小帧SR)中切出的块和从第2缩小延迟帧SF2中切出的块位于以处理对象块FlBa (严格地讲为其中心)为中心而点对称的位置，因此，这些块成对使用。当前帧块切出部31和第2延迟帧块切出部33位于以处理对象块FlBa为中心而相互点对称的位置，切出多个一方位于当前缩小巾贞SFO内，另一方位于第2缩小延迟巾贞SF2内的块的对。例如，从当前缩小帧SR)中切出的块R)B1 (严格地讲为其中心)和从第2缩小延迟帧SF2中切出的块F2B1 (严格地讲为其中心)位于以第I缩小延迟帧SFl内的处理对象块FlBa (严格地讲为其中心)为中心而点对称的位置，因此，位于这些点对称的位置的2个块成对使用。从当前缩小帧SR)和第2缩小延迟帧SF2中切出的块的对对应于在运动矢量检测部12中检测到的运动矢量的候选，例如切出运动矢量的探索范围内的全部块。例如，在以第I缩小延迟帧SFl内的一个块的中心为中心而探索横向土HS像素、纵向土VS像素(土 VS行)的范围的情况下，从第2缩小延迟帧SF2和当前缩小帧SR)中分别切出(2HS+1) X(2VS+1)个的块。另外，在不需要对探索范围内的全部块进行评价的情况下，例如能够预先或通过其它信息预测运动方向的范围的情况下，也可以仅切出上述探索范围的预测范围内的块。并且，也可以间疏(例如在水平方向和垂直方向上每隔I个像素)切出探索范围内的块。下面，设从当前缩小帧SR)和第2缩小延迟帧SF2中切出的块的数量为M,将从当前缩小帧SR)中切出的块称为第I块 第M块R)BM，将从第2缩小延迟帧SF2中切出的块称为第I块F2B1 第M块F2BM。并且，各块的数据由与块相同的标号表示。第2缩小延迟帧SF2内的第m块F2Bm (m=l Μ)和当前缩小帧SR)内的第m块H)Bm位于以第2缩小延迟帧SFl内的处理对象块FlBa (严格地讲为其中心像素)为中心而点对称的位置，因此，当设块F2Bm相对于处理对象块FlBa的横向偏移为h(h=_HS +HS)、纵向偏移为V Cv=-VS +VS)时，块R)Bm相对于处理对象块FlBa的横向偏移为_h、纵向偏移为-V。当前帧块切出部31切出当前缩小帧内的多个即第I块 第m块，输出第I块数据FOBl 第m块数据R)BM。第I延迟帧块切出部32切出第I缩小延迟帧内的处理对象块FIBa。该块FlBa对应于缩小插值帧IF内的插值对象块后的块。第2延迟帧块切出部33切出第2缩小延迟帧内的多个即第I块 第m块，输出第I块数据F2B1 第m块数据F2BM。当前缩小帧SR)的块数据和第2缩小延迟帧SF2的块数据被输入到测试插值部4。测试插值部4根据第2缩小延迟帧SF2的块数据和当前缩小帧SFO的块数据中的、由位于以处理对象块FlBa为中心而相互点对称的位置的第2缩小延迟帧SF2内的块和当前缩小帧SR)内的块构成的块对的数据，生成测试插值数据TDAl TDAM。根据多个块对生成多个测试插值数据。假设上述点对称的中心位置即上述处理对象块FlBa的数据未知来进行该测试插值，插值越准确，测试插值数据与处理对象块FlBa的数据之间的相关性越强。测试插值部4还将输入的当前缩小帧SR)的块数据直接作为处理对象块FlBa的位置数据，并作为测试插值数据TDBl TDBM进行输出，将输入的第2缩小延迟帧SF2的块数据直接作为处理对象块FlBa的位置数据，并作为测试插值数据TDCl TDCM进行输出。为了进行区分，测试插值数据TDAl TDAM被称为第I组第I测试插值数据 第M测试插值数据，测试插值数据TDBl TDBM被称为第2组第I测试插值数据 第M测试插值数据，测试插值数据TDCl TDCM被称为第3组第I测试插值数据 第M测试插值数据。插值数据评价部5参照第I缩小延迟帧SFl的块数据进行多个测试插值数据的评价，将评价数据ED输出到运动矢量决定部6。在该评价中，求出测试插值数据与第I缩小延迟帧SFl的块数据之间的相关性，相关性越强，评价越高。运动矢量决定部6根据评价数据ED生成第I缩小运动矢量SMVl和第2缩小运动矢量SMV2进行输出。运动矢量放大部7放大第I缩小运动矢量SMVl和第2缩小运动矢量SMV2的值，生成第I运动矢量MVl和第2运动矢量MV2进行输出。这里，放大率与生成缩小帧SF0、SF1、SF2时的缩小率α的倒数相等，由l/α表示。接着，参照图2和图3更加详细地说明运动矢量检测部12的测试插值部4、插值数据评价部5和运动矢量决定部的具体例。测试插值部4具有多个即第I测试插值数据生成部4-1 第M测试插值数据生成部 4-Μ，插值数据评价部5具有第I组第I相关值计算部5Α-1 第M相关值计算部 5Α-Μ、第2组第I相关值计算部5Β-1 第M相关值计算部 5Β-Μ、第3组第I相关值计算部5C-1 第M相关值计算部 5C-M。测试插值数据生成部4-1 4-Μ计算由按照每个像素对当前缩小帧SR)的块的数据R)B1 R)BM和分别与其成对的第2缩小延迟帧SF2的块的数据F2B1 F2BM进行平均而得到的平均值构成的数据，作为第I组测试插值数据TDAl TDAM。在测试插值数据生成部4-1 4-M中，求出平均时使用的数据是位于相互不同的位置的块的数据。并且，如上所述，测试插值部4输出当前缩小帧SFO的块的数据R)B1 R)BM作为第2组测试插值数据TDBl TDBM，输出第2缩小延迟帧SF2的块的数据F2B1 F2BM作为第3组测试插值数据TDCl TDCM。在图1中，测试插值数据TDAl TDCM的集合由标号TD表示。
下面，更加详细地进行说明。当前缩小帧SR)的第I块数据R)B1和第2缩小延迟帧SF2的第I块数据F2B1被输入到测试插值数据生成部4-1。测试插值数据生成部4-1将当前缩小帧SR)的第I块数据R)B1和第2缩小延迟帧SF2的第I块数据F2B1的每个像素的平均值作为第I组第I测试插值数据TDAl，输出到相关值计算部5A-1。这里，每个像素的平均值是指，当前缩小帧SFO内的块中的各像素、第2缩小延迟帧SF2内的块中的对应位置的像素的像素值(例如各个块的基准位置，例如以左上角为原点而由相同坐标值表示的像素的像素值)的平均值。同样，当前缩小帧SR)的第2块数据R)B2和第2缩小延迟帧SF2的第2块数据F2B2被输入到测试插值数据生成部4-2。测试插值数据生成部4-2将当前缩小帧SR)的第2块数据H)B2和第2缩小延迟帧SF2的第2块数据F2B2的每个像素的平均值作为第I组第2测试插值数据TDA2，输出到相关值计算部5A-2 (未图示)。同样，测试插值数据生成部4_3(未图示) 4-M也根据当前缩小帧SR)的第3块数据R)B3 第m块数据R)BM和第2缩小延迟帧SF2的第3块数据F2B3 第m块数据F2BM，生成第I组第3测试插值数据TDA3 第M测试插值数据TDAM，输出到相关值计算部5A-3(未图示) 5A-M。一般而言，测试插值数据生成部4-m根据当前缩小帧SFO的第m块数据R)Bm(m=l Μ)和第2缩小延迟帧SF2的第m块数据F2Bm，例如求出这些数据的每个像素的平均，从而生成第I组第m测试插值数据TDm，输出到相关值计算部5A_m。进而，测试插值部4将当前缩小帧SR)的块的数据!7OBl R)BM作为测试插值数据TDBl TDBM，输出到相关值计算部5B-1 5B-M，将第2缩小延迟帧SF2的块的数据F2B1 F2BM作为测试插值数据TDCl TDCM，输出到相关值计算部5B-1 5C-M。一般而言，测试插值部4将当前缩小帧SFO的第m块的数据R)Bm作为第2组第m测试插值数据TDBm，输出到相关值计算部5B-m，将第2缩小延迟帧SF2的第m块的数据F2Bm作为第3组第m测试插值数据TDCm，输出到相关值计算部5C_m。第I缩小延迟帧SFl的处理对象块FlBa的数据被输入到插值数据评价部5内的相关值计算部5A-1 5C-M。相关值计算部5A-1 5C-M分别计算从测试插值部4输出的测试插值数据TDAl TDCM和第I缩小延迟帧SFl的处理对象块FlBa的数据的相关值，例如差分绝对值和，作为评价数据EDAl EDCM进行输出。相关值计算部5A-1计算第I组第I测试插值数据TDAl的各像素的数据和第I缩小延迟帧S Fl的处理对象块FlBa的各像素的数据的差分绝对值和，作为评价数据EDAl而输出到运动矢量决定部6。差分绝对值和由下述式(I)表示。
sadHLy) — BK2(x, >')|.V=0.'.=0...(I)这里，BKU BK2是块内的各像素的数据，设BKl为构成测试插值数据TDAl的各像素的数据，设BK2为处理对象块FlBa内的各像素的数据时，式(I)成为第I组第I测试插值数据TDAl的各像素的数据与第I延迟帧Fl的处理对象块FlBa的各像素的数据的差分绝对值和。差分绝对值和SAD表示相关程度，作为评价数据EDAl而从相关值计算部5A-1输出。由式(I)给出的差分绝对值和的值越小，意味着相关性越强，在将差分绝对值和SAD用作评价数据的情况下，该值越小，表示评价越高。同样，相关值计算部5A-2 5C-M也计算第I组第2测试插值数据TDA2 第3组第M测试插值数据TDCM与第I缩小延迟帧SFl的处理对象块FlBa的数据的差分绝对值和，作为评价数据EDA2 EDCM而输出到运动矢量决定部6。将评价数据EDAl EDCM中的与第I组测试插值数据TDAl TDAM对应的评价数据称为第I组评价数据EDAl EDAM，将与第2组测试插值数据TDBl TDBM对应的评价数据称为第2组评价数据EDBl EDBM，将与第3组测试插值数据TDCl TDCM对应的评价数据称为第3组评价数据EDCl EDCM。运动矢量决定部6寻找评价数据EDAl EDCM中的值最小的平均数据(表示最高评价的平均数据)。在评价数据EDAl EDCM中的值最小的评价数据为第I组评价数据EDAl EDAM中的任意一个的情况下，运动矢量决定部6输出与该最小值的评价数据对应的第2缩小延迟帧SF2内的块相对于第I缩小延迟帧SFl的处理对象块FlBa的位置的相对位置(位置之差)，作为第I缩小运动矢量SMV1，输出与该最小值的评价数据对应的当前缩小帧SFO内的块相对于第I缩小延迟帧SFl的处理对象块FlBa的位置的相对位置(位置之差)，作为第2缩小运动矢量SMV2。另外，与相同评价数据对应的第2缩小延迟帧SF2内的块和当前缩小帧SR)内的块位于以处理对象块FlBa为中心而点对称的位置，因此，存在SMV2=-SMV1的关系O评价数据EDAl EDCM中的值最小的评价数据为第2组评价数据EDBl EDBM中的任意一个的情况下，运动矢量决定部6输出与该最小值的评价数据对应的当前缩小帧SFO内的块相对于第I缩小延迟帧SFl的处理对象块FlBa的位置的相对位置(位置之差)，作为第2缩小运动矢量SMV2，代替第I缩小运动矢量SMVl，输出表示没有对应块(没有差分绝对值和充分小的块)即没有有效数据的信号(数据或者标志)。评价数据EDAl EDCM中的值最小的评价数据为第3组评价数据EDBl EDCM中的任意一个的情况下，运动矢量决定部6输出与该最小值的评价数据对应的第2缩小延迟帧SFl内的块相对于第I缩小延迟帧SFl的处理对象块FlBa的位置的相对位置(位置之差)，作为第I缩小运动矢量SMVl，代替第2缩小运动矢量SMV2，输出表示没有对应块(没有差分绝对值和充分小的块)即没有有效数据的信号。运动矢量放大部7通过下述式(2A)和式(2B)对缩小运动矢量SMVl和SMV2进行放大，输出运动矢量MVl和MV2。这里，缩小运动矢量SMVl和SMV2是缩小图像中的值(缩小帧基准即图像基准的运动矢量)，运动矢量MVl和MV2是输入图像中的值(输入帧基准即输入图像基准的运动矢量)。S卩，缩小运动矢量SMVl和SMV2分别是从第2缩小延迟帧SF2到第I缩小延迟帧SFl的运动矢量和从当前缩小帧SR)到第I缩小延迟帧S Fl的运动矢量，运动矢量MVl和MV2分别是从第2延迟帧F2到第I延迟帧Fl的运动矢量和从当前帧FO到第I延迟帧Fl的运动矢量。MVl=SMVl/(2A)MV2=SMV2/a — (2B)其中，在代替缩小运动矢量SMVl而输出表示没有对应块的信号的情况下，代替运动矢量MVl而输出表示没有对应块的信号，在代替缩小运动矢量SMV2而输出表示没有对应块的信号的情况下，代替运动矢量MV2而输出表示没有对应块的信号。图4是用于说明运动矢量检测部12的动作的图。这里，对M=I的情况进行说明。切出第I缩小延迟帧S Fl的一部分区域作为第I缩小延迟帧SFl的处理对象块FlBa0与相对于第I缩小延迟帧SFl的处理对象块FlBa偏移矢量-Vl的位置对应的区域被设定为第2缩小延迟帧SF2的第I块数据F2B1并切出，与偏移矢量+V的位置对应的区域被设定为当前缩小帧SFO的第I块数据R)B1并切出。测试插值数据生成部4-1按照每个像素对当前缩小帧SFO的第I块数据R)B1和第2缩小延迟帧SF2的第I块数据F2B1进行平均，生成测试插值数据TDAl。进而，测试插值部4输出当前缩小帧SR)的第I块数据R)B1作为测试插值数据TDBl，输出第2缩小延迟帧SF2的第I块数据F2B1作为测试插值数据TDCl。相关值计算部5A-1根据测试插值数据TDAl和第I缩小延迟帧SFl的处理对象块FlBa的数据，使用上述式(I)计算差分绝对值和SAD，作为评价数据EDAl进行输出。同样，相关值计算部5B-1也根据测试插值数据TDBl和第I缩小延迟帧SFl的处理对象块FlBa的数据，使用上述式(I)计算差分绝对值和SAD，作为评价数据EDBl进行输出。同样，相关值计算部5C-1也根据测试插值数据TDCl和第I缩小延迟帧SFl的处理对象块FlBa的数据，使用上述式(I)计算差分绝对值和SAD，作为评价数据EDCl进行输出。运动矢量决定部6根据产生评价数据EDAl、EDBl、EDCl中的最小值的块或块对与第I缩小延迟帧SFl内的处理对象块FlBa的相对位置，求出缩小运动矢量。在评价数据EDAl为最小值的情况下，输出第2缩小帧SF2内的块相对于第I缩小延迟帧SFl内的处理对象块FlBa的相对位置作为第I缩小运动矢量SMVl (=Vl )，输出当前缩小帧SFO内的块相对于第I缩小延迟帧SFl内的处理对象块FlBa的相对位置作为第2缩小运动矢量SMV2 (=-Vl)。在评价数据EDBl为最小值的情况下，代替第I缩小运动矢量SMVl而输出表示没有对应块的信号，输出当前缩小帧SFO内的块相对于第I缩小延迟帧SFl内的处理对象块FlBa的相对位置作为第2缩小运动矢量SMV2 (=_V1)。在评价数据EDCl为最小值的情况下，输出第2缩小延迟帧SF2内的块相对于第I缩小延迟帧SFl内的处理对象块FlBa的相对位置作为第I缩小运动矢量SMV1(=V1)，代替第2缩小运动矢量SMV2而输出表示没有对应块的信号。在图4中，对M=I的情况进行了说明，但是，本发明的实施方式的结构不限于M=l。即，也可以设定2个以上的与作为候选的矢量对应的块对。例如，也可以针对第I缩小延迟帧内的处理对象块FIBa，对由位于与规定运动量对应的探索范围内的第2缩小延迟帧内的全部块和位于与其点对称位置的当前缩小帧内的块构成的块对计算平均值，从而生成测试插值数据。在运动矢量检测部12中，如上所述，使用实际存在的数据即第I缩小延迟帧SFl内的数据，评价与由第I缩小延迟帧SF2内的块和当前缩小帧SFO内的块构成的块对对应的矢量的候选，由此决定运动矢量，因此，能够高精度地计算从第2缩小延迟帧SFl和当前缩小帧SR)到第I缩小延迟帧SFl的运动矢量。进而，仅使用第2缩小延迟帧SF2内的数据作为与矢量候选对应的测试插值数据，或者仅使用当前缩小帧SFO内的数据作为与矢量候选对应的测试插值数据，因此，即使在从第2缩小延迟帧到当前缩小帧的期间内物体时隐时现，也能够高精度地计算运动矢量。另外，在插值数据评价部5中，使用差分绝对值和计算评价数据，但是，求出相关性的函数除了平方差和等以外还有很多，也能够对其进行置换。即，插值数据评价部5求出测试插值数据与处理对象块的数据之间的相关性即可，表示该相关性的指标(相关值)也可以是差分绝对值和以外的值。并且，在运动矢量决定部6中，也可以对测试插值数据TDAl TDCM相互之间赋予不同的权重，提高判定为与任意一个测试插值数据对应的矢量候选是要求解的运动矢量的可能性。例如，也可以输出对在相关值计算部5B-1 5C-M中求出的差分绝对值和乘以某个系数β I而得到的数据作为评价数据EDBl EDCM，输出对在相关值计算部5Α-1 5Α-Μ中求出的差分绝对值和乘以比上述系数β I小的系数β 2而得到的数据作为评价数据EDAl EDAM，在运动矢量决定部6中，寻找这些评价数据EDAl EDCM中的值最小的评价数据。这样，能够提高判断为与测试插值数据TDAl TDAM对应的块对是与要求解的运动矢量对应的块对的可能性。换言之，能够优先选择与对应于测试插值数据TDAl TDAM的块对对应的矢量，作为运动矢量。相反，也可以输出对在相关值计算部5Β-1 5C-M中求出的差分绝对值和乘以某个系数β I而得到的数据作为评价数据EDBl EDCM，输出对在相关值计算部5Α-1 5Α-Μ中求出的差分绝对值和乘以比上述系数β I大的系数β 2而得到的数据作为评价数据EDAl EDAM，在运动矢量决定部6中，寻找这些评价数据EDAl EDCM中的值最小的评价数据。这样，能够提高判断为与测试插值数据TDBl TDCM对应的块是与要求解的运动矢量对应的块的可能性。换言之，能够优先选择与对应于测试插值数据TDBl TDCM的块对应的矢量，作为运动矢量。另外，除了这种加权以外，也可以施加基于其它因素的加权。例如，也可以对针对第2缩小延迟帧SF2和当前缩小帧SFO内的块中的、接近第I缩小延迟帧SFl内的处理对象块FlBa的位置的块或块对(对应的矢量的绝对值较小的块)而求出的差分绝对值和乘以更小的系数，提高判断为更接近的块或块对是与要求解的运动矢量对应的块或块对的可能性。总之，根据差分绝对值和或其它相关值确定评价数据即可。接着，参照图5 图7更加详细地说明运动矢量转换部13和插值帧生成部14的动作。运动矢量转换部13将从第2延迟帧F2到第I延迟帧Fl的第I运动矢量MVl和从当前帧H)到第I延迟帧Fl的第2运动矢量MV2，转换成从第I延迟帧Fl到插值帧IF的第3运动矢量MV3和从当前帧H)到插值帧IF的第4运动矢量MV4。如图5 图7所示，在设输入帧的时间间隔为tl，从第I延迟帧Fl到插值帧IF的时间间隔为t2时，利用下述式(3A)和式(3B)计算运动矢量MV3和MV4。例如，在从60Hz的输入图像信号转换成120Hz的图像信号的情况下，tl为1/60秒，t2为1/120秒。MV3=MVlXt2/tl— (3A)MV4=MV2X (tl-t2)/tl…(3B)其中，在代替运动矢量MVl而输出表示没有对应块的信号的情况下，代替运动矢量MV3而输出表示没有对应块的信号，在代替运动矢量MV2而输出表示没有对应块的信号的情况下，代替运动矢量MV4而输出表示没有对应块的信号。如果这样求出第3运动矢量MV3和第4运动矢量MV4，则如图5 图7所示，根据从插值帧IF起的矢量-MV3的位置的缩小前的第I延迟帧Fl的数据(与处理对象块FlBa对应的块FlBb内的数据)和从插值帧IF起的矢量-MV4的位置的缩小前的当前帧H)的数据(与块FlBb相同大小的块的数据)中的双方或一方，求出插值帧IF的数据(与块FlBb相同大小的块IFBb的数据)。例如如图5所示，在第3运动矢量MV3和第4运动矢量MV4双方均为有效数据的情况下(不是“没有对应块”的情况下)，计算上述第I延迟帧Fl内的数据和当前帧H)内的数据的平均作为插值帧IF的数据。将由生成的数据构成的插值帧IF的数据配置在第I延迟帧Fl的数据与当前帧H)的数据之间进行输出。此时，插值中使用的第I延迟帧Fl的块数据(与第I缩小延迟帧SFl的处理对象块FlBa对应的块FlBb的数据)和当前帧H)的块数据(与当前缩小帧SR)的块R)B1对应的块)位于以插值帧IF内的通过插值而得到的数据的位置为中心而相互对称的位置。如图6或图7所示，在代替第3运动矢量MV3和第4运动矢量MV4中的一方而输出“没有对应块”的信号的情况下，输出与另一个运动矢量(第3运动矢量MV3和第4运动矢量MV4中的有效矢量)对应的第I延迟帧Fl内的数据或当前帧H)内的数据，作为插值帧IF的数据(与块FlBb相同大小的块IFBb的数据)。图6示出代替第4运动矢量MV4而输出“没有对应块”的信号的情况，图7示出代替第3运动矢量MV3而输出“没有对应块”的信号的情况。这样，将直接输出一个帧内的数据作为插值帧的数据的处理称为“零阶插值”。插值帧生成部14将由这样得到的数据构成的插值帧IF的数据配置在第I延迟帧Fl的数据与当前帧H)的数据之间进行输出。图8是用于说明输入到运动矢量检测部12的当前帧H)的数据、第I延迟帧Fl的数据、第2帧F2的数据的对应关系的图。对输入表示图8所示的视频的信号的情况下的本实施方式I的动作进行说明。在图8所示的视频中，交叉阴影所示的圆BC随着时间而从画面的左上方向右下方移动，位于其背后的英文字(不移动)时隐时现。图9是示出表示通过缩小图8所示的输入图像而得到的缩小图像的图像数据的图。但是，在图9中，图像也被描绘成与图8相同的大小。图8的图像的要素(圆BC和表示A J的文字)直接表现在图9中，因此，英文字A J由于圆BC的阴影而时隐时现。图10 图16是用于说明测试插值部4和插值数据评价部5的动作的图。图17是用于说明运动矢量放大部7的动作的图。对将图9所示的第2缩小延迟帧SF2的数据、第I缩小延迟帧SFl的数据、当前缩小帧SR)的数据作为输入的情况下的运动矢量检测部12的动作进行说明。另外，这里，假设 M=2。在测试插值部4中，按照运动矢量的每个候选生成测试插值数据。例如如图10所示，将第I缩小延迟帧SFl的一部分区域设为第I缩小延迟帧SFl的处理对象块FIBa，将从第I缩小延迟帧SFl的处理对象块FlBa偏移-Vl后的位置的第2缩小延迟帧SF2的块设为第I块F2B1，将从第I缩小延迟帧SFl的处理对象块FlBa偏移Vl后的位置的当前缩小帧SFO的块设为块H)B1。并且，将从第I缩小延迟帧SFl的处理对象块FlBa偏移V2后的位置的第2缩小延迟帧SF2的块设为块F2B2，将从第I缩小延迟帧SFl的处理对象块FlBa偏移V2后的位置的当前缩小帧SR)的块设为块R)B2。如图11所示，生成根据块F2B1的数据和块的数据而得到的每个像素的平均作为测试插值数据TDAl。同样，如图12所示，根据块F2B2的数据和块H)B2的数据生成每个像素的平均作为测试插值数据TDA2。进而，如图13和图14所示，分别输出块R)B1、R)B2的数据作为测试插值数据TDB1、TDB2。同样，如图15和图16所示，分别输出块F2B1、F2B2的数据作为测试插值数据TDC1、TDC2。在插值数据评价部5中，计算图11 图16所示的测试插值数据TDAl TD6的每一个数据与处理对象块FlBa的数据的差分绝对值和，输出评价数据EDAl ED6。在图9 图16的具体例子中，第I缩小延迟帧SFl上的表示文字“F”的区域成为处理对象块FIBa，在第2缩小延迟帧SF2和第I缩小延迟帧SFl中能够看到该文字“F”，但是，在当前缩小帧FO中被阴影所示的圆BC的阴影遮挡，因此，根据由第2缩小延迟帧SF2内的表示文字“F”的区域构成的块F2B1而得的测试插值数据TD5与处理对象块FlBa的差分绝对值和即评价数据ED5最小。在运动矢量决定部6中，输出与评价数据EDAl ED6中的最小的评价数据ED5对应的缩小运动矢量SMVl (=V1)，代替缩小运动矢量SMV2而输出表示没有对应块的信号。在运动矢量放大部7中，针对缩小运动矢量SMVl和SMV2，使用上述式(2A)和式(2B)，输出从第2延迟帧F2到第I延迟帧Fl的运动矢量MVl和从当前帧H)到第I延迟帧Fl的运动矢量MV2 (图17)。如上所述，在代替缩小运动矢量的一方而输出表示没有对应块的信号的情况下，针对与该缩小运动矢量对应的运动矢量(MVl或MV2)，取而代之，也输出表示“没有对应块”的信号，因此，在图9 图16的例子中，输出运动矢量MVl (=Vl/α )，并且代替MV2而输出表示没有对应块的信号。也可以针对缩小第I延迟帧Fl后的第I缩小延迟帧S F1，没有遗漏(没有间隙)地设定块，计算缩小运动矢量，由此，针对第I缩小延迟帧SFl的全部部分生成第I缩小运动矢量SMVl和/或第2缩小运动矢量SMV2，放大第I缩小运动矢量SMVl和第2缩小运动矢量SMV2，得到第I运动矢量MVl和/或第2运动矢量MV2，针对位于与对应于上述第I缩小延迟帧SFl内的上述像素的第I延迟帧Fl内的像素对应的位置，例如相同位置的插值帧IF内的像素,使用第I运动矢量MVl和第2运动矢量MV2进行转换,从而求出第3运动矢量MV3和第4运动矢量MV4。取而代之，也可以针对以缩小第I延迟帧Fl后的第I缩小延迟帧SFl内的各像素为中心的规定大小的块进行上述处理，生成与该像素有关的第I缩小运动矢量SMVl和第2缩小运动矢量SMV2，放大第I缩小运动矢量SMVl和第2缩小运动矢量SMV2，得到第I运动矢量MVl和/或第2运动矢量MV2，针对位于与对应于上述第I缩小延迟帧SFl内的上述像素的第I延迟帧Fl内的像素对应的位置，例如相同位置的插值帧IF内的像素，使用第I运动矢量MVl和第2运动矢量MV2进行转换，从而求出第3运动矢量MV3和第4运动矢量MV4。图18的(a)和(b)是用于说明运动矢量转换部13的动作的具体例的图。图18的(a)不出运动矢量转换部13的输入，图18的(b)不出运动矢量转换部13的输出。运动矢量转换部13针对图18的(a)所示的从第2延迟帧F2到第I延迟帧Fl的第I运动矢量MVl和从当前帧H)到第I延迟帧Fl的运动矢量MV2，使用上述式(3A)和式(3B)，转换成图18的(b)所示的从第I延迟帧Fl到插值帧IF的第3运动矢量MV3和从当前帧H)到插值帧IF的第4运动矢量MV4。在图18的(a)和(b)所示的具体例中，MVl输出Vl/α，代替MV2而输出表示没有对应块的信号，tl为1/60秒，t2与tl的1/2相等，即为1/120秒，通过上述式(3A)和式(3B)，MV3输出Vl/2a，代替MV4而输出表示没有对应块的信号。图19是用于说明插值帧生成部14的动作的具体例的图。图19与图8 图16同样示出如下情况:第I延迟帧Fl上的表示文字“F”的区域成为与处理对象块FlBa对应的块(非缩小块)FIBb，在第2延迟帧F2和第I延迟帧Fl中能够看到该文字“F”，但是，在当前帧H)中被交叉阴影所示的圆BC的阴影遮挡，因此，根据由第2延迟帧F2内的表示文字“F”的区域构成的块F2B1而得到的测试插值数据TD5与处理对象块FlBa的差分绝对值和即评价数据ED5最小。该情况下，如图19所示，输出从插值帧IF移动-MV3后的位置的第I延迟帧Fl的数据作为插值帧IF的数据。将通过对插值帧IF内的全部块进行这种处理而生成的插值帧IF内插于第I延迟帧Fl与当前帧H)之间进行输出。如上所述，在本实施方式中，通过进行运动矢量的评价，能够高精度地检测运动矢量，能够内插插值帧而不会导致图像的紊乱。进而，在进行插值的帧前后物体时隐时现的情况下，也能够内插插值帧而不会导致图像的紊乱。这里，对通过当前帧图像缩小部21、第I延迟帧图像缩小部22、第2延迟帧图像缩小部23进行图像缩小处理的情况和不进行图像缩小处理的情况进行比较。在不通过图像缩小部21、22、23进行图像缩小处理的情况下，在运动矢量检测部12中，直接对输入图像数据进行处理，在通过图像缩小部21、22、23进行图像缩小处理的情况下，在运动矢量检测部12中对缩小图像数据进行处理。此时，在探索运动矢量时，在假定探索相同大小的矢量的范围的情况下，使用缩小图像能够探索宽广的范围，因此，能够检测较大的运动。并且，在使用缩小图像的情况下，各块中包含的像素的数量比非缩小图像的各块中包含的像素的数量少，在与各块有关的差分绝对值和的计算中，用于计算的像素的数量少，因此，运算量减少，应答性提闻，并且能够减小电路规丰旲。但是，本发明不限于使用缩小图像的情况。S卩，也可以省略图1的当前帧图像缩小部21、第I延迟帧图像缩小部22、第2延迟帧图像缩小部23和运动矢量放大部7，直接将输入图像的当前帧H)的数据、输入图像的第I延迟帧Fl的数据和输入图像的第2延迟帧F2的数据输入到当前帧块切出部31、第I延迟帧块切出部32、第2延迟帧块切出部32，在运动矢量检测部12中，设定与插值帧IF的插值对象块IFBb对应的第I延迟帧Fl内的块FlBb作为处理对象块,输出多个测试插值数据,该多个测试插值数据包含由构成第2延迟帧F2的一部分的块的数据和构成当前帧H)的一部分的块的数据的每个像素的平均值构成的第I组测试插值数据TDAl TDAM、由构成当前帧H)的一部分的块的数据构成的第2组测试插值数据TDBl TDBM、由第2延迟帧F2的块的数据构成的第3组测试插值数据TDCl TDCM，对该多个测试插值数据TDAl TDAM、TDBl TDBM、TDCl TDCM中的各测试插值数据相对于处理对象块的数据的相关性强度进行评价，生成与相关性最强的测试插值数据对应的运动矢量作为第I运动矢量MVl和第2运动矢量MV2中的至少一方。该情况下，第I组测试插值数据TDAl TDAM根据第2延迟帧F2的多个块和当前帧H)的多个块而得到，第2组测试插值数据TDBl TDBM根据当前帧H)的多个块而得到，第3组测试插值数据TDCl TDCM根据多个第2延迟帧F2的块而得到。上述的“处理对象块”是输入图像基准的块，与实施方式I中的缩小图像基准的“处理对象块”不同。也可以是，运动矢量检测部12的测试插值部4生成上述多个测试插值数据，插值数据评价部5对上述多个测试插值数据中的各测试插值数据相对于处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据，运动矢量决定部6输出与产生上述多个评价数据中的表示相关性最强的上述评价数据的测试插值数据对应的运动矢量，作为第I运动矢量MVl和第2运动矢量MV2中的至少一方，将由运动矢量决定部6决定的输入图像基准的运动矢量MV1、MV2作为运动矢量检测部12的输出，提供给运动矢量转换部13。该情况下，测试插值部4也可以依次选择分别由第I延迟帧Fl内的多个像素构成的多个块作为处理对象块，提取位于以该处理对象块为中心相互点对称的位置的第2延迟帧F2内的块和当前帧H)内的块，求出提取出的第2延迟帧F2的块的数据和提取出的当前帧H)的块的数据的每个像素的平均值，作为第I组测试插值数据TDAl TDAM，输出提取出的当前帧H)内的块的数据作为第2组测试插值数据TDBl TDBM，输出提取出的第2延迟帧F2内的块的数据作为第3组测试插值数据TDCl TDCM。并且，构成测试插值部4的多个测试插值数据生成部4-1 4-M也可以分别计算按照每个像素对当前帧H)内的位置相互不同的块的数据和第2延迟帧F2内的位置相互不同的块的数据进行平均而得到的数据，作为第I组测试插值数据TDAl TDAM。这种情况下，也能得到与如下情况相同的效果:使用当前帧图像缩小部21、第I延迟帧图像缩小部22和第2延迟帧图像缩小部23，根据缩小图像基准求出运动矢量SMV1、SMV2，在运动矢量放大部7中将该缩小图像基准的运动矢量SMV1、SMV2放大成输入图像基准的运动矢量MV1、MV2。以上对通过硬件实现本发明的情况进行了说明，但是，也可以通过软件实现图1所示的结构的一部分或全部。参照图20和图21对该情况下的处理进行说明。图20示出用于通过软件实现图1所示的结构中的帧存储器11、运动矢量检测部
12、运动矢量转换部13和插值帧生成部14的处理的由计算机系统构成的图像处理装置。图示的图像处理装置具有处理器101、程序存储器102、数据存储器103、输入接口 104、输出接口 105以及对它们进行连接的总线106。处理器101按照存储在程序存储器102中的程序进行动作，对经由输入接口 104输入的图像进行处理。在动作的过程中将各种数据存储在数据存储器103中。将处理后生成的图像经由接口 105提供给图1所示的图像显示部15，用于图像显示部15进行显示。下面，参照图21说明由处理器101进行的处理。图21示出由图20的图像处理装置实施的图像处理方法的流程。首先，在运动矢量检测步骤STl中，参照图像数据H)、相对于图像数据H)延迟I帧的图像数据F1、相对于图像数据H)延迟2帧的图像数据F2，生成从第2延迟帧F2到第I延迟帧Fl的第I运动矢量MVl和从当前帧H)到第I延迟帧Fl的第2运动矢量V2。该动作与图1的运动矢量检测部12相同。在运动矢量转换步骤ST2中，将第I运动矢量MVl和第2运动矢量MV2转换成从第I延迟帧Fl到插值帧IF (被插入到当前帧H)与第I延迟帧Fl之间)的第3运动矢量MV3和从当前帧H)到插值帧IF的第4运动矢量MV4。该动作与图1的运动矢量转换部13相同。在插值帧生成步骤ST3中，根据第I延迟帧Fl的数据、当前帧H)的数据、第3运动矢量MV3和第4运动矢量MV4生成插值帧IF的数据。针对插值帧IF的全部块，反复进行上述处理，生成将由此生成的插值帧IF的数据插入到当前帧H)的数据与第I延迟帧Fl的数据之间的图像数据D0。该动作与图1的插值帧生成部14相同。图21是作为软件实现本实施方式的图像显示装置的一部分，其效果与图1的情况相同。
权利要求
1.一种图像处理装置，该图像处理装置在输入图像的当前帧与所述当前帧前一帧的帧即第I延迟帧之间插入插值帧，其特征在于，该图像处理装置具有: 运动矢量检测部，其参照所述第I延迟帧的数据和所述当前帧前二帧的帧即第2延迟帧的数据，计算从所述第2延迟帧到所述第I延迟帧的第I运动矢量，参照所述当前帧的数据和所述第I延迟帧的数据，计算从所述当前帧到所述第I延迟帧的第2运动矢量；运动矢量转换部，其将所述第I运动矢量转换成从所述第I延迟帧到所述插值帧的第3运动矢量，将所述第2运动矢量转换成从所述当前帧到所述插值帧的第4运动矢量；以及插值帧生成部，其根据所述第3运动矢量、所述第4运动矢量、所述第I延迟帧的数据和所述当前帧的数据，生成所述插值帧的数据，输出将所述插值帧的数据插入到所述当前帧的数据与所述第I延迟帧的数据之间后的图像数据， 所述运动矢量检测部设定与所述插值帧的插值对象块对应的、所述第I延迟帧内的块,作为处理对象块,生成多个测试插值数据,该多个测试插值数据包含由构成所述第2延迟帧的一部分的块的数据和构成所述当前帧的一部分的块的数据的每个像素的平均值构成的第I组测试插值数据、由构成所述当前帧的一部分的块的数据构成的第2组测试插值数据、由所述第2延迟帧的块数据构成的第3组测试插值数据， 所述运动矢量检测部对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，生成与相关性最强的所述测试插值数据对应的运动矢量作为第I运动矢量和第2运动矢量中的至少一方， 所述第I组测试插值数据是根据所述第2延迟帧的多个块和所述当前帧的多个块而得到的， 所述第2组测试插值数据是根据所述当前帧的多个块而得到的， 所述第3组测试插值数据是根据所述第2延迟帧的多个块而得到的。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述运动矢量检测部具有: 测试插值部，其输出所述多个测试插值数据；插值数据评价部，其对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据；以及运动矢量决定部，其输出与产生了所述多个评价数据中的表示相关性最强的所述评价数据的所述测试插值数据对应的运动矢量，作为第I运动矢量和第2运动矢量中的至少一方。
3.根据权利要求2所述的图像处理装置，其特征在于， 所述测试插值部依次选择分别由所述第I延迟帧内的多个像素构成的多个块作为所述处理对象块，提取位于以该处理对象块为中心而相互点对称的位置上的所述第2延迟帧内的块和所述当前帧内的块，求出提取出的所述第2延迟帧的块的数据和提取出的所述当前帧的块的数据的每个像素的平均值，作为所述第I组测试插值数据，输出所述提取出的所述当前帧内的所述块的数据作为所述第2组测试插值数据，输出所述提取出的所述第2延迟帧内的所述块的数据作为所述第3组测试插值数据。
4.根据权利要求3所述的图像处理装置， 其特征在于， 所述测试插值部具有多个测试插值数据生成部，该多个测试插值数据生成部分别计算按照每个像素对所述当前帧内的位置相互不同的块的数据和所述第2延迟帧内的位置相互不同的块的数据进行平均而得到的数据，作为所述第I组测试插值数据。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述运动矢量检测部对所述当前帧、所述第I延迟帧和所述第2延迟帧的输入图像进行缩小后，生成所述第1组测试插值数据、所述第2组测试插值数据和所述第3组测试插值数据，生成与相关性最强的所述测试插值数据对应的运动矢量，作为缩小图像基准的第I缩小运动矢量和第2缩小运动矢量中的至少一方，通过对生成的所述第I缩小运动矢量和所述第2缩小运动矢量进行放大，生成输入图像基准的所述第I运动矢量和所述第2运动矢量中的至少一方。
6.根据权利要求5所述的图像处理装置，其特征在于， 所述运动矢量检测部具有: 图像缩小部，其缩小所述当前帧并输出当前缩小帧，缩小所述第I延迟帧并输出第I缩小延迟帧，缩小所述第2延迟帧并输出第2缩小延迟帧； 测试插值部，其设定与所述插值帧的插值对象块对应的、所述第I缩小延迟帧内的块，作为所述处理对象块，输出所述多个测试插值数据，该多个测试插值数据包含由构成所述第2缩小延迟帧的一部分的块的数据和构成所述当前缩小帧的一部分的块的数据的每个像素的平均值构成的所述第1组测试插值数据、由构成所述当前缩小帧的一部分的块的数据构成的所述第2组测试插值数据、由所述第2缩小延迟帧的块数据构成的所述第3组测试插值数据； 插值数据评价部，其对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据； 运动矢量决定部，其输出与产生了所述多个评价数据中的表示相关性最强的所述评价数据的所述测试插值数据对应的运动矢量，作为第I缩小运动矢量和第2缩小运动矢量中的至少一方；以及 运动矢量放大部，其对所述第I缩小运动矢量和第2缩小运动矢量中的至少一方进行放大，作为所述第I运动矢量和第2运动矢量中的至少一方进行输出。
7.根据权利要求6所述的图像处理装置，其特征在于， 所述测试插值部依次选择分别由所述第I缩小延迟帧内的多个像素构成的多个块作为所述处理对象块，提取位于以该处理对象块为中心而相互点对称的位置上的所述第2缩小延迟帧内的块和所述当前缩小帧内的块，求出提取出的所述第2缩小延迟帧的块的数据和提取出的所述当前缩小帧的块的数据的每个像素的平均值，作为所述第I组测试插值数据，输出所述提取出的所述当前缩小帧内的所述块的数据作为所述第2组测试插值数据，输出所述提取出的所述第2缩小延迟帧内的所述块的数据作为所述第3组测试插值数据。
8.根据权利要求7所述的图像处理装置，其特征在于， 所述测试插值部具有多个测试插值数据生成部， 该多个测试插值数据生成部分别计算按照每个像素对所述当前缩小帧内的位置相互不同的块的数据和所述第2缩小延迟帧内的位置相互不同的块的数据进行平均而得到的数据，作为所述第I组测试插值数据。
9.根据权利要求1 8中的任意一项所述的图像处理装置，其特征在于， 所述插值数据评价部计算表示从所述测试插值部输出的所述多个测试插值数据中的各个测试插值数据与所述处理对象块的数据之间的相关性的相关值，根据分别针对该多个测试插值数据求出的多个相关值，生成所述多个评价数据。
10.根据权利要求1 8中的任意一项所述的图像处理装置，其特征在于， 所述插值数据评价部计算从所述测试插值部输出的所述多个测试插值数据与所述处理对象块的数据之间的差分的绝对值的总和即差分绝对值和作为所述相关值。
11.根据权利要求10所述的图像处理装置，其特征在于， 所述插值数据评价部具有多个相关值计算部，该多个相关值计算部计算所述处理对象块的数据与所述多个测试插值数据的差分绝对值和。
12.一种图像显示装置，其特征在于，该图像显示装置具有: 权利要求1 8中的任意一项所述的图像处理装置；以及 图像显示部，其显示基于从所述插值帧生成部输出的图像数据的图像。
13.一种图像处理方法，该图像处理方法在输入图像的当前帧与所述当前帧前一帧的帧即第I延迟帧之间插入插值帧，其特征在于，该图像处理方法具有以下步骤: 运动矢量检测步骤，参照所述第I延迟帧的数据和所述当前帧前二帧的帧即第2延迟帧的数据，计算从所述第2延迟帧到所述第I延迟帧的第I运动矢量，参照所述当前帧的数据和所述第I延迟帧的数据，计算从所述当前帧到所述第I延迟帧的第2运动矢量；运动矢量转换步骤，将所述第I运动矢量转换成从所述第I延迟帧到所述插值帧的第3运动矢量，将所述第2运动矢量转换成从所述当前帧到所述插值帧的第4运动矢量；以及插值帧生成步骤，根据所述第3运动矢量、所述第4运动矢量、所述第I延迟帧的数据和所述当前帧的数据，生成所述插值帧的数据，输出将所述插值帧的数据插入到所述当前帧的数据与所述第I延迟帧的数据之间后的图像数据， 在所述运动矢量检测步骤中，设定与所述插值帧的插值对象块对应的、所述第I延迟帧内的块，作为处理对象块,生成多个测试插值数据,该多个测试插值数据包含由构成所述第2延迟帧的一部分的块的数据和构成所述当前帧的一部分的块的数据的每个像素的平均值构成的第I组测试插值数据、由构成所述当前帧的一部分的块的数据构成的第2组测试插值数据、由所述第2延迟帧的块数据构成的第3组测试插值数据， 在所述运动矢量检测步骤中，对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，生成与相关性最强的所述测试插值数据对应的运动矢量作为第I运动矢量和第2运动矢量中的至少一方， 所述第I组测试插值数据是根据所述第2延迟帧的多个块和所述当前帧的多个块而得到的， 所述第2组测试插值数据是根据所述当前帧的多个块而得到的， 所述第3组测试插值数据是根据所述第2延迟帧的多个块而得到的。
14.根据权利要求13所述的图像处理方法，其特征在于， 所述运动矢量检测步骤具有以下步骤: 测试插值步骤，输出所 述多个测试插值数据； 插值数据评价步骤，对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据；以及 运动矢量决定步骤，输出与产生了所述多个评价数据中的表示相关性最强的所述评价数据的所述测试插值数据对应的运动矢量，作为第I运动矢量和第2运动矢量中的至少一方。
15.根据权利要求14所述的图像处理方法，其特征在于， 在所述测试插值步骤中，依次选择分别由所述第I延迟帧内的多个像素构成的多个块作为所述处理对象块，提取位于以该处理对象块为中心而相互点对称的位置上的所述第2延迟帧内的块和所述当前帧内的块，求出提取出的所述第2延迟帧的块的数据和提取出的所述当前帧的块的数据的每个像素的平均值，作为所述第I组测试插值数据，输出所述提取出的所述当前帧内的所述块的数据作为所述第2组测试插值数据，输出所述提取出的所述第2延迟帧内的所述块的数据 作为所述第3组测试插值数据。
16.根据权利要求15所述的图像处理方法，其特征在于， 所述测试插值步骤具有多个测试插值数据生成步骤， 在该多个测试插值数据生成步骤中，分别计算按照每个像素对所述当前帧内的位置相互不同的块的数据和所述第2延迟帧内的位置相互不同的块的数据进行平均而得到的数据，作为所述第I组测试插值数据。
17.根据权利要求13所述的图像处理方法，其特征在于， 在所述运动矢量检测步骤中，对所述当前帧、所述第I延迟帧和所述第2延迟帧的输入图像进行缩小后，生成所述第I组测试插值数据、所述第2组测试插值数据和所述第3组测试插值数据，生成与相关性最强的所述测试插值数据对应的运动矢量，作为缩小图像基准的第I缩小运动矢量和第2缩小运动矢量中的至少一方，通过对生成的所述第I缩小运动矢量和所述第2缩小运动矢量进行放大，生成输入图像基准的所述第I运动矢量和所述第2运动矢量中的至少一方。
18.根据权利要求17所述的图像处理方法，其特征在于， 所述运动矢量检测步骤具有以下步骤: 图像缩小步骤，缩小所述当前帧并输出当前缩小帧，缩小所述第I延迟帧并输出第I缩小延迟帧，缩小所述第2延迟帧并输出第2缩小延迟帧； 测试插值步骤，设定与所述插值帧的插值对象块对应的、所述第I缩小延迟帧内的块，作为所述处理对象块，输出所述多个测试插值数据，该多个测试插值数据包含由构成所述第2缩小延迟帧的一部分的块的数据和构成所述当前缩小帧的一部分的块的数据的每个像素的平均值构成的所述第I组测试插值数据、由构成所述当前缩小帧的一部分的块的数据构成的所述第2组测试插值数据、由所述第2缩小延迟帧的块数据构成的所述第3组测试插值数据； 插值数据评价步骤，对所述多个测试插值数据中的所述各个测试插值数据相对于所述处理对象块的数据的相关性强度进行评价，输出表示该评价的结果的多个评价数据； 运动矢量决定步骤，输出与产生了所述多个评价数据中的表示相关性最强的所述评价数据的所述测试插值数据对应的运动矢量，作为第I缩小运动矢量和第2缩小运动矢量中的至少一方；以及运动矢量放大步骤，对所述第I缩小运动矢量和第2缩小运动矢量中的至少一方进行放大，作为所述第I运动矢量和第2运动矢量中的至少一方进行输出。
19.根据权利要求18所述的图像处理方法，其特征在于， 在所述测试插值步骤中，依次选择分别由所述第I缩小延迟帧内的多个像素构成的多个块作为所述处理对象块，提取位于以该处理对象块为中心而相互点对称的位置上的所述第2缩小延迟帧内的块和所述当前缩小帧内的块，求出提取出的所述第2缩小延迟帧的块的数据和提取出的所述当前缩小帧的块的数据的每个像素的平均值，作为所述第I组测试插值数据，输出所述提取出的所述当前缩小帧内的所述块的数据作为所述第2组测试插值数据，输出所述提取出的所述第2缩小延迟帧内的所述块的数据作为所述第3组测试插值数据。
20.根据权利要求19所述的图像处理方法，其特征在于， 所述测试插值步骤具有多个测试插值数据生成步骤， 在该多个测试插值数据生成步骤中，分别计算按照每个像素对所述当前缩小帧内的位置相互不同的块的数据和所述第2缩小延迟帧内的位置相互不同的块的数据进行平均而得到的数据，作为所述第I组测试插值数据。
21.根据权利要求13 20中的任意一项所述的图像处理方法，其特征在于， 在所述插值数据评价步骤中，计算表示在所述测试插值步骤中输出的所述多个测试插值数据的各个测试插值数据与所述处理对象块的数据之间的相关性的相关值，根据分别针对该多个测试插值数据求出的多个相关值，生成所述多个评价数据。
22.根据权利要求13 20中的 任意一项所述的图像处理方法，其特征在于，在所述插值数据评价步骤中，计算在所述测试插值步骤中输出的所述多个测试插值数据与所述处理对象块的数据之间的差分的绝对值的总和即差分绝对值和作为所述相关值。
23.根据权利要求22所述的图像处理方法，其特征在于， 所述插值数据评价步骤具有多个相关值计算步骤，在该多个相关值计算步骤中，计算所述处理对象块的数据与所述多个测试插值数据的差分绝对值和。
24.一种图像显示方法，其特征在于，该图像显示方法具有: 权利要求13 20中的任意一项所述的图像处理方法；以及 图像显示步骤，显示基于在所述插值帧生成步骤中输出的图像数据的图像。
全文摘要
本发明提供一种图像处理装置和方法以及图像显示装置和方法，即使在图像被插值帧的前后帧的一方遮挡的情况下，也能够通过较少的运算量正确地进行插值。测试插值部(4)将第2延迟帧(F2)的数据、当前帧(F0)的数据和它们的平均作为测试插值数据(TD)并与第1延迟帧(F1)的数据进行比较，通过测试插值部(4)求出第2延迟帧(F2)和当前帧(F0)与第1延迟帧(F1)之间的运动矢量(MV1、MV2)，将这些运动矢量转换成第1延迟帧(F1)和当前帧(F0)与插值帧(IF)之间的运动矢量(MV3、MV4)。
文档编号H04N7/01GK103096009SQ20121042239
公开日2013年5月8日 申请日期2012年10月29日 优先权日2011年11月7日
发明者久保俊明, 那须督, 藤山直之, 堀部知笃, 小野良树 申请人:三菱电机株式会社