专利名称：影像信号处理装置和方法
技术领域：
本发明涉及一种影像信号处理装置，其迁移了通过对受到视影转换的影像进行倍速转换而生成的、每个由四个场形成的单位帧组成的影像信号的各被检测像素的位置，以及该装置的影像处理方法。
本申请基于2001年12月13日提出的日本申请专利No.2001-380765，并主张其优先权的权益，在此其全部内容引入作为参考。
背景技术：
作为TV播放所用的传统扫描制式，广泛使用了每隔一行水平扫描线而扫描的隔行扫描制式。在此隔行扫描制式中，每一帧影像是由以下形成的由奇数扫描行构成的场影像、和由偶数扫描行构成的场影像，以便抑止造成全体屏幕颤抖的屏幕颤抖干扰，从而防止屏幕品质的恶化。
隔行扫描制式是被世界各国的电视作为标准制式而采用的。例如，根据欧洲的电视放送的PAL(逐行倒相)制式，场频是50Hz(帧影像25帧/秒，场影像50场/秒)。
特别地，PAL制式传统采用倍速场频制式其中通过实行间插等的处理，而将输入影像信号的场频从50Hz加倍而转换成100Hz，因而，期待着更加地抑制屏幕颤抖干扰。
图1是示出使用该倍场频制式的倍速场转换电路5的框图。倍速场转换电路5集成于具有输入终端61、水平/垂直偏向电路62和CRT 63的电视接收机6。此倍速场转换电路5有倍速转换器51和帧存储器52。
倍速转换器51根据从输入终端61输入的PAL制式的50场/秒的影像信号写入帧存储器52。而且，倍速转换器51以写入速度的二倍的速度读出写入帧存储器52的影像信号。这样，50场/秒的影像信号的频率被转换成二倍频率，从而可生成100场/秒的影像信号。
倍速转换器51将已受到倍速转换的影像信号输出至CRT63。CRT63在屏幕上显示输入的影像信号。CRT 63中影像信号的水平和垂直偏向是基于由水平垂直偏向电路62生成的、频率为输入影像信号的二倍的水平/垂直矩形波而受控制的。
图2A和图2B示出对于倍速转换前后的影像信号、各场和像素位置间的关系。在各图中，横轴表示时间，纵轴表示各像素在垂直方向的位置。图2A中以白圆记号所示的影像信号是倍速转换前的50场/秒的隔行影像信号，而图2B中以黑圆记号所示的影像信号是倍速转换后的100场/秒的隔行影像信号。
在图2A所示的影像信号中，场f1和场f2是从胶片的单一单位帧而生成的信号。同样地，场f3和场f4构成同一单位帧。由于这些影像信号是隔行影像信号，故在相邻的场间垂直方向上的像素位置不同。因此，无法在保持隔行特性的同时在每二个相邻的场间生成一个新场。
因此，如图2B所示，在场f1和场f2间新生成二个场f2′和f1′。在场f2和场f3间不生成新场，但在场f3和场f4间新生成二个场f4′和f3′。即一个单位帧是由形成两帧的四个场来形成的。
在有些情形下，新生成的场f1′、f2′、...是将各像素值设想成各像素的周围3像素的中间值、使用中值滤波器等而获得的。这些新生成的场f1′、f2′、...与场f1、f2、...分别具有同样的内容。
具体地，倍速场转换电路5在倍速转换前的影像信号的场间、交替地提供其中各生成了二个新场的部分和其中未生成新场的部分。这样可增加每单位时间的屏幕影像数，从而可抑制上述的屏幕颤抖干扰。
为了在通常的电视机上观看由24单位帧/秒的静止影像构成的电影胶片，而进行电视到电影的转换(以下称作视影转换)，以得出隔行的电视信号。图3A和图3B示出对于视影转换后的影像信号、假如影像沿水平方向移动各场和影像位置间的关系。横轴表示影像在水平方向的位置，纵轴表示时间。在图3A所示的倍速转换前的影像信号中，场f1和f2形成单一单位帧，故影像显示于相同的位置。此影像随场迁移至场f3而沿水平方向(向右侧)移动。由于场f4如场f3形成同一单位帧的部分，故影像显示于与场f3相同的位置。
若图3A所示的视影转换后的影像信号根据倍速场频制式而受到倍速转换，则如图3B所示，在形成单一单位帧的场f1、f2、f1′和f2中，同一影像显示于同一位置处。同样地，在形成单一单位帧的场f3、f4′、f3′和f4中，同一影像显示于同一位置处。
如图3B所示，视影转换后受到倍速转换的影像信号，被显示在从场f1到场f2同一位置处。另一方面，当场从f2迁移至f3时，影像沿水平方向极大地移动。特别地，倍速转换后的影像信号以每1/100秒1场的周期规则地形成场。因此，影像移动的时间带比影像静止的另一时间带要短。当由CRT实际地观看节目时，影像的运动显得不连续。为了消除这种运动的不连续性，例如基于块匹配法将屏幕影像分割成每个由预定像素构成的块，并通过以块为单位评价相似度而获得运动向量。根据获得的运动向量、对于各块通过迁移像素位置，从而纠正运动。
然而，如图4所示，设想在电视屏幕T中运动出现两个方向的情形，即，物体的影像A移至图中箭头X1方向的左侧，而背景B移至图中箭头X2方向的右侧。在这种情况下，上述运动向量的方向不能被正确地检测，因此不能消除上述影像的运动的不连续性。图4中的附图标记C表示实行上述块匹配的块。
发明内容
本发明的目的在于提供一种对受到视影转换的影像进行倍速转换的新颖的影像信号处理装置及其方法，其能够解决如上述的影像信号处理装置及其方法所涉及的问题。
本发明的另一目的在于提供一种影像信号处理装置及其方法，其对于对受到视影转换的影像进行倍速转换而生成的影像信号、甚至对于像在单一块内包括两个方向运动这样的变化多样的影像，能够在抑制屏幕颤抖干扰的同时平滑运动。
根据本发明而提供了一种影像信号处理装置及其方法，其中输入了通过对受到视影转换的影像进行倍速转换而生成的、由四个场形成的单位帧构成的影像信号，并基于计算出的像素信号电平的差分值来规定各场。迁移被检测像素的位置，从而，在这样规定的第一场中像素位置沿运动向量的反方向被迁移，在同样规定的第四场中像素位置沿运动向量的方向迁移，而在同样规定的第二和第三场中像素位置随着场从第一场移向后续而逐步接近在所述第四场中被迁移的像素位置。
具体地，根据本发明的影像信号处理装置被输入了通过对受到视影转换的影像做倍速转换而生成的、由每个包括第一及后续的第二到第四场的四个场的单位帧构成的影像信号，各单位帧从第一场开始，该装置包括序列检测器，其对于所述输入的影像信号，在当前场的检测到的像素和当前场之后一帧的场中同一位置处的检测到的像素间、计算像素信号电平的差分值，并基于该差分值来规定构成单位帧的各场；运动向量检测器，其对于当前场的检测到的像素，检测对于当前场之后两帧的场的运动向量；和影像控制器，其根据运动向量的向量值、在由序列检测器规定的各场内迁移影像信号的检测到的像素的位置。其中影像控制器对于所规定的第一场沿运动向量的反方向来迁移检测到的像素，影像控制器对于所规定的第四场沿运动向量的方向来迁移检测到的像素，而影像控制器对于所规定的第二场和第三场而迁移检测到的像素，以使像素以从第一场开始的顺序、沿运动向量的方向或沿运动向量的反方向而逐步接近对于第四场而迁移的像素位置。
具体地，根据本发明的影像信号处理方法包括以下步骤输入通过对受到视影转换的影像做倍速转换而生成的、由包含第一及后续的第二到第四场的四个场的单位帧构成的影像信号，各单位帧从第一场开始；对于所述输入的影像信号，基于在当前场的检测到的像素和当前场之后一帧的场中同一位置处的检测到的像素间、计算像素信号电平的差分值，来规定形成单位帧的各场；对于当前场的检测到的像素，检测当前场之后两帧的场的运动向量；对于所规定的第一场沿运动向量的反方向来迁移检测到的像素；对于所规定的第四场沿运动向量的方向来迁移检测到的像素；和对于所规定的第二场和第三场而迁移检测到的像素，以使像素以从第一场开始的顺序、沿运动向量的方向或沿运动向量的反方向而逐步接近对于第四场而迁移的像素位置。
从下面结合附图的描述，本发明的上述和其他目的、优点和特点将会变得更加明显。
图1是示出应用倍速场频制式的倍速场转换电路的框图；图2A和图2B示出对于倍速转换前后影像信号的各场和像素位置间的关系；图3A和图3B示出假如影像沿水平方向移动，各场和影像位置间的关系；图4是用来说明在单一块内包括两个方向运动的变化多样的影像的视图；
图5是示出应用本发明的影像信号处理装置的部分块的电路图；图6A和图6B示出在倍速场转换电路中倍速转换前后的各场和像素位置间的关系；图7示出假如影像沿水平方向移动，各场和影像位置间的关系；图8是用来说明由序列检测器来检测序列的方法的视图；图9是用来说明在各场中的影像迁移的方法的视图；图10是示出在各场中的影像迁移的结果的视图；图11是用来说明在第一和第二场中沿运动向量的反方向来迁移各影像的方法的视图；图12是示出根据图11所示的迁移方法来迁移影像的结果的视图；图13是示出影像信号处理装置的构成框图，该装置对于输入的影像信号，重排构成单位帧的场的顺序、并将信号输出至CRT；图14是表示影像信号处理装置的操作实例的视图，该装置重排形成单位帧的场的顺序并输出信号；图15是用来说明图14所示的影像信号处理装置的操作实例的视图，其中形成单位帧的场的顺序被重排；图16是示出影像信号处理装置的操作的第二实例的视图，该装置重排形成单位帧的场的顺序并输出信号；图17是表示影像信号处理装置的操作的第三实例的视图，该装置重排形成单位帧的场的顺序并输出信号；和图18是表示影像信号处理装置的操作的第四实例的视图，该装置重排形成单位帧的场的顺序并输出信号。
具体实施例方式
以下，参照附图来详细说明本发明的实施例。
本发明被应用于根据PAL制式(逐行倒相制)的电视接收机内建的影像信号处理装置。
应用本发明的影像信号处理装置1具有图5所示的结构。
如图5所示，影像信号处理装置1具有第一影像存储器11、第二影像存储器12、序列检测器13、运动向量检测器14、影像迁移器15、影像逆迁移器16和开关17。
第一影像存储器11被顺次提供了通过对受到视影转换的影像进行倍速转换而生成的、而且一个单位帧是由四个场形成的例如100场/秒的隔行影像信号。
第一影像存储器11以场为单位对于每一帧而存储所提供的影像。即，从第一影像存储器11输出影像信号比将影像信号提供给第一影像存储器11滞后了一帧。
第二影像存储器12有着与第一影像存储器11同样的内部结构，并以场为单位对于每一帧而存储从第一影像存储器11提供的影像信号。即，从第二影像存储器12输出影像信号比将影像信号提供给第二影像存储器12滞后了一帧，即比将影像信号提供给第一影像存储器11滞后了两帧。此存储于第二影像存储器12的影像信号被提供给运动向量检测器14。
序列检测器13检测提供给第一影像存储器11的影像信号和从第一影像存储器11输出的影像信号，并比较每个像素影像信号的电平，以计算提供的信号和输出的信号间的差分值。即，序列检测器13以帧为周期来比较屏幕上单一部分处各像素的影像信号电平。序列检测器13将关于影像信号电平的差分值的运算结果发送至影像迁移器15和影像逆迁移器16。
运动向量检测器14检测提供给第一影像存储器11的影像信号和从第二影像存储器12输出的影像信号，并基于例如块匹配法来检测运动向量。在这种块匹配法中，将屏幕分割成各个由预定像素构成的块，并通过在各个块单位中评价相似度来获得运动向量。运动向量检测器14将对于每个像素或每个块而检测到的运动向量发送至影像迁移器15和影像逆迁移器16。
影像迁移器15从序列检测器13接收影像信号电平的比较结果。影像迁移器15还接收由运动向量检测器14检测的运动向量。进而，从第一影像存储器11将比输入影像信号延迟1帧的影像信号提供给影像迁移器15。影像迁移器15在所接收的运动向量的范围内、沿所接收的运动向量的方向来迁移所提供的影像信号的各像素位置。
影像逆迁移器16从序列检测器13接收影像信号电平的比较结果。影像逆迁移器16接收由运动向量检测器14检测的运动向量。进而，从第一影像存储器11将比输入影像信号延迟一帧的影像信号提供给影像逆迁移器16。影像逆迁移器16沿所接收的运动向量的反方向来迁移所提供的影像信号的各像素位置。注意，影像逆迁移器16即使在影像逆迁移器16与影像迁移器15一体化的情形中也可适用。
影像迁移器15和影像逆迁移器16将以场为单位来迁移像素位置的影像信号提供给开关17。基于从序列检测器13提供的影像信号电平的比较结果，开关17以场为单位来选择必要的影像信号。由开关17选择的影像信号被输出至CRT 2。CRT 2在屏幕上显示从开关17输入的影像信号，并基于未被示出的水平/垂直偏向电路来控制影像信号在水平和垂直方向上的偏向。
在有些情形中，在影像信号处理装置1中集成了倍速场转换电路3，其对影像信号的场频进行倍速转换。集成了倍速场转换电路3可以通过改善分辨率来防止屏幕颤抖干扰。例如，在PAL制式中例如实行间插等处理，以将场频为50Hz的影像信号转换成二倍频即100Hz的影像信号。
如图5所示，倍速场转换电路3具有连接至电视接收机的输入终端31、倍速转换器32和帧存储器33。
倍速转换器32将从电视接收机经输入终端31输入的视影转换后的影像信号写入帧存储器33。倍速转换器32以写入速度的二倍的速度读出写入帧存储器33的影像信号。结果，例如，根据PAL制式的50场/秒的影像信号的频率被转换成二倍频，从而可生成100场/秒的影像信号。倍速转换器32将受到倍速转换的影像信号提供给影像信号处理装置1。
图6A和图6B示出在倍速场转换电路3中倍速转换前后的各场和像素位置间的关系。在这些图中，横轴表示时间，纵轴表示像素在垂直方向的位置。
倍速转换前的影像信号是根据PAL制式的50场/秒的隔行影像信号，并且如图6A所示，每单位帧由两个场形成。
另一方面，倍速转换后的影像信号是100场/秒的隔行影像。因此如图6B所示，在场t1和t2间新生成了二个场t2′和t1′。在场t2和场t3间不生成新场，但在场t3和场t4间新生成二个场t4′和t3′。因此在影像信号中，每单位帧是由四个场来形成的。
在有些情形中，新生成的场t1′、t2′、...是将各像素值设想成各像素的周围3像素的中间值、使用中值滤波器等而获得的。这些新生成的场t1′、t2′、...与场t1、t2、...分别具有同样的内容。其结果是，每单位帧是由四个场来形成的，从而可通过增加每单位时间的屏幕数来改善分辨率。于是可抑制屏幕颤抖干扰。
其次，说明根据本发明的影像信号处理装置1的操作。
影像信号处理装置1从倍速场转换电路3顺次被提供了在视影转换后受到倍速转换的、由四个场形成的单位帧构成的影像信号。图7示出假如影像沿影像信号的水平方向移动，各场和影像位置间的关系。在图7中，横轴表示影像在水平方向的位置，纵轴表示时间。已受过视影转换的影像如图7所示，以场t1、t2′、t1′和t2的顺序、以一定的时间周期被提供给第一影像存储器11，并且这些影像显示于同一位置处。随着场迁移至t3，影像也沿水平方向(向右侧)移动，并且这些影像以场t3、t4′、t3′和t4的顺序被提供给第一影像存储器11。
当将例如场t3提供给第一影像存储器11(以下称作参照场)时，从第二影像存储器12输出了比参照场超前两帧的场t1(以下称作两帧延迟场)。
运动向量检测器14在参照场和两帧延迟场间以像素或块为单位而检测运动向量。假如是图7所示的实例，运动向量的向量方向是以两帧延迟场作为基准的水平方向(向右侧)，并且其向量的向量值为A。同样地，当参照场是场t5时，两帧延迟场是t3，而运动向量的量值为B。通过重复这一程序，可顺次获得以各两帧延迟场作为基准的向量的方向和量值。运动向量检测器14将获得的运动向量的方向和量值顺次发送至影像迁移器15和影像逆迁移器16。
序列检测器13顺序地检测参照场和比从第一影像存储器11输出的参照场超前一帧的各场(以下称作一帧延迟场)，并计算同一像素位置处的像素信号电平的差分值。
具体来说，如图8所示，参照场t1′和一帧延迟场t1构成单一单位帧，从而，例如像素位置a处的像素信号电平的差分值是0。其次，提供场t2作为参照场，于是场t2′成为一帧延迟场。因此，像素位置a处的像素信号电平的差分值同样是0。
其次，提供场t3作为参照场，于是场t1′成为一帧延迟场。由于这两个场分别形成不同单位帧的部分，故a点的像素信号电平的差分值不是0(以下将为1)。其次，提供t4′作为参照场，于是场t2成为一帧延迟场，从而，a点的像素信号电平的差分值同样是1。
进而，提供场t3′作为参照场，于是场t3成为一帧延迟场。由于这两个场形成同一单位帧，故a点的像素信号电平的差分值再度是0。此倾向应用于此后提供的参照场。计算出的差分值「0011」按此顺序以四个场为周期重复。这样一来，通过以每四个场为单位来检测序列，有可能规定各场与前后场的关系。
若对于一帧延迟场来注视此倾向，则差分值从每单位帧的最初场的顺序是「0011」。因此，如图8所示，当最初算出差分值为0时，此时检测到的一帧延迟场被规定为单位帧的最初场(以下称作第一场)。当差分值连续为0时，此时检测到的一帧延迟场被规定为第二场。当最初算出1成为差分值时，此时检测到的一帧延迟场被规定为第三场。当差分值连续为1时，此时检测到的一帧延迟场被规定为第四场。
序列检测器13将各场与前后场的关系的规定结果发送至影像迁移器15和影像逆迁移器16。
影像迁移器15和影像逆迁移器16基于由序列检测器13规定的各场与前后场的关系、沿向量方向来迁移所提供的影像信号的检测到的像素的位置。在影像信号被提供给影像迁移器15之前，已判明了各个场对应于第一场到第四场的那个场。因此可正确而容易地迁移检测到的像素的位置。
对于各场的迁移方向，如图9中黑箭头所指示，影像信号在每个第一场中沿运动向量的反方向迁移，而影像信号在第二场和以后各场中沿运动向量的方向迁移。在第二场和以后各场中，迁移量从第二场起在各运动向量的向量值范围内逐步增大，因而迁移量在第四场中最大。即在本发明中，场沿运动向量的方向和反方向迁移、在彼此之间平衡，因而在迁移量最大的第四场中，迁移量被抑制，以减少运动向量检测时的误差。
运动向量检测时的误差就是检测到的运动向量的方向有误的情形，例如当影像在单一块内包括两个方向运动(例如，物体的影像向左方向移动，而背景向右方向移动)时。例如，如图9中虚线箭头所指示，在以下运动纠正实例中即各场中的影像信号仅沿运动向量的向量方向迁移，则在第四场中迁移量自身变得过大。若检测到的运动向量的方向有误，则因为在第四场中影像极大地移动，所以误差在屏幕上显著地呈现。
同时，在影像沿运动向量的方向和反方向迁移、在各场之间平衡的本发明中，如图9所示，在第四场中迁移量可被抑制得很小。其结果，即使当影像在单一块内包括两个方向运动时检测到的运动向量的方向有误，也可不使此误差醒目而实现平滑的运动。
在图9所示的实例中，每当场向第二场以后迁移时，各个影像的迁移量按检测到的运动向量的1/4而增加，此处第二场的迁移量为0。在这种情况下，若向量值是A，则第二场的迁移量为0，第三场的迁移量为A×1/4，而第四场的迁移量为A×2/4。进而在下个单位帧的第一场中，迁移量可设成运动向量A的1/4。同样地，若下个单位帧的运动向量是B，则第二场的迁移量可设为0，第三场的迁移量可设为B×1/4，而第四场的迁移量可设为B×2/4。
通过这样的影像迁移，迁移量可按时间而线性地增加，从而影像的运动可愈发平滑。
图10示出在所有各场中的影像迁移的结果。随着场迁移向后续场，影像也渐渐地沿水平方向移动。即，影像迁移器15可将与运动向量相当的迁移量分散至各场。其结果，与迁移前的影像相比，当从第四场迁移至第一场时，不用极大地移动影像也可能平滑地移动。
或者，如图11所示，影像迁移器15可使影像信号在第一和第二场中沿运动向量的反方向迁移，而在第三场和以后场中沿运动向量的方向迁移。在这种情况下，在第一和第二场中，迁移影像以使迁移量随着场从第一场移向后续场而逐步减少。在第三和第四场中，迁移量随着场从第三场移向后续场而在运动向量的向量值范围内逐步增大，并在第四场中达到最大。其结果，与图9所示的实例同样，各场的影像向不同方向迁移，从而可抑制每一场的迁移量，并减轻运动向量检测时的误差。
在图11所示的实例中，第三场的迁移量可设为0，每当场向第三场以后迁移时，影像的迁移量按检测到的运动向量的1/4而增加。在这种情况下，若向量值是A，则第三场的迁移量为0，第四场的影像被迁移了A×1/4。在下个单位帧的第一场中，迁移量可设为运动向量A的2/4，而第二场的迁移量设为1/4。同样地，若下个单位帧的运动向量是B，则第三场的迁移量可设为0，而第四场的迁移量可设为B×1/4。
图12示出如图11所示的影像迁移的结果，同样在图12中，随着场向后续场迁移，影像也渐渐地沿水平方向移动。
进而，在影像迁移器15中可使影像在第一至第三场中沿运动向量的反方向迁移，而在第四场中沿运动向量的方向迁移。在这种情况下，迁移各影像以使迁移量从第一场起而逐步减少。
若集成化了倍速场转换电路3的影像信号处理装置1内建于电视接收机，则有可能消除视影转换后受到倍速转换的影像信号所特有的运动中的不连续性。即，在如影像在单一块内包括两个方向运动等各种情形中，影像信号处理装置1可由倍速场转换电路3来改善分辨率、抑制屏幕颤抖干扰、并使各影像的运动更平滑。
因而，由影像信号处理装置1不仅在单独实际使用的情形下、而且与倍速场转换电路3一体化实际使用的情形下，都能得到显著的效果。此外，对于早已集成化了倍速场转换电路的电视接收机，若影像信号处理装置1是后来内建的，则可容易地实现版本升级。
根据本发明的影像信号处理装置1不限于上述实施例。本发明也适用于影像信号处理装置4，其对于输入的影像信号重排形成单位帧的场的顺序、并将信号输出至CRT。图13示出影像信号处理装置4的块结构的实例。与上述影像信号处理装置1相同的构件被标以同一附图标记，并因而省略了其详细说明。
影像信号处理装置4具有第一影像存储器11、第二影像存储器12、序列检测器13、运动向量检测器14、影像迁移器55、影像逆迁移器56和开关17。
影像迁移器55从序列检测器13接收影像信号电平的比较结果。影像迁移器55接收由运动向量检测器14检测的运动向量。进而，影像迁移器55在所接收的运动向量的向量值的范围内、沿运动向量的向量方向来迁移从第二影像存储器12提供的影像信号的像素位置。即，影像迁移器55迁移那些比输入影像信号延迟两帧的影像信号。
影像逆迁移器56从序列检测器13接收影像信号电平的比较结果。影像逆迁移器56接收由运动向量检测器14检测的运动向量。进而，影像逆迁移器56在所接收的运动向量的向量值的范围内、沿运动向量的反方向来迁移提供给第一影像存储器12的影像信号的像素位置。即，影像逆迁移器56迁移与输入影像信号相同的那些影像信号，因此与影像迁移器55所迁移的影像信号有两帧的时间差。在有些情形中，影像逆迁移器56与影像迁移器55一体化而构成。
由影像迁移器55和影像逆迁移器56迁移的影像信号都被输入开关17。基于从序列检测器13提供的影像信号电平的比较结果，开关17以场为单位来选择必要的影像信号。由开关17选择的影像信号被输出至CRT 2。
其次，参照图14来说明应用本发明的影像信号处理装置4的操作。
影像信号处理装置4从倍速场转换电路3顺次被输入了在视影转换后受到倍速转换的、由四个场形成的单位帧构成的影像信号。影像信号处理装置4规定所提供的影像信号的第一和第二场、基于第二影像存储器12来延迟这些场、并在这些场中沿运动向量的向量方向来迁移影像信号。进而，影像信号处理装置4规定所提供的影像信号的第三乃至第四场、不延迟这些场而在这些场中沿运动向量的反方向来迁移影像信号。
提供给影像信号处理装置4的影像信号以场t1、t2′、t1′和t2的顺序、以预定的时间周期而排列。随着场迁移至t3，影像移动至由运动向量A定义的位置，并且这些影像以场t3、t4′、t3′和t4的顺序被提供给影像信号处理装置4。随着场移至t5，影像移动至由运动向量B定义的位置，并且这些影像以场t5、t6′、t5′和t6的顺序被提供给影像信号处理装置4。
运动向量检测器14从输入影像信号处理装置4的影像信号中，以每两帧为周期检测运动向量。例如，当从第二影像存储器12输出场t1时，将场t1之后两帧的场t3提供给第一影像存储器11。因而，运动向量检测器14最先获得场t1和t3间的运动向量。
其次，当从第二影像存储器12输出场t2′时，将场t4′提供给第一影像存储器。因而，在场t2′和t4′间检出运动向量。即，运动向量检测器14以图14所示括弧中所写的编号顺序而顺次检出运动向量。
在时间带(1)中检出运动向量，之后，将场t1输入影像迁移器55。将场t3输入影像逆迁移器56。影像迁移器55沿向量方向来迁移场t1的影像信号，或设迁移量为0而将此影像信号输出至开关17。输入影像逆迁移器56的场t3的影像信号被延迟两帧后沿向量方向迁移，于是不实行任何处理。
同样地，在时间带(2)中检出运动向量，之后，将场t2’输入影像迁移器55。影像迁移器55沿向量方向来迁移此场t2′的影像信号，并将该信号输出至开关17。输入影像逆迁移器56场t4′被延迟两帧，之后沿向量方向迁移该影像信号，于是不实行任何处理。
在时间带(3)中在场t1′和t3′间检出运动向量，之后，将场t1′输入影像迁移器55。将场t3′输入影像逆迁移器56。在这种情况下，影像逆迁移器56沿运动向量的反方向来迁移此输入的场t3′的影像信号。注意，场t1′由于其影像由影像逆迁移器56迁移而不必受处理。
同样地，在时间带(4)中，输入的场t4由影像逆迁移器56沿运动向量的反方向来迁移。
进而，在时间带(5)中在场t3和t5间检出运动向量，之后，将场t3输入影像迁移器55。将场t5输入影像逆迁移器56。影像迁移器沿向量方向来迁移场t3的影像信号，或设迁移量为0。尽管此场t3已被输入了影像逆迁移器56一次，但影像逆迁移器56却不实行任何处理，以防止一个场被重复迁移。
同样地，在时间带(6)中，输入的场t4′的影像信号由影像迁移器55沿向量方向来迁移。
从上述的处理程序可理解，影像信号处理装置4在检出运动向量后，交替地迁移提供给影像迁移器55和影像逆迁移器56的场的影像信号。
图15示出根据在影像信号处理装置4中迁移量来重排各场的结果。在图15中，在构成单位帧的场(例如，场t3、t4′、t3′和t4)中，输入影像信号的顺序与图14所示的输入影像信号的顺序有所变化。这示意着在形成单位帧的场中，不论从哪个场最先开始迁移，都可得到同一结果。
即，与前述的影像信号处理装置1同样，在影像在单一块内包括两个方向运动等情形的变化多样的影像中，影像信号处理装置4能够抑制屏幕颤抖干扰、同时使各影像更平滑。
在图15所示的实例中，影像的迁移量可被排列为使场t1的迁移量设为0、而场t1′的迁移量设为检测到的运动向量的量值A的1/4。进而，在下个单位帧的第一场中，迁移量可设为运动向量A的2/4，而在第二场中，迁移量可设为运动向量A的1/4。同样地，若下个单位帧的运动向量是B，则第三场的迁移量可设为0，而第四场的迁移量可设为B×1/4。其结果，输出的影像信号与图15所示迁移影像的实例相同，从而迁移量可按时间而线性地增加，于是影像的运动可愈发平滑。
场的重排不限于图15所示的实例。在形成单位帧的四个场内(例如，以场t3、t4′、t3′和t4的顺序来排列输入的影像信号)，可自由地设定影像信号被迁移的向量方向和向量值。
例如象图16所示，有可能迁移影像信号而使输出的影像信号以场t4、t3、t4′和t3′的顺序沿水平方向排列。而且，例如图17所示，有可能迁移影像信号而使输出的影像信号以场t4′、t3′、t4和t3的顺序沿水平方向排列。进而，例如图18所示，有可能迁移影像信号而使输出的影像信号以场t3′、t4、t3和t4′的顺序沿水平方向排列。
在图16到18所示的实例中，若迁移量以向量值的1/4为单位而增减，则迁移量可按时间而线性地增减，从而影像的运动更加改善。
应用本发明的上述影像信号处理装置不限于应用根据PAL制式的电视接收机的情形。例如，本发明适用于这种电视接收机其输入了根据NTSC(全国电视制式委员会)制式的60场/秒(30单位帧/秒)的隔行影像信号。或者本发明适用于根据SECAM制式的电视接收机。
进而，本发明不限于内建于电视接收机的影像信号处理装置，而可以是连接至电视接收机的内建信号转换器。
本发明不限于参照附图而说明的上述实施例。在不脱离添附的权利要求书及其主旨的情况下，可以进行本发明的各种变更、置换或等同物，这一点对于业内人员将是明显的。
产业上的可利用性如上述，根据本发明的影像信号处理装置及其方法，输入了通过对受到视影转换的影像做倍速转换而生成的、每个由四个场形成的单位帧构成的影像信号，并基于计算出的像素信号电平的差分值来规定各场。迁移检测到的像素的位置，从而，在这样规定的第一场中被检测的像素位置沿运动向量的反方向迁移，在同样规定的第四场中像素位置沿运动向量的方向迁移，而在同样规定的第二和第三场中像素位置随着场从第一场移向后续而逐步接近在所述第四场中迁移的像素位置。
这样一来，根据本发明的影像信号处理装置及其方法对于影像在单一块内包括两个方向运动等情形的变化多样的影像，能够在抑制屏幕颤抖干扰的同时平滑影像的运动。
权利要求
1.一种影像信号处理装置，其被输入了通过对受到视影转换的影像进行倍速转换而生成的、并由每个包含第一及后续的第二到第四场的四个场的单位帧形成的影像信号，各单位帧从第一场开始，该影像信号处理装置包括序列检测器，其对于所述输入的影像信号，在当前场的检测到的像素和所述当前场之后一帧的场中同一位置处的检测到的像素间、计算信号电平的差分值，并基于该差分值来规定形成单位帧的各场；运动向量检测器，其对于所述当前场的检测到的像素，检测对于所述当前场之后两帧的场的运动向量；和影像控制器，根据所述检测到的运动向量的向量值、在由所述序列检测器规定的各场内迁移影像信号的所述检测到的像素的位置，其中所述影像控制器对于所述规定的第一场沿所述运动向量的反方向来迁移所述检测到的像素，所述影像控制器对于所述规定的第四场沿所述运动向量的方向来迁移所述检测到的像素，和所述影像控制器对于所述规定的第二场和第三场而迁移所述检测到的像素，以使像素以从第一场开始的顺序、沿所述运动向量的方向或沿运动向量的反方向而逐步接近对于所述第四场而迁移的像素位置。
2.根据权利要求1所述的装置，其中所述影像控制器将所述第二场的迁移量设为0。
3.如权利要求2所述的设备，其中每当所述第二场有后续场时，迁移量即按所述检测到的运动向量的向量值的1/4而增加，并基于所述当前场之前两帧的场而将所述第一场的迁移量设为所述运动向量的向量值的1/4。
4.如权利要求1所述的设备，其中所述影像控制器将所述第三场的迁移量设为0。
5.如权利要求4所述的设备，其中所述影像控制器将所述第四场的迁移量设为所述检测到的运动向量的向量值的1/4，基于所述当前场之前两帧的场而将所述第一场的迁移量设为所述运动向量的向量值的2/4，并基于所述当前场之前两帧的场而将所述第二场的迁移量设为所述运动向量的向量值的1/4。
6.如权利要求1所述的装置，其中若所述差分值顺续变为0，则所述序列检测器将在先输入的当前场规定为第一场。
7.如权利要求1所述的设备，其中所述运动向量检测器对于包括预定像素数量的每个块，基于块匹配法而检测所述运动向量。
8.如权利要求1所述的装置，其中所述输入信号是根据PAL制式的隔行影像信号。
9.一种影像信号处理方法，包括以下步骤输入通过对受到视影转换的影像进行倍速转换而生成的、并由每个包括第一及后续的第二到第四场的四个场的单位帧形成的影像信号，各单位帧从第一场开始；对于所述输入的影像信号，基于所计算的在当前场的检测到的像素和所述当前场之后一帧的场中同一位置处的检测到的像素之间的像素信号电平的差分值来规定形成单位帧的各场；对于所述当前场的检测到的像素，检测对于所述当前场之后两帧的场的运动向量；对于所述规定的第一场沿所述运动向量的反方向来迁移所述检测到的像素；对于所述规定的第四场沿所述运动向量的方向来迁移所述检测到的像素；和对于所述规定的第二场和第三场而迁移所述检测到的像素，以使所述像素以从所述第一场开始的顺序、沿所述运动向量的方向或沿运动向量的反方向而逐步接近对于所述第四场而迁移的像素位置。
10.如权利要求9所述的方法，其中将所述第二场的迁移量设为0。
11.如权利要求9所述的方法，其中每当所述第二场有后续场时，迁移量即按所述检测到的运动向量的向量值的1/4而增加，并基于所述当前场之前两帧的场而将所述第一场的迁移量设为所述运动向量的向量值的1/4。
12.如权利要求9所述的方法，其中将所述第三场的迁移量设为0。
13.如权利要求12所述的方法，其中将所述第四场的迁移量设为所述检测到的运动向量的向量值的1/4，基于所述当前场之前两帧的场而将所述第一场的迁移量设为所述运动向量的向量值的2/4，并基于所述当前场之前两帧的场而将所述第二场的迁移量设为所述运动向量的向量值的1/4。
14.如权利要求9所述的方法，其中若所述差分值顺续变为0，将在先输入的当前场规定为第一场。
15.如权利要求9所述的方法，其中对于包括预定像素数量的每个块，基于块匹配法而检测所述运动向量。
16.如权利要求9所述的方法，其中输入了具有场频从50场/秒转换成100场/秒的二倍频的PAL制式的隔行影像信号、作为所述影像信号。
全文摘要
本发明涉及一种影像信号处理装置和一种影像处理方法，包括以下步骤在当前场的检测像素和当前场之后一帧的场中同一位置处的检测像素间，计算像素信号电平的差分；根据所获得的该差分值来识别构成帧的各场；检测由当前场的检测像素和当前场之后两帧的场的检测像素所定义的运动向量；在被检测的运动向量的范围内，在被识别的第一场沿被运动向量的反方向来迁移检测像素；在被识别的第四场沿运动向量的方向来迁移检测像素；沿运动向量的方向或沿运动向量的反方向迁移检测像素，以便在第一场的检测像素逐步接近在被识别的第二场和第三场直到在第四场被迁移的像素位置。
文档编号H04N5/253GK1605196SQ0282505
公开日2005年4月6日 申请日期2002年12月13日 优先权日2001年12月13日
发明者星野隆也, 猿乐寿雄, 染谷郁男, 近藤真, 西堀一彦, 青山幸治, 茂木幸彦, 上木伸夫, 黑川益义 申请人:索尼株式会社