专利名称：影像信号处理装置和方法
技术领域：
本发明涉及一种影像信号处理装置，其迁移了通过做倍速转换而生成的影像信号的各检测到的像素的位置，以及该装置的方法。
本发明基于2001年12月13日申请的日本特许出愿2001-380760，并主张其优先权的权益，在此通过引用而包含其全部内容。
背景技术：
作为TV放送所用的传统扫描制式，广泛使用了每隔一行水平扫描线而扫描一次的隔行扫描制式。在此隔行扫描制式中，每一帧影像是由以下形成的由奇数行扫描线构成的场影像、和由偶数行扫描线构成的场影像，以便抑止造成全体画面颤抖的屏幕颤抖干扰，从而防止画面质量的恶化。
隔行扫描制式是被世界各国的电视作为标准制式而采用的。例如，根据欧洲的电视放送的PAL(逐行倒相)制式，场频是50Hz(帧影像25帧/秒，场影像50帧/秒)。
特别地，PAL制式传统上采用倍速场频制式即通过实行插入等的处理，而将输入影像信号的场频从50Hz加倍而转换成100Hz，因而，期待着进一步地抑制屏幕颤抖干扰。
图1是示出使用该倍速场频制式的倍速场转换电路5的框图。倍速场转换电路5集成化于设有输入端子61、水平/垂直偏向电路62和CRT63的电视接收机6。此倍速场转换电路5设有倍速转换器51和帧存储器52。
倍速转换器51将从输入端子61输入的根据PAL制式的50场/秒的影像信号写入帧存储器52。而且，倍速转换器51以写入速度的两倍的速度读出写入帧存储器52的影像信号。这样，50场/秒的影像信号的频率被转换成两倍频率，从而可生成100场/秒的影像信号。
倍速转换器51将已受到倍速转换的影像信号输出至CRT63。CRT63在屏幕上显示输入的影像信号。CRT63中影像信号的水平和垂直偏向是基于由水平垂直偏向电路62生成的、频率为输入影像信号的两倍的水平/垂直锯齿状波而受控制的。
图2A和图2B示出对于倍速转换前后的影像信号、各场和像素位置间的关系。在各图中，横轴表示时间，纵轴表示各像素在垂直方向的位置。图2A中白圆圈所示的影像信号是倍速转换前的50场/秒的隔行影像信号，而图2B中黑圆圈所示的影像信号是倍速转换后的100场/秒的隔行影像信号。
在图2A所示的影像信号中，场f1和场f2是从胶片的同一单位帧而生成的信号。同样地，场f3和场f4构成同一单位帧。由于这些影像信号是隔行影像信号，故在相邻的场间垂直方向上的像素位置不同。因此，无法在保持隔行特性的同时在每两个相邻的场间生成一个新场。
既然如此，如图2B所示，在场f1和场f2间新生成两个场f2′和f1′。在场f2和场f3间不生成新场，但在场f3和场f4间新生成两个场f4′和f3′。即一个单位帧是由形成两帧的四个场来形成的。
在有些情形中，新生成的场f1′、f2′、…是将各像素值设想成各像素的周围3像素的中间值、使用中值滤波器等而求得的。这些新生成的场f1′、f2′…与场f1、f2、…分别具有同样的内容。
具体即，倍速场转换电路5在倍速转换前的影像信号的场间、交替地配备其中各生成了两个新场的部分和其中未生成新场的部分。这样可增加每单位时间的屏幕影像数，从而可抑制上述的屏幕颤抖干扰。
为了在通常的电视机上观看由24单位帧/秒的静止影像构成的电影胶片，而进行电视到电影的转换(以下称作视影转换)，以得出隔行的电视信号。图3A和图3B示出对于视影转换后的影像信号、在影像沿水平方向移动的情形中各场和影像位置间的关系。横轴表示影像在水平方向的位置，纵轴表示时间。在图3A所示的倍速转换前的影像信号中，场f1和f2构成同一单位帧，故影像显示于相同的位置。此影像随场迁移至场f3而沿水平方向(向右侧)移动。由于场f4与场f3构成同一单位帧的部分，故影像显示于与场f3相同的位置。
若图3A所示的视影转换后的影像信号根据倍速场频制式而受到倍速转换，则如图3B所示，在构成同一单位帧的场f1、f2′、f1′和f2中，同一影像显示于同一位置处。同样地，在构成同一单位帧的场f3、f4′、f3′和f4中，同一影像显示于同一位置处。
图4A示出对于倍速转换前的电视信号(以下称作TV信号)、在影像沿水平方向移动的情形中各场和影像位置间的关系。在图4A中，各场f1、f2、f3、…皆形成独立的单位帧，故影像显示于不同的位置。该影像每当场从场f1迁移至场f2、f3、…时，即整体地沿水平方向(向右侧)移动。
当图4A所示的TV信号的影像信号根据倍速场频制式而受到倍速转换时，如图4B所示，在构成同一单位帧的场f1、f2′中，同一影像显示于同一位置处。同样地，在构成同一单位帧的场f1′、f2中，同一影像显示于同一位置处。
如图3B所示，在视影转换后受到倍速转换的影像信号中，影像从场f1～场f2显示于同一位置处。另一方面，当场从f1迁移至f2时，影像沿水平方向极大地移动。同样地，在对TV信号做倍速转换而获得的影像信号中，如图4B所示，影像从场f1～场f2′显示于同一位置处。另一方面，当场从f2′迁移至f1′时，影像沿水平方向极大地移动。
特别地，输出影像以每1/100秒一场的周期规则地构成场。因此，影像移动的时间带比影像静止的另一时间带要短。当实际地由CRT来观看节目时，影像的运动显得不连续。
进而，例如在随着影像沿水平方向移动而像素值变化这样的有很大变动的影像中，有必要高效率地消除影像运动的不连续性。
发明内容
本发明的目的在于提供一种新颖的影像信号处理装置及其方法，其能够解决如上述的传统的影像信号处理装置及其方法所带来的问题。
本发明的另一目的在于提供一种新颖的影像信号处理装置及其方法，其对于通过倍速转换而生成的影像信号、甚至是有很大变动的影像，能够在抑制屏幕颤抖干扰的同时通过平滑运动来协同地改善像质。
根据本发明的影像信号处理装置及其方法，输入了这样的信号其由以场形成的各单位帧构成、其中以第一场为起始，并且该信号受到倍速转换，基于算出的像素信号电平的差分值来规定第一场，对于各检出像素而计算插入像素数据，并将插入像素数据写入沿运动向量的方向来迁移检测到的像素的位置而获得的像素位置，从而随着场从所规定的第一场向后续场迁移、迁移量逐步地增大。
更具体地，根据本发明的影像信号处理装置被输入了影像信号，其由以场形成的各单位帧构成、其中以第一场为起始，并且该影像信号受到倍速转换，该影像信号处理装置包括序列检测装置，其对于所述输入的影像信号，计算在当前场的检测到的像素和当前场之后一帧的场中同一位置处的检测到的像素间的信号电平的差分值，并基于该差分值来规定所述第一场；运动向量检测装置，其对于当前场的检测到的像素，检测对于当前场之后一帧或两帧的场的运动向量；数据计算装置，其基于当前场的检测到的像素的像素数据和当前场之后一帧或两帧的场中各像素的像素数据，而计算对于该检测到的像素的插入像素数据；和影像控制装置，其在第一场后续的场中，将插入像素数据写入沿所述运动向量的方向来迁移当前场的检测到的像素的位置而获得的像素位置，该影像控制装置每当场从第一场向后续场迁移时，即在检测到的运动向量的范围内顺次地增大检测到的像素的位置迁移的量。
更具体地，根据本发明的影像信号处理方法进而包括以下步骤输入影像信号，其由以场形成的各单位帧构成、其中以第一场为起始，并且该影像信号受到倍速转换；对于所述输入的影像信号，计算在当前场的检测到的像素和当前场之后一帧的场中同一位置处的检测到的像素间的信号电平的差分值，以基于该差分值来规定所述第一场；对于当前场的检测到的像素，检测对于当前场之后一帧或两帧的场的运动向量；基于当前场的检测到的像素的像素数据和当前场之后一帧或两帧的场中各像素的像素数据，而计算对于该检测到的像素的插入像素数据；在第一场后续的场中，将插入像素数据写入沿所述运动向量的方向来迁移当前场的检测到的像素的位置而获得的像素位置。影像控制装置每当场从第一场向后续场迁移时，即在检测到的运动向量的向量值的范围内顺次地增大检测到的像素的位置迁移的量。
从下面结合附图的描述，本发明的上述和其他目的、优点和特点将会变得更加清楚。
图1是示出适用倍速场频制式的倍速场转换电路的框图；图2A和图2B示出倍速转换前后的各场和像素位置间的关系；图3A和图3B示出在影像沿水平方向移动的情形中各场和影像位置间的关系；图4A和图4B示出在输入TV信号的情形中、当影像沿水平方向移动时各场和影像位置间的关系；图5是示出适用本发明的影像信号处理装置的框电路图；图6是示出影像信号处理装置的影像迁移部的框电路图；图7A和图7B示出在场倍速转换电路中倍速转换前后的各场和像素位置间的关系；图8示出在视影转换后的影像中，在影像沿水平方向移动的情形中各场和影像位置间的关系；图9示出在TV信号所成的影像中，在影像沿水平方向移动的情形中各场和影像位置间的关系；图10是用来说明序列的检测方法的图；图11A和图11B以一维地显示了影像迁移部的操作处理过程；图12A乃至图12D用像素值来显示了影像迁移部的具体的操作例；和图13是未确定写入数据时间的优先级的影像迁移部的框图。
具体实施例方式
以下，参照附图来详细说明适用本发明的影像信号处理装置和方法。
图5是示出适用本发明的影像信号处理装置1的第一实施例。图5所示的影像信号处理装置1内置于根据例如PAL制式(逐行倒相制)的电视接收机。视影转换后的影像信号或电视信号(以下称作TV信号)被输入影像信号处理装置1。如图5所示，影像信号处理装置1包括第一影像存储器11、第二影像存储器12、序列检测器13、数据选择器14、运动向量检测器15和影像迁移器16。
第一影像存储器11被顺次提供了通过对受到视影转换的影像做倍速转换而生成的、而且一个单位帧是由四个场形成的例如100场/秒的隔行影像信号。第一影像存储器11还被顺次提供了通过对TV信号做倍速转换而生成的、而且一个单位帧是由两场形成的例如100场/秒的隔行影像信号。
第一影像存储器11以场为单位对于每一帧而存储所提供的影像。即，从第一影像存储器11输出影像数据比将影像信号提供给第一影像存储器11滞后了一帧。
第二影像存储器12有着与第一影像存储器11同样的内部结构，并以场为单位对于每一帧而存储从第一影像存储器11提供的影像数据。即，从第二影像存储器12输出影像数据比将影像数据提供给第二影像存储器12滞后了一帧，即比将影像数据提供给第一影像存储器11滞后了两帧。此存储于第二影像存储器12的影像数据D1被提供给运动向量检测器15和影像迁移器16。
序列检测器13检测提供给第一影像存储器11的影像数据和从第一影像存储器11输出的影像数据，并对于逐个像素比较影像数据的电平，以计算提供的信号和输出的信号间的差分值。即，序列检测器13以帧为周期来比较屏幕上同一部分处各像素的影像信号电平。序列检测器13将关于影像信号电平的差分值的计算结果发送至影像迁移器16。序列检测器13在上述的各场的识别外，还要加上确定视影转换后的影像信号或TV信号，并将该确定结果作为位移信息发送至影像迁移器16。
数据选择器14被输入了欲提供给第一影像存储器11的影像数据和从第一影像存储器11输出的影像数据。数据选择器14基于从序列检测器13接收的确定结果而从以上两者所提供的影像数据中选择一个。即，当接收到的数据被确定为由序列检测器13做视影转换后的信号时，数据选择器14选择欲提供给第一影像存储器11的影像数据。反之，当接收到的数据被确定为序列检测器13的TV信号时，数据选择器14选择从第一影像存储器11输出的影像数据。以下将数据选择器14所选择的影像数据称作影像数据D2。数据选择器14将所选的影像数据D2输出至运动向量检测器15。
数据选择器14可适用于连接模式，其中选择从第一影像存储器11输出的影像数据和从第二影像存储器12输出的影像数据的中的一个。
运动向量检测器15检测影像数据D1和影像数据D2，并基于例如块匹配法来检测运动向量。在这一块匹配法中，将屏幕分割成各由预定像素构成的块，并通过在各块单位中评估相似度来求得运动向量。从第二影像存储器12输出的影像数据D1是关于参照场的两帧延迟场。从数据选择器14输出的影像数据D2就是参照场自己或是关于参照场的一帧延迟场。
即，运动向量检测器15通过在影像数据D1和影像数据D2之间检测运动向量，可检测在参照场和两帧延迟信号间检测运动向量。以同样的方式，它还可在一帧延迟信号和两帧延迟信号间检测运动向量。换言之，运动向量检测器15可基于从序列检测器13接收的确定结果来控制检测运动向量的场间隔。
影像迁移器16从序列检测器13接收包含影像信号电平的比较结果的位移信息。影像迁移器16还接收由运动向量检测器15检测的运动向量。进而，从第二影像存储器12将影像数据D1提供给影像迁移器16，并从数据选择器14将影像数据D2提供给影像迁移器16。影像迁移器16在所接收的运动向量的范围内、沿所接收的运动向量的方向来迁移所提供的影像信号的各像素位置。影像迁移器16的内部结构将会详细地后述。
在有些情形中，在影像信号处理装置1中集成了倍速场转换电路3，其对影像信号的场频做倍速转换。集成了倍速场转换电路3可以通过改善解晰度来防止屏幕颤抖干扰。例如，在PAL制式中实行插入等处理，以将场频为50Hz的影像数据转换成两倍频即100Hz的影像数据。
如图5所示，倍速场转换电路3设有连接至电视接收机的输入端子31、倍速转换器32和帧存储器33。
倍速转换器32将从电视接收机经输入端子31输入的视影转换后的影像信号、或TV信号写入帧存储器33。倍速转换器32以写入速度的两倍的速度读出写入帧存储器33的影像数据。结果，例如，根据PAL制式的50场/秒的影像信号的频率被转换成两倍频，从而可生成100场/秒的影像数据。倍速转换器32将受到倍速转换的影像数据提供给影像信号处理装置1。
其次，参照图6来详细说明影像迁移器16的内部结构。影像迁移器16由数据处理单元16a和数据迁移单元16b构成。
数据处理单元16a包括数据缓冲读出控制单元161、第一缓冲器162、第二缓冲器163、数据计算单元164和标志计算单元165。
数据缓冲读出控制单元161被输入了在运动向量检测器15中检测的运动向量。数据缓冲读出控制单元161基于该输入的运动向量而计算缓冲控制信号S11和S12。各缓冲控制信号S11和S12由用来依序列读出数据的地址信号、和启用信号构成。例如，在第一缓冲器162和第二缓冲器163由帧存储器等来实现的情形中，数据缓冲读出控制单元161分别计算X-坐标和Y-坐标的各地址信号、作为绝对坐标。另一方面，在第一缓冲器162和第二缓冲器163由线存储器等最小必要存储器来实现的情形中，数据缓冲读出控制单元161分别计算X-坐标和Y-坐标的各地址信号、作为相对坐标。
假定缓冲控制信号S11的地址值的X-坐标和Y-坐标值是(AX1，AY1)，且所提供的运动向量值的X-坐标和Y-坐标值是(VX，VY)，则缓冲控制信号S12的地址(AX2，AY2)由以下的等式来表达。
AX2＝AX1+VX…(1.1)AY2＝AY1+VX…(1.2)数据缓冲读出控制单元161将包含这些算出的地址信号的缓冲控制信号S11提供给第一缓冲器162。数据缓冲读出控制单元161将包含同样算出的地址信号的缓冲控制信号S12提供给第二缓冲器163。
第一缓冲器162顺次地积蓄从第二影像存储器12发送的影像数据D1。第一缓冲器162根据所提供的缓冲控制信号S11而读出积蓄的影像数据D1。具体即，当所提供的缓冲控制信号S11的启用有效时，第一缓冲器162根据该缓冲控制信号S11中所含的地址值而读出积蓄在第一缓冲器162中的影像数据D1。这样读出的影像数据D1以下称作迁移数据SD1。第一缓冲器162将迁移数据SD1发送至数据计算单元164和标志计算单元165。
第一缓冲器162可以是积蓄对应于一帧的数据的帧存储器，或是由服从运动向量的取值范围的线存储器等最小必要存储器而构成的。进而，第一缓冲器可以为了依序列读出数据而由FIFO存储器等来实现。
第二缓冲器163顺次地积蓄从数据选择器14发送的影像数据D2。第二缓冲器163根据所提供的缓冲控制信号S12而读出积蓄的影像数据D2。具体即，当所提供的缓冲控制信号S12的启用有效时，第二缓冲器163根据该缓冲控制信号S12中所含的地址值而读出积蓄在第二缓冲器163中的影像数据D2。这样读出的影像数据D2以下称作迁移数据SD2。第二缓冲器163将迁移数据SD2发送至数据计算单元164和标志计算单元165。
第二缓冲器163可以是存储对应于一帧的数据的帧存储器，或是由服从运动向量的取值范围的线存储器等最小必要存储器而构成的。在后一情形中，构筑了这种系统其根据随机供给的地址值而随机地读出数据。
数据计算单元164基于所提供的迁移数据SD1和迁移数据SD2而计算移动数据M1。数据计算单元164将算出的移动数据M1顺次地提供给数据迁移单元16b。
注意，移动数据M1可通过一直不变地输出迁移数据SD1和迁移数据SD2而计算，或可作为迁移数据SD1和迁移数据SD2的平均值而计算。进而，移动数据M1可通过使用运动向量等的值时迁移数据SD1和迁移数据SD2做加权平均而计算。
标志计算单元165被提供了迁移数据SD1和迁移数据SD2，并计算包含检测到的运动向量的误差信息的标志F1。在有些情形中，标志F1以迁移数据SD1和迁移数据SD2的绝对差分值的大小来代表。在另一些情形中，它是基于运动向量的误差而计算的。进而，它可通过一直不变地输出与运动向量相关的标志信息而计算。标志计算单元165将算出的标志F1提供给数据迁移单元16b。
数据迁移单元16b包括迁移缓冲读出控制单元166、迁移缓冲写入控制单元167和迁移缓冲168。
迁移缓冲读出控制单元166从运动向量检测器15接收运动向量，并从序列检测器13接收位移信息，其包含与各信号有关的确定结果。迁移缓冲读出控制单元166基于运动向量、位移信息和内置的地址计数器而生成迁移缓冲读出控制信号RS1。迁移缓冲读出控制信号RS1由用来依序列读出数据的地址信号、和启用信号构成。例如，在迁移缓冲168由帧存储器等来实现的情形中，迁移缓冲读出控制单元166分别计算X-坐标和Y-坐标的地址信号、作为绝对坐标。另一方面，在迁移缓冲168由线存储器等最小必要存储器来实现的情形中，迁移缓冲读出控制单元166分别计算X-坐标和Y-坐标的地址信号、作为相对坐标。
假定地址计数器所表示的地址值的X-坐标和Y-坐标值是(CX1，CY1)，且所提供的运动向量值的X-坐标和Y-坐标值是(VX，VY)，则迁移缓冲读出控制信号RS1的地址(SX，SY)由以下的等式来表达。
SX＝CX1+(VX×α) … (2.1)SY＝CY1+(VY×α) … (2.2)其中α是位移信息并由大于等于0且小于等于1的数来表达。该α值在第一场设为最小，并每当场迁移至下一场时即顺次增大。α值在输入了视影转换后的信号的情形中可按1/4线性增加。此时，随着场从第一场迁移至第二场、第三场和第四场，α也从0迁移至1/4、2/4和3/4。进而，在输入了TV信号的情形中，α值可按1/2线性增加，从而随着场从第一场迁移，α也从0迁移至1/2。
迁移缓冲读出控制单元166将生成的迁移缓冲读出控制信号RS1提供给迁移缓冲写入控制单元167和迁移缓冲168。
迁移缓冲写入控制单元167分别从标志计算单元165被提供了标志F1，从迁移缓冲168被提供了标志F′并从迁移缓冲读出控制单元166被提供了迁移缓冲读出控制信号RS1。迁移缓冲写入控制单元167根据标志F比标志F′大或小而确定写入数据的优先级。迁移缓冲写入控制单元167基于所提供的迁移缓冲读出控制信号RS1而计算写入地址，并将该写入地址和如上述确定的优先级作为迁移缓冲写入控制信号RS2而提供给迁移缓冲168。
迁移缓冲168由数据用缓冲和标志用缓冲构成。数据用缓冲是用来积蓄和提供数据的缓冲。标志用缓冲是用来积蓄和提供标志的缓冲。在数据用缓冲和标志用缓冲中，是基于同一控制信号来进行写入和读出操作的。各个数据用缓冲和标志用缓冲可以是积蓄对应于一帧的数据的帧存储器，或是由服从运动向量的取值范围的线存储器等最小必要存储器而构成的。
迁移缓冲168首先初始化标志用缓冲。欲写入标志用缓冲的标志包含表示数据是否已被写入的标记信息。标记信息使用“NM”和“OK”两种标记。“NM”表示初始化时未写入数据，反之“OK”表示已写入数据了。
当迁移缓冲读出控制信号RS1的启用有效时，迁移缓冲168使标志F′关联于地址而将标志F′发送至迁移缓冲写入控制单元167。当迁移缓冲写入控制信号RS2的启用有效时，迁移缓冲168根据该迁移缓冲写入控制信号RS2的地址值而将移动数据M1和标志F1分别写入数据用缓冲和标志用缓冲。迁移缓冲168将已存储的像素值按编号顺序整理以创建移动数据M2，并顺次地读出迁移标志F2，之后，迁移缓冲168将移动数据M2和迁移标志F2提供给后处理单元169。
后处理单元169基于从迁移缓冲168输入的迁移标志F2而对移动数据M2做再加工，并将其作为补正数据H1而输出至CRT2。
其次，说明根据本发明的影像信号处理装置1的操作。
图7A和图7B示出在场倍速转换电路3中倍速转换前后的各场和像素位置间的关系。在图中，横轴表示时间，纵轴表示像素在垂直方向的位置。
倍速转换前的影像数据是根据PAL制式的50场/秒的隔行影像，并且如图7A所示，每1单位帧由两场形成。
另一方面，倍速转换后的影像数据是100场/秒的隔行影像。因此如图7B所示，在场t1和t2间新生成了两个场t2′和t1′。在场t2和场t3间不生成新场，但在场t3和场t4间新生成两个场t4′和t3′。因此在影像数据中，一个单位帧是由四个场来形成的。
在有些情形中，新生成的场t1′、t2′、…是将各像素值设想成各像素的周围3像素的中间值、使用中值滤波器等而求得的。这些新生成的场t1′、t2′…与场t1、t2、…分别具有同样的内容。其结果是，一个单位帧是由四个场来形成的，从而可通过增加每单位时间的画面数来改善解晰度。于是可抑制屏幕颤抖干扰。
图8示出对于视影转换后受到倍速转换的影像数据，在影像沿水平方向移动的情形中各场和影像位置间的关系。在图8中，横轴表示影像在水平方向的位置，纵轴表示时间。已受过视影转换的影像如图8所示，以场t1、t2′、t1′和t2的顺序、以一定的时间周期被提供给第一影像存储器11，并且这些影像显示于同一位置处。随着场迁移至t3，影像也沿水平方向(向右侧)移动，并且这些影像以场t3、t4′、t3′和t4的顺序被提供给第一影像存储器11。
当将例如场t3提供给第一影像存储器11(以下称作参照场)时，从第二影像存储器12输出了比参照场超前两帧的场t1(以下称作两帧延迟场)。
图9示出对于通过TV信号的倍速转换而获得的影像数据，在影像沿水平方向移动的情形中各场和影像位置间的关系。在构成同一单位帧的场t1和t2′中，同一影像显示于同一位置处。同样地，在构成同一单位帧的场t1′和t2中，同一影像显示于同一位置处。
运动向量检测器15对于图8所示视影转换后受到倍速转换的信号，在参照场和两帧延迟场间以像素或块为单位而检测运动向量。在图8的示例的情形中，运动向量的向量方向是以两帧延迟场作为基准的水平方向(向右侧)，并且其向量的向量值为A。同样地，当参照场是场t5时，两帧延迟场是t3，而运动向量的向量值为B。通过重复这一程序，可顺次求得以各两帧延迟场作为基准的向量的方向和向量值。运动向量检测器15将求得的运动向量的方向和向量值顺次发送至影像迁移器16。
运动向量检测器对于图9所示通过TV信号的倍速转换而获得的信号，在参照场和一帧延迟场间以像素或块为单位而检测运动向量。在图9的示例的情形中，运动向量的向量方向是以一帧延迟场作为基准的水平方向(向右侧)，并当参照场为t1′时其向量的向量值为C。同样地，当参照场是场t4′时，一帧延迟场是t1′，而运动向量的向量值为D。通过重复这一程序，可顺次求得以各一帧延迟场作为基准的向量的方向和向量值。运动向量检测器74将求得的运动向量的方向和向量值顺次发送至影像迁移器16。
序列检测器13顺次检测参照场和比从第一影像存储器11输出的参照场超前一帧的各场(以下称作一帧延迟场)，并计算同一像素位置处的像素信号电平的差分值。
更具体地说，如图10所示，在视影转换影像的情形中，参照场t1′和一帧延迟场t1构成同一单位帧，从而，例如像素位置a处的像素信号电平的差分值是0。其次，提供场t2作为参照场，于是场t2′成为一帧延迟场。因此，像素位置a处的像素信号电平的差分值同样是0。
其次，提供场t3作为参照场，于是场t1′成为一帧延迟场。由于这两个场分别形成不同单位帧的部分，故a点的像素信号电平的差分值不是0(以下将为1)。其次，提供场t4′作为参照场，于是场t2成为一帧延迟场，从而，a点的像素信号电平的差分值同样是1。
进而，提供场t3′作为参照场，于是场t3成为一帧延迟场。由于这两个场构成同一单位帧，故a点的像素信号电平的差分值再次是0。此倾向对于此后提供的参照场也适用。算出的差分值「0011」按此顺序以四个场为周期重复。这样一来，通过以每四个场为单位来检测序列，有可能规定各场与前后场的关系。
若对于一帧延迟场来注视此倾向，则差分值从每单位帧的最初场的顺序是「0011」。因此，当最初算出差分值0时，此时检测到的一帧延迟场被规定为单位帧的最初场(以下称作第一场)。当差分值连续为0时，此时检测到的一帧延迟场被规定为第二场。当最初算出1成为差分值时，此时检测到的一帧延迟场被规定为第三场。当差分值连续为1时，此时检测到的一帧延迟场被规定为第四场。
在输入TV信号的情形中，也有必要确定各场是否对应于第一场或第二场。不过由于倍速场转换电路3在做倍速转换时辨明了对应场，故没有必要进行如上述的序列检测。即，当从倍速场转换电路3输入影像信号时，已经各规定了第一场和第二场。
图11A以一维图形示出了在输入了1单位帧由两场构成的TV信号的情形中，影像迁移器16的操作例。在图11A所示的操作例中，输入了TV信号，影像数据D1是第一场，而影像数据D2是影像数据D1之后一帧的第一场。在图11A中，从0开始的编号是表示像素位置的地址，而纵轴表示像素值(＝像素信号电平)。
在本发明中，如图11B所示，将补正数据写入在时间上互异的影像数据D1和影像数据D2间放置的第二场(以下称作写入场)，于是得到平滑的运动。即，在图11A的示例中，当从左侧具有凸部的影像数据D1迁移至中央具有平滑凸部的影像数据D2时，在上述写入场中生成了使全体运动显得平滑的影像。
图12A乃至图12D用像素值来显示了图11所示的影像迁移部16的具体的操作例。图12A示出输入影像迁移部16的影像数据D1和影像数据D2。编号是表示像素位置的地址。由于各像素具有辉度，故在所提供的影像数据D1中，对于每个编号而分配了像素值。
即，在图12A所示的操作例中，影像数据D1由像素值100、100、200…来表示，其按顺序对应于编号0～11所示的地址。
影像数据D1之后放置的影像数据D2由像素值100、100、100、…来表示，其按顺序对应于编号0～11所示的地址。
图12A所示的运动向量示出在影像数据D1和影像数据D2间、以基于像素的影像数据D1为基准的向量的向量值。例如，影像数据D1的地址编号1处的像素值为100的像素也处在放置在一帧后的影像数据D2的地址编号1处。于是得到运动向量为0。例如，影像数据D1中地址编号2所对应的像素值为200的像素移至影像数据D2的地址编号4。于是算出运动向量为4-2＝2。注意，图11A所示的箭头表示基于像素的运动向量。
第一缓冲器162和第二缓冲器163各将影像数据D1和影像数据D2中的千像素值与地址编号相对应，并存储在其中。例如，在被提供了影像数据D1后的第一缓冲器中，存储了图12所示的地址编号和对应的像素值。
图12B示出数据缓冲读出控制单元161的处理。数据计算单元164基于上述式(1.1)和(1.2)而生出缓冲控制信号S12。当缓冲控制信号S11被当作对应于上述地址的编号时，地址编号1中的运动向量为0，如图12A所示。因而缓冲控制信号S12的编号也是1。在缓冲控制信号S11中地址编号2的情形中，得到运动向量为2。因而缓冲控制信号S12的编号是4。
缓冲控制信号S11被提供给第一缓冲器162，并从该第一缓冲器162中读出缓冲控制信号S11的地址所对应的编号处的像素值。读出的像素值被作为迁移数据SD1而与地址相关联，并提供给数据计算单元164等。
类似地，缓冲控制信号S12被提供给第二缓冲器163，并从该第二缓冲器163中读出缓冲控制信号S12的地址所对应的编号处的像素值。读出的像素值被作为迁移数据SD2而与地址相关联，并提供给数据计算单元164等。
图12B表格的最下段示出将移动数据M1作为迁移数据SD1和迁移数据SD2间的平均值而计算的情形。移动数据M1是欲写入置于影像数据D1和影像数据D2中间的场的像素值的原型。标志F1也显示在表格中，作为迁移数据SD1和迁移数据SD2的差分绝对值而计算。在差分绝对值不是0的情形中，像素信号电平被看成是在影像数据D1和影像数据D2间、在对应于有关地址的像素中变化的。即，在对应于有关地址的像素中，出现像素信号电平的误差，直到影像数据D1移至影像数据D2的时间为止。
图12C示出迁移缓冲读出控制信号RS1。在图12C的示例中，从地址计数器(未图示)得到的从0开始的值以逐次加1的方向移至1、2、…。在式(2.1)和(2.2)中将得到的值设成CX1，并将位移信息α设成1/2。注意，地址计数器所显示的数值是与影像数据D1的地址编号相对应而输出的。
在生成迁移缓冲控制信号RS1时，当例如地址计数器的编号是2时，基于图12A，对应于编号2的像素位置的运动向量是2。因而基于式(2.1)，即2+2×1/2＝3，而计算迁移缓冲读出控制信号RS1的地址编号，结果得到迁移缓冲读出控制信号RS1是3。同样地，当地址计数器的编号是3时，基于图12A，对应于编号3的像素位置的运动向量是2。因而将运动向量2代入式(2.1)中的变量，即3+2×1/2＝4，而计算迁移缓冲读出控制信号RS1的地址编号，结果得到迁移缓冲读出控制信号RS1是4。
即，所生成的迁移缓冲读出控制信号RS1的编号表示写入场中被写入补正数据的地址编号。于是，为了检测迁移缓冲控制信号RS1的地址编号向迁移缓冲168的写入状况，而读出存储于迁移缓冲168的标志F′。该标志F′在数据未写入迁移缓冲168的已存取地址的情形中返回为“NM”。另一方面，标志F′作为差分绝对值而返回已写入数据的地址。
例如，在图12C的示例中，对于迁移缓冲读出控制信号RS1的编号0～8的对应地址，显示了表示未写入数据的记号，该记号从迁移缓冲168经标志F′返回。另一方面，最初将表示未写入数据的“NM”返回编号9的对应地址，其次将差分绝对值返回为标志F′。这意味着将多个像素值写入迁移缓冲168的地址编号，如图11A所示，其中影像数据D1中基于编号6和编号9的运动向量集中在影像数据D2的地址编号9处。
移动数据M1被顺次写入标志F′返回为“NM”的迁移缓冲168的对应地址编号处。在标志F′具有任一数值的情形中，将标志F′和对应于相关地址编号的标志F进行比较。此时较小者是有效的。结果，在影像数据D1移至影像数据D2的同时，可写入基于误差较少的运动向量而获得的像素值，从而，对于像多个运动向量被导向单一像素位置那样的有很大变动的影像，可精确地补正影像的运动。
迁移缓冲写入控制单元162基于所提供的标志F′而决定移动数据M1欲写入的地址。图12C所示的迁移缓冲写入控制信号RS2表示所决定的地址的对应编号。对应于迁移缓冲写入控制信号RS2的移动数据M1被写入迁移缓冲168。例如在编号9的情形中，标志F是10而标志F′是0。由于小于标志F的标志F′有优先，故基于最初写入的编号6的地址的像素值“100”被继续存储在迁移缓冲168中。
图12C示出以地址编号的顺序再度整理存储在迁移缓冲168中的移动数据M2的结果。迁移标志F2表示标记信息。此迁移标志F2中输出“OK”表示数据已写入对应的地址编号。反之输出“NM”则表示尚未写入对应的地址编号。恰好由于数据未写入地址编号2，故输出“NM”作为迁移标志。
图12D示出由从迁移缓冲168提供的移动数据M2受到后处理而获得的补正数据H1。数据未写入的编号2受到后处理，以使数据新写入编号2。在后处理中，可以有将地址编号1的数据一直不变地写入编号2的左侧、以计算编号2周边的数据的平均值等的方法。
当图12D所示的补正数据H1被写入置于影像数据D1和影像数据D2中间的第二场时，如图11A所示，影像的全体运动显得平滑了。
即，根据本发明的影像信号处理装置1将能够平滑运动的最适的补正数据写入置于在时间上互异的某一影像数据和其它影像数据间的场，从而即使当像素随着影像例如沿水平方向移动而变化时，仍可高效率地消除影像运动的不连续性。
进而，影像信号处理装置1在输入了视影转换后的影像信号和TV信号双方的情形中，对于有很大变动的影像，可高效率地消除运动的不连续性。结果，影像信号处理装置1可内置于输入了电影信号和TV信号双方的电视接收机。进而，通过将影像信号处理装置1新内置于已卖出的电视接收机，可容易地进行升级，这就带来更高的通用性。
本发明不限于上述实施例，例如，如图13所示，本发明也可适用于从影像迁移器26除去标志计算单元165和迁移缓冲读出控制单元166的影像信号处理装置。在影像迁移器26中，省略了迁移缓冲读出控制信号RS1、标志F和标志F′，而且不确定欲写入数据的优先级。当在该影像迁移器中、欲写入地址的数据出现重复时，先已写入的数据被更晚计算的数据所覆盖。因此就不需要读出标志时的控制了，于是可简化电路。
本发明不限于适用根据PAL制式的电视接收机的情形。例如，本发明适用于这种电视接收机其输入了根据NTSC(全国电视制式委员会)制式的60场/秒(30单位帧/秒)的隔行影像信号。或者本发明适用于根据SECAM制式的电视接收机。
进而，本发明不限于内置于电视接收机的影像信号处理装置，而是可以是连接至电视接收机的内置信号转换器。
进而，本发明适用于在PC上显示经因特网传送的影像信号的情形，和媒体和影像被转换的情形。
再进而，本发明是由电路等硬件来实现的，但本发明显然也可实现为处理器上的软件。
本发明不限于参照附图而说明的上述实施例。在不脱离所附的权利要求书及其主旨的情况下，各种变更、置换或等同物对于业内人员将是明显的。
产业上的可利用性如以上所详细说明的，在根据本发明的影像信号处理装置及其方法中，输入了这样的信号其由以场形成的各单位帧构成、其中以第一场为起始，并且该信号受到倍速转换，基于算出的像素信号电平的差分值来规定第一场，对于各检出像素而计算插入像素数据，并将插入像素数据写入沿运动向量的方向来迁移检测到的像素的位置而获得的像素位置，从而随着场从所规定的第一场向后续场迁移、迁移量逐步地增大。
这样一来，根据本发明的影像信号处理装置及其方法可通过影像的平滑运动来协同地改善像质，同时对于有很大变动的影像抑制屏幕颤抖干扰。
权利要求
1.一种影像信号处理装置包括序列检测装置，其对于这样的输入的影像信号即由以场形成的各单位帧构成、其中以第一场为起始，并且受到倍速转换的影像信号，而进行计算在当前场的检测到的像素和所述当前场之后一帧的场中同一位置处的检测到的像素间的像素信号电平的差分值，并基于该差分值来规定所述第一场；运动向量检测装置，其对于所述当前场的检测到的像素，检测对于所述当前场之后一帧或两帧的场的运动向量；数据计算装置，其基于所述当前场的检测到的像素的像素数据和所述当前场之后一帧或两帧的场中各像素的像素数据，而计算对于所述检测到的像素的插入像素数据；和影像控制装置，其在所述第一场后续的场中，将所述插入像素数据写入沿所述运动向量的方向来迁移所述当前场的所述检测到的像素的位置而获得的像素位置，所述影像控制装置每当场从所述第一场向后续场迁移时，即在所述检测到的运动向量的向量值的范围内顺次地增大所述检测到的像素的位置迁移的量。
2.如权利要求1所述的影像信号处理装置，其中所述数据计算装置设定以下为所述插入像素数据，以下两者之一所述当前场的所述检测到的像素的像素数据、和由所述运动向量沿所述运动向量的方向来迁移所述当前场之后一帧或两帧的场中的像素位置而获得到的像素数据，所述两者的平均值，或根据所述运动向量的向量值的所述两者的加权平均。
3.如权利要求1所述的影像信号处理装置，包括标志计算装置，其计算包含所述检测到的运动向量的误差信息的标志，其中所述影像控制装置基于所算出的标志而确定写入所述插入像素数据时的优先级。
4.如权利要求3所述的影像信号处理装置，其中所述标志计算装置计算在当前场的检测到的像素的像素数据、和由所述运动向量沿所述运动向量的方向来迁移当前场之后一帧或两帧的场中的像素位置而获得到的像素数据之间的差分绝对值而作为标志。
5.如权利要求1所述的影像信号处理装置，在所述第一场后续的场中，对于所述插入像素数据未写入的像素，基于写入该有关像素周边的像素位置的插入像素数据而确定该像素的插入像素数据。
6.如权利要求1所述的影像信号处理装置，其中所述影像控制装置根据构成单位帧的场的数量来变化所述迁移量。
7.如权利要求1所述的影像信号处理装置，其中输入了对受过视影转换的影像做倍速转换而生成的、由各包括四个场的单位帧构成的影像信号，或对电视信号倍速转换而生成的、由各包括两场的单位帧构成的影像信号，其中所述运动向量检测装置当所述差分值至少包括0时，检测所述当前场之后两帧的场的运动向量，而当所述差分值的两者皆不为0时，检测所述当前场之后一帧的场的运动向量。
8.如权利要求1所述的影像信号处理装置，其中当所述差分值在所述差分值至少包括0的情形中接连变为0时，所述序列检测装置将在先输入的当前场规定为第一场。
9.如权利要求1所述的影像信号处理装置，其中所述影像控制装置每当场从所述第一场向后续场迁移时，即以所述检测到的运动向量被构成单位帧的场的数量所分割而获得的增量来增加所述迁移量。
10.如权利要求1所述的影像信号处理装置，其中所述运动向量检测装置对于由预定的像素数形成的每个块，基于块匹配法来检测每个块的所述运动向量。
11.如权利要求1所述的影像信号处理装置，其中所述输入信号是根据PAL制式的隔行影像信号。
12.一种影像信号处理方法，还包括以下步骤输入影像信号，其由以场形成的各单位帧构成、其中以第一场为起始，并且该影像信号受到倍速转换；对于所述输入的影像信号，计算在当前场的检测到的像素和所述当前场之后一帧的场中同一位置处的检测到的像素间的像素信号电平的差分值，以基于该差分值来规定所述第一场；对于所述当前场的检测到的像素，检测对于所述当前场之后一帧或两帧的场的运动向量；基于所述当前场的检测到的像素的像素数据和当前场之后一帧或两帧的场中各像素的像素数据，而计算对于检测到的像素的插入像素数据；在所述第一场后续的场中，将所述插入像素数据写入沿运动向量的方向迁移所述当前场的检测到的像素的位置而获得的像素位置；和每当场从第一场向后续场迁移时，即在检测到的运动向量的范围内顺次地增大检测到的像素的位置迁移的量。
13.如权利要求12所述的影像信号处理方法，其中以下两者之一所述当前场的检测到的像素的像素数据、和由所述运动向量沿所述运动向量的方向来迁移当前场之后一帧或两帧的场中的像素位置而获得的像素数据，所述两者的平均值，或根据所述运动向量的所述两者的加权平均，被设定为所述插入像素数据。
14.如权利要求12所述的影像信号处理方法，其特征在于计算包含所述检测到的运动向量的误差信息的标志，并基于算出的标志而确定写入所述插入像素数据时的优先级。
15.如权利要求14所述的影像信号处理方法，其特征在于计算以下两者的差分绝对值而作为标志即所述当前场的所述检测到的像素的像素数据、和由所述运动向量沿所述运动向量的方向来迁移所述当前场之后一帧或两帧的场中的像素位置而获得到的像素数据，
16.如权利要求12所述的影像信号处理方法，其特征在于在所述第一场后续的场中，对于所述插入像素数据未写入的像素，基于写入该有关像素周边的像素位置的插入像素数据而决定该像素的插入像素数据。
17.如权利要求12所述的影像信号处理方法，其特征在于根据构成单位帧的场的数量来变化所述迁移量。
18.如权利要求12所述的影像信号处理方法，包括以下步骤输入了对受过视影转换的影像做倍速转换而生成的、由各包括四个场的单位帧构成的影像信号，或对电视信号倍速转换而生成的、由各包括两场的单位帧构成的影像信号，当所述差分值至少包括0时，检测所述当前场之后两帧的场的运动向量，和当所述差分值的两者皆不为0时，检测所述当前场之后一帧的场的运动向量。
19.如权利要求12所述的影像信号处理方法，其特征在于当所述算出的差分值在所述算出的差分值至少包括0的情形中接连变为0时，将在先输入的当前场规定为第一场。
20.如权利要求12所述的影像信号处理方法，其特征在于每当场从所述第一场向后续场迁移时，即以所述检测到的运动向量被构成单位帧的场的数量所分割而获得的增量来增加所述迁移量。
21.如权利要求12所述的影像信号处理方法，其特征在于对于由预定的像素数形成的每个块，基于块匹配法来检测每个块的所述运动向量。
22.如权利要求12所述的影像信号处理方法，其中所述输入信号是根据PAL制式的隔行影像信号。
全文摘要
本发明涉及一种影像信号处理装置和方法，其迁移通过倍速转换而生成的影像信号的检测到的像素的位置。该方法包括以下步骤计算在当前场检测到的像素和当前场之后一帧的场中同一位置处检测到的像素间的信号电平的差分值，以规定第一场；对于当前场检测到的像素，检测对于当前场之后一帧或两帧的场的运动向量；基于当前场的检测到的像素的像素数据和当前场之后一帧或两帧的场中各像素的像素数据，计算对于该检测到的像素的插入像素数据；在第一场后续的场中，将插入像素数据写入沿运动向量方向迁移当前场的检测到的像素的位置而获得的像素位置；和每当场从第一场向后续场迁移时，在检测到的运动向量的范围内顺次地增大检测到的像素的位置迁移的量。
文档编号H04N7/01GK1605198SQ0282505
公开日2005年4月6日 申请日期2002年12月13日 优先权日2001年12月13日
发明者青山幸治, 近藤真, 西堀一彦 申请人:索尼株式会社