专利名称：帧速率变换装置和图像显示装置以及帧速率变换方法
技术领域：
本发明涉及一种例如用于图像显示装置的、变换图像的帧数的帧速率变换技术。
背景技术：
作为图像显示装置中将由例如电视广播所发送的图像信号的帧速率(帧频率)变换为希望的帧速率来显示的技术，已经知道例如日本专利公开2001-111968号公报所记载的内容。
在上述现有技术中，在例如进行增加图像信号的帧速率的变换的情况下，进行对相同的帧多次重复的处理。例如，在将具有帧列(F1、F2…)的图像信号的帧速率形成为两倍的情况下，对各个帧进行平均两次的重复处理，成为(F1、F1、F2、F2…)。因此，对于变换后的图像信号，在画面内移动的物体位置在重复的两个帧间相同。为此，在现有技术中，使帧变换后的图像运动平滑是困难的。
上述问题在以每秒60帧显示2-3拉开(pull down)的隔行(interlace)形式的图像信号的情况下更加显著。在图像显示装置中，2-3拉开方式的图像信号通过反拉开处理暂时变换为每秒24帧的图像信号，以2个、3个、2个、3个…的顺序重复相同的帧图像，将其变换为每秒60帧的图像信号。由此，变换后的图像以2/60、3/60秒间隔切换图像内容，所以即使是物体在画面内等速移动的图像，变换后的图像中物体的每单位时间的运动量不是一定的。另外，由于显示相同帧的时间也变长，所以运动更加不平滑。
发明内容
本发明是鉴于上述问题做出的，本发明提供了一种使得图像的运动更加平滑且能够显示高画质的图像的帧速率变换的技术。
本发明的特征在于，在向图像信号插入插补帧变换帧速率的情况下，使用图像信号的至少三个帧的信息来生成该插补帧。该三个帧是夹着插入所述插补帧的位置的前后帧，以及与该前后帧的任何一个相邻的帧。所述插补帧优选使用四个帧的信息。该四个帧是在上述插补帧的插入时间之前的时间出现的第一帧、该第一帧之前的时间出现的第二帧、该插入时间之后的时间出现的第三帧、该第三帧之后的时间出现的第四帧。
本发明涉及的帧速率变换具体地进行下面的处理。即，将上述插补帧内的某个插补像素作为中心，设定通过所述第一到第四帧的多条直线，对该多条直线的每条，求出位于各条直线上的该第一帧的像素和第二帧的像素的差、位于该直线上的该第二帧的像素和第三帧的像素的差、以及位于该直线上的该第三帧的像素和第四帧的像素的差的合计。将该合计值用作为用于生成插补帧的信息，即图像的运动信息。而且，将上述差的合计值为最小的直线作为图像运动方向，即作为用于生成上述某个插补图像的插补方向的基准，使用位于该插补方向的所述第一帧和第三帧(即邻近插补帧的前后帧)的图像信息，来形成插补像素。上述插补方向可以是上述差的合计最小的直线的方向，也可以使用该直线和在上述某个插补像素之前的时间所形成的至少一个以上的插补像素的插补方向、和/或该插补帧之前的时间所生成的插补帧的一个或者多个插补方向，来决定。
象上述那样，如果根据本发明，能够使帧速率变换后的图像的运动平滑，能够得到高画质的图像。
图1表示本发明的第一实施例的电路方框图。
图2是说明第一实施例的相关插补处理装置的处理的图。
图3是表示本发明的第二实施例的电路方框图。
图4是说明第二实施例的相关插补处理装置的处理的图。
图5是说明第二实施例的相关插补处理装置的处理的图。
图6是表示第二实施例的中发生场景变化时的处理的图。
具体实施例方式
下面参照附图来说明用于实施本发明的最佳方式。
实施例1首先，使用图1和图2来说明本发明的第一实施例。图1是表示用于图像显示装置中的帧速率变换部的第一实施例的方框图。以在该第一实施例中，输入每秒60个(帧)的顺序扫描方式的图像信号，进行将其帧速率变换为成倍的帧、即每秒120帧的图像信号的情况为例子来说明。当然上述输入图像信号的帧频率也可以是其它频率。另外，不言而喻，本实施例也同样适用于以不同于2倍的倍数(例如1.5倍、3倍的频率)来帧速率变换输入图像信号的帧频率的情况。另外，在下面的说明中，输入的图像信号是数字形式，因此，在图像显示装置接收模拟图像信号的情况下，将其变换为数字图像信号，提供给图1所示的电路。
本实施例的帧速率变换部具有帧存储器22～24和25；相关检测/插补像素生成部11；切换电路31。输入到图像信号输入部1的图像信号提供给相关检测/插补像素生成部11和帧存储器22。帧存储器22通过保存一帧的图像信号，将图像信号延迟一帧。该延迟一帧的信号提供给相关检测/插补像素生成部11和帧存储器23。帧存储器23与帧存储器22同样地保持一帧的图像信号，从而将图像信号进一步延迟一帧。因此，帧存储器23的输出信号相对信号输入部1的图像信号，延迟2帧。该延迟2帧的图像信号，提供给相关检测/插补像素生成部11和帧存储器24以及切换电路31。帧存储器24与帧存储器22和23同样地保持一帧的图像信号，进一步将图像信号延迟一帧。因此，帧存储器23的输出信号相对信号输入部1的图像信号，延迟3帧。该延迟3帧的信号也提供给相关检测/插补像素生成部11。
相关检测/插补像素生成部11输入信号输入部1和帧存储器22～23的共计4帧的图像信号，使用它来生成插补帧。在该第一实施例中，该插补帧在时间上插入在由帧存储器22而延迟一帧的信号和由帧存储器23而延迟两帧的信号之间。因此，由于帧存储器23而延迟两帧的信号，从插补帧看在时间上存在于之前，所以，将其称为前帧113。另外，由于帧存储器24而延迟3帧的信号，从前帧113看在时间上之前，即从插补帧看存在于两个帧之前，所以将其称为前前帧114。另一方面，由于帧存储器22延迟1帧的信号从插补帧看在时间上存在于之后，所以将其称为后帧112。来自信号输入部1的不延迟的信号从后帧112看时间上存在于后面，即从插补帧看存在于2帧后，所以将其称为后后帧111。上述后后帧111、后帧112、前帧113、前前帧114的四个帧是连续的帧。
利用相关检测/插补像素生成部11，从上述后后帧111、后帧112、前帧113、前前帧114的四个帧中检测就要生成的插补帧内某个插补像素(就要插补的像素)的相关性强的方向、即该插补像素的运动方向。然后，使用位于该运动方向的前帧113和后帧112内的像素数据来形成插补像素。该运动方向的检测和插补像素的形成，就1个插补帧内的全部像素来进行。例如，如果1帧的像素数是640×480，就进行该个数、运动方向的检测和插补像素的形成。结果，生成1个插补帧。
这样，在相关检测/插补像素生成部11所生成的插补帧提供给帧存储器25。帧存储器25将来自相关检测/插补像素生成部11的插补帧保存为1帧，提供给切换电路31。切换电路31将来自帧存储器25的插补帧和来自帧存储器23的前帧113以1/120秒周期切换输出。通过这样，在输入图像信号的相邻的二个帧间插入插补帧，输入图像信号帧速率变换(即倍数变换)为具有其2倍的帧频率、即120Hz的帧频率的图像信号。来自切换电路31的帧速率变换的图像信号提供给未图示的显示面板，显示帧速率变换后的图像。这里，显示面板是例如等离子显示面板(PDP)、液晶面板或者场致发射显示器(FED)等平面型显示器。但是，在本实施例中，也可以使用不是显示面板的CRT等非面板状的显示器。
接着，参照图2来说明上述相关检测/插补像素生成部11的相关性(运动方向)的检测和插补像素作成的细节。如图2所示那样，相关检测/插补像素生成部11相对插补帧100上的某个插补像素101，设定下一个相关检索用的窗口。在前帧图像113和后帧图像112，分别以帧内的插补像素101的位置为中心，设定具有横2M+1像素、纵2N+1像素(M，N是自然数)范围的检索窗口123、122。这里，设M＝2，N＝1。在前前帧图像114和后后帧图像111上，分别以帧内的插补像素101的位置为中心，设定具有横6M+1、横6N+1像素范围的检索窗口124，121。在这些检索窗口上，将插补像素的位置设为(0，0)。而且，将该插补像素设为中心，设定通过该插补像素的同时通过后后帧111、后帧112、前帧113和前前帧114的多条直线。在本实施例中，作为该多条直线，设定下面记述的15条直线。在下面，括弧前的数字表示各个检索窗口的符号，括弧内的数字表示各个检索窗口的坐标(X，Y)。即，下述的各条直线是通过位于各个坐标的各像素的直线。而且，各条直线通过任何一个插补像素101。
(a)124(-6，3)-123(-2，1)-122(2，-1)-121(6，-3)(b)124(-3，3)-123(-1，1)-122(1，-1)-121(3，-3)(c)124(0，3)-123(0，1)-122(0，-1)-121(0，-3)(d)124(3，3)-123(1，1)-122(-1，-1)-121(-3，-3)(e)124(6，3)-123(2，1)-122(-2，-1)-121(-6，-3)(f)124(-6，0)-123(-2，0)-122(2，0)-121(6，0)(g)124(-3，0)-123(-1，0)-122(1，0)-121(3，0)(h)124(0，0)-123(0，0)-122(0，0)-121(0，0)(i)124(3，0)-123(1，0)-122(-1，0)-121(-3，0)(j)124(6，0)-123(2，0)-122(-2，0)-121(-6，0)(k)124(-6，-3)-123(-2，-1)-122(2，1)-121(6，3)(1)124(-3，-3)-123(-1，-1)-122(1，1)-121(3，3)(m)124(0，-3)-123(0，-1)-122(0，1)-121(0，3)(n)124(3，-3)-123(1，-1)-122(-1，1)-121(-3，3)(o)124(6，-3)-123(2，-1)-122(-2，1)-121(-6，3)然后，对于上述(a)～(o)所示的15条直线的每个，运算求出关于与插补像素101的相关的下面的参数(1)位于后帧检索窗口122上的坐标(X，Y)处的像素和位于前帧检索窗口123上的坐标(-X，-Y)处的像素的差的绝对值；(2)处于前帧检索窗口123上的坐标(-X，-Y)处的像素和位于前前帧检索窗口124上的坐标(-3X，-3Y)处的像素的差的绝对值；(3)处于后帧检索窗口122上的坐标(X，Y)处的像素和处于后后帧检索窗口121上的坐标(3X，3Y)处的像素的差的绝对值。
例如，在直线(a)的情况下，求出位于检索窗口122的坐标(2，-1)处的像素和位于检索窗口123的坐标(-2，1)处的像素的差的绝对值，位于检索窗口123的坐标(-2，1)处的像素和位于检索窗口124的坐标(-6，3)处的像素的差的绝对值，和位于检索窗口122的坐标(2，-1)处的像素和位于检索窗口121的坐标(6，-3)处的像素的差的绝对值。而且，利用(-X，-Y)表示前帧检索窗口123上的坐标，所以在将后帧检索窗口122上的坐标设为(X，Y)时，检索窗口123上的坐标意味着相对检索窗口122上的坐标，X方向和Y方向都为反方向。另外，由于将前前帧检索窗口124上的坐标表示为(-3X，-3Y)，所以在将后帧检索窗口122上的坐标设为(X，Y)时，意味着检索窗口124上的坐标相对于检索窗口122上的坐标，X方向和Y方向都是3倍。
相关检测/插补像素生成部11在后帧检索窗口122内，从-M到M扫描X，从-N到N扫描Y。通过这样，对上述15条直线的每条进行上述(1)～(3)的运算，对每条直线算出由(1)～(3)的运算求出的各个差的绝对值的合计。而且，对于其合计值越小判断为强相关的方向、即运动方向。在本实施例中，将上述15条直线中上述(1)～(3)的合计值最小的直线作为物体的运动的方向。这里，将图2中通过由灰色表示的像素的直线、即直线(b)作为合计值最小的直线。即，由该直线(b)所示的方向成为通过插补像素101的物体的运动方向。相关检测/插补像素生成部11使用位于上述合计值最小的直线(b)上的后帧112上的像素和前帧113上的像素来形成插补像素101。即，相关检测/插补像素生成部11将该直线(b)判断为用于形成插补像素101的插补方向，处于该插补方向的前帧和后帧的像素作为与插补像素101相关性最强的像素的组，作为用于插补像素101的形成的数据来使用。这里，由于插补方向是直线(b)的方向，所以使用位于该直线(b)上的前帧的坐标(-1，1)的像素(检索窗口123内的灰色的像素)和后帧的坐标(1，-1)的像素(检索窗口122内的灰色的像素)，来形成插补像素101。这里，如果将前帧的像素数据(电平)设为α，将后帧的像素数据设为β，将插补像素101的数据设为γ，可例如通过下面的公式来求出插补像素101。
公式1γ＝(α+β)/2即，通过计算前帧的像素数据和后帧的像素数据的平均(中间值)来形成插补像素101。
通过对现插补帧100的整体进行上述这样的运动方向的检测和插补像素的形成，来形成1个插补帧100。即，进行构成帧的像素数的这样的处理。象上述那样，生成的插补帧100写入帧存储器25，通过切换电路31插入输入图像信号的二个帧之间，由此进行帧速率变换，最终生成具有120Hz的帧频率的图像信号。将帧速率形成为120Hz的图像信号对于使用液晶面板作为显示面板的显示装置是特别有效的。即，由于液晶面板视觉残留明显，如果将图像信号的帧速率形成为120Hz，视觉残留就不明显。另外，在本实施例中，帧存储器23的输出，虽然是利用切换电路31切换前帧113和插补帧100进行的帧速率变换，也可以是切换后帧112和插补帧进行的帧速率变换。
在本实施例中，作为决定检索窗口的大小的M和N的值，为M＝2，N＝1。但是，该值是任意的，可以根据插补的效果和运算量、电路规模等适当决定。例如，如果M＝7，N＝3，设定105条直线。另外，在本实施例中，将上述差的合计值最小的直线作为插补方向来决定，但不限于此。例如，也可以将上述合计值最小的直线作为基准，组合其它条件来决定最终的插补方向。这样的插补方向的决定方法例如可举出下面的方法。
第一方法基于对通过插补像素101的15条直线的每条所算出的合计值，对(a)～(o)的各直线赋予分点。合计值越小该分点越高。此外，将该插补像素101之前已经形成的、多个其它插补像素的插补方向用于最终的插补方向判定。上述多个其它插补像素优选是与插补像素101相邻的像素。判断该其它插补像素的插补方向与上述(a)～(o)直线的哪个符合，就对该直线加上规定的分点。决定将该相加的结果最高分点的直线作为插补方向。例如，根据上述合计值，直线(b)赋予15分点，直线(c)赋予14分点，直线(f)赋予13分点，直线(b)赋予12分点，直线e赋予11分点(这里，为了简化说明，仅例示了分点居上的5个)。如果位于插补像素101的左邻的插补像素的插补方向是(c)，位于左上的插补像素的插补方向是(c)，位于正上的插补像素的插补方向是(a)，位于右上的插补像素的插补方向是(b)，对于直线(a)、(b)、(c)，例如加上5分点。结果直线(c)的点变为24分点，为最大，所以将其决定为插补方向。上述其它的插补像素为4个进行说明，但也可以是1个，或者2个或者3个。在1个的情况下，仅使用左邻的插补像素，在2个的情况下，仅使用左邻和正上的插补像素。
第二方法向各条直线赋予分点与上述第一方法相同，对每种计数插补像素101的1帧前已经形成的、由插补帧所使用的插补方向。然后，对符合该计数值的居上3个的方向的直线分别加上规定的分点，不用说，计数值越大就设为越高分点。该相加的结果是将最高分点的直线作为插补方向。例如，基于上述合计值向各条直线加的分点，与上述第一方法相同。前面的插补帧所使用的插补方向的计数值的居上，按照计数值的大小顺序是直线(f)、直线(c)、直线(a)。这种情况下，对直线(f)加上5个分点，对(c)加上3个分点，对直线(a)加上1个分点。结果，直线(f)的分点是18分点，为最大，决定所以将其作为插补方向。
上述第一方法和第二方法，可以分别单独使用，也可以组合使用。根据提高插补方向的决定的精度的要求来确定使用哪一种。
这样，本实施例中，不象现有技术那样仅将与前帧相同的帧作为插补帧插入图像信号，而是基于图像的运动来决定插补方向，基于该插补方向进行像素插补，生成插补帧。因此，能够使帧速率变换后的图像的运动平滑。另外在本实施例中，在检测运动方向时，使用四个帧来检测运动方向。为此，与根据二个帧来检测运动的情况相比，能够更正确地检测运动方向。在本实施例中，利用前帧、后帧、前前帧和后后帧四个帧来检测运动，但也可以利用三个帧来检测。此时，作为运动方向的检测所使用的三个帧，除了前帧和后帧之外，可使用前前帧或者后后帧的任何1个。即，如果使用至少三个帧，能够提高运动方向的检测精度。为了进一步提高运动检测精度，优选象本实施例那样使用四个帧，但是在由于电路规模和成本的制约，使用多个帧存储器困难的情况下，也可以使用三个帧。在该情况下也能够实现本发明，象上述那样。这种情况下，作为运动检测所使用的检索窗口，可削减后后帧检索窗口121、或前前帧检索窗口124中的任何一个。
实施例2下面，使用图3～图6来说明本发明的第2实施例。本实施例以在本实施例中，输入2-3拉开的每秒60场(field)的隔行(interlace)信号(下面仅称为“2-3信号”)，将其变换为每秒60帧的图像的情况为例子进行说明。
图3是表示本发明的第2实施例的电路框图，与图1所示的第1实施例较大的不同点在于增加顺序扫描变换部2。该顺序扫描变换部包括场存储器41和42；减法器81；控制部61；线存储器51和52；选择器32。从信号输入部1输入的图像信号(2-3信号)提供给场存储器41和减法器81。场存储器41将输入的图像信号延迟保持1场，向场存储器42和线存储器51输出。场存储器42保持来自场存储器41的输出信号，进一步延迟1场，向线存储器52和减法器81输出。因此，场存储器42的输出相对输入图像信号延迟2场(1帧)。线存储器51、52分别将从场存储器41、42输出的图像信号保持在1线大小，向选择器32输出。
另一方面，减法器81将向信号输入部1输入的图像信号和从场存储器42输出的2场延迟的图像信号相减，将该相减结果向控制部61输出。象图4的“输入信号”所示那样，2-3信号的图像201～243是每秒60场的隔行图像信号，奇数表示前场(top field)图像信号，偶数表示后场(bottom field)图像信号。另外，十位数相同的图像，表示由为原始的每秒24个相同帧所生成的图像信号。为此，图像201和203相同。同样的，图像222和224，图像241和243也分别相同。这样，2-3信号是每5个场1次的夹着1个场的2个场间的图像内容相同。因此，输入图像信号和延迟2个场的图像信号的差(帧差)以每5个场1次的比例基本变为0。在每5场1次差为0的序列(例如差出现为有、有、有、无(0)、有的一串流)连续出现规定次数(例如3次)以上的情况下，上述控制部61将输入图像信号检测为2-3信号。在检测出输入图像信号是2-3信号的情况下，控制部61对选择器32输出控制信号。由该控制信号控制选择器32使得来自线存储器51的信号和来自线存储器52的信号周期地切换输出。因此，从选择器32顺序输出存储在场存储器41中的第1场的第1线、存储在场存储器42中的第2场的第1线、第1场的第2线、第2场的第2线…。结果，从2-3信号的2个场生成图4的中间所示那样的顺序扫描信号(1帧的信号)。例如，如图4所示，场存储器41和42分别保存图像203、202时进行生成图像301的处理，分别保存图像212、213时，进行生成图像311的处理。从控制部61传输到选择器32的控制信号在由2-3信号的5个场形成2帧那样的时刻输出。这样，顺序扫描变换部2进行将2-3拉开的每秒60场的隔行信号变换为每秒24帧的非隔行(顺序扫描)信号的处理。
从该顺序扫描变换部2输出的每秒24帧的非隔行信号，提供给帧存储器21。该第二实施例与第一实施例不同，新附加了帧存储器21。使用图4来说明理由。第一实施例是将图像信号的帧数变换为2倍的处理，但是，本实施例是将每秒24帧的图像变为每秒60的图像的处理，所以必须从相同组合的图像生成2种图像。例如，需要从图4的图像301、图像311、图像321、图像331的四个帧生成图像311和图像321间的图像404和图像405的两种图像。为此，存在着在相关检测/插补像素生成部12进行2次处理的需要。在第一实施例中，是1次处理，所以能够原样使用从外部输入的信号。但是，在本实施例中需要2次使用来自选择器32的信号，为此，在本实施例中，使得新追加帧存储器21，向该帧存储器21写入来自选择器32的信号，进行2次读出。
接着，参照图5来说明生成例如图4的图像405时的插补处理的细节。图3的帧存储器21～24是与第一实施例相同的帧存储器，保持1帧图像。帧存储器21保存1帧来自选择器32的信号，将从插补帧100看为时间上后后帧111的图像数据331向相关/插补处理部12输出。帧存储器22、23和24与第一实施例相同保持1帧的数据，分别输出为后帧112的图像321、为前帧113的图像311和为前前帧114的图像301。相关检测/插补处理部12，使用从帧存储器21～24输出的4帧的数据，与第一实施例同样地，进行插补方向的检测处理以及插补像素和插补帧的生成处理。但是，本实施方式与第一实施方式不同，生成的插补帧100和前帧113的时间距离，以及插补帧100和后帧112的时间距离是不同的。例如，生成图4的图像405时，对于作为前帧113的图像311和作为后帧112的图像321的图像405，时间的距离比是3∶2。因此，关于插补像素101作为相关的像素位置也需要是3∶2，检索窗口的大小也需要改变。因此，在本实施例中，关于以插补像素101为中心通过上述四个帧的多条直线的每条，通过运算来求出与插补像素101的相关有关的下面的参数(1)位于后帧检索窗口122上的坐标(X，Y)的像素和位于前帧检索窗口123上的坐标(-1.5X，-1.5Y)的像素的差的绝对值；(2)位于前帧检索窗口123上的坐标(-1.5X，-1.5Y)的像素和位于前前帧检索窗口124上的坐标(-4X，-4Y)的像素的差的绝对值；(3)位于后帧检索窗口122上的坐标(X，Y)的像素和位于后后帧检索窗口121上的坐标(3.5X，3.5Y)的像素的差的绝对值。
而且，在像素位置不是整数，实际上像素处于不存在的位置的情况下，进行周围像素的加权平均来作为其位置的像素值的处理。例如，在图5所示的前帧检索窗口123上的灰色位置为像素位置的情况下，该像素位置处于周围4个像素的中心，所以利用周围4个像素数据的总和/4来求出该像素位置的数据。然后，利用与第一实施例说明的情况相同的处理，由上述(1)～(3)的合计最小的直线，或者以该直线为基准来决定插补像素101的插补方向。使用位于该插补方向的前帧113上的像素和后帧112上的像素，来形成插补像素101。这里，插补帧100和前帧113的时间的距离，插补帧100和后帧113的时间的距离不同，所以，对应两者的比来求出处于插补方向的两个像素的加权平均。在本实施例中，由于上述时间的距离的比是3∶2，所以如果将前帧像素数据设为α，将后帧像素数据设为β，将插补像素101的数据设为γ，插补像素101可通过例如下式求出公式2γ＝(2α+3β)/5另外，用于插补的像素和像素数据α和像素数据β，为了相关性强，是近似电平的值。因此，为了削减运算量和电路规模，也可以由像素数据α和像素数据β的平均(由例如根据公式1的运算)来求出插补像素γ的数据。
在图5中，作为前帧113的图像311和图像405的时间的距离，作为后帧112的图像321和图像405的时间的距离的比是3∶2，但根据插补像素的时间的位置，该比率变化。另外，在本实施例中，以将2-3信号变换为每秒60帧的信号的情况为例子进行说明，但是，变换为每秒72、96或者120帧的情况也进行同样的处理。该情况下，上述时间的距离的比率变化，但仅从帧存储器21～24读出图像信号，生成插补图像的次数变化，其它部分是相同的处理。
另外，利用相关检测/插补像素生成部12，除了上述处理以外，使用来自帧存储器21、22的信号，进行场景变化的检测。如图6所示那样，在一定时间内，在帧存储器24内保存图像501，在帧存储器23内保存图像502，在帧存储器22内保存图像503，在帧存储器21内保存图像504。此时，图像501～503是相同的场景，是与A，B，C的不同较少的图像。另一方面，图像504是其它场景，是与A～C有很大不同的图像d。在这样的状态下，利用相关检测/插补像素生成部12，运算来自帧存储器21的信号和来自帧存储器22的信号的差。该差是该帧间的相同位置(同坐标的像素)彼此的差。该运算关于1帧的全部像素或者设定区域(例如，画面全部的以画面中央为中心而设定的80％区域)的全部像素来进行。然后，累积1帧的各像素彼此的差，在该累积值超过规定值的情况下，判断为发生了场景变化。该场景变化的信息保存在相关检测/插补像素生成部12中，如果经过时间，处于在帧存储器24保存图像502，在帧存储器23保存图像503，在帧存储器22保存图像504，在帧存储器21保存图像505的状态。此时，在相关检测/插补像素生成部12保存场景变化信息，所以，使用该信息来进行插补方法的改变。即，在本实施例中，不在检测出的时刻进行插补处理，而是将检测的场景变化的信息反映到其下一个插补处理。插补方法的改变例如象下面这样进行，即，在场景变化前，象第1实施例那样，由4帧的数据检测插补方向进行插补处理，在场景变化后，不进行这样的插补方向的检测，根据图像503和504的加权平均来生成插补图像。此时，也可以原样使用图像503或者504的数据来进行插补处理。在上述说明中，在场景变化的检测中，使用了将1帧的像素彼此的差进行累积的内容。但是，也可以将差值为一定值以上的像素的个数遍及1帧来累积，在该累积值为规定值以上的情况下，判断为发生了场景变化。
利用帧存储器25来存储上述那样生成的插补帧的图像，向切换电路31输出。切换电路31周期地切换来自帧存储器25的插补帧和来自帧存储器23的前帧113，输出每秒60帧的图像信号。此时，切换电路31中的插补帧的选择时间与前帧的选择时间不相等。即，如图4的“输出信号”所示那样，在输出图像401、406、411时，切换电路选择来自帧存储器23的信号，在输出图像402～405和图像407～410时，切换电路选择来自帧存储器25的信号。即，切换电路31在利用顺序扫描变换部生成图像301、321和341的时刻选择来自帧存储器23的信号，除此之外选择来自帧存储器25的信号，进行动作。
本实施例以对每秒60帧的处理为例子说明了帧存储器25和切换电路31的动作。在改变图像的输出帧频率的情况下，除了动作速度和帧存储器的读出顺序改变以外，是同样的处理。
另外，声音延迟部71用于延迟与图像信号同时输入的声音信号。在上述帧速率的变换处理中，由于图像使用场存储器和帧存储器，所以产生延迟，但声音没有发生延迟。为此，就在图像和声音产生时间偏差。声音延迟部71用于修正该时间偏差。声音延迟部71将声音处理成数字的，通过例如FIFO使其具有与图像相同的延迟，补偿图像和声音的偏差。
象以上这样，本发明适用于进行帧速率变换处理的图像装置(DVD播放器、机顶盒等图像信号输出装置，或者电视图像接收机等图像显示装置)。特别是，在平滑帧速率变换后的图像的运动的情况下是有用的。
权利要求
1.一种帧速率变换装置，其特征在于，具有信号输入部，输入图像信号；和帧速率变换部，变换向所述信号输入部输入的图像信号的帧数，其中，所述帧速率变换部使用所述图像信号的至少三个帧的信息，来进行帧速率变换。
2.一种帧速率变换装置，其特征在于，具有信号输入部，输入图像信号；和帧速率变换部，使用向所述信号输入部输入的图像信号，生成插补帧，将该插补帧插入该图像信号，变换帧数，其中，所述帧速率变换部使用所述图像信号的至少三个帧的信息来生成所述插补帧。
3.根据权利要求2所述的帧速率变换装置，其特征在于，所述三个帧是夹着插入所述插补帧的位置的前后帧以及与该前后帧的任何一个相邻接的帧。
4.一种帧速率变换装置，其特征在于，具有信号输入部，输入图像信号；和帧速率变换部，使用向所述信号输入部输入的图像信号，生成插补帧，将该插补帧插入该图像信号，变换帧数，其中，所述帧速率变换部，使用以插入所述插补帧的时间为基准的在该插入时间之前的时间所出现的连续的两个帧以及该插入时间之后的时间所出现的连续两个帧的共四个帧的信息，来生成所述插补帧。
5.一种帧速率变换装置，其特征在于，具有信号输入部，输入图像信号；和帧速率变换部，使用向所述信号输入部输入的图像信号，生成插补帧，将该插补帧插入该图像信号，变换帧数，其中，所述帧速率变换部，使用以插入所述插补帧的时间为基准的在该插入时间之前的时间所出现的第一帧、在该第一帧之前的时间所出现的第二帧、以及在该插入时间之后的时间所出现的第三帧、以及在该第三帧之后的时间所出现的第四帧的信息，来生成所述插补帧。
6.根据权利要求5所述的帧速率变换装置，其特征在于，所述第一到第四帧是连续出现的帧。
7.根据权利要求5所述的帧速率变换装置，其特征在于，所述帧速率变换部，以所述插补帧的某个插补像素为中心，设定通过所述第一到第四帧的直线，将位于该直线上的该第一帧的像素和第二帧的像素的差、位于该直线上的该第一帧的像素和第三帧的像素的差、以及位于该直线上的该第三帧的像素和第四帧的像素的差的合计，设为用于所述插补帧生成的信息。
8.根据权利要求5所述的帧速率变换装置，其特征在于，所述帧速率变换部，以所述插补帧内的某个插补像素为中心，设定通过所述第一到第四帧的多条直线，对该多条直线的每条，求出位于各条直线上的该第一帧的像素和第二帧的像素的差、位于该直线上的该第一帧的像素和第三帧的像素的差、以及位于该直线上的该第三帧的像素和第四帧的像素的差的合计，使用位于所述差的合计最小的直线上的所述第一帧和第三帧的像素信息，来形成所述某个插补像素，来生成所述插补帧。
9.根据权利要求5所述的帧速率变换装置，其特征在于，所述帧速率变换部以所述插补帧的某个插补像素为中心，设定通过所述第一到第四帧的多条直线，对多条直线的每条，求出位于各条直线上的该第一帧的像素和第二帧的像素的差、位于该直线上的该第一帧的像素和第三帧的像素的差、以及位于该直线上的该第三帧的像素和第四帧的像素的差的合计，将所述差的合计为最小的直线作为用于决定插补方向的基准来使用，同时，使用处于该决定的插补方向的所述第一帧和第三帧的像素信息，来形成所述某个插补像素，并生成所述插补帧。
10.根据权利要求9所述的帧速率变换装置，其特征在于，所述帧速率变换部使用所述差的合计最小的直线，和在所述某个插补像素之前的时间形成的至少一个以上的插补像素的插补方向，来决定该某个插补像素的插补方向。
11.根据权利要求9所述的帧速率变换装置，其特征在于，所述帧速率变换部使用所述差的合计最小的直线，和在所述插补帧之前的时间所生成的插补帧的一个或者多个插补方向，来决定该某个插补像素的插补方向。
12.根据权利要求5所述的帧速率变换装置，其特征在于，还具有第一帧存储器，将图像信号延迟一帧，生成所述第三帧；第二帧存储器，将该第一帧存储器的输出进一步延迟一帧，生成所述第一帧；第三帧存储器，将该第二帧存储器的输出进一步延迟一帧，生成所述第二帧；插补帧生成部，将所述图像信号作为所述第四帧来使用的同时，使用从所述第一帧存储器输出的所述第三帧，从第二帧存储器输出的所述第一帧，从所述第三帧存储器输出的所述第二帧，来形成所述插补帧；第四帧存储器，变换从该插补帧生成部输出的图像的速率；和切换部，周期地切换来自该第四帧存储器的输出和所述第二帧存储器的输出。
13.根据权利要求12所述的帧速率变换装置，其特征在于，所述切换部通过以图像信号的帧速率的两倍的周期来切换来自所述第四帧存储器的输出和所述第二或者第三帧存储器的输出，将所述图像信号的帧速率变换为两倍。
14.根据权利要求5所述的帧速率变换装置，其特征在于，还具有第一帧存储器，将图像信号延迟一帧，生成所述第四帧；第二帧存储器，将该第一帧存储器的输出进一步延迟一帧，生成所述第三帧；第三帧存储器，将该第二帧存储器的输出进一步延迟一帧，生成所述第一帧；第四帧存储器，将该第三帧存储器的输出进一步延迟一帧，生成所述第二帧；插补帧生成部，使用从所述第一到第四帧存储器输出的所述第一到第四帧，形成所述插补帧；第五帧存储器，变换从该插补帧生成部输出的图像的速率；和切换部，周期地切换来自该第五帧存储器的输出和来自所述第三帧存储器的输出。
15.根据权利要求14所述的帧速率变换装置，其特征在于，还具有顺序扫描变换部，在所述图像信号是隔行形式的情况下，将该图像信号变换为顺序扫描形式，提供给所述第一帧存储器。
16.根据权利要求14所述的帧速率变换装置，其特征在于，还具有顺序扫描变换部，在以2-3拉开方式输入隔行形式的图像信号的情况下，将该图像信号变换为每秒24帧的顺序扫描形式的图像信号，提供给所述第一帧存储器。
17.根据权利要求16所述的帧速率变换装置，其特征在于，所述顺序扫描变换部，判断输入的图像信号是否是2-3拉开方式，在判断为输入的图像信号是2-3拉开方式的情况下，进行所述顺序扫描变换的处理。
18.根据权利要求9所述的帧速率变换装置，其特征在于，还具有检测部，检测图像信号的场景变化，其中，在该检测部检测出场景变化的情况下改变插补处理。
19.根据权利要求18所述的帧速率变换装置，其特征在于，在所述检测部检测出场景变化的情况下，使用处于与所述插补帧的某个插补像素相同位置的、所述第一帧和/或第三帧的像素的信息，来形成该某个插补像素。
20.根据权利要求5所述的帧速率变换装置，其特征在于，还具有声音延迟部，对应于通过所述帧速率的变换处理而发生的图像的延迟，延迟与所述图像信号同时输入的声音信号。
21，一种图像显示装置，其特征在于，具有权利要求1所述的帧速率变换装置。
22.一种帧速率变换方法，其特征在于，具有从输入的图像信号来生成连续的四个帧；使用该生成的四个帧的信息，来生成插补帧；和在所述生成的四个帧中的第二和第三帧之间，插入所述插补帧，变换输入图像信号的帧速率。
23.根据权利要求22所述的帧速率变换方法，其特征在于，决定从所述连续的四个帧生成所述插补帧时的插补方向，使用所述第二和第三帧的处于所述决定的插补方向的像素的信息，来生成所述插补帧。
24.根据权利要求23所述的帧速率变换方法，其特征在于，以所述插补帧内的某个插补像素为中心，设定通过所述连续的四个帧的多条直线，对该多条直线的每条，求出位于各条直线上的第一帧和第二帧的差的绝对值、第二帧和第三帧的差的绝对值、第三帧和第四帧的差的绝对值的合计值，将该合计值为最小的直线决定为所述插补方向。
25.根据权利要求23所述的帧速率变换方法，其特征在于，以所述插补帧内的某个插补像素为中心，设定通过所述连续的四个帧的多条直线，对该多条直线的每条，求出位于各条直线上的第一帧和第二帧的差的绝对值、第二帧和第三帧的差的绝对值、第三帧和第四帧的差的绝对值的合计值，将该合计值最小的直线作为基准，来决定所述插补方向，利用处于该决定的插补方向的所述第二帧的像素和第三帧的像素的平均值，来形成所述某个插补像素。
全文摘要
本发明提供了一种可进一步平滑图像的运动、显示高画质的图像的帧速率变换的技术，为此，本发明以插入插补帧的时间为基准，使用在插补帧之前的时间出现的第一帧、在该第一帧之前的时间出现的第二帧、在该插入时间之后的时间出现的第三帧、在该第三帧之后的时间出现的第四帧的信息，来决定插补方向，根据处于该插补方向的第二帧和第三帧的像素，来形成插补像素，生成插补帧，将其插入输入图像信号，进行帧速率变换。
文档编号H04N7/01GK1783995SQ20051009070
公开日2006年6月7日 申请日期2005年8月11日 优先权日2004年12月2日
发明者水桥嘉章, 中嶋满雄 申请人:株式会社日立制作所