图像信号处理装置、图像显示装置和信号高分辨率化方法

专利名称：图像信号处理装置、图像显示装置和信号高分辨率化方法
技术领域：
本发明涉及提高图像信号的分辨率的技术，特别是涉及通过合成多个图像帧，在增加构成图像帧的像素数的同时，除去不需要的折返(aliasing component)成分，提高分辨率的技术。
背景技术：
最近的电视接收机在大画面增化，一般不但可原样显示从播放或通信，存储介质等输入的图像信号，而且通过数字信号处理，可以增加显示水平和垂直方向的像素数。这时，只通过利用一般已知的sinc函数的插补(interpolation)低通滤波器或样条函数等增加像素数，不能提高分辨率。
如参考文献1所述那样，提出了通过合成输入的多个图像帧(以下简称为帧)形成一个帧，可提高分辨率并增加像素数的技术(以下称为现有技术)。在这种现有技术中利用(1)位置推断(motionestimation)(2)宽带域插补，(3)加权和这三种处理提高分辨率。这里，(1)位置推断(motion estimation)为利用输入的多个图像帧的各图像数据，推断各图像数据的采样相位(标本化位置)之差。(2)宽带域插补为利用折返成分(aliasing component)也包含各图像数据，使原信号的高频成分全部透过的带域宽的低通滤波器，插补(interpolation)和增加像素数(采样点)，提高图像数据密度。(3)加权和为通过利用与提高密度的数据的采样相位相应的加权系数取加权和，抵消而除去像素采样时产生的折返成分(aliasing component)，同时复原原信号的高频成分。
在图2中表示这种提高分辨率的技术的概要。如该图(a)所示，假定输入不同的时间轴上的帧#1(201)、帧#2(202)、帧#3(203)并合成这些帧，得到输出帧(206)。为了简单，首先考虑被拍摄体在水平方向移动(204)的情况，考虑利用水平线(205)上的一维信号处理提高分辨率。这时，如该图(b)和该图(d)所示，在帧#2(202)和帧#1(201)中，与被拍摄体的移动(204)的量相应，产生信号波形的位置偏移。根据上述(1)位置推断(motion estimation)求该位置偏移量。如该图(c)所示，进行帧#2(202)运动补偿(motioncompensation)(207)，使得没有位置偏移，同时，求各帧的像素(208)的采样相位(209)(210)之间的相位差θ(211)。根据该相位差θ(211)，通过进行上述(2)宽带域插补和(3)加权和，如该图(e)所示，通过正好在原来像素(208)中间(相位差θ＝π)的位置，生成新的像素(212)，实现提高分辨率。作为上述(1)的位置推断(motion estimation)，提出了如参考文献2或参考文献3所述的多个方法，仍可以使用这些方法。关于(2)的宽带域插补，如参考文献1所述，可利用具有尼奎斯特(Nyquist)频率二倍的通过带域的一般的低通滤波器实现。(3)的加权和以后说明。
然而，实际上被拍摄体的动作不仅是平行移动，还伴有旋转或扩大、缩小等动作，但帧之间的时间间隔微小的情况下或被拍摄体的动作慢的情况下，可认为这些动作与局部的平行移动近似。
青木伸“多个数字图像数据的超分辨处理”，RicohTechnical Report pp.19-25，No.24，11，1998[参考文献2]安滕繁“利用图像的时空间微分算法的速度向量分布测量系统”，测量自动控制学会论文集，pp.1330～1336，vol.22，No.12，1986[参考文献3]小林弘幸等“根据DCT变换的图像相位限定相关法”，信字技法IEICE Technical Report ITS2005-92，IE2005-299(2006-02)，pp.73-78发明内容在利用上述现有技术进行一维方向的提高分辨率二倍的情况下，当进行上述(3)的加权和时，如图3所示，至少需要使用三个帧图像的信号。图3为表示在一维频率区域中各成分的频谱的示意图。在该图中，离频率轴的距离表示信号强度，以频率轴为中心的旋转角表示相位。以下详细说明上述(3)的加权和。
如上所述，在上述(2)宽带域插补中，当利用透过尼奎斯特(Nyquist)频率二倍的带域(频率0～采样频率fs的带域)的宽带域低通滤器进行像素插补时，得到与原信号相同成分(以下称为原成分(original component))和与采样相位相应的折返成分(aliasingcomponent)之和。这时，如图3(a)所示，当对三个帧图像信号进行上述(2)的宽带域插补处理时，各帧的原成分(original component)(301)(302)(303)的相位全部一致，折返成分(aliasing component)(304)(305)(306)的相位与各帧的采样相位的差相应旋转。为了容易理解各自的相位关系，在该图(b)中表示各帧的原成分(originalcomponent)的相位关系，在该图(c)中表示各帧的折返成分(aliasingcomponent)的相位关系。
通过适当选择乘法系数，对三个帧图像的信号进行上述(3)加权和，可以互相抵消除去各帧的折返成分(aliasing component)(304)(305)(306)，只抽出原成分(original component)。这时，为了使各帧的折返成分(aliasing component)(304)(305)(306)的向量和为0，即使Re轴(实轴)成分和Im轴(虚轴)成分两者都为0，至少必需三个折返成分(aliasing component)。因此，为了实现二倍的提高分辨率，即为了除去一个折返成分(aliasing component)，至少需要使用三个帧图像的信号。
同样，如非专利文献1所述，为了实现n倍(n为2以上的整数)的高分辨率，即为了除去(n-1)个折返成分(aliasing component)，至少必需使用(2n-1)个帧图像信号。
因此，现有技术的帧存储器或信号处理回路的规模大，不经济。另外，由于必需正确地进行时间上分离的多个帧图像的位置推断(motion estimation)，结构复杂。即难以提高现有技术的电视播放信号等运动图像的帧的分辨率。
本发明提供可以适当提高图像信号的分辨率的技术。更详细地说，本发明提供通过使用较少数量的帧，适当地提高运动图像的图像信号的分辨率的技术。
本发明通过合成n个(n为2以上的整数)图像帧，使构成图像帧的像素数增加到n倍，得到输出图像帧。更具体地说，本发明利用成为基准的上述输入图像帧上的图像数据和其他输入图像帧上的对应的各图像数据，推断采样相位差，利用该采样相位差的信息，对各输入图像帧的图像数据进行运动补偿(motion compensation)，同时，将像素数增加到n倍。另外，使该像素数增加的各图像帧的图像数据偏移规定量的相位，通过将根据上述采样相位差决定的系数与该相移前后的各图像数据相乘并互相相加，除去(n-1)个折返成分(aliasingcomponent)。
另外，设置利用像素插补，更增加输入图像帧的图像数据的辅助的像素插补装置，当不能决定上述系数时，输出上述辅助的像素插补装置的结果代替除去上述折返成分(aliasing component)的结果也可以。
根据本发明，可以更适当地提高图像信号的分辨率。


从下面结合附图进行的说明中，可以更了解本发明的这些和其他特点、目的和优点。其中图1为本发明的第一实施例的说明图。
图2为说明一般的提高图像信号分辨率处理的动作的示意图。
图3为说明现有技术的动作的示意图。
图4为说明本发明的第一实施例的动作的示意图。
图5为本发明的第一实施例的说明图。
图6为本发明的第一实施例的说明图。
图7为本发明的第一实施例的说明图。
图8为本发明的第一实施例的说明图。
图9为本发明的第一实施例的说明图。
图10为本发明的第二实施例的说明图。
图11为本发明的第三实施例的说明图。
图12为本发明的第三实施例的说明图。
图13为本发明的第三实施例的说明图。
图14为本发明的第四实施例的说明图。
图15为本发明的第五实施例的说明图。
图16为本发明的第六实施例的说明图。
图17为说明本发明和现有技术动作的不同的示意图。
图18为本发明的第七实施例的说明图。
图19为本发明的第七实施例的说明图。
具体实施例方式
虽然表示和说明根据本发明的几个实施例，但应理解，在不偏离本发明的范围的条件下，所述的实施例可以改变和改进。因此，本发明不是局限在所示和所述的细节上，而是涵盖在所附权利要求范围内的所有这种改变和改进。
在以下说明的本发明的实施例的图像信号处理装置和提高图像信号的分辨率的方法与实行它的程序中，当提高分辨率时，通过使输入的图像数据的相位偏移规定量(例如π/2)，除去折返成分(aliasingcomponent)。以下参照

本发明的实施例。
(实施例1)图1表示本发明的图像信号处理装置的第一实施例，现说明其特征。本实施例的图像信号处理装置可在电视接收机的图像显示装置中使用。在以下的本实施例的说明中，以图像显示装置作为图像信号处理装置的例子来说明。在图1中，本实施例的图像信号处理装置具有输入电视播放信号等的运动图像的帧列的输入部1，提高从该输入部1输入的帧的分辨率的分辨率变换部2，和根据由该分辨率变换部2提高分辨率的帧而显示图像的显示部3。作为该显示部3，可以使用等离子体显示面板、液晶显示面板或电子/电解释放型显示面板。以下说明分辨率变换部2的详细结构。
在图1中，首先利用位置推断(motion estimation)部(101)，以输入到输入部1的帧#1上的处理对象的像素采样相位(标本化位置)为基准，推断帧#2上的对应的像素的位置，求出采样相位差θ(102)。其次，通过运动补偿(motion compensation)和提升部(115)的提升器(103)(104)，利用相位差θ(102)的信息，对帧#2进行运动补偿(motion compensation)，使与帧#1的位置对准，同时，分别将帧#1和帧#2的像素数增加2倍，提高密度。在移相部(116)中，将该提高密度的数据相位偏移一定量。作为使数据相位偏移一定量的装置，可以使用π/2移相器(106)(108)。另外，为补偿π/2移相器(106)(108)中产生的延迟，利用延迟器(105)(107)，使提高密度的帧#1和帧#2的信号延迟。在折返成分(aliasing component)除去部(117)中，在乘法器(110)(112)(111)(113)中，将由系数决定器(109)以相位差θ(102)为基础生成的系数C0、C2、C1、C3与迟延器(105)(107)和希耳伯特(Hilbert Transform)变换器(106)(108)的各个输出信号相乘，在加法器(114)中，将这些信号相加得到输出。将该输出供给到显示部3。另外，位置推断(motion estimation)部(101)还可使用上述现有技术实现。提升器(103)(104)、π/2移相器(106)(108)、折返成分(aliasing component)除去部(117)的各自详细结构在后面说明。
图4表示本发明的第一实施例的动作。在该图的一维频率区域中，表示图1所示的延迟器(105)(107)和π/2移相器(106)(108)的各个输出。在该图(a)中，从延迟器(105)(107)输出的提升后的帧#1和帧#2的信号分别成为，将原成分(original component)(401)(402)和从原来采样频率(fs)折返的折返成分(aliasing component)(405)(406)相加的信号。这时，折返成分(aliasing component)(406)仅旋转上述相位差θ(102)的相位。另一方面，从π/2移相器(106)(108)输出的提升后的帧#1和帧#2的信号，分别成为将π/2相位偏移后的原成分(original component)(403)(404)和π/2相位偏移后的折返成分(aliasing component)(407)(408)相加的信号。为了容易理解该图(a)所示的各成分的相位关系，该图(b)和该图(c)分别抽出表示原成分(original component)和折返成分(aliasing component)。这里，取该图(b)所示的4个成分的向量和时，以Re轴的成分为1，Im轴的成分为0；同时，取该图(c)所示的4个成分的向量和时，如果决定与各成分相乘的系数，取加权和，使得Re轴和Im轴两者的成分为0，则可以抵消除折返成分(aliasing component)，只抽出原成分(originalcomponent)。即只使用二个帧图像，可以实现一维方向进行提高分辨率二倍的图像信号处理装置。在后面说明该系数决定方法的详细情况。
图5表示本发明的第一实施例中使用的提升器(103)(104)的动作。在该图中，横轴表示频率，纵轴表示增益(输出信号振幅与输入信号振幅的比值)，表示提升器(103)(104)的“频率-增益(frequency-gain)”特性。在提升器(103)(104)中，取相对于原来信号的采样频率(fs)的二倍频率(2fs)作为新的采样频率，通过在正好是原来像素间隔中间的位置插入新像素采样点(＝零点)，使像素数变成二倍，达到提高密度，同时，乘以使-fs～+fs间的频率全部成为增益为2.0的通过带域的滤波器。这时，如该图所示，利用数字信号的对称性，成为每隔2fs的整数倍频率重复的特性。
图6中表示本发明的第一实施例中使用的提升器(103)(104)的具体例子。该图表示将图5所示的频率特性进行反傅立叶变换得到的滤波器的分支(tap)系数。这时，各分支系数Ck(这里k为整数)为一般已知的sinc函数，考虑相位差θ(102)可以为Ck＝2Sin(πk-θ)/(πk-θ)另外，在大功率区(103)中，取相位差θ(102)为0时，Ck＝2Sin(πk)/(πk)也可以。另外，通过用整数像素单位(2π)的相位差+小数像素单位的相位差表示相位差θ(102)，利用单纯的像素偏移实现整个像素单位的相位差补偿，在小数像素单位的相位差补偿中使用上述提升器(103)(104)的滤波器也可以。
图7中表示本发明的第一实施例中使用的π/2移相器(106)(108)的动作例子。作为π/2移相器(106)(108)可以使用一般已知的希耳伯特变换(Hilbert Transform)器。在该图(a)中，横轴表示频率，纵轴表示增益(输出信号振幅与输入信号振幅的比值)，表示希耳伯特变换(Hilbert Transform)器的“频率-增益(frequency-gain)”特性。在希耳伯特变换(Hilbert Transform)器中，取原来信号的采样频率(fs)的二倍的频率(2fs)为新的采样频率，使-fs～+fs间除去0的频率成分为增益1.0的通过带域。另外，在该图(b)中，横轴表示频率，纵轴表示相位差(输出信号相位与输入信号相位的差)，表示希耳伯特变换(Hilbert Transform)器的“频率-相位差”特性。这里，在0～fs间的频率成分中，仅滞后π/2相位。在0～-fs间的频率成分中，仅超前π/2相位。这时，如该图所示，利用数字信号的对称性，成为每隔2fs的整数倍频率重复的特性。
在图8中表示利用希耳伯特变换(Hilbert Transform)器构成在本发明的第一实施例中使用的π/2移相器(106)(108)的例子。该图表示对图7所示的频率特性进行反傅立叶变换得到的滤波器分支系数。这时，各分支的系数Ck，当k＝2m(式中m为整数)时，取Ck＝0，当k＝2m+1时，取Ck＝-2/(πk)也可以。
另外，本发明的第一实施例中使用的π/2移相器(106)(108)也可以利用微分器。在这种情况下，以t对表示正弦波的一般式cos(ωt+α)进行微分，乘以1/ω时，成为d(cos(ωt+α))/dt*(1/ω)＝-sin(ωt+α)＝cos(ωt+α+π/2)，可以实现π/2移相功能。即在取作为对象的像素的值和相邻像素的值的差分后，通过乘以具有1/ω的“频率-振幅”特性的滤波器实现π/2移相功能也可以。
在图9中表示在本发明的第一实施例中使用的系数决定器(109)的动作和具体例子。如该图(a)所示，当取图9(b)所示的4个成分的向量和时，取Re轴成分为1，取Im轴成分为0；同时，当取图4(c)所示的4个成分向量和时，取Re轴和Im轴二者的成分为0。这样，如决定与各成分相乘的系数，则只使用2个帧的图像，可以实现进行在一维方向的提高分辨率二倍的图像信号处理装置。如图1所示，取延迟器(105)的输出(提升后的帧#1的原成分(original component)和折返成分(aliasing component)之和)的系数为C0，π/2移相器(106)的输出(提升后的帧#1的原成分(original component)分别与折返成分(aliasing component)的π/2移相结果的和)的系数为C1，延迟器(107)的输出(提升后的帧#2的原成分(aliasing component)和折返成分(aliasing component)的和)的系数C2，希耳伯特变换(HilbertTransform)器(106)的输出(提升后的帧#2的原成分(aliasingcomponent)分别与折返成分(aliasing component)的π/2移相结果的和)的系数为C3，当满足图9(a)的条件时，从图4(b)和图4(c)所示的相位关系可得到图9(b)所示的联立方程式，求解这些联立方程式，可导出图9(c)所示的结果。系数决定器(109)输出这样得到的系数C0、C1、C2、C3。作为一个例子，图9(d)表示相位差θ(102)每隔π/8，在0～2π变化时的系数C0、C1、C2、C3的值。它与以1/16像素的精度对原来帧#2的信号进行位置推断(motion estimation)，对帧#1进行运动补偿(motion compensation)情况相当。
另外，为了得到理想的特性，提升器(103)(104)和π/2移相器(106)(107)需要无限大的分支数，但用有限个中止分支数，简单地进行实用上也没问题。这时，可以使用一般的窗函数(例如汉宁(Hanning)窗函数或汉明(Hamming)窗函数等)。如果以C0为中心，取简单化的希耳伯特变换(Hilbert Transform)器的各分支的系数为左右点对象的值，即C(-k)＝-Ck(k为整数)，则可使相位偏移一定量。
如果以上这样构成各部，即可用较少帧数，而且简单的结构，实现提高分辨率。
(实施例2)图10表示本发明的第二实施例。该图所示的结构，利用图9(c)所示的系数C0、C1、C2、C3的关系，简化图1所示的结构。即因为C0＝C1＝1/2，C1＝-C3＝-(1+cosθ)/sinθ，可由提升后的帧#1和运动补偿(motion compensation)与提升后的帧#2的各信号利用加法器(1001)和减法器(1004)生成和与差的信号。关于和信号，在通过fs截止(cut-off)滤波器(1002)后，在乘法器(1003)中乘以C0(＝0.5)，输入加法器(1008)。这里，fs截止滤波器(1002)为将提升器前的采样频率(fs)的成分作为零点进行截止(cut-off)的滤波器，例如可通过利用该图的(1011)所示的分支系数实现。如图7(a)所示，该fs截止(cut-off)滤波器(1002)的目的是，为了在希耳伯特变换(HilbertTransform)器(1005)的“频率-增益(frequency-gain)”特性中，使频率fs的增益为零点，不除去折返成分(aliasing component)，防止频率fs的不要成分残留。因此，如果用包含频率fs的成分，可移相π/2的装置代替希耳伯特变换(Hilbert Transform)器(1005)，则不需要该fs截止(cut-off)滤波器(1002)。
另一方面，关于差信号，可在希耳伯特变换(Hilbert Transform)器(1005)中，使相位偏移一定量(＝π/2)后，在乘法器(1006)中乘以在系数决定器(1007)中根据相位差(102)决定的系数C1，在加法器(1008)中相加得到输出。这里，由延迟器(1002)和希耳伯特变换(Hilbert Transform)器(1005)构成的移相部(1009)可用图1所示的移相部(116)的一半的电路规模实现。另外，系数决定器(1007)只要输出图9(c)所示的系数C1即可。由于可减少乘法器的个数，因此由加法器(1001)、减法器(1004)、乘法器(1003)(1006)、加法器(1008)、系数决定器(1007)构成的折返部，除去部(1010)可用比图1所示的折返成分(aliasing component)除去部(117)小的电路规模实现。
(实施例3)图11表示本发明的第三实施例。如图9(d)所示，因为当相位差θ为0时，系数C1、C3不定或者随着相位差θ接近0，系数C1、C3变大，为了防止对噪声等变得脆弱，该图所示的结构可以图10所示的结构为基础，当相位差θ在0附近时，切换成从辅助像素插补部(1105)的输出。即准备将一般的插补(interpolation)低通滤波器(1101)作为旁通路径，在系数决定器(1103)中，除了上述的系数C0、C1外，生成新的C4，在乘法器(1102)中，将插补(interpolation)低通滤波器(1101)的输出和系数C4相乘，利用加法器(1104)加在提高分辨率的信号上输出。此外，与图10所示的结构相同。
在图12中表示在本发明的第三实施例中使用的插补(interpolation)低通滤波器(1101)的具体例子。该图表示对以原来的采样频率fs的1/2作为截止频率的频率特性进行反傅立叶变换得出的滤波器的分支系数。这时，各分支系数Ck(k为整数)为一般的sinc函数，Ck＝sin(πk/2)/(πk/2)也可以。图13表示在本发明的第三实施例中使用的系数决定器(1103)的具体例子。该图表示，以图9(d)所示的系数C0、C1为基础，通常使新的系数C4为0，但当位相差θ在0附近时，强制地使系数C0、C1为0，同时使系数C4的值为1.0的动作。利用该动作，在图11所示的结构中，当相位差θ(102)在0附近时，可自动将加法器(1104)的输出切换至插补(interpolation)低通滤波器(1101)的输出。另外，在相位差θ接近0的同时，从图12所示的系数连续地慢慢地接近图13所示的系数也可以。另外，在图1的位置推断(motionestimation)部(101)中，在判定与帧#1上的处理对象的像素对应的像素不在帧#2上的情况下，与当相位差θ(102)在0附近时同样，控制各系数，可自动地将加法器(1104)的输出切换至插补(interpolation)低通滤波器(1101)的输出也可以。
(实施例4)图14表示本发明的第四实施例。该图为利用软件程序实现上述第一实施例的动作的例子。在该图中，处理从步骤(1401)开始，在步骤(1418)中，将各帧的图像数据提升二倍。即在步骤(1402)中，将帧#1的图像数据提升，写入帧缓冲器#1中；在步骤(1403)中，将帧#2的图像数据提升，写入帧缓冲器#2中。这里，提升可以在暂时用0清除各帧缓冲器的值后，通过将数据写入每1个像素中实现。
其次，在步骤(1404)中，将帧缓冲器#1的最初的像素(例如左上的像素)设定为处理对象，以下，使处理循环，至帧缓冲器#1的全部像素数据的处理结束为止。
在步骤(1405)中，以帧缓冲器#1的对象像素为基准，推断帧缓冲器#2中的对应的像素的位置，输出相位差θ。这时，作为推断对应的像素位置的方法，仍可以使用上述现有技术。
在步骤(1406)中，以在步骤(1405)中求出相位差θ为基础，对帧缓冲器#2中的对应的像素附近的像素进行运动补偿(motioncompensation)。这时，作为附近的像素，可只对在步骤(1408)的π/2移相处理中使用的像素数据，即有限的分支数起作用的范围的像素数据进行运动补偿(motion compensation)也可以。该运动补偿(motioncompensation)的动作与利用图5和图6说明的动作相同。
接着，在步骤(1419)中，在帧缓冲器#1和动作补偿的帧缓冲器#2中，使相位偏移一定量。即利用步骤(1407)(1408)，使各帧缓冲器中的像素数据偏移π/2相位。
接着，在步骤(1420)中，根据相位差θ从帧缓冲器#1，#2的像素数据中除去折返成分折返成分(aliasing component)，输出至帧缓冲器#3。即在步骤(1409)中，以相位差θ为基础，决定系数C0、C1、C2、C3，在步骤(1410)、(1411)、(1412)、(1413)中，各系数和帧缓冲器#1，#2的像素数据和π/2移相后的数据分别相乘后，在步骤(1414)中全部相加，输出至帧缓冲器#3。该折返成分折返成分(aliasingcomponent)除去的动作，与利用图9说明的动作相同。
接着，在步骤(1415)中，判定帧缓冲器#1的全部像素处理是否结束，如果没有结束，则在步骤(1416)中，将下一像素(例如右邻的像素)设定处理对象，回到步骤(1405)以下，如果结束，在步骤(1417)中结束处理。
通过进行以上的处理，使用帧缓冲器#1和帧缓冲器#2的像素数据，可将分辨率提高的信号输出至帧缓冲器#3。在运动图像中应用的情况下，在每一个帧中，重复从步骤(1401)至步骤(1417)的处理。
(实施例5)图15表示本发明的第五实施例。该图为利用软件程序实现上述第二实施例的动作的例子。在该图中，处理从步骤(1501)开始，在步骤(1518)中，将各帧的图像数据提升。即在步骤(1502)中，将帧#1的图像数据提升，写入帧缓冲器#1中；在步骤(1503)中，将帧#2的图像数据提升，写入帧缓冲器#2。这里，提升可在暂时用0清除各帧缓冲器的值后，通过将数据写入每一个像素中实现。
其次，在步骤(1504)中，将帧缓冲器#1的最初的像素(例如左上的像素)设定为处理对象，以下，使处理循环至帧缓冲器#1的全部像素数据处理结束为止。
在步骤(1505)中，以帧缓冲器#1的对象像素为基准，推断帧缓冲器#2中的对应的像素的位置，输出相位差θ。这时，作为推断对应的像素位置的方法，仍可以使用上述现有技术。
在步骤(1506)中，以在步骤(1505)中求出相位差θ为基础，对帧缓冲器#2中的对应的像素附近的像素进行运动补偿(motioncompensation)。这时，作为“附近的像素”，在步骤(1510)的希耳伯特变换(Hilbert Transform)处理中使用的像素数据、即有限的分支数起作用的范围的像素数据进行运动补偿(motion compensation)也可以。该运动补偿(motion compensation)的动作与利用图5和图6说明的动作相同。
接着，在步骤(1520)中，根据相位差θ，从帧缓冲器#1、#2的像素数据中除去折返成分(aliasing component)，输出至帧缓冲器#3。首先，在步骤(1507)中，将帧缓冲器#1的图像数据的值和动作补偿运动补偿(motion compensation)的帧缓冲器#2的图像数据的值相加，在步骤(1509)中，截止(cut-off)频率fs的成分。该fs截止(cut-off)滤波器(1509)的动作与图10所示的(1002)的动作相同。
另外，在步骤(1508)中，从帧缓冲器#1的像素数据的值减去运动补偿(motion compensation)的帧缓冲器#2的像素数据的值。在步骤(1519)中，在减去的结果中使相位偏移一定量。即同样使用减去附近的数据，在步骤(1510)中进行希耳伯特变换(Hilbert Transform)。该移相动作与利用图7和图8说明的动作相同。
接着，在步骤(1511)中将系数C0(＝0.5)与上述相加后的数据相乘，同时，在步骤(1512)中，以相位差θ为基准，决定系数C1，在步骤(1513)中，在系数C1和希耳伯特变换(Hilbert Transform)后的数据相乘后，在步骤(1514)中，将二者的数据相加，输出至帧缓冲器#3。该折返成分(aliasing component)除去的动作与利用图10说明的动作相同。
接着，在步骤(1515)中，判定帧缓冲器#1的全部像素处理是否结束，如果没有结束，在步骤(1516)中，将下一个像素(例如右邻的相素)设定为处理对象，回到步骤(1505)以下，如果结束，则在步骤(1517)中结束处理。
通过进行以上的处理，使用帧缓冲器#1和帧缓冲器#2的像素数据，可将分辨率提高的信号输出至帧缓冲器#3。在运动图像中应用的情况下，在每一个帧中，重复从步骤(1501)至步骤(1517)的处理。
(实施例6)图16表示本发明的第六实施例。该图为利用软件程序实现上述第三实施例的动作的例子。如图9(d)所示，因为当相位差θ为0时，系数C1、C3不定，或者因相位差θ接近0而使C1、C3变大，因此为了防止对噪声等脆弱，该图所示的处理步骤的动作以图15所示的处理步骤为基础，当相位差θ为0附近时，将步骤(1606)的处理结果输出至帧缓冲器#3。即在步骤(1601)中，以相位差θ为基础，决定系数C0、C1、C4，在步骤(1602)中，利用帧缓冲器#1中的对象像素数据及其附近的像素数据，在进行一般的插补(interpolation)低通滤波器处理后，在步骤(1603)中乘以系数C4，在步骤(1604)中与步骤(1511)(1513)的输出相加，输出至帧缓冲器#3。此外，与图15所示的处理步骤相同。另外，在步骤(1601)中系数决定动作与利用图13说明的动作相同。步骤(1602)中的插补(interpolation)低通滤波器的动作与利用图12说明的动作相同。
另外，使图14、图15、图16所示的处理步骤动作的硬件，由于可以较容易地用由信号输入输出部(I/O)、CPU(Central Processing Unit中央处理单元)、或DSP(Digital Signal Processor数字信号处理器)等信号处理LSI，帧缓冲器(存储器)构成的一般的图像处理机器或计算机等实现，图中省略表示。
利用以上的技术，在通过合成多个图像帧，除去不要的折返成分(aliasing component)，进行提高分辨率的装置中，如果有至少二个帧图像，则可实现一维方向的提高分辨率二倍的图像信号处理。
利用图17说明本发明和上述现有技术的动作的不同。在该图(a)中，在从帧#1(1701)至帧#5(1705)之间准备被拍摄体为向右方向移动的输入图像。这时，如该图(b)所示，当考虑各帧的采样相位时，有意地移动被拍摄体，使帧#1(1701)与帧#2(1702)之间对应像素的位置偏移1/4像素(＝π/2)，在帧#1(1701)与帧#3(1703)之间对应像素的位置偏移1个像素(＝2π)，在帧#1(1701)与帧#4(1704)之间对应像素的位置偏移5/4个像素(＝5π/2)，在帧#1(1701)与帧#5(1705)之间对应像素的位置偏移2个像素(4π)。这时，各帧上的信号中分别包含动的折返成分(aliasing component)的相位，以帧#1(1701)上的信号中包含的折返成分(aliasing component)的相位的基准，可由该图(c)表示。在进行该输入图像(a)的提高分辨率二倍的情况下，利用上述现有技术，由于不能利用从帧#1(1701)至帧#5(1705)中的某3个帧使折返成分(aliasing component)的向量和为0，不能实现提高分辨率。另一方面，根据本实施例，由于可使用相邻2个帧(例如帧#1(1701)和帧#2(1702))，使折返成分(aliasing component)的向量和为0，因此可以实现提高分辨率。即，通过使用该图(a)的输入图像作为测试图案，可以确认本实施例的动作状况。
(实施例7)在上述中说明了利用2个帧的信号提高分辨率2倍，但同样使用n个帧的信号(n为2以上的整数)，可实现提高分辨率到n倍。这时，如图9(a)所示，与原成分(original component)的和的Re轴＝1，原成分(original component)的和的Im轴＝0的条件一起，可以原来的采样频率(fs)的1～(n-1)倍频率，分别使折返的(n-1)个折返成分(aliasing component)的向量和分别置为0，解联立方程式也可以。以下，利用图18和图19详细说明上述情况。
在图18中表示使用n个帧(n为2m上的整数)的信号的提高分辨率为n倍的装置的实施例。在该图中，首先利用位置推断(motionestimation)部(1801)，以输入的帧#1上的处理对象的像素的采样相位(标本化位置)为基准，推断输入的帧#2～帧#n上的对应的像素的位置，求相位差θ1(1802-1)～相位差θ(n-1)(1802-(n-1))。其次，通过运动补偿(motion compensation)，提升部(1806)的提升器(1803-0)～(1803-(n-1))，利用各相位差θ的信息，对帧#2～帧#n进行运动补偿(motion compensation)，与帧#1位置对准，同时，将各帧的像素数增加到n倍提高密度。在移相部(1807)中，使密度提高的数据的相位偏移一定量，成为信号Sio～Si(n-1)。作为使数据相位偏移一定量的装置，可以使用π/2移相器(1805-0)～(1805-(n-1))。另外，为了补偿各个π/2移相器中产生的延迟，可利用延迟器(1804-0)～(1804-(n-1))，使密度提高的各帧的信号延迟，成为信号Sr0～Sr(n-1)。在折返成分(aliasing component)除去部(1808)中，利用些信号Si0～Si(n-1)，Sr0～Sr(n-1)、相位差θ1～θ(n-1)，进行除去折返成分(aliasing component)的计算，得到输出。另外，位置推断(motion estimation)部(1801)仍可利用上述现有技术实现。又由于运动补偿(motion compensation)、提升部(1806)、移相部(1807)，可以图5～图8所示的内容为基础，通过将图中的频率以fs变更至fs*n/2容易类推实现，图中省略表示。在移相部(1807)中，在fs*n/2的频率的增益为零点，不能除去折返变形的情况下，利用fs*n/2频率的增益为零点的截止(cut-off)滤波器也可以。该截止(cut-off)滤波器插入延迟器(1804-0)～(1804-(n-1))的位置中也可以，但插入折返成分(aliasing component)除去部(1808)的输出位置中也可得到同样的效果。
图19表示折返成分(aliasing component)除去部(1808)的动作的详细情况。在该图(a)中，表示利用信号Si0～Si(n-1)、Sr0～Sr(n-1)、相位差θ1～θ(n-1)得到除去折返成分(aliasing component)的输出的计算式。这里，Ci0～Ci(n-1)、Cr0～Cr(n-1)分别为与信号Si0～Si(n-1)、Sr0～Sr(n1)相乘的系数。
在该图(b)中表示求这些系数Ci0～Ci(n-1)、Cr0～Cr(n-1)的计算式。该计算式左右边都为矩阵形式，从上每隔2行表示原成分(original component)，采样频率(fs)的成分、采样频率(fs)的2倍的成分与以下同样，表示至采样频率(fs)的(n-1)倍的成分，各第一行(奇数行)表示Re轴，各第二行(偶数行)表示Im轴的各成分。该计算式左边的矩阵表示原成分(original component)的Re轴的和为1，其他成分全部为0。该计算式的右边为矩阵的积运算。右边的左侧的矩阵从左边开始每2列上表示帧#1的采样相位(基准)、帧#2与帧#1的采样相位差，以下同样，根据帧#n和帧#1的采样相位差，使长度为1的向量旋转，表示各第一列(奇数列)将长度为1的向量投影在Re轴上，各第二列(偶数列)将该向量投影在Im轴上时的值。这里有从上每隔2行，采样相位差(旋转角)与采样频率成比例变大的特征。右边的右侧的矩阵为求出的系数。即该图(b)所示的计算式表示为了除去不要的折返成分(aliasing component)，只抽出原成分(original component)的Re轴，将适当的系数与帧#1～帧#n的各成分相乘，取向量和。因此，利用该图(b)的逆矩阵计算，求出系数Ci0～Ci(n-1)、Cr0～Cr(n-1)，通过将该系数代入该图(a)中计算，可以除去不要的(n-1)个折返成分(aliasing component)，实现提高分辨率到n倍。这时，如果n＝2，图18所示的结构与图1所示的结构一致，图19所示的计算式与图9所示的计算式一致。另外同样，由于容易将图14、图15、图16所示的实施例(流程图)的输入帧数从2扩展至n，图中省略了与提高分辨率到n倍对应的流程图的表示。
上述举出水平方向的提高分辨率为例子进行说明，但本发明不限于此，在垂直方向或倾斜方向提高分辨率也可以使用。例如，通过在交错-顺序扫描变换(I-P变换)中利用本发明，可以从2个半帧图像生成一个帧图像。即通过将半帧图像看成是“扫描线数为1/2的帧图像”，使用本发明，不论静止图像和运动图像，都可以得到使每一个图像的扫描线数为2倍(即垂直方向的分辨率为2倍)的输出图像。另外，可以容易地扩张至组合水平和垂直方向的二维的高分辨率。
另外，在上述实施例中，作为图像信号处理装置，以图像显示装置为例说明，但不限于此。例如，在DVD播放机或HDD播送机中同样可使用，另外在接收1个片段播放的便携式图像显示终端(例如移动电话)中也可使用。另外，作为图像帧使用电视播放信号以外的信号的图像帧也可以。例如对于通过因特网发送的流(streaming)图像或从DVD播放机或HDD播放机再现的图像，也同样可使用本发明。
权利要求
1.一种图像信号处理装置，其特征在于，包括输入部，输入n个(n为2以上的整数)图像帧；和分辨率变换部，通过合成所述输入的n个图像帧，使构成图像帧的像素数增加到n倍，得到输出图像帧。
2.如权利要求1所述的图像信号处理装置，其特征在于，所述分辨率变换部包括位置推断(motion estimation)部，利用成为基准的所述输入图像帧上的图像数据和其他输入图像帧上的对应的各图像数据，推断采样相位差；运动补偿、提升部，利用所述采样相位差的信息，对各输入图像帧的图像数据进行运动补偿(motion compensation)，同时将像素数增加到n倍；移相部，使所述像素数增加后的各图像帧的图像数据以规定量移相；系数决定部，利用所述采样相位差的信息决定系数；和折返成分(aliasing component)除去部，通过将所述系数与所述移相前后的各图像数据相乘后相加，除去(n-1)个折返成分而输出。
3.如权利要求2所述的图像信号处理装置，其特征在于所述分辨率变换部还包括通过像素插补，增加输入图像帧的图像数据的辅助像素插补部，当所述系数决定部不能决定系数时，输出所述辅助像素插补部的结果代替除去所述折返成分(aliasing component)后的结果。
4.如权利要求1所述的图像信号处理装置，其特征在于所述分辨率变换部，从由所述输入部输入的n个图像帧的数据生成2n个数据，通过将系数分别与所述2n个数据相乘后相加，生成并输出一个图像数据。
5.如权利要求4所述的图像信号处理装置，其特征在于所述2n个数据由基于从所述输入部输入的n个图像帧的数据的n个数据，和基于使从所述输入部输入的n个图像帧的数据的相位偏移后的n个图像帧的数据的n个数据构成。
6.一种图像信号的高分辨率化方法，其特征在于，包括输入n个(n为2以上的整数)图像帧的步骤；和通过合成所述输入的n个图像帧，将构成图像帧的像素数增加到n倍，得到输出图像帧的步骤。
7.如权利要求6所述的图像信号的高分辨率化方法，其特征在于，所述得到输出图像帧的步骤包括利用成为基准的所述输入图像帧上的图像数据和其他输入图像帧上的对应的各图像数据，推断采样相位差的步骤；利用所述采样相位差的信息，对各输入图像帧的图像数据进行运动补偿(motion compensation)，同时将像素数增加到n倍的步骤；使所述像素数增加后的各图像帧的图像数据以规定量移相的步骤；利用所述采样相位差的信息决定系数的步骤；和通过将所述系数与所述移相前后的各图像数据相乘后相加，除去(n-1)个折返成分而输出的步骤。
8.如权利要求7所述的图像信号的高分辨率化方法，其特征在于，还包括通过像素插补，增加输入图像帧的图像数据的辅助像素插补步骤，当决定所述系数的步骤不能决定系数时，输出所述辅助像素插补步骤的结果代替除去所述折返成分(aliasing component)后的结果。
9.如权利要求6所述的图像信号的高分辨率化方法，其特征在于所述得到输出图像帧的步骤，从由所述输入图像帧的步骤输入的n个图像帧的数据生成2n个数据，通过将系数分别与所述2n个数据相乘后相加，生成一个图像数据。
10.如权利要求9所述的图像信号的高分辨率化方法，其特征在于所述2n个数据由，基于在所述输入图像帧的步骤中输入的n个图像帧的数据的n个数据，和基于使从所述输入部输入的n个图像帧的数据的相位偏移后的n个图像帧的数据的n个数据构成。
11.一种图像显示装置，其特征在于，包括输入部，输入第一图像帧和第二图像帧；分辨率变换部，通过变换处理并合成所述输入的第一图像帧和第二图像帧，使构成图像帧的像素数增加到二倍，得到输出图像帧；和显示部，根据从所述分辨率变换部输出的输出图像帧进行图像的显示。
12.如权利要求11所述的图像显示装置，其特征在于，所述分辨率变换部包括像素数变换部，分别增加所述输入的第一图像帧和第二图像帧的像素数；和折返成分(aliasing component)除去部，分别将所述像素数增加后的第一和第二图像帧的相位偏移π/2，同时将该相位偏移后的第一和第二图像帧与相位偏移前的第一和第二图像帧相加，除去输入图像帧中包含的折返成分(aliasing component)。
13.如权利要求12所述的图像显示装置，其特征在于，还包括系数生成部，生成分别与所述相位已偏移的第一以及第二图像帧和相位偏移前的第一以及第二图像帧对应的系数；和乘法部，将该系数生成部生成的系数与所述移相前后的第一和第二图像帧相乘，其中，所述系数生成部根据所述第一图像帧和所述第二图像帧的采样相位差生成所述系数。
14.如权利要求11所述的图像显示装置，其特征在于所述第一和第二图像帧为运动图像的图像帧。
15.如权利要求11所述的图像显示装置，其特征在于所述第一和第二图像帧为电视播放信号中包含的帧。
16.如权利要求11所述的图像显示装置，其特征在于所述像素数变换部使所述第一和第二图像帧的像素数达到2倍。
17.如权利要求11所述的图像显示装置，其特征在于所述分辨率变换部从由所述输入部输入的第一图像帧的数据和第二图像帧的数据生成4个图像帧的数据，通过将系数分别与所述4个图像帧的数据相乘后相加，输出一个图像。
18.如权利要求17所述的图像显示装置，其特征在于所述4个图像帧的数据分别为从所述输入部输入的第一图像帧的数据、第二图像帧的数据、使所述第一图像帧的数据移相后的数据、使第二图像帧的数据移相后的数据。
全文摘要
本发明提供了利用少的帧数提高图像信号，特别是运动图像的图像信号的分辨率的技术。本发明的图像信号处理装置具有位置推断部(101)，利用成为基准的输入图像帧上的图像数据和其他输入图像帧上的对应的各图像数据，推断采样相位差；运动补偿、提升部(115)，利用所述采样相位差的信息，对各输入图像帧的图像数据进行运动补偿，同时将像素数增加到n倍；移相部(116)，使高密度化的各图像帧的图像数据以规定量移相；系数决定部(109)，利用所述采样相位差的信息决定系数；和折返成分除去部(117)，通过将所述系数与所述移相前后的各图像数据相乘后加权相加，除去(n－1)个折返成分而输出。
文档编号G09G5/391GK101083069SQ20071009637
公开日2007年12月5日 申请日期2007年4月16日 优先权日2006年5月31日
发明者影山昌广, 浜田宏一, 长屋茂喜 申请人:株式会社日立制作所