专利名称：用于处理图像信号的设备和方法、用于执行该方法的程序、以及用于记录该程序的计算机 ...的制作方法
技术领域：
本发明涉及可良好地应用于具有连续变化的图像放大率(图像尺寸)的图像(缩放图像)的显示的用于处理图像信号的设备和方法、用于执行该方法的程序、以及用于记录该程序的计算机可读介质。
更具体地，本发明涉及用于处理图像信号的设备等，其通过使用基于至少有关依照输出图像信号的图像的放大率的信息生成的图像质量调整信息来调整此图像的图像质量，而改善缩放图像。
背景技术：
为转换图像的放大率，有必要通过确定具有与输入图像信号的像素数据的相位不同的相位的像素数据，而得到输出图像信号。在此情况中，通过使用转换后图像的放大率，唯一地确定输出图像信号的像素相对于输入图像信号的像素的相位关系。
传统上，已提出了一种方法，通过该方法，在为了转换图像的放大率而从输入图像信号的像素数据得到输出图像信号的像素数据时，与输出图像信号的像素相对于输入图像信号的像素的每个相位相对应的、用于估计等式的系数数据被预先存储在存储器中，并被读取，以基于使用所述系数数据的估计等式而得到输出图像信号的像素数据。
如果转换后图像的放大率不同，则给出不同的输出图像信号的像素相对于输入图像信号的像素的相位关系。因此，在用于将用于估计等式的系数数据存储在存储器中的方法中，为将放大率转换为不同值，有必要根据存储器中的这些不同的放大率的值而存储多项系数数据。因此，在这种情况中，有必要提供用于存储很多项系数数据的存储器，由此导致昂贵的转换设备等问题。
为解决此问题，本申请人早先已提出了一种设备，其可基于相位信息而从系数种于数据中产生要用于估计等式的系数数据，以消除用于存储很多项系数数据、以将放大率转换为不同值的存储器的必要性(见日本专利申请特开(KOKAI)第2002-196737号)。
例如，通过连续地改变图像的放大率，可实现电子缩放。此电子缩放具有这种问题，即在作为整体的放大的静止图像中显现出模糊，从静止图像到放大的运动图像的转换遇到折返(fold-back)失真，并且，在输入图像信号中的噪声(如果有的话)在放大图像中变得显著。另外，如果图像的放大率在缩放中迅速改变，则输入图像信号的处理范围在时间周期上显著变化，由此产生一种问题，即不能得到视觉上的平滑缩放图像。
发明内容
本发明的目的在于提高通过连续地改变图像的放大率而得到的缩放图像的图像质量。
根据本发明的用于处理图像信号的设备基于由多项像素数据构成的第一图像信号而产生第二图像信号，以显示图像放大率连续改变的图像，该设备包括相位信息生成部件，用于生成与每个放大率相对应的第二图像信号中的目标位置的相位信息；像素数据产生部件，用于根据由相位信息生成部件生成的相位信息，而产生第二图像信号中的目标位置的像素数据；以及图像质量调整部件，用于通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，来调整依照第二图像信号的图像的质量。
根据本发明的用于处理图像信号的方法为一种用于处理图像信号的方法，其基于由多项像素数据构成的第一图像信号而产生第二图像信号，以显示图像放大率连续改变的图像，该方法包括以下步骤生成第二图像信号中的目标位置的相位信息，该相位信息对应于每个放大率；根据由相位信息生成部件生成的相位信息，而产生第二图像信号中的目标位置的像素数据；以及通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，而调整依照第二图像信号的图像的质量。
一种与本发明有关的程序，用于使计算机执行用于处理图像信号的上述方法。与本发明有关的计算机可读介质存储此程序。
在本发明中，对应于每个放大率而生成第二图像信号中的目标位置的相位信息。与此相位信息相对应地，产生第二图像信号中的目标位置的像素数据。使用例如估计等式来执行此像素数据的产生。也就是说，生成与相位信息相对应的、在估计等式中使用的系数数据，并基于第一图像信号而选择位于第二图像信号中的目标位置的周围的多项像素数据，以便通过使用此系数数据和多项像素数据，基于估计等式来计算第二图像信号的目标位置的像素数据。
在使用估计等式来产生像素数据的这种情况中，使用通过学习处理而得到的系数数据使得比通过线性内插法(interplation)等更为精确地得到第二图像信号中的目标位置的像素数据，其中，所述学习处理使用与第二图像信号相对应的教师信号、以及与第一图像信号相对应的学生信号。
例如，如下生成系数数据。也就是说，将用于产生在估计等式中使用的系数数据的、作为包含作为参数的相位信息的产生等式中的系数数据的系数种子数据存储在存储部件中。这些系数种子数据和相位信息用于基于产生等式而产生要在估计等式中使用的系数数据。在此情况中，不将与每个放大率相对应的系数数据存储在存储器中，由此消除了用于存储很多系数数据的存储器的必要性。
此外，例如，如下生成系数数据。也就是说，将对于可由相位信息生成部件生成的每条相位信息而言的、要在估计等式中使用的系数数据存储在存储部件中。从此存储部件读取与相位信息相对应的系数数据。
在此条件下，基于第一图像信号而选择第二图像信号中的目标位置的多项像素数据，并且基于这些多项像素数据而检测第二图像信号中的目标位置的像素数据的所属类别，以便可生成不仅与相位信息相对应、还与此检测出的类别相对应的系数数据，由此使得进一步提高第二图像信号中的目标位置的像素数据的精度。
此外，通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，而调整依照第二图像信号的图像的质量。应当注意，这里提到的图像质量可为例如分辨率或噪声抑制度。与图像的放大率相关的信息可为例如放大率的改变率、图像的放大率等。
此外，通过使用基于从位于第二图像信号中的目标位置的周围的第一图像信号的多项像素数据中提取的特性信息而生成的图像质量调整信息，而调整依照第二图像信号中的目标位置的像素数据的图像的质量。应当注意，这里提到的特性信息可为例如运动信息、动态范围、空间波形信息等。
例如，将分辨率和噪声抑制度调整为随着图像的放大率的改变率(缩放速度)的增大而减小。由此，有可能在缩放期间给出看起来平滑的缩放图像。
此外，例如，将噪声抑制度调整为随着图像的放大率(缩放放大率)的增大而增大。由此，有可能防止放大图像中的噪声变得显著。
此外，例如，随着图像的放大率(缩放放大率)的增大，将分辨率调整为对于静止图像增大、而对于运动图像减小。由此，有可能抑制在作为整体的放大静止图像中显现出模糊，以及抑制在从静止图像转换为放大运动图像时出现折返失真。
在产生第二图像信号中的目标位置的像素数据时，可调整第二图像信号中的图像的质量，并且进一步地，在产生该像素数据之后，可使用增强较高频率范围的增强器、消除噪声的噪声消除电路等。
在对生成像素数据执行图像质量调整时，可根据图像质量调整信息、使用系数数据来执行这种调整。例如，为通过使用包含作为参数的相位信息的产生等式来产生系数数据，图像质量调整信息也可作为参数而被包含于该产生等式中，以得到根据相位信息和图像质量调整信息的这种系数数据。此外，例如，在从存储部件读取系数数据时，可从此存储部件读取根据相位信息和图像质量调整信息的这种系数数据。
图1为TV接收机的实施例的配置的方框图；图2为示出输入图像信号Vin和输出图像的处理范围RG之间的关系的图；图3A、3B、以及3C为分别示出缩放中心点P0和处理范围RG之间的关系的图；图4为用于示出在2.5倍缩放时的输入的像素位置和输出的像素位置之间的关系的图；图5为用于示出在1.25倍缩放时的输入的像素位置和输出的像素位置之间的关系的图；图6A、6B、以及6C为分别示出放大率T、改变率K、以及图像质量调整信息f或g之间的关系的图；图7A、7B、以及7C为分别示出放大率T以及图像质量调整信息f或g之间的关系的图；
图8A、8B、以及8C为分别示出改变率K以及图像质量调整信息f或g之间的关系的图；图9为用于示出系数种子数据产生方法的一个例子的图；图10为用于示出525i信号(SD信号)的像素位置和1050i信号(HD信号)的像素位置之间的关系的图；图11为沿垂直方向的八级相移的说明图；图12为沿水平方向的八级相移的说明图；图13为用于示出SD信号(525i信号)和HD信号(1050i信号)之间的相位关系的图；图14为用于示出产生系数种子数据的方法的一个例子的图；图15为用于示出系数种子产生设备的配置的方框图；图16为图像信号处理设备的软件实现的配置的方框图；图17为用于处理图像信号的过程的流程图；以及图18为用于产生系数种子数据的过程的流程图。
具体实施例方式
下面将通过参照附图来描述本发明的实施例。图1示出了根据该实施例的TV接收机100。TV接收机100基于从广播信号得到的525i信号(输入图像信号Vin)而产生输出图像信号Vout，以显示依照此输出图像信号Vout的图像。
TV接收机100配备有微型计算机，并具有系统控制器101，用于控制整个系统的操作；以及遥控信号接收电路102，用于接收遥控信号。在此配置中，遥控信号接收电路102被连接到系统控制器101，以响应于用户的操作，而接收由遥控发射器200输出的遥控信号RM，并向系统控制器101提供与此信号RM相对应的操作信号。
TV接收机100还具有接收天线105；调谐器106，被提供有由此接收天线105捕获的广播信号(RF调制信号)，以对其执行频道选择、中频放大、检测处理等，以便可得到525i信号；以及缓冲存储器109，用于暂时存储从此调谐器106输出的525i信号。应当注意，525i信号表示具有525行的隔行扫描系统图像信号。
TV接收机100还具有图像信号处理部分110，用于接收暂时存储在缓冲存储器109中的525i信号，作为输入图像信号Vin，以基于此输入图像信号Vin而产生新的525i信号，作为输出图像信号Vout，并将其输出；以及显示部分111，用于显示依照此图像信号处理部分110的输出图像信号Vout的图像。例如，显示部分111由阴极射线管(CRT)、例如液晶显示器(CRT)的平面显示板等构成。
下面将描述图1中示出的TV接收机100的操作。
从调谐器106输出的525i信号被提供到缓冲存储器109，并被暂时存储在其中。将被暂时存储在此缓冲存储器109中的525i信号作为输入图像信号Vin而输入到图像信号处理部分110。
在此图像信号处理部分110中，基于输入图像信号Vin，产生新的525i信号，作为输出图像信号Vout。在此情况中，有可能根据遥控发射器200的用户操作所生成的设置，而在普通模式和缩放模式之间切换。在普通模式中，对输入图像信号Vin的整个范围进行处理，以产生显示具有放大率1的图像的输出图像信号Vout。在缩放模式中，产生显示这种缩放图像的输出图像信号Vout，所述缩放图像即图像的放大率在被用户指定为中心的任意点(缩放中心点P0)的周围连续地改变。在此缩放模式中，输入图像信号Vin的处理范围RG根据图像的放大率而改变。
在缩放模式中，有可能还在由操作器的用户操作改变图像放大率的手动模式、以及自动地改变图像放大率的自动模式之间切换。在手动模式中，当用户操作操作器时，图像放大率以预先设置的改变率改变。在自动模式中，如果放大率的初始状态为1，则转换图像放大率，使其在预设的改变时间段之内变为目标放大率；另一方面，如果放大率的初始状态为目标放大率，则改变图像放大率，使其在预设的改变时间段之内变为1。应当注意，可由遥控发射器200的用户操作来设置手动模式中的改变率、以及自动模式中的改变时间和目标放大率。
将从此图像信号处理部分110输出的输出图像信号Vout提供到显示部分111，以便将依照此输出图像信号Vout的图像显示在此显示部分111的屏幕上。显示部分111在普通模式中显示具有放大率1的普通图像，而在缩放模式中显示图像放大率在作为中心的任意点周围连续地改变的这种缩放图像。
接下来，将详细描述图像信号处理部分110。此图像信号处理部分110具有第一至第三抽头选择电路121-123，所述抽头选择电路中的每个为构成输出图像信号Vout的每个单位像素块而选择性地从存储在缓冲存储器109中的525i信号中取出位于与存在于该单位像素块中的每个像素(目标像素)相对应的位置(即，输出图像信号Vout中的目标位置)的周围的多项像素数据，并将其输出。
第一抽头选择电路121用于选择性地取出要用于预测的像素的数据(被称为“预测抽头”)。第二抽头选择电路122用于选择性地取出要用于空间类别(space class)的分类的像素的数据(被称为“空间类别抽头”)。第三抽头选择电路123用于选择性地取出要用于运动类别(motion class)的分类的像素的数据(被称为“运动类别抽头”)。应当注意，如果通过使用属于多场的像素数据而确定空间类别，则此空间类别还包含运动信息。
图像信号处理部分110还具有空间类别检测电路124，用于基于由第二抽头选择电路122选择性地取出的空间类别抽头的数据的电平(level)分布模式，而检测空间类别，并输出其类别信息。
空间类别检测电路124执行这种计算以便例如将空间类别抽头的8位数据压缩为2位数据那。例如，此空间类别检测电路124采用自适应动态范围编码(ADRC)。根据ADRC，假设空间类别抽头的数据的最大值为MAX，其最小值为MIN，空间类别抽头的数据的动态范围为DR(MAX-MIN+1)，且重量化位的数目为P，那么，通过有关空间类别抽头的数据ki的等式(1)的计算，而得到重量化码Qi。应当注意，等式(1)中的“[]”表示其间的内容经过了小数舍去。如果给出Na项数据作为空间类别抽头的数据，则i＝1至Na。
Qi＝[(ki-MIN+0.5)×2p/DR] …(1)图像信号处理部分110还具有运动类别检测电路125，用于根据由第三抽头选择电路123选择性地输出的运动类别抽头的(多项)数据来检测主要指明运动程度的运动类别，并输出其类别信息。
例如，此运动类别检测电路125通过使用例如下面的方法来检测运动类别。根据由第三抽头选择电路123选择性地取出的运动类别抽头的数据而计算帧间差，以便对这些差的绝对值的平均值进行阈值处理，以检测作为运动索引(index)的运动类别。也就是说，运动类别检测电路125通过使用等式(2)来计算差的绝对值的平均值AV。例如，如果第三抽头选择电路123取出六项像素数据m1至m6、以及紧前面的帧的六项像素数据n1至n6作为类别抽头的数据，则等式(2)中的Nb为6。
AV=Σi=1Nb|mi-ni|Nb···(2)]]>随后，运动类别检测电路125将此计算出的平均值AV与一个或多个阈值相比较，以得到运动类别的类别信息MV。例如，预备三个阈值th1、th2、以及th3(th1＜th2＜th3)来检测四个运动类别，如果AV≤th1，则MV＝0，如果th1＜AV≤th2，则MV＝1，如果th2＜AV≤th3，则MV＝2，并且，如果th3＜AV，则MV＝3。
图像信号处理部分110还具有类别合成电路126，用于基于作为从空间类别检测电路124输出的空间类别的类别信息的重量化码Qi、以及从运动类别检测电路125输出的运动类别的类别信息MV，为构成要创建的输出图像信号Vout的每个单位像素块，而得到指明存在于该单位像素块中的每个像素(目标像素)所属于的类别的类别码CL。
此类别合成电路126通过使用等式(3)来计算类别码CL。应当注意，在等式(3)中，Na表示空间类别抽头的数据的项数，而P表示ADRC中的重量化位的数目。
CL=Σi=1NaQi(2P)i-1+MV×(2P)Na···(3)]]>图像信号处理部分110还具有寄存器131至133、以及系数存储器134。寄存器131用于存储由第一抽头选择电路121选择的预测抽头的抽头位置信息。第一抽头选择电路121根据从寄存器131提供的抽头位置信息而选择预测抽头。抽头位置信息给例如有可能被选择的多个像素编号，以指定要选择的像素的数目。这也适用于下面的抽头位置信息。
寄存器132用于存储由第二抽头选择电路122选择的空间类别抽头的抽头位置信息。第二抽头选择电路122根据从寄存器132提供的抽头位置信息而选择空间类别抽头。
应当注意，寄存器132在运动相对小的情况下存储抽头位置信息A，而在运动相对大的情况下存储抽头位置信息B。由从运动类别检测电路125输出的运动类别的类别信息MV来决定要将这些抽头位置信息A和B中的哪一个提供到第二抽头选择电路122。
也就是说，如果由于运动不存在或很小而分别使MV＝0或MV＝1，则将抽头位置信息A提供到第二抽头选择电路122。由此，认定此第二抽头选择电路122选择的空间类别抽头覆盖多个场。另一方面，如果由于运动相对大而使MV＝2或MV＝3，则将抽头位置信息B提供到第二抽头选择电路122。由此，认定此第二抽头选择电路122选择的空间类别抽头仅为与要创建的像素(尽管其未示出)的场相同的场内的像素。
可配置为使得将在运动相对小的情况下的抽头位置信息和在运动相对大的情况下的抽头位置信息也存储在上述寄存器131中，以便可基于从运动类别检测电路125输出的运动类别的类别信息MV而选择被提供到第一抽头选择电路121的抽头位置信息。
寄存器133用于存储由第三抽头选择电路123选择的运动类别抽头的抽头位置信息。第三抽头选择电路123根据从寄存器133提供的抽头位置信息而选择运动类别抽头。
此外，系数存储器134用于为每个类别而存储用于由后面描述的估计预测计算电路127所使用的估计等式的系数数据。此系数数据为用于将525i信号转换为作为输出图像信号Vout的新的525i信号的信息。系数存储器134被提供有从类别合成电路126输出的、作为读取地址信息的类别码CL，从该系数存储器134读取与类别码CL相对应的系数数据，并将其提供到估计预测计算电路127。
图像信号处理部分110还具有信息存储器组(memory bank)135。在此信息存储器组135中，预先储存了要存储在寄存器131至133中的抽头位置信息。在此情况中，在信息存储器组135中，预先储存与图像的放大率或改变率相对应的抽头位置信息。在系统控制器101的控制下，将与图像放大率或图像改变率相对应的抽头位置信息从信息存储器组135加载到寄存器131-133。
如上所述，在用户操作遥控发射器200时，普通模式和缩放模式彼此切换。在普通模式中，图像的放大率为1。另一方面，在缩放模式中，图像的放大率根据操作器的用户操作而改变(在手动模式中)，或自动改变(在自动模式中)。
此外，在信息存储器组135中，预先储存每个类别的系数种子数据。此系数种子数据为用于产生等式(production equation)的系数数据，该等式具有作为产生要存储在上述系数存储器134中的系数数据所需参数的相位信息h和v、以及图像质量调整信息f和g。
后面描述的估计预测计算电路127通过使用等式(4)的估计等式，而根据预测抽头的数据xi和从系数存储器134读取的系数数据Wi来计算要创建的像素数据y。如果要由第一抽头选择电路121选择的预测抽头的数目为10，则等式(4)中的n为10。
y=Σi=1nWi·xi···(4)]]>例如，如由等式(5)所指明的，通过使用具有作为参数的相位信息h和v、以及图像质量调整信息f和g的产生等式，而产生此估计等式中的系数数据Wi(i＝1至n)。应当注意，相位信息h表示水平相位信息，而相位信息v表示垂直相位信息。此外，图像质量调整信息f用于调整分辨率，而图像质量调整信息g用于调整噪声抑制度。
在信息存储器组135中，为每个类别而存储作为用于此产生等式的系数数据的多条系数种子数据wi0至wi30(i＝1至n)。后面将描述用于产生此系数种子数据的方法。
Wi＝wi0+wi1f+wi2g+wi3f2+wi4fg+wi5g2+wi6f3+wi7f2g+wi8fg2+wi9g3+wi10v+wi11vf+wi12vg+wi13vf2+wi14vfg+wi15vg2+wi16h+wi17hf+wi18hg+wi19hf2+wi20hfg+wi21hg2+wi22v2+wi23v2f+wi24v2g+wi25vh+wi26vhf+wi27vhg+wi28h2+wi29h2f+wi30h2g……(5)图像信号处理部分110还具有系数产生电路136，用于使用用于每个类别的系数种子数据、以及相位信息h和v及图像质量调整信息f和g的值，而通过使用等式(5)来产生与用于每个类别的相位信息h和v、以及图像质量调整信息f和g的值相对应的、用于估计等式的系数数据Wi(i＝1至n)。
将每个类别的系数种子数据加载到系数产生电路136。此外，对于构成要创建的输出图像信号Vout的每个单位像素块，此系数产生电路136被提供有由后面将描述的相位信息生成电路139生成的、存在于该单位像素块中的每个像素的相位信息h和v。对于每个单位像素块，此系数产生电路136还被提供有由后面将描述的图像质量调整信息生成电路140生成的图像质量调整信息f和g。
将用于每个单位像素块的、由此系数产生电路136产生的、与用于每个类别的相位信息h和v、以及图像质量调整信息f和g的每个组合相对应的系数数据Wi(i＝1至n)存储在上述系数存储器134中。
图像信号处理部分110还具有相位信息生成电路139。从系统控制器101对此相位信息生成电路139提供输入图像信号Vin和与图像的放大率相对应的输出图像信号Vout中的各个垂直和水平场中的像素的数目的对应信息n/m。它还被提供有缩放模式中的缩放中心点P0的信息p。
基于这些对应信息n/m和缩放中心点P0的信息p，对于构成输出图像信号Vout的每个单位像素块，相位信息生成电路139生成该单位块中的每个像素的相位信息h和v。此相位信息生成电路139由例如ROM表构成。
用于构成输出图像信号Vout的每个单位像素块的、由此相位信息生成电路139生成的每个像素的相位信息h和v分别与像素数目(抽头数目)相关，并被提供到系数产生电路136。应当注意，相位信息生成电路139分别生成与输入图像信号Vin的奇数和偶数场相对应的相位信息h和v。
下面将描述构成输出图像信号Vout的单位像素块。
产生输出图像信号Vout所需的输入图像信号Vin的处理范围RG根据图像的放大率(图像尺寸)而改变。假定输入图像信号Vin的整个范围的尺寸为1，那么，例如，如果图像的放大率为1，则输入图像信号Vin的处理范围RG的尺寸为1，而如果图像的放大率为2，则输入图像信号Vin的处理范围RG的尺寸为1/2。通常，假定图像放大率为T，那么，输入图像信号Vin的处理范围RG的尺寸为1/T。
在普通模式中，由于图像放大率为1，所以，输入图像信号Vin的处理范围RG的尺寸固定为1。在缩放模式中，由于图像放大率连续地改变，所以，输入图像信号Vin的处理范围RG的尺寸也连续地改变。图2示出了在缩放模式中、图像放大率逐渐增加时，输入图像信号Vin的处理范围RG和依照输出图像信号Vout的图像(输出图像)的显示范围之间的关系。在此情况中，输入图像信号Vin的处理范围RG的尺寸依次减小，而输出图像的显示范围总是恒定。应当注意，在缩放模式中，在图像放大率依次减小时，给出与图2的关系相反的关系。
此外，在缩放模式中，显示这种缩放图像，即图像的放大率在被用户指定为中心的任意点(缩放中心点P0)周围连续地改变。在此情况中，输入图像信号Vin的处理范围RG根据缩放中心点P0而变化。
具体而言，如上所述，实际处理范围RG根据对于输入图像信号Vin的整个范围的图像的放大率而改变。此处理范围RG总是包括上述缩放中心点P0，并且，将此缩放中心点P0的水平和垂直内部比设置为与输入图像信号Vin的整个范围中的缩放中心点P0的所述内部比相同。
图3A至3C示出了在图像放大率为2(2倍缩放)的情况中的缩放中心点P0和处理范围RG之间的关系。这些图3A至3C中的数字表示内部比。
在上述处理范围RG中，以方格图案(check pattern)依次排列构成输出图像信号Vout的多个各自的单位像素块。单位像素块的尺寸随着图像放大率改变，并且，在输出图像信号Vout的n×n数目的像素与输入图像信号Vin的m×m数目的像素相对应时，单位像素块的尺寸与n×n一样大。此单位像素块与输入图像信号Vin的m×m数目的像素相对应。
例如，如果选择了2.5的放大率，则如图4所示，在垂直和水平方向上，n/m＝5/2。因此，作为输出图像信号Vout的525i信号的5×5数目的像素块与作为输入图像信号Vin的525i信号的2×2数目的像素块相对应。在此情况中，5×5数目的像素构成组成输出图像信号Vout的每个单位像素块。应当注意，在图4中，大点表示输入图像信号Vin的像素，而小点表示输出像素信号Vout的像素。此外，由实线指明奇数场中的像素位置，而由虚线指明偶数场的像素位置。
在此情况中，相位信息生成电路139在上述525i信号的2×2数目的像素块的之中，得到从这些5×5数目的单位像素块中的每个像素到水平方向上最近的像素(最近像素)的距离作为相位信息h，得到其到垂直方向上最近的像素(最近像素)的距离作为相位信息v。在本实施例中，假设525i信号的水平和垂直像素间距离为16而得到上面的相位信息h和v。
应当注意，如果目标像素在最近像素的左边，则假定相位信息h为负值，而如果在最近像素的右边，则假定其为正值。类似地，如果其在最近像素的上边，则假定相位信息v为负值，而如果在最近像素的下边，则假定其为正值。
此外，如果选择了1.25的放大率，则如图5所示，在垂直和水平方向上，n/m＝5/4。因此，作为输出图像信号Vout的525i信号的5×5数目的像素块与作为输入图像信号Vin的525i信号的4×4数目的像素块相对应。在此情况中，5×5数目的像素构成组成输出图像信号Vout的每个单位像素块。应当注意，在图5中，大点表示输入图像信号Vin的像素，而小点表示输出像素信号Vout的像素。此外，由实线指明奇数场中的像素位置，而由虚线指明偶数场的像素位置。
在此情况中，相位信息生成电路139在上述525i信号的4×4数目的像素块的之中，得到从这些5×5数目的单位像素块中的每个像素到水平方向上最近的像素(最近像素)的距离作为相位信息h，得到其到垂直方向上最近的像素(最近像素)的距离作为相位信息v。
应当注意，在缩放模式中，从相位信息生成电路139生成相位信息h和v，使得所产生的与缩放中心点P0相对应的图像像素的相位总是相同，例如，h和v可等于0。
再次如图1所示，图像信号处理部分110还具有图像质量调整信息生成电路140，用于生成图像质量调整信息f和g。从系统控制器101向此图像质量调整信息生成电路140提供放大率T、以及作为与图像放大率相关的信息的其变化率K。还从运动类别检测电路125对它提供运动类别的类别信息MV，并从空间类别检测电路124对它提供动态范围DR。这些类别信息MV和动态范围DR为从位于输出图像信号Vout中的目标位置周围的输入图像信号Vin的多项像素数据中提取的每个特性信息。
图像质量调整信息生成电路140基于放大率T、改变率K、类别信息MV、以及动态范围DR而生成图像质量调整信息f和g。此图像质量调整信息生成电路140由例如ROM表构成。如上所述，图像质量调整信息f用于调整分辨率，而图像质量调整信息g用于调整噪声抑制度。例如，所述信息f、g分别被规定为具有0至8的值，使得f＝0和f＝8分别与相对低和高的分辨率相对应，而g＝0和g＝8分别与没被抑制的噪声和被相对强地抑制的噪声相对应。
图6A示出了在MV＝0、且目标位置为静止图像的情况下，放大率T、改变率K、以及分辨率调整信息f之间的关系。图6B示出了在MV＝1至3、且目标位置为运动图像的情况下，放大率T、改变率K、以及分辨率调整信息f之间的关系。图6C示出了放大率T、改变率K、以及分辨率调整信息g之间的关系。
图7A至7C示出了从放大率T的轴一侧观看的各个图6A至6C的关系。如图7A所示，在静止图像的情况下，随着放大率T增加，将分辨率调整信息f的值设置为增加，也就是说，以分辨率可增加的这种方式进行设置。由此，有可能抑制在放大静止图像时可能出现的图像中的模糊。
此外，如图7B所示，在运动图像的情况下，随着放大率T增加，将分辨率调整信息f的值设置为减小，也就是说，以分辨率可减小的这种方式进行设置。由此，有可能防止在运动类别之间转换时放大的运动图像中的折返失真变得显著。
此外，如图7C所示，在放大率T超过某个值(例如2)的范围中，随着放大率T增加，将噪声抑制度的值设置为增加，也就是说，以噪声可被抑制得更多的这种方式进行设置。由此，有可能防止放大图像中的噪声变得显著。
应当注意，如图7A所示，将静止图像中的分辨率调整信息f的值设置为增加，也就是说，以分辨率可随着动态范围DR变大而增加的这种方式进行设置。为了抑制随着动态范围RD变大而增加的边缘处的模糊，而进行所述操作。此外，如图7B所示，将运动图像中的分辨率调整信息f的值设置为减小，也就是说，以分辨率可随着动态范围DR变大而减小的这种方式进行设置。为了防止边缘运动随着动态范围DR变大而变得更为显著，而进行所述操作。此外，如图7C所示，将噪声抑制度g的值设置为减小，也就是说，以噪声抑制度可随着动态范围DR变大而减小的这种方式进行设置。为了防止由于抑制噪声而使分辨率降低，而进行所述操作，其中，噪声在动态范围DR很大时不显著。
图8A-8C示出了从改变率K的轴一侧观看的各个图6A-6C的关系。如图8A所示，在静止图像的情况下，随着改变率K增加，将分辨率调整信息f的值设置为减小，也就是说，以分辨率可减小的这种方式进行设置。由此，即使在放大静止图像时由于改变率增加而使输入图像信号Vin的处理范围的计时起伏(time jitter)增大，但因为分辨率减小，所以有可能得到视觉上的平滑缩放图像。
此外，如图8B所示，在运动图像的情况下，随着改变率K增加，将分辨率调整信息f的值设置为减小，也就是说，以分辨率可减小的这种方式进行设置。然而，运动图像具有比静止图像大的图像计时起伏，使得与静止图像的情况相比，分辨率以较大的百分比减小。由此，即使在放大静止图像时由于改变率增加而使输入图像信号Vin的处理范围的计时起伏增大，但因为分辨率减小，所以有可能得到视觉上的平滑缩放图像。
此外，如图8C所示，在改变率K超过某个值的范围中，随着改变率K增加，噪声抑制信息g的值增加，也就是说，将其设置为使得噪声可被抑制得更多。由此，有可能在改变率增加时很好地抑制噪声。
应当注意，如图8A所示，随着动态范围DR变大，静止图像中的分辨率调整信息f的值减小，也就是说，设置其使得分辨率可减小。在随着改变率K增加、静止图像变得更象运动图像时，为了防止随着动态范围DR变大而使边缘变得更为显著，而进行所述操作。此外，如图8B所示，随着动态范围DR变大，运动图像中的分辨率调整信息f的值减小，也就是说，设置其使得分辨率可减小。原因与上面的静止图像的情况相同。此外，如图8C所示，随着动态范围DR增加，噪声抑制度调整信息g的值减小，也就是说，设置其使得噪声抑制度可减小。为了防止由于抑制噪声而使分辨率降低，而进行所述操作，其中，噪声在动态范围DR较大时不显著。
可以这种方式进行配置，即预备例如如图6A-6C所示的多种关系，使得用户可通过例如操作遥控发射器200，而选择它们中的任一个来实际采用。
再次如图1所示，图像信号处理部分110还具有归一化(normalized)系数产生电路137和归一化系数存储器138。如上所述，对于构成输出图像信号Vout的每个单位像素块，系数产生电路136为每个类别而产生存在于该单位像素块中的每个像素的系数数据Wi(i＝1至n)。归一化系数产生电路137通过使用等式(6)而为每个单位像素块计算每个类别的归一化系数S。归一化系数存储器138存储用于每个类别的此标准化系数S。
此归一化系数存储器138被提供有从上述类别合成电路126输出的、作为读取地址信息的类别码CL，从该归一化系数存储器138读取与类别码CL相对应的归一化系数S，并将其提供到后面将描述的归一化计算电路128。
S=Σi=1nWi···(6)]]>图像信号处理部分110还具有估计预测计算电路127。此估计预测计算电路127根据第一抽头选择电路121选择性地取出的预测抽头的数据xi(i＝1至n)、以及从系数存储器134读取的系数数据Wi(i＝1至n)，而计算构成输出图像信号Vout的单位像素块中的每个像素的数据。
此估计预测计算电路127为每个单位像素块而产生构成输出图像信号Vout的像素数据。也就是说，从第一抽头选择电路121对此估计预测计算电路127提供与单位像素块中的每个像素(目标像素)相对应的预测抽头的数据xi，并从系数存储器134对其提供与构成该单位像素块的每个像素相对应的系数数据Wi。通过上述等式(4)的估计等式，而分别计算构成该单位像素块的每个像素的数据。
例如，如果如图4所示，图像的放大率为2.5(n/m＝5/2)，则产生25项像素数据，作为构成该单位像素块的每个像素的像素数据。此外，尽管未示出，但如果图像的放大率为1.75(n/m＝7/4)，则产生49项像素数据，作为构成该单位像素块的每个像素的像素数据。
图像信号处理部分110还具有归一化计算电路128。归一化计算电路128通过将从估计预测计算电路127依次输出的构成输出图像信号Vout的单位像素块中的每个像素的多项数据y1至yP(P构成单位块的像素的数目)除以从归一化系数存储器138读取的、与在每个产生(production)中使用的系数数据Wi(i＝1至n)相对应的归一化系数S，而将它们归一化。
尽管上面未描述，但系数产生电路136通过使用系数种子数据，而产生用于估计等式的系数数据，其中，所产生的系数数据包含舍入误差，使得不确保多项系数数据Wi(i＝1至n)的总和为1.0。因此，由估计预测计算电路127计算出的每个像素的多项数据y1至yP由于舍入误差而在电平上波动。如上所述，可通过由归一化计算电路128进行的归一化而去除这种波动。
图像信号处理部分110还具有后处理电路129。此后处理电路129构成在归一化之后从归一化计算电路128依次提供的每个单位像素块中的像素的多项数据y1′至yP′的525i信号，并将此525i信号作为输出图像信号Vout而输出。此后处理电路129以光栅(raster)扫描次序、以一场批量((batch)输出每个单位像素块中的那些项数据y1′至yp′，由此提供所述525i信号。
接下来，下面将描述图像信号处理部分110的操作。
从作为输入图像信号Vin的、存储在缓冲存储器109中的525i信号中，第二抽头选择电路122选择性地取出位于要创建的输出图像信号Vout的目标位置的周围的空间类别抽头的数据(像素数据)。在此情况中，第二抽头选择电路122基于与从寄存器132提供的、与运动和图像放大率相对应的抽头位置信息，而选择该抽头。
将由此第二抽头选择电路122选择性地取出的空间类别抽头的数据提供到空间类别检测电路124。此空间类别检测电路124对作为空间类别的数据的每项像素数据执行ADRC处理，以得到重量化码Qi，作为空间类别的类别信息(见等式(1))。
此外，从作为输入图像信号Vin的、存储在缓冲存储器109中的525i信号中，第三抽头选择电路123选择性地取出位于要创建的输出图像信号Vout中的目标位置的周围的运动类别抽头的数据(像素数据)。在此情况中，第三抽头选择电路123基于与从寄存器133提供的、与图像放大率相对应的抽头位置信息，而选择该抽头。
将由此第三抽头选择电路123选择性地取出的运动类别抽头的数据提供到运动类别检测电路125。此运动类别检测电路125从作为运动类别抽头的数据的每个像素数据得到运动类别的类别信息MV。
将此运动信息MV和上述重量化码Qi提供到类别合成电路126。此类别合成电路126从这些运动信息MV和重量化码Qi依次得到指明构成要创建的输出图像信号Vout的单位像素块中的每个像素(目标像素)的所属类别的类别码CL(见等式(3))。将此类别码CL作为读取地址信息而提供到系数存储器134和归一化系数存储器138。
由系数产生电路136生成由相位信息生成电路139所生成的、与构成输出图像信号Vout的单位像素块中的每个像素的相位信息h和v相对应的、用于每个类别的估计等式的系数数据Wi(i＝1至n)，并将其存储在系数存储器134中。另一方面，由归一化系数产生电路137产生与每个类别的系数数据Wi(i＝1至n)、以及如上所述由系数产生电路136产生的每个相位信息相对应的归一化系数S，并将其存储在归一化系数存储器138中。
当向系数存储器134提供作为上述读取地址信息的类别码CL时，从此系数存储器134读取与类别码CL相对应的每条相位信息h和v的系数数据Wi，并将其提供到估计预测计算电路127。
此外，从存储在缓冲存储器109中的、作为输入图像信号Vin的525i信号中，第一抽头选择电路121选择性地取出位于要创建的输出图像信号的目标位置的周围的预测抽头的数据(像素数据)。在此情况中，第一抽头选择电路121基于与从寄存器131提供的、与图像放大率相对应的抽头位置信息，而选择该抽头。将由此第一抽头选择电路121选择性地取出的预测抽头的数据xi提供到估计预测计算电路127。
根据预测抽头的数据xi和从系数存储器134读取的每条相位信息的系数数据Wi，估计等式计算电路127同时计算构成要创建的输出图像信号Vout的单位像素块中的每个像素的多项数据y1至yP(见等式(4))。将从此估计预测计算电路127依次输出的、构成输出图像信号Vout的单位像素块中的每个像素的多项数据y1至yP提供到归一化计算电路128。
如上所述，归一化系数存储器138被提供有作为读取地址信息的类别码CL，从该归一化系数存储器138读取与类别码CL相对应的标准化系数S，即与在从估计预测计算电路127输出的多项数据y1至yP中的每个的计算中使用的系数数据Wi相对应的归一化系数S，并将其提供到归一化计算电路128。归一化计算电路128通过将从估计预测计算电路127输出的多项数据y1至yP除以每个对应的归一化系数S，而将它们归一化。因而，去除了由于在已通过使用系数种子数据、利用产生等式(见等式(5))而得到了用于估计等式(见等式(4))的系数数据时生成的舍入误差所造成的多项数据y1至yP的电平中的波动。
这样，将由归一化计算电路128归一化且依次输出的、单位像素块中的每个像素的多项数据y1′至yP′提供到后处理电路129。在输出图像信号Vout的每场中、对该场中的多个单位像素块执行这种操作。后处理电路129预备多项像素数据y1′至yP′的每一场，并以光栅扫描次序输出那些一场批量(batch)。因此，从后处理电路129得到作为输出图像信号的525i信号。
应当注意，用于产生输出图像信号Vout的输入图像信号Vin的处理范围RG根据图像放大率(图像尺寸)而变化。此外，此处理范围RG总是包括缩放中心点P0，并且，将此缩放中心点P0的水平和垂直的内部比设置为使得其与输入图像信号Vin的整个范围的缩放中心点P0的所述比相同。此外，对于此处理范围RG中的每个单位像素块，相位信息生成电路139生成存在于该单位像素块中的每个像素的相位信息h和v。
因而，由于图像放大比被固定为1，所以，将具有放大率1的普通图像显示在显示部分111上。此外，在缩放模式中，由于图像放大率依次改变，所以，将图像放大率连续改变的这种缩放图像显示在显示部分111上的作为中心的用户所指定的缩放中心点P0的周围。
如上所述，系数产生电路136使用从信息存储器组135加载的每个类别的系数种子数据、以及由相位信息生成电路139生成的多条相位信息h和v的值，以生成与用于每个类别的多条相位信息h和v的值相对应的、用于估计等式的系数数据Wi，将该系数数据Wi存储在系数存储器134中。估计预测计算电路127使用与类别码CL相对应的、从此系数存储器134读取的多条相位信息中的每个的系数数据Wi，以计算构成输出图像信号Vout的单位像素块中的每个像素的多项数据y1至yP。这样，避免了存储与每个放大率相对应的系数数据，由此消除了提供用于存储很多项系数数据的存储器的必要性。
此外，由图像质量调整信息生成电路140生成与图像放大率T、其改变率K、运动类别信息MV、以及动态范围DR相对应的多条图像质量调整信息f和g，并将其提供到系数产生电路136。此系数产生电路136随后产生与这些条图像质量调整信息f和g相对应的系数数据Wi，以调整图像质量。由此，有可能提高缩放图像的图像质量。
例如，随着图像的放大率的改变率增加，将分辨率和噪声抑制度调整为减小，由此使得在放大图像时得到平滑的缩放图像。此外，例如，随着图像的放大率增加，将噪声抑制度调整为增加，由此防止在放大图像中噪声变得显著。此外，例如，随着图像的放大率增加，将分辨率调整为在静止图像中增加、而在运动图像中减小，由此防止在放大静止图像时在图像各处显现出模糊，并防止在放大运动图像时、在运动类别的转换处出现的折返失真。
应当注意，在产生系数数据Wi时，不需要总执行通过使用多条图像质量调整信息f和g的图像质量调整。可在由估计预测计算电路127产生输出图像信号Vout的像素数据之后，使用增强较高频率范围的增强器、消除噪声的噪声消除电路等来执行。
如上所述，为每个类别而将系数种子数据存储在信息存储器组135中。已通过预先的学习而产生此系数种子数据。
首先，将此产生方法的一个例子描述如下。给出用于得到作为等式(5)的产生等式中的系数数据的多项系数种子数据Wi0至Wi30的例子。
对于下面的描述，如在等式(7)中那样定义ti(j＝0至30)。
t0＝1，t1＝f，t2＝g，t3＝f2，t4＝fg，t5＝g2，t6＝f3，t7＝f2g，t8＝fg2，t9＝g3，t10＝v，t11＝vf，t12＝vg，t13＝vf2，t14＝vfg，t15＝vg2，t16＝h，t17＝hf，t18＝hg，t19＝hf2，t20＝hfg，t21＝hg2，t21＝hg2，t22＝v2，t23＝v2f，t24＝v2g，t25＝vh，t26＝vhf，t27＝vhg，t28＝h2，t29＝h2f，t30＝h2g
…(7)通过使用此等式(7)，将等式(5)重写为下面的等式(8)。
Wi=Σj=130wij×tj···(8)]]>最后，通过学习而得到待定系数wij。也就是说，通过使用用于每个类别的学生信号(student signal)的像素数据和教师信号(teacher signal)的像素数据，而确定使得方差最小化的这样的系数值。这是利用所谓的最小平方方法的解决方案。假设学习条(piece)的数目为m，第k′(1≤k≤m)项学习数据的余项为ek，且方差的总和为E，那么，通过使用等式(4)和(5)、由等式(9)来给出E。其中，Xik表示在学生图像中的第i′预测抽头位置上的第k′项像素数据，而yk表示在教师图像中的对应的第k′项像素数据。
E=Σk=1mek2]]>=Σk=1m[yk-(W1x1k+W2x2k+···+Wnxnk)]2]]>=Σk=1m{yk-[(t0W10+t1W11+···+t30W130)x1k+···+(t0Wn0+t1Wn1+···+t30Wn30)xnk]2}]]>…(9)通过利用最小平方方法的解决方案，确定这种wij为对等式(9)中的wij的偏微分可为0。其通过下面的等式(10)来表示。
∂E∂wij=Σk=1m2(∂ek∂wij)ek=-Σk=1m2tjxikek=0···(10)]]>随后，通过分别如等式(11)和(12)中那样定义Xipjq和Yip，使用矩阵将等式(10)重写为等式(13)。
Xipjq=Σk=1mxiktpxjktq···(11)]]>Yip=Σk=1mxiktpyk···(12)]]>
…(13)通常将此等式称为归一化等式。通过对wij使用扫描放置(sweeping-put)方法(高斯-约旦消除)等，而解出此归一化等式，以计算系数种子数据。
图9示出了用于产生系数种子数据的上述方法的概要。根据此方法，从作为教师信号的HD信号(1050i信号)产生作为学生信号的SD信号(525i信号)。1050i信号表示具有1050行的隔行扫描系统图像信号。
图10示出了525i信号的像素位置和1050i信号的像素位置之间的关系。其中，大点表示525i信号的像素，而小点表示1050i信号的像素。此外，由实线指明奇数场的像素位置，而由虚线指明偶数场的像素位置。
通过在垂直方向上的八级(step)、以及在水平方向上的另外八级来移动此SD信号的相位，产生了8×8＝64种SD信号SD1至SD64。图11示出了八级垂直相移状态V1-V8。其中，将SD信号的垂直像素间间隔假定为16，并且将向下方向假定为正。此外，“o”表示奇数场，而“e”表示偶数场。
状态V1呈现为SD信号具有偏移0，在该情况下，HD信号的像素具有相对于SD信号的像素的4、0、-4、以及-8的相位。状态V2呈现为SD信号具有偏移1，在该情况下，HD信号的像素具有相对于SD信号的像素的7、3、-1、以及-5的相位。状态V3呈现为SD信号具有偏移2，在该情况下，HD信号的像素具有相对于SD信号的像素的6、2、-2、以及-6的相位。状态V4呈现为SD信号具有偏移3，在该情况下，HD信号的像素具有相对于SD信号的像素的5、1、-3、以及-7的相位。
状态V5呈现为SD信号具有偏移4，在该情况下，HD信号的像素具有相对于SD信号的像素的4、0、-4、以及-8的相位。状态V6呈现为SD信号具有偏移5，在该情况下，HD信号的像素具有相对于SD信号的像素的7、3、-1、以及-5的相位。状态V7呈现为SD信号具有偏移6，在该情况下，HD信号的像素具有相对于SD信号的像素的6、2、-2、以及-6的相位。状态V8呈现为SD信号具有偏移7，在该情况下，HD信号的像素具有相对于SD信号的像素的5、1、-3、以及-7的相位。
图12示出了八级水平相移状态H1-H8。其中，将SD信号的水平像素间间隔假定为16，并且将向右方向假定为正。
状态H1呈现为SD信号具有偏移0，在该情况下，HD信号的像素具有相对于SD信号的像素的0和-8的相位。状态H2呈现为SD信号具有偏移1，在该情况下，HD信号的像素具有相对于SD信号的像素的7和-1的相位。状态H3呈现为SD信号具有偏移2，在该情况下，HD信号的像素具有相对于SD信号的像素的6和-2的相位。状态H4呈现为SD信号具有偏移3，在该情况下，HD信号的像素具有相对于SD信号的像素的5和-3的相位。
状态H5呈现为SD信号具有偏移4，在该情况下，HD信号的像素具有相对于SD信号的像素的4和-4的相位。状态H6呈现为SD信号具有偏移5，在该情况下，HD信号的像素具有相对于SD信号的像素的3和-5的相位。状态H7呈现为SD信号具有偏移6，在该情况下，HD信号的像素具有相对于SD信号的像素的2和-6的相位。状态H8呈现为SD信号具有偏移7，在该情况下，HD信号的像素具有相对于SD信号的像素的1和-7的相位。
图13示出了相对于通过如上所述的以垂直方向上的八级和水平方向上的另外八级来移动SD信号的相位而得到的64种SD信号的作为中心的像素的HD信号的相位。也就是说，在该图中，相对于SD信号的像素，HD信号的像素具有由“●”指明的相位。
在本实施例中，作为用于移相的方法，采用这样的方法以便仅通过过采样滤波器提取期望相位。在本实施例中，例如，在如上所述的图像质量调整那样的调整分辨率和噪声抑制度的调整中，通过改变此过采样滤波器的频率响应，可创建具有不同分辨率的学生图像。通过使用具有不同分辨率的学生图像，可创建具有不同分辨率改善效果的系数。例如，如果存在具有大模糊度的学生图像和具有小模糊度的学生图像，那么，通过使用具有大模糊度的学生图像的学习、以及通过使用具有小模糊度的学生图像的学习，而分别产生具有大分辨率改善效果的系数和具有小分辨率改善效果的系数。
此外，通过将噪声加到具有不同分辨率的每个学生图像，可创建加入了噪声的学生图像。通过改变要加入的噪声量，而创建具有不同噪声量的学生图像，由此创建具有不同噪声抑制效果的系数。例如，如果存在具有大噪声量的学生图像和具有小噪声量的学生图像，那么，通过使用具有大噪声量的学生图像的学习、以及通过使用具有小噪声量的学生图像的学习，而分别创建具有大噪声抑制效果的系数和具有小噪声抑制效果的系数。
在将噪声n加到学生图像的像素值x时，通过改变G来调整要加入的噪声量，以产生学生图像的加入了噪声的像素值x′，如等式(14)所示。
x′＝x+G·n…(14)
图14示出了最终学习对(learning couple)的概念。在本实施例中，例如，假设过采样滤波器具有在八级中不同的频率响应，并在八级中加入噪声。通过使用具有各个频率响应的学生图像的学习，而创建根据分辨率调整的系数数据，并且，通过使用加入了各个噪声量的学生图像的学习，而创建适应(accomodate)噪声抑制度调整的系数数据。此外，通过使用具有不同相位的学生图像而学习各个频率响应和所加入的噪声量，而创建用于产生与不同相位相对应的像素的系数数据。
图15示出了用于基于上述概念而产生系数种子数据的系数种子数据产生设备150的配置。
此系数种子数据产生设备150具有输入终端151，对其输入作为教师信号的HD信号(1050i信号)；相移电路152A，用于在水平和垂直方向上对此HD信号施加过采样滤波，以提取期望的相位，以便可得到SD信号；以及噪声添加电路152B，用于将噪声添加到此SD信号中。
相移电路152A被提供有参数f，其指定过采样滤波器的频率响应；以及参数h和v，其分别指定水平和垂直相移。噪声添加电路152B被提供有指定要加入的噪声的百分比的参数g。应当注意，参数f与图1的图像信号处理部分110中的分辨率调整信息f相对应，参数h和v与图1的图像信号处理部分110中的相位信息h和v相对应，而参数g与图1的图像信号处理部分110中的噪声抑制度调整信息g相对应。
系数种子数据产生设备150还具有第一至第三抽头选择电路153-155，用于选择性地从自噪声添加电路152B输出的SD信号中取出并输出位于HD信号中的目标位置的周围的多项SD像素数据。
分别以与上述图像信号处理部分的第一至第三抽头选择电路121-123相同的方式来配置那些第一至第三抽头选择电路153-155。由来自抽头选择控制电路156的抽头位置信息来指定要由这些第一至第三抽头选择电路153-155选择的抽头。此外，抽头选择控制电路156被提供有从将在后面描述的运动类别检测电路158输出的运动类别的类别信息MV。
系数种子数据产生设备150还具有空间类别检测电路157、运动类别检测电路158、以及类别合成电路159，所述电路分别与上述图像信号处理部分110中的空间类别检测电路124、运动类别检测电路125、以及类别合成电路126相同。空间类别检测电路157和运动类别检测电路158分别接收从第二和第三抽头选择电路取出的作为输入的抽头数据(像素数据)。
系数种子数据产生设备150还具有归一化等式产生部分160。此归一化等式产生部分160通过使用从被提供到输入终端151的HD信号得到的作为目标位置数据的每个HD像素数据y、由第一抽头选择电路153选择性地取出的与每个HD像素数据y相对应的预测抽头的数据xi、从类别合成电路159输出的与每个HD像素数据y相对应的类别码CL、以及参数f、g、h和v，而产生得到用于每个类别的系数种子数据Wi0至Wi30(i＝1至n)所需的归一化等式(见等式(13))。
应当注意，如上所述，参数f指定过采样滤波器的频率响应，参数h和v分别指定水平和垂直相移，而参数g指定噪声添加百分比。
在此情况中，合并一项HD像素数据y和对应的n项预测抽头像素数据，以产生学习数据。依次改变要应用于相移电路152A的参数f、h和v、以及要应用于噪声添加电路152B的参数g，以依次产生对应的SD信号。这样，标准化等式产生部分160产生其中注册了很多项学习数据的归一化等式。由此通过依次产生SD信号、并注册学习数据，有可能确定得到具有任意的分辨率、噪声抑制度、以及水平和垂直相位的像素数据所需要的系数种子数据。
系数种子数据产生设备150还具有系数种子数据决定部分161，其被提供有由归一化等式产生部分160为每个类别生成的归一化等式的数据，以解出用于每个类别的归一化等式，以便可得到每个类别的系数种子数据Wi0至Wi30；以及系数种子存储器162，用于存储那些所得到的系数种子数据Wi0至Wi30。
下面将描述图15中示出的系数种子数据产生设备150的操作。向输入终端151提供作为教师信号的HD信号(1050i信号)。通过相移电路152A而在水平和垂直方向上对此HD信号施加过采样滤波，以提取期望的相位，由此得到SD信号。在此情况中，这些依次产生的SD信号已在垂直方向上以八级被移动，并在水平方向上以另外八级被移动。
此外，对于具有各自相位的SD信号，输入到相移电路152A的参数f和输入到噪声添加电路152B的参数g依次改变，由此依次产生对应的SD信号。
从自噪声添加电路152B输出的每个SD信号中，第二抽头选择电路154选择性地取出位于HD信号中的目标位置的周围的空间类别抽头的数据(SD像素数据)。此第二抽头选择电路154基于与从抽头选择控制电路156提供的、与运动类别信息MV相对应的抽头位置信息，而选择抽头。
将由此第二抽头选择电路154选择性地取出的空间类别抽头的数据(SD像素数据)提供到空间类别检测电路157。此类别抽头检测电路157对作为空间类别抽头的数据的每个SD像素数据执行ADRC处理，以得到作为空间类别的类别信息的重量化码Qi(见等式(1))。
此外，从自噪声添加电路152B输出的每个SD信号中，第三抽头选择电路155选择性地取出位于HD信号中的目标位置的周围的运动类别抽头的数据(SD像素数据)。在此情况中，第三抽头选择电路155基于从抽头选择控制电路156提供的抽头位置信息，而选择抽头。
将由此第三抽头选择电路155选择性地取出的运动类别抽头的数据(SD数据)提供到运动类别检测电路158。此运动类别检测电路158从作为运动类别抽头的数据的每个SD像素数据得到运动类别的类别信息MV。
将此运动信息MV和上述重量化码Qi提供到类别合成电路159。此类别合成电路159根据这些运动信息MV和重量化码Qi而得到指明与HD信号有关的目标像素所属类别的类别码CL(见等式(3))。
此外，从自噪声添加电路152B输出的每个SD信号中，第一抽头选择电路153选择性地取出位于HD信号中的目标位置的周围的预测抽头的数据(SD像素数据)。在此情况中，第一抽头选择电路153基于从抽头选择控制电路156提供的抽头位置信息，而选择抽头。
归一化等式产生部分160通过使用从被提供到输入终端151的HD信号得到的作为目标位置数据的每个HD像素数据y、由第一抽头选择电路153选择性地取出的与每个HD像素数据y相对应的预测抽头的数据(SD像素数据)xi、从类别合成电路159输出的与每个HD像素数据y相对应的类别码CL、以及参数f、g、h和v，而产生得到用于每个类别的系数种子数据Wi0至Wi30(i＝1至n)所需的归一化等式。
由系数种子数据决定部分161解出该归一化等式，以得到用于每个类别的系数种子数据Wi0至Wi30，将所述系数种子数据Wi0至Wi30存储在系数种子存储器162中，其中，地址由类别而划分。
由此，在图15中示出的系数种子数据产生设备150中，有可能产生存储在图1中示出的图像信号处理部分110中的信息存储器组135中的每个类别的系数种子数据Wi0至Wi30。
应当注意，图15中示出的系数种子数据产生设备150依次改变指定过采样滤波器的频率响应的参数f、指定噪声添加百分比的参数g、以及指定水平和垂直相移的参数h和v，以创建其中注册了很多项学习数据的归一化等式，由此，同时得到用于每个类别的系数种子数据Wi0至Wi30。
根据用于得到系数种子数据Wi0至Wi30的另一个方法，对通过参数f、g、h和v的组合而产生的每个SD信号进行学习，以首先分别得到与这些组合中的每个相对应的系数数据Wi。这个分别得到的系数数据Wi可用作教师数据，以便采用使用等式(7)作为变量的最小平方方法，从而可满足等式(5)的关系，由此确定系数种子数据Wi0至Wi30。
应当注意，例如，可通过使用如图16所示的图像信号处理设备300、通过软件来实现图1的图像信号处理部分110中的处理。
首先，将描述图16中示出的图像信号处理设备300。此图像信号处理设备300具有CPU 301，用于控制整个设备的操作；只读存储器(ROM)302，其中存储了此CPU 301的操作程序、系数种子数据等；以及随机存取存储器(RAM)303，其构成用于CPU 301的工作空间。这些CPU 301、ROM 302、以及RAM 303各自连接到总线304。
图像信号处理设备300还具有硬盘驱动器(HDD)305，用作外部存储设备；以及软(R)盘驱动器(FDD)307，用于驱动软(R)盘306。这些驱动器305和307各自连接到总线304。
图像信号处理设备300还具有通信部分308，其以有线或无线方式而连接到例如因特网的通信网络400。将此通信部分308通过接口309而连接到总线304。
图像信号处理设备300还配备有用户接口部分。此用户接口部分具有遥控信号接收电路310，用于从遥控发射器200接收遥控信号RM；以及显示器311，其由液晶显示器(LCD)等构成。将该接收电路310通过接口312而连接到总线304，并且，类似地，将显示器311通过接口313而连接到总线304。
图像信号处理设备300还具有输入终端314，用于输入作为输入图像信号Vin的525i信号；以及输出终端315，用于将输出图像信号Vout输出。将输入终端314通过接口316而连接到总线304，并且，类似地，将输出终端315通过接口317而连接到总线304。
应当注意，例如，可通过通信部分308而从例如因特网的通信网络400下载处理程序、系数种子数据等，而不是如上所述将其预先存储在ROM 302中，并将其储存在硬盘或RAM 303中，以便可使用它。此外，可在软(R)盘306中提供这些处理程序、系数种子数据等。
此外，作为输入图像信号Vin的525i信号可被预先记录在硬盘中、或通过通信部分308而从例如因特网的通信网络下载，而不是从输入终端314输入。此外，代替将输出图像信号Vout输出到输出终端315、或与该操作同时进行，输出图像信号Vout可被提供到显示器311，以显示图像，或者，还可被存储在硬盘中、或通过通信部分308而发送到例如因特网的通信网络400。
下面将通过参照图17的流程图，来描述用于从图16中示出的图像处理设备300中的输入图像信号Vin得到输出图像信号Vout。
首先，在步骤ST1，过程开始，而在步骤ST2，输入输入图像信号Vin的预定帧或预定场。如果从输入终端314输入此输入图像信号Vin，则将构成此输入图像信号Vin的像素数据暂时存储在RAM 303中。另一方面，如果此输入图像信号Vin被记录在硬盘中，则由硬盘驱动器305读取此输入图像信号Vin，以将构成此输入图像信号Vin的像素数据暂时存储在RAM 303中。在步骤ST3，该过程判定对输入图像信号Vin的所有帧或所有场的处理是否结束。若如此，则在步骤ST4，结束该过程。否则，该过程转到步骤ST5。
在此步骤ST5，该过程通过使用输入图像信号Vin和与图像的放大率相对应的输出图像信号Vout中的垂直和水平场的每个中的像素数目的对应信息n/m的值，而生成构成输出图像信号Vout的每个单位像素块中的每个像素的相位信息h和v。例如，通过使用存储在ROM 302中的表而生成相位信息h和v。
随后，通过用户对遥控发射器200的操作而设置普通模式或缩放模式。在普通模式中，将每场中的图像的放大率固定为1。
另一方面，在缩放模式中，在每帧或每场中，以预定的速率连续地转换图像放大率，与其相对应输入图像信号Vin的处理范围RG改变。此处理范围RG总是包括缩放中心点P0，并且，将此缩放中心点P0的水平和垂直内部比设置为与输入图像信号Vin的整个范围中的缩放中心点P0的所述内部比相同。将输出图像信号Vout的多个单位像素块在处理范围RG中依次排列为格形。此外，在缩放模式中，在每帧或每场中，以这种方式生成相位信息h和v，该方式即所产生的与缩放中心点P0相对应的像素的相位总是相同。
此外，在步骤ST5，例如，对于输出图像信号Vout的每个单位像素块，该过程基于位于这些单位像素块的周围的输入图像信号Vin的多项像素数据，而得到运动信息和动态范围，并且，基于所述信息和图像放大率及其改变率，生成图像质量调整信息f和g(见图6A-8C)。例如，通过使用存储在ROM 302中的表来生成图像质量调整信息f和g。
在步骤ST6，该过程使用单位像素块中的每个像素的相位信息h和v、与该单位像素块相对应的图像质量调整信息f和g、以及每个类别的系数种子数据，以通过使用与该单位像素块中的每个像素相对应的产生等式(例如，等式(5))，而产生用于每个类别的估计等式(见等式(4))的系数数据Wi。
接下来，在步骤ST7，该过程从在步骤ST2输入的输入图像信号Vin的像素数据而得到与构成要创建的输出图像信号Vout的单位像素块相对应的类别抽头的像素数据和预测抽头的像素数据。在步骤ST8，该过程判定在步骤ST2输入的输入图像信号Vin的每场的处理范围中的处理是否结束。若如此，则该过程返回到步骤ST2，以转移到输入输入图像信号Vin的下一个预定帧或场的处理。否则，该过程转到步骤ST9。
在步骤ST9，该过程从在步骤ST7得到的类别抽头的像素数据产生类别码CL。在步骤ST10，该过程使用与此类别码CL相对应的系数数据Wi、以及预测抽头的像素数据，以通过使用估计等式产生构成输出图像信号Vout的单位像素块中的每个像素的数据，并且，随后返回到步骤ST6，以转移到下一个单位像素块的处理。
由此通过按照图17的流程图而执行处理，有可能通过对已输入的输入图像信号Vin的像素数据的处理，而得到输出图像信号Vout的像素数据。如上所述，将通过处理而由此得到的输出图像信号输出到输出终端315、或提供到显示器311以便显示该图像、或将其提供到硬盘驱动器305以被记录在硬盘中。
此外，可通过软件来实现图15的系数种子数据产生设备150中的处理，尽管其中未示出用于该处理的处理设备。
下面将通过参照图18的流程图来描述用于产生系数种子数据的处理过程。
首先，在步骤ST21，该过程开始，而在步骤ST22，选择SD信号的相移值(其由例如参数h和v指定)、以及在学习中使用的图像质量调整值(其由例如参数f和g指定)。在步骤ST23，该过程判定对于相移值和图像质量调整值的所有组合的学习是否结束，若非如此，则该过程转到步骤ST24。
在此步骤ST24，该过程输入公知HD信号的一帧或场。在步骤ST25，该过程判定对于HD信号的所有帧或场的处理是否完全结束。若如此，该过程返回到步骤ST22，以选择下一个相移值和图像质量调整值，并重复以上处理。否则，该过程转到步骤ST26。
在此步骤ST26，该过程产生从在步骤ST24输入的HD信号在相位上被移动在步骤ST22选择的相移值、并根据在步骤ST22选择的图像质量调整值而进行了图像质量调整(在分辨率和噪声方面)的SD信号。在步骤ST27，该过程从在步骤ST26产生的SD信号得到与HD像素数据相对应的类别抽头和预测抽头的像素数据。在步骤ST28，该过程判定对于在步骤ST24输入的HD信号的所有范围的学习处理是否结束。若如此，则该过程返回到步骤ST24，以输入HD信号的下一帧或场，并重复以上处理，并且，否则，转到步骤ST29。
在步骤ST29，该过程根据在步骤ST27得到的类别抽头的SD像素数据而产生类别码CL。在步骤ST30，该过程产生归一化等式(见等式(13))。随后，该过程返回到步骤ST27。
如果在步骤ST23判定对于相移值和图像质量调整值的所有组合的学习结束，则该过程转到步骤ST31。在此步骤ST31，该过程通过扫出(sweeping-out)方法来解出归一化等式，以计算每个类别的系数种子数据，并且，在步骤ST32，将此系数种子数据保存在存储器中，并随后在步骤ST33结束该处理。
由此通过按照图18中示出的流程图而执行处理，有可能通过使用与图15中示出的系数种子数据产生设备相同的方法来得到每个类别的系数种子数据。
尽管在以上实施例中，已将类别信息MV和动态范围DR用作从位于输出图像信号Vout中的目标位置的周围的输入图像信号Vin的多项像素数据中提取的特性信息，但可与其相分离或结合在一起地使用任意其它特性信息。可认为所述其它信息包含通过对输入图像信号Vin的多项像素数据的ADRC处理而得到的空间波形信息(其对应于上述类别码Qi)、通过对输入图像信号Vin的多项像素数据处理而得到的活动信息、输入图像信号Vin的多项像素数据的平均值等。例如，在使用运动类别信息MV和类别码Qi的情况中，可向图像质量调整信息生成电路140提供类别合成电路CL。
此外，在以上实施例中，已将系数种子数据预先存储在信息存储器组135中，以便可通过使用此系数种子数据、基于等式(5)的产生等式，通过系数产生电路136产生与从相位信息生成电路139输出的相位信息h和v以及由图像质量调整信息生成电路140生成的图像质量调整信息f和g相对应的系数数据Wi调整调整，并使用它们。
然而，可将对于从相位信息生成电路139输出的相位信息h和v、以及由图像质量调整信息生成电路140生成的图像质量调整信息f和g的所有组合而言的系数数据存储在信息存储器组135中，以便可读取并使用与相位信息h和v、以及图像质量调整信息f和g相对应的系数数据Wi。
在此情况中，可通过学习对于参数f、g、h和v的每个组合而得到的每个SD信号，而得到存储在存储器组135中的对于相位信息h和v、以及图像质量调整信息f和g的每个组合而言的系数数据Wi。
尽管以上实施例已使用一次(first degree)的线性等式作为用于产生输出图像信号Vout的像素数据的估计等式，但本发明不限于它；例如，可使用更高次的等式作为估计等式。
尽管以上实施例已检测类别码CL，以便可使用与此类别码相对应的系数数据Wi，但可省略用于检测类别码CL的部分。在此情况中，仅将一种系数种子数据存储在信息存储器组135中。
尽管以上实施例已将从图像信号处理部分110提供的输出图像信号Vout提供到显示部分111，以便显示依照此输出图像信号Vout的图像，但可将此输出图像信号Vout提供到例如视频带(video tape)记录器那样的记录设备，并将该信号记录在其中。在此情况中，可在后处理电路129的部分进行处理，以便可具有适合记录的这种最佳数据结构。
根据本发明，在处理第一图像信号以得到用于显示放大率(图像尺寸)连续改变的图像的第二图像信号时，使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，来调整依照第二图像信号的图像的质量，由此使得提高缩放图像的质量。
工业应用性与本发明相关的用于处理图像信号等的设备通过基于与放大率相关的信息来执行图像质量调整，而提高了缩放图像的质量，并且，于是可被应用于可显示图像放大率连续改变的这种缩放图像的诸如TV接收机那样的图像显示设备。
权利要求
1.一种用于处理图像信号的设备，基于由多项像素数据构成的第一图像信号而产生第二图像信号，以显示图像放大率连续改变的图像，该设备包括相位信息生成部件，用于生成与每个放大率相对应的第二图像信号中的目标位置的相位信息；像素数据产生部件，用于根据由相位信息生成部件生成的相位信息，而产生第二图像信号中的目标位置的像素数据；以及图像质量调整部件，用于通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，而调整依照第二图像信号的图像的质量。
2.如权利要求1所述的用于处理图像信号的设备，其中，图像的质量为分辨率。
3.如权利要求1所述的用于处理图像信号的设备，其中，图像的质量为噪声抑制度。
4.如权利要求1所述的用于处理图像信号的设备，其中，与图像的放大率相关的信息为放大率的改变率。
5.如权利要求1所述的用于处理图像信号的设备，其中，与图像的放大率相关的信息为图像的放大率。
6.如权利要求1所述的用于处理图像信号的设备，其中，图像质量调整部件还通过使用基于从位于第二图像信号中的目标位置的周围的第一图像信号的多项像素数据中提取的特性信息而生成的图像质量调整信息，而调整依照第二图像信号中的目标位置的像素数据的图像的质量。
7.如权利要求1所述的用于处理图像信号的设备，其中，特性信息为作为第一图像信号的多项像素数据中的最大值和最小值之间的差的动态范围。
8.如权利要求1所述的用于处理图像信号的设备，其中，特性信息为通过使用第一图像信号的多项像素数据之中在时间方向上彼此分离的各项像素数据之间的差而得到的运动信息。
9.如权利要求1所述的用于处理图像信号的设备，其中，特性信息为指明第一图像信号的多项像素数据的电平分布的空间波形信息。
10.如权利要求1所述的用于处理图像信号的设备，其中，像素数据生成部件包括系数数据生成部件，用于生成与由相位信息生成部件生成的相位信息相对应的系数数据，在估计等式中使用所述系数数据；第一数据选择部件，用于基于第一图像信号而选择位于第二图像信号的目标位置的周围的多项像素数据；以及计算部件，用于通过使用由系数数据生成部件生成的系数数据、以及由第一数据选择部件选择的多项像素数据，基于估计等式、通过计算得到第二图像信号中的目标位置的像素数据。
11.如权利要求10所述的用于处理图像信号的设备，还包括第二数据选择部件，用于基于所述第一图像信号而选择位于第二图像信号的目标位置的周围的多项像素数据；以及类别检测部件，用于基于由第二数据选择部件选择的多项像素数据而检测第二图像信号中的目标位置的像素数据的所属类别，其中，系数数据生成部件还生成与由类别检测部件检测出的类别相对应的系数数据，在估计等式中使用所述系数数据。
12.如权利要求10所述的用于处理图像信号的设备，其中，系数数据生成部件包括存储部件，用于存储作为包含作为参数的相位信息的产生等式中的系数数据的系数种子数据，所述产生等式用于产生在估计等式中使用的系数数据；以及系数数据产生部件，用于通过使用存储在存储部件中的系数种子数据、以及由相位信息生成部件生成的相位信息，基于产生等式而产生在估计等式中使用的系数数据。
13.如权利要求12所述的用于处理图像信号的设备，其中，产生等式包含作为参数的图像质量调整信息；以及其中，系数数据产生部件还通过使用图像质量调整信息，基于产生等式而产生在估计等式中使用的系数数据。
14.如权利要求10所述的用于处理图像信号的设备，其中，系数数据生成部件包括存储部件，用于对于可由相位信息生成部件生成的每条相位信息存储在估计等式中使用的系数数据；以及系数数据读取部件，用于从存储部件读取与由相位信息生成部件生成的相位信息相对应的系数数据。
15.如权利要求14所述的用于处理图像信号的设备，其中，存储部件还对于可由相位信息生成部件生成的相位信息的每个组合，存储在估计等式中使用的系数数据、以及可由图像质量调整部件生成的图像质量调整信息；以及其中，系数数据读取部件从存储部件读取与由相位信息生成部件生成的相位信息、以及由图像质量调整部件生成的图像质量调整信息相对应的系数数据。
16.一种用于处理图像信号的方法，其基于由多项像素数据构成的第一图像信号而产生第二图像信号，以显示图像放大率连续改变的图像，该方法包括以下步骤生成第二图像信号中的目标位置的相位信息，所述相位信息对应于每个放大率；根据由相位信息生成部件生成的相位信息，而产生第二图像信号中的目标位置的像素数据；以及通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，而调整依照第二图像信号的图像的质量。
17.一种计算机可读介质，用于记录使计算机执行用于处理图像信号的方法的程序，该方法基于由多项像素数据构成的第一图像信号而产生第二图像信号，以显示图像放大率连续改变的图像，该方法包括以下步骤生成第二图像信号中的目标位置的相位信息，所述相位信息对应于每个放大率；根据由相位信息生成部件生成的相位信息，而产生第二图像信号中的目标位置的像素数据；以及通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，而调整依照第二图像信号的图像的质量。
18.一种程序，用于使计算机执行用于处理图像信号的方法，该方法基于由多项像素数据构成的第一图像信号而产生第二图像信号，以显示图像放大率连续改变的图像，该方法包括以下步骤生成第二图像信号中的目标位置的相位信息，所述相位信息对应于每个放大率；根据由相位信息生成部件生成的相位信息，而产生第二图像信号中的目标位置的像素数据；以及通过使用基于至少与图像的放大率相关的信息而生成的图像质量调整信息，而调整依照第二图像信号的图像的质量。
全文摘要
一种改进缩放图像的质量的图像信号处理设备。图像信号处理部分(110)基于输入图像信号(Vin)而产生用于显示缩放图像的输出图像信号(Vout)，其中，图像放大比根据用户指定为中心的任意点而连续变化。通过使用由系数生成电路(136)生成的系数数据(Wi)，而计算输出图像信号(Vout)的像素数据。系数生成电路(136)不仅基于像素的相位信息(h、v)、还基于由图像质量调整信息生成电路(140)基于图像放大比(T)、图像放大比的变化率(K)、以及图像特性信息(DR、MV)而生成的分辨率调整信息(f)和噪声抑制度调整信息(g)，而产生系数数据(Wi)。
文档编号G09G3/20GK1726529SQ200380106038
公开日2006年1月25日 申请日期2003年12月12日 优先权日2002年12月13日
发明者近藤哲二郎, 朝仓伸幸, 西片丈晴, 守村卓夫, 平泉启, 长野宏介, 山元左近 申请人:索尼株式会社