图像放大装置、图像放大程序、存储图像放大程序的存储介质和显示装置的制作方法

专利名称：图像放大装置、图像放大程序、存储图像放大程序的存储介质和显示装置的制作方法
技术领域：
本发明涉及将图像放大的技术。
背景技术：
近年来，一般采用全HD (1920像素X 1080像素)的电视，另夕卜，也开发了4k2k(4096像素X 2048像素程度)、8k4k (8192像素X 4096像素程度)等分辨率更高的显示面板。另ー方面，大量存在SD (在NTSC中为720像素X480像素，在PAL中为720像素X576像素)的内容。因此，需要用于将低分辨率的内容显示于高分辨率的显示装置的图像放大技木。以往提出了各种图像放大方法，而其中有使用小波变换的方法。 在此说明小波变换的概要。图17是示意性地示出原图像和小波变换图像的图。当对原图像IMG实施离散小波变换(DWT Discrete Wavelet Transform)时,得到包含子频带成分IMG_LL、IMG_HL、IMG_LH和IMG_HH的小波变换图像。各子频带成分的图像大小为原图像 IMG 的 1/4。对原图像MG在水平方向上进行低通滤波处理和用于成为1/2大小的采样处理，对其处理结果在垂直方向上进行低通滤波处理和用于成为1/2大小的采样处理的结果是子频带成分頂G_LL。此外，子频带成分頂G_LL也可以是对原图像MG在垂直方向上进行低通滤波处理和用于成为1/2大小的采样处理，对其处理结果在水平方向上进行低通滤波处理和用于成为1/2大小的采样处理的結果。对原图像MG在水平方向上进行高通滤波处理和用于成为1/2大小的采样处理，对其处理结果在垂直方向上进行低通滤波处理和用于成为1/2大小的采样处理的结果是子频带成分頂G_HL。因此，子频带成分MG_HL表示提取原图像MG的水平方向上的高频成分所得的图像，即表示反映了朝向垂直方向的边缘信息的图像。此外，子频带成分MG_HL也可以是对原图像頂G在垂直方向上进行低通滤波处理和用于成为1/2大小的采样处理，对其处理结果在水平方向上进行高通滤波处理和用于成为1/2大小的采样处理的結果。对原图像MG在水平方向上进行低通滤波处理和用于成为1/2大小的采样处理，对其处理结果在垂直方向上进行高通滤波处理和用于成为1/2大小的采样处理的结果是子频带成分頂G_LH。因此，子频带成分頂G_LH表示提取原图像MG的垂直方向上的高频成分所得的图像，即表示反映了朝向水平方向的边缘信息的图像。此外，子频带成分頂G_LH也可以是对原图像頂G在垂直方向上进行高通滤波处理和用于成为1/2大小的采样处理，对其处理结果在水平方向上进行低通滤波处理和用于成为1/2大小的采样处理的結果。对原图像MG在水平方向上进行高通滤波处理和用于成为1/2大小的采样处理，对其处理结果在垂直方向上进行高通滤波处理和用于成为1/2大小的采样处理的结果是子频带成分頂G_HH。因此，子频带成分頂G_HH表示提取原图像MG的水平方向上的高频成分和垂直方向上的高频成分所得的图像(提取原图像頂G的倾斜方向上的高频成分所得的图像)，即表示反映了朝向倾斜方向的边缘信息的图像。此外，子频带成分IMG_HH也可以是对原图像頂G在垂直方向上进行高通滤波处理和用于成为1/2大小的采样处理，对其处理结果在水平方向上进行高通滤波处理和用于成为1/2大小的采样处理的結果。对包含子频带成分MG_LL、MG_HL、IMG_LH和MG_HH的小波变换图像实施逆离散小波变换(IDWT Inverse Discrete Wavelet Transform)时，得到原图像 IMG。接着，说明使用小波变换的图像放大方法的概要。图18是示意性地示出使用了小波变换的图像放大方法的概要的图。将作为放大对象的输入图像IMG_IN看作小波变换图像的子频带成分IMG_LL。剩余的三个子频带成分(不包含高频成分的子频带成分)MG_HL、頂G_LH和MG_HH没有信息，因此是全部的像素值为0的子频带成分IMG_HL(0)、IMG_LH(0)和IMG_HH(0)。这样，能将输入图像頂G_IN视为包含子频带成分MG_IN、MG_HL(0)、MG_LH(0)和MG_HH(0)的小波变换图像。
·
对包含该子频带成分頂G_IN、IMG_HL (0)、IMG_LH (0)和頂G_HH (0)的小波变换图像实施逆离散小波变换，由此能得到具有输入图像頂G_IN的4倍的图像数的作为放大图像的输出图像IMG_0UT。然而，在包含子频带成分IMG_IN、IMG_HL(0)、IMG_LH(0)和IMG_HH(0)的小波变换图像中欠缺高频率成分的信息，因此作为放大图像的输出图像IMG_0UT有点模糊。反言之，如果三个子频带成分(含有高频成分的子频带成分)頂G_HL、IMG_LH和IMG_HH能得到适当的信息，就能解决放大图像有点模糊的问题。另外，进行子频带成分IMG_HL的增益调整再进行逆离散小波变换，由此能得到增强朝向垂直方向的边缘的放大图像，进行子频带成分頂G_LH的增益调整再进行逆离散小波变换，由此能得到增强朝向水平方向的边缘的放大图像，进行子频带成分IMG_HH的增益调整再进行逆离散小波变换，由此能得到增强朝向倾斜方向的边缘的放大图像。由专利文献I、专利文献2、非专利文献I 3等提出了得到三个子频带成分(包含高频成分的子频带成分)IMG_HL、IMG_LH和IMG_HH的信息的方法。參照图19说明由专利文献I提出的图像放大方法。首先，对作为放大对象的输入图像頂G_IN实施离散小波变换，得到包含子频带成分LL2、HL2、LH2和HH2的小波变换图像。然后使用子频带成分LL2、HL2、LH2和HH2的信息来预测三个子频带成分(包含高频成分的子频带成分)IMG_HL、IMG_LH和IMG_HH。此外，预测时使用的系数是通过学习得到的。然后，将作为放大对象的输入图像IMG_IN看作小波变换图像的子频带成分IMG_LL，将其与预测出的三个子频带成分(包含高频成分的子频带成分)頂G_HL、IMG_LH和MG_HH合成的图像视为小波变换图像，进行逆离散小波变换，得到作为放大图像的输出图像IMG_0UT。此夕卜，由专利文献3提出的图像放大方法也与由专利文献I提出的图像放大方法同样，预测了三个子频带成分(包含高频成分的子频带成分)頂G_HL、IMG_LH和頂G_HH。下面參照图20说明由专利文献2提出的图像放大方法。将放大对象图像看作小波变换图像的子频带成分IMG_LL。然后，使用图20(a)示出的滤波器来提取放大对象图像的垂直方向上的边缘成分，看作不足的子频带成分IMG_HL，使用图20(b)示出的滤波器来提取放大对象图像的水平方向上的边缘成分，看作不足的子频带成分頂G_LH，使用图20(c)示出的滤波器来提取放大对象图像的倾斜方向上的边缘成分，看作不足的子频带成分頂G_HH，将由上述四个子频带成分合成的图像视为小波变换图像，进行逆离散小波变换来得到放大图像。下面说明由非专利文献2提出的图像放大方法。非专利文献I记载了假设稀疏约束(Sparsity constraint)而反复进行运算直到收敛为止来预测边缘，由此预测三个子频带成分(包含高频成分的子频带成分)的方法，在非专利文献2中将该方法应用于图像放大。在非专利文献3中，改进了非专利文献I记 载的方法而将收敛次数缩短为2来进行图像放大。在由专利文献I提出的图像放大方法中，对于未学习的图像，不保证能正确预测含有高频成分的子频带成分。另外，在由专利文献I提出的图像放大方法中，无法与图像的放大同时进行足够的边缘增强。因此，放大图像有点模糊，有可能成为不鮮明的图像。此外，由专利文献3提出的图像放大方法具有与由专利文献I提出的图像放大方法同样的问题，而且还具有需要庞大的运算量的问题。在由专利文献2提出的图像放大方法中，当从例示的边缘检测滤波器(參照图20)进行判断时，对于含有高频成分的子频带成分无法得到适当的信息。在原样使用例示的边缘检测滤波器来进行边缘增强的情况下也会发生过冲、锯齿，而且当进行逆离散小波变换时，图像大小分别在水平方向、垂直方向上放大为2倍，因此锯齿大。因此，在通过由专利文献2提出的图像放大方法得到的放大图像中，在增强的边缘会产生不自然的锯齿。在由非专利文献2、非专利文献3提出的图像放大方法中，具有在稀疏约束条件下无法增强作为阈值以下的弱边缘的问题。另外，由非专利文献2、非专利文献3提出的图像放大方法在边缘信息的预测中，需要反复运算多次，直到收敛，因此运算量变大，也具有会产生延迟的问题。能解决上述问题的图像放大装置已由本发明的发明人发明，并由本申请人提出了专利申请(特愿2009-225995号)。图21示出由特愿2009-225995号提出的图像放大装置的ー个例子。图21示出的图像放大装置具备Lanczos3滤波器101、离散小波变换部102、乘法器103 105、逆离散小波变换部106以及内置有能改写的非易失性存储器的控制部(未图示)。控制部从非易失性存储器读出Lanczos3滤波器101、离散小波变换部102和逆离散小波变换部106的常数设定，对Lancz0S3滤波器101、离散小波变换部102和逆离散小波变换部106设定常数。Lanczos3滤波器101生成将输入图像頂G_IN在水平方向、垂直方向上分别放大的放大图像IMG_UP。离散小波变换部102对放大图像頂G_UP进行离散小波变换，生成子频带成分頂G_LL、頂G_HL、IMG_LH 和頂G_HH。另外，控制部从非易失性存储器读出与朝向垂直方向的边缘的增强强度对应的增益值G_HL、与朝向水平方向的边缘的增强强度对应的增益值G_LH、与朝向倾斜方向的边缘的增强强度对应的增益值G_HH，将增益值G_HL提供给乘法器103，将增益值G_LH提供给乘法器104，将增益值G_HH提供给乘法器105。乘法器103将子频带成分頂G_HL和增益值G_HL相乘的结果提供给逆离散小波变换部106。乘法器104将子频带成分頂G_LH和增益值G_LH相乘的结果提供给逆离散小波变换部106。乘法器105将子频带成分MG_HH和増益值G_HH相乘的结果提供给逆离散小波变换部106。此外，将子频带成分IMG_LL原样提供给逆离散小波变换部106。逆离散小波变换部106将子频带成分IMG_LL看作小波变换图像的子频带成分頂G_LL，将其与三个增益处理后子频带成分頂G_HL G_HL、IMG_LH G_LH和頂G_HH G_HH合成的图像视为小波变换图像，进行逆离散小波变换来生成放大图像IMG_SYNTH。放大图像IMG_SYNTH成为图21示出的图像放大装置的输出。在Lanczos3滤波器101的图像放大处理中，能提升弱的高频成分(某种程度衰减的高频成分)，但是不能调整该弱的高频成分的強度。尽管如此，在图21示出的图像放大装置中，对子频带成分頂G_HL、MG_LH和頂G_HH进行增益处理，由此能调整边缘增强强度，因此能得到锯齿少、高画质的图像。

现有技术文献专利文献专利文献I :特开2000-215305号公报(段落0035，第5图)专利文献2 :特开2001-8027号公报(段落0041，第I图，第6图)专利文献3 :特开平7-152907号公报(摘要)非专利文献非专利文献I :G. Guleryuz, " Predicting wavelet coefficients over Edgesusing estimates based on nonlinear approximants, 〃 Proc.Data compressionconference,IEEE DCC-04,2004非专利文献2 C. S. Boon, 0. G. Guleryuz, T. Kawahara, and Y. Suzuki，" Sparsesuper-resolution reconstructions of video from mooile devices in digital TVbroadcast applications， 〃 Proc.SPIE conference on applications on of digitalimage processing XXIX，San Diego,2006非专利文献3 :S. Kanumuri，0. G. Guleryuz and M. R. Givanlar. " Fastsuper-resolution reconstructions of mobile video using warped transforms andadaptive thresholding，" Proc. SPIE conference on applications of digital imageprocessing XXX，200
发明内容
发明要解决的问题然而，以图21示出的图像放大装置为首，由特愿2009-225995号提出的图像放大装置仅使用I种小波变换，因此具有无法同时画质良好地增强图像的轮廓(陡峭边缘，结构(structure))和图像的细部(平缓边缘，纹理(texture))的问题。例如，在仅使用CDF9/7小波变换的情况下，能检测自然的图像的轮廓，但是不能检测图像的细部。另外，例如在仅使用Haar小波变换的情况下，能同时检测图像的轮廓和图像的细部，但是检测出的图像的轮廓与仅使用CDF9/7小波变换的情况相比锯齿醒目。本发明鉴于上述状況，目的在于提供能同时画质良好地增强图像的轮廓和图像的细部的图像放大装置、图像放大程序、存储图像放大程序的存储介质和显示装置。
用于解决问题的方案为了实现上述目的，本发明的图像放大装置构成为，具备图像放大滤波器，其生成将输入图像放大所得的第I放大图像；第I小波变换部，其对上述第I放大图像进行小波变换，生成表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第I子频带成分、表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第2子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第3子频带成分以及表示提取上述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第4子频带成分；第2小波变换部，其对上述第I放大图像进行小波变换，生成表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第5子频带成分、表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第6子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第7子频带成分以及表示提取上述第I放大图像的水平方向上的高频成分和垂直 方向上的高频成分所得的图像的第8子频带成分；第I逆小波变换部，其将规定的子频带成分以及从上述第I小波变换部输出的上述第2子频带成分、上述第3子频带成分和上述第4子频带成分视为小波变换图像，进行逆小波变换来生成第I边缘信号；第2逆小波变换部，其将规定的子频带成分以及从上述第2小波变换部输出的上述第6子频带成分、上述第7子频带成分和上述第8子频带成分视为小波变换图像，进行逆小波变换来生成第2边缘信号；图像放大部，其生成第2放大图像；以及增强处理部，其使用上述第I边缘信号和上述第2边缘信号，对上述第2放大图像进行增强处理，上述第I小波变换部和上述第2小波变换部使用相互不同的小波变换，上述第I逆小波变换部和上述第2逆小波变换部使用相互不同的逆小波变换(第I构成)。另外，在上述第I构成的图像放大装置中，也可以构成为上述第I小波变换部使用CDF9/7小波变换，上述第2小波变换部使用Haar小波变换，上述第I逆小波变换部使用CDF9/7逆小波变换，上述第2逆小波变换部使用Haar逆小波变换(第2构成)。另外，在上述第I或者第2构成的图像放大装置中，上述图像放大部也可以是将上述输入图像和3个规定的子频带成分视为小波变换图像进行逆小波变换来生成上述第2放大图像的第3逆小波变换部(第3构成)。另外，在上述第I或者第2构成的图像放大装置中，上述图像放大部也可以是将上述第I子频带成分和3个规定的子频带成分视为小波变换图像进行逆小波变换来生成上述第2放大图像的第3逆小波变换部(第4构成)。另外，在上述第I或者第2构成的图像放大装置中，上述图像放大滤波器也可以兼作上述图像放大部，上述第I放大图像和上述第2放大图像是相同的(第5构成)。另外，从将图像分为轮廓和细部来增强时抑制在细部保留轮廓的观点出发，在上述第I 第5中的任ー构成的图像放大装置中，也可以是上述第I边缘信号是表示图像的轮廓的信号，上述第2边缘信号是含有图像的轮廓和图像的细部这两者的信号，在上述增强处理部中，如果在关注像素的周边区域有上述第I边缘信号大于规定的阈值的像素，则使对上述关注像素的上述第2边缘信号的增益为零(第6构成)。另外，从抑制在轮廓和细部中分别出现网眼那样的噪声的观点出发，在上述第I 第6中的任ー构成的图像放大装置中，也可以是将对上述第I边缘信号实施低通滤波处理的第I低通滤波器设于上述第I逆小波变换部和上述增强处理部之间，将对上述第2边缘信号实施低通滤波处理的第2低通滤波器设于上述第2逆小波变换部和上述增强处理部之间(第7构成)。为了实现上述目的，本发明的图像放大程序使计算机发挥如下图像放大装置的功能，上述图像放大装置具备图像放大滤波器，其生成将输入图像放大所得的第I放大图像；第I小波变换部，其对上述第I放大图像进行小波变换，表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第I子频带成分，表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第2子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第3子频带成分，以及表示提取上述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第4子频带成分；第2小波变换部，其对上述第I放大图像进行小波变换，表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第5子频带成分，表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第6子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第7子频带成分，以及表示提取上 述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第8子频带成分；第I逆小波变换部，其将规定的子频带成分以及从上述第I小波变换部输出的上述第2子频带成分、上述第3子频带成分和上述第4子频带成分视为小波变换图像，进行逆小波变换来生成第I边缘信号；第2逆小波变换部，其将规定的子频带成分以及从上述第2小波变换部输出的上述第6子频带成分、上述第7子频带成分和上述第8子频带成分视为小波变换图像，进行逆小波变换来生成第2边缘信号；图像放大部，其生成第2放大图像；以及增强处理部，其使用上述第I边缘信号和上述第2边缘信号，对上述第2放大图像进行增强处理，上述第I小波变换部和上述第2小波变换部使用相互不同的小波变换，上述第I逆小波变换部和上述第2逆小波变换部使用相互不同的逆小波变换。为了实现上述目的，本发明的存储介质是存储有上述图像放大程序的计算机能读取的存储介质。为了实现上述目的，本发明的显示装置具备上述第I 第7中的任ー构成的图像放大装置。另外，在上述构成的显示装置中，上述图像放大装置的上述输入图像也可以是亮度图像。或者，在上述构成的显示装置中，具备3个上述图像放大装置，第I个上述图像放大装置的输入图像是红色成分图像，第2个上述图像放大装置的输入图像是绿色成分图像，第3个上述图像放大装置的输入图像是蓝色成分图像。发明效果根据本发明，上述第I小波变换部和上述第2小波变换部使用相互不同的小波变换，因此能同时画质良好地增强图像的轮廓和图像的细部。


图I是示出本发明的第I实施方式的图像放大装置的构成的图。图2是示出本发明的第I实施方式的图像放大装置的动作的流程图。图3是示出本发明的第I实施方式的图像放大装置的各部的输入输出数据例的图。图4是示出本发明的第2实施方式的图像放大装置的构成的图。图5是示意性地示出本发明的第I实施方式、第2实施方式、第4实施方式和第5实施方式的各图像的图像大小的图。图6是示出本发明的第3实施方式的图像放大装置的构成的图。图7是示意性地示出本发明的第3实施方式和第6实施方式的各图像的图像大小的图。图8是示出本发明的第4实施方式的图像放大装置的构成的图。图9是示出本发明的第4实施方式的图像放大装置的动作的流程图。
·
图10是示出低通滤波处理前后的边缘信号的例子的图。图11是示出本发明的第4实施方式的图像放大装置的各部的输入输出数据例的图。图12是示出本发明的第5实施方式的图像放大装置的构成的图。图13是示出本发明的第6实施方式的图像放大装置的构成的图。图14是示出作为本发明的显示装置的一个例子的液晶电视的概要构成的图。图15A是示出使用了本发明的第I实施方式的图像放大装置的后端部的构成例的图。图15B是示出使用了本发明的第2实施方式的图像放大装置的后端部的构成例的图。图15C是示出使用了本发明的第3实施方式的图像放大装置的后端部的构成例的图。图I 是示出使用了本发明的第4实施方式的图像放大装置的后端部的构成例的图。图15E是示出使用了本发明的第5实施方式的图像放大装置的后端部的构成例的图。图15F是示出使用了本发明的第6实施方式的图像放大装置的后端部的构成例的图。图15G示出使用了本发明的图像放大装置的后端部，是示出该图像放大装置处理RGB信号的类型的后端部的构成例的图。图16是示出计算机的概要构成的图。图17是示意性地示出原图像和小波变换图像的图。图18是示意性地示出使用了小波变换的图像放大方法的概要的图。图19是示意性地示出由专利文献I提出的图像放大方法的概要的图。图20是示出由专利文献2提出的图像放大方法中所使用的滤波器的例子的图。图21是示出由特愿2009-225995号提出的图像放大装置的一个例子的图。
具体实施例方式下面參照

本发明的实施方式。<本发明的第I实施方式的图像放大装置>
图I示出本发明的第I实施方式的图像放大装置的构成。本发明的第I实施方式的图像放大装置具备LancZ0S3滤波器1XDF9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5、增益控制部6、乘法器7和8、CDF9/7逆小波变换部
9、加法器10以及内置有能改写的非易失性存储器的控制部(未图示)。參照图2示出的流程图说明本发明的第I实施方式的图像放大装置的动作。首先，控制部从非易失性存储器读出Lancz0S3滤波器I、⑶F9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5和⑶F9/7逆小波变换部9的常数设定，对Lanczos3滤波器I、⑶F9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5和CDF9/7逆小波变换部9设定常数(步骤S10)。在本实施方式中，设定Lancz0S3滤波器I的常数，使得Lancz0S3滤波器I发挥将图像在水平 方向、垂直方向上分别放大2倍的图像放大滤波器的功能。然后，Lanczos3滤波器I生成将输入图像頂G_IN在水平方向、垂直方向上分別放大2倍的放大图像IMG_UP(步骤S20)。另外，⑶F9/7逆小波变换部9将输入图像IMG_IN看作小波变换图像的子频带成分頂G_LL，将其与剰余的三个子频带成分MG_HL(0)、IMG_LH(O)和IMG_HH(0)合成的图像视为小波变换图像，进行CDF9/7逆小波变换来生成放大图像 IMG_SYNTH(步骤 S20)。此外，子频带成分 IMG_HL(0)、IMG_LH(0)和 IMG_HH(0)分别是全部的像素值为0的子频带成分。然后，⑶F9/7小波变换部2对放大图像頂G_UP进行⑶F9/7小波变换，生成子频带成分MG2_LL、IMG2_HL, IMG2_LH和MG2_HH(步骤S30)。另タ卜，Haar小波变换部3对放大图像頂G_UP进行Haar小波变换，生成子频带成分MG3_LL、IMG3_HL, IMG3_LH和MG3_HH (步骤 S30)。接着在步骤S40中进行增益处理。以下详细说明増益处理。 ⑶F9/7逆小波变换部4将由子频带成分IMG_LL (0)以及从⑶F9/7小波变换部2输出的子频带成分IMG2_HL、IMG2_LH和IMG2_HH合成的图像视为小波变换图像，进行CDF9/7逆小波变换来生成边缘信号EDGE_CDF9/7，将该边缘信号EDGE_CDF9/7输出到乘法器7和增益控制部6。另外，Haar逆小波变换部5将由子频带成分頂G_LL(0)以及从Haar小波变换部3输出的子频带成分IMG3_HL、IMG3_LH和IMG3_HH合成的图像视为小波变换图像，进行Haar逆小波变换来生成边缘信号EDGE_Haar，将该边缘信号EDGE_Haar输出到乘法器8和增益控制部6。此外，子频带成分IMG_LL(0)是全部的像素值为0的子频带成分。增益控制部6根据边缘信号EDGE_CDF9/7和EDGE_Haar决定增益GAIN_CDF9/7和GAIN_Haar 的各值。在本实施方式中，增益控制部6对每个像素判断边缘信号EDGE_CDF9/7是否大于第I阈值Thl，对于边缘信号EDGE_CDF9/7大于第I阈值Thl的像素使增益值为cl (正的常数)，对于边缘信号EDGE_CDF9/7为第I阈值Thl以下的像素使增益值为0，生成增益GAIN_⑶F9/7。然后，将增益GAIN_CDF9/7和边缘信号EDGE_CDF9/7用乘法器7相乘来生成校正信号 REV_CDF9/7。用⑶F9/7小波变换得到的边缘信号EDGE_CDF9/7平滑(自然)地表示图像的轮廓，因此通过上述处理，校正信号REV_CDF9/7成为增强图像的轮廓部分的校正信号。此外，第I阈值Thl是取芯(coring)阈值。
另外，在本实施方式中，增益控制部6按每个像素判断边缘信号EDGE_CDF9/7是否小于第2阈值Th2并且边缘信号EDGE_Haar大于第3阈值Th3，对于边缘信号EDGE_CDF9/7小于第2阈值Th2并且边缘信号EDGE_Haar大于第3阈值Th3的像素使增益值为c2 (正的常数)，对于边缘信号EDGE_CDF9/7为第2阈值Th2以上和/或者边缘信号EDGE_Haar为第3阈值Th3以下的像素使增益值为0，生成增益GAIN_Haar。然后，将增益GAIN_Haar和边缘信号EDGE_Haar用乘法器8相乘来生成校正信号REV_Haar。此外，c2与cl可以是相同的值，也可以是不同的值。用Haar小波变换得到的边缘信号EDGE_Haar包含图像的轮廓和图像的细部这两者，而且，在包含于边缘信号EDGEJlaar的图像的轮廓中有锯齿，因此排除图像的轮廓部分(边缘信号EDGE_CDF9/7大的像素的部分)，仅保留图像的细部部分。通过如上所述的处理，校正信号REV_Haar为仅增强图像的细部部分的校正信号。此外，第2阈值Th2是用于辨别是否与图像的轮廓部分相应的阈值，第3阈值Th3是取芯阈值。
在此，图3示出在使第I阈值Thl和第2阈值Th2相同的情况下的本发明的第I实施方式的图像放大装置的各部分的输入输出数据的例子。从上起按顺序将输入到Lancz0S3滤波器I的输入图像IMG_IN、从Lanczos3滤波器I输出的放大图像IMG_UP、从⑶F9/7小波变换部2输出的子频带成分MG2_LL、MG2_HL、MG2_LH和MG2_HH、从Haar小波变换部3输出的子频带成分MG3_LL、IMG3_HL, IMG3_LH和MG3_HH、从CDF9/7逆小波变换部4输出的边缘信号EDGE_CDF9/7、从Haar逆小波变换部5输出的边缘信号EDGE_Haar、从增益控制部6输出的增益GAIN_CDF9/7和GAIN_Haar视觉化。此外，在将图3的最下方示出的从增益控制部6输出的增益GAIN_CDF9/7和GAIN_Haar视觉化的图像中，白色部分是“增益GAIN_CDF9/7 = cl”的部分，黑色部分是“增益GAIN_Haar = c2”的部分，灰色部分是“增益GAIN_CDF9/7 = O 并且增益 GAIN_Haar = 0” 的部分。返回图2，继续说明本发明的第I实施方式的图像放大装置的动作。在接着步骤S40的步骤S50中，进行校正处理。加法器10对在步骤S20中生成的放大图像MG_SYNTH加上在步骤S40中生成的校正信号REV_CDF9/7和REV_Haar，生成输出图像MG_0UT。输出图像IMG_0UT为本发明的第I实施方式的图像放大装置的输出。在本实施方式中，如果输入图像IMG_IN为M像素XN像素(M、N分别为自然数)，则放大图像IMG_UP和MG_SYNTH分别为2M像素X 2N像素，子频带成分MG2_LL、IMG2_HL,IMG2_LH和MG2_HH分别为M像素XN像素，子频带成分MG3_LL、MG3_HL、MG3_LH和IMG3_HH分别为M像素X N像素(参照图5)。即，本发明的第I实施方式的图像放大装置在水平方向、垂直方向上分别进行2倍的图像放大。另外，在本实施方式中，在增益控制部6中使用的正的常数Cl和c2被存储到内置于控制部的非易失性存储器。能通过改写该正的常数Cl和c2来自由调整边缘增强强度。本发明的第I实施方式的图像放大装置能分别以不同的强度分别独立增强图像的轮廓部分和图像的细部部分，因此能同时画质良好地增强图像的轮廓和图像的细部。<本发明的第2实施方式的图像放大装置>图4示出本发明的第2实施方式的图像放大装置的构成。此外，在图4中对与图I相同的部分标注相同的附图标记。与本发明的第I实施方式的图像放大装置同样，本发明的第2实施方式的图像放大装置具备LancZ0S3滤波器1XDF9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5、增益控制部6、乘法器7和8、CDF9/7逆小波变换部9、加法器10以及内置有能改写的非易失性存储器的控制部(未图示)O本发明的第2实施方式的图像放大装置与本发明的第I实施方式的图像放大装置的区别在于CDF9/7逆小波变换部9不将输入图像IMG_IN看作小波变换图像的子频带成分MG_LL，将其与剩余的三个子频带成分MG_HL(0)、MG_LH(0)和MG_HH(0)合成的图像视为小波变换图像，而是将从CDF9/7小波变换部2输出的子频带成分IMG2_LL看作小波变换图像的子频带成分MG_LL，将其与剩余的三个子频带成分MG_HL(0)、MG_LH(0)和MG_HH(O)合成的图像视为小波变换图像，进行CDF9/7逆小波变换来生成放大图像MG_SYNTH。本发明的第2实施方式的图像放大装置与本发明的第I实施方式的图像放大装置同样，能分别以不同的强度分别独立增强图像的轮廓部分和图像的细部部分，因此能同时 画质良好地增强图像的轮廓和图像的细部。<本发明的第3实施方式的图像放大装置>图6示出本发明的第3实施方式的图像放大装置的构成。此外，在图6中对与图I相同的部分标注相同的附图标记。本发明的第3实施方式的图像放大装置构成为从本发明的第I实施方式的图像放大装置除去CDF9/7逆小波变换部9，加法器10对从Lancz0S3滤波器I输出的放大图像IMG_UP加上从乘法器7和8输出的校正信号REV_CDF9/7和REV_Haar，生成输出图像MG_0UT。与本发明的第I实施方式的图像放大装置和本发明的第2实施方式的图像放大装置同样，本发明的第3实施方式的图像放大装置能分别以不同的强度分别独立增强图像的轮廓部分和图像的细部部分，因此能同时画质良好地增强图像的轮廓和图像的细部。另外，在本发明的第3实施方式的图像放大装置中，在Lanczos3滤波器I中的放大不限于在水平方向、垂直方向上分别为2倍。在本实施方式中，输入图像IMG_IN为M像素X N像素(M、N分别为自然数)，放大图像IMG_UP和输出图像IMG_0UT分别为2K像素X2L像素(K是大于M/2的自然数，L是大于N/2的自然数)，子频带成分MG2_LL、IMG2_HL, IMG2_LH和MG2_HH分别为K像素X L像素，子频带成分MG3_LL、IMG3_HL, IMG3_LH和MG3_HH分别为K像素XL像素(参照图7)。即，在本发明的第3实施方式的图像放大装置中，只要输出图像IMG_0UT的水平方向的像素数和垂直方向的像素数分别为2的倍数，就能进行放大处理。在第I实施方式和第2实施方式中，如上所述，在水平方向、垂直方向上分别仅进行2倍的图像放大。但是，所希望的放大图像不限于在水平方向、垂直方向上分别为作为原图像的输入图像的2倍。因此，在所希望的放大图像在水平方向、垂直方向上不分别为作为原图像的输入图像的2倍的情况下，通过在本发明的第I实施方式的图像放大装置、本发明的第2实施方式的图像放大装置的前级、后级设有现有的放大、缩小处理装置而能得到所希望的放大图像，会导致成本提高设置现有的放大、缩小处理装置的量。如表I所示，代表性的显示电视信号、显示面板的图像大小都在水平方向、垂直方向上均为2的倍数，因此本发明的第3实施方式的图像放大装置不在前级、后级设置现有的放大、缩小处理装置，也能对应代表性的显示电视信号、显示面板的图像大小。[表I]
通称画面尺寸
NTSC720x480
PAL720x576
XGA1024x768~
720P1280x720~
WXGA1280x768~
HD1366x768~
·全 HD1920x1080
4k2k2048x1024
8k4k4096x2048<本发明的第I 3实施方式的图像放大装置的课题>本发明的第I 3实施方式的图像放大装置虽然能同时画质良好地增强图像的轮廓和图像的细部，但是具有在将图像分为轮廓和细部增强时在细部保留轮廓的课题(以下称为“第I课题”)，另外，还具有在轮廓和细部中分别出现网眼那样的噪声的课题(以下称为“第2课题”)。<本发明的第4实施方式的图像放大装置>本发明的第4实施方式的图像放大装置能同时画质良好地增强图像的轮廓和图像的细部，而且是还能解决上述第I课题和上述第2课题的图像放大装置。图8示出本发明的第4实施方式的图像放大装置的构成。此外，在图8中对与图I相同的部分标注相同的附图标记。本发明的第4实施方式的图像放大装置具备LancZ0S3滤波器I、CDF9/7小波变换部2、Haar小波变换部3、CDF9/7逆小波变换部4、Haar逆小波变换部5、增益控制部6、乘法器7和8、⑶F9/7逆小波变换部9、加法器10、内置有能改写的非易失性存储器的控制部(未图示)以及LPF(Low Pass Filter :低通滤波器)201和202。作为LPF201和202的实施例，例如能举出用下述(I)式的高斯函数来提取低频率成分的LPF。[数I]
........(X2 十g^y)=—^e ^ 2σ^ …⑴
2it CTxCTy参照图9的流程图说明本发明的第4实施方式的图像放大装置的动作。此外，在图9中对与图2相同的步骤标注相同的附图标记。
首先，控制部从非易失性存储器读出Lancz0S3滤波器I、CDF9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5和⑶F9/7逆小波变换部9的常数设定，对Lanczos3滤波器I、⑶F9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5和CDF9/7逆小波变换部9设定常数(步骤S10)。在本实施方式中，设定Lancz0S3滤波器I的常数使得Lancz0S3滤波器I发挥将图像在水平方向、垂直方向上分别放大2倍的图像放大滤波器的功能。然后，Lanczos3滤波器I生成将输入图像MG_IN在水平方向、垂直方向上分别放大2倍的放大图像IMG_UP(步骤S20)。另外，⑶F9/7逆小波变换部9将输入图像IMG_IN看作小波变换图像的子频带成分MG_LL，将其与剩余的三个子频带成分IMG_HL(0)、IMG_LH(O)和IMG_HH(0)合成的图像视为小波变换图像，进行CDF9/7逆小波变换来生成放大图像 IMG_SYNTH(步骤 S20)。此外，子频带成分 IMG_HL(0)、IMG_LH(0)和 IMG_HH(0)分别是全部的像素值为O的子频带成分。
然后，⑶F9/7小波变换部2对放大图像MG_UP进行⑶F9/7小波变换，生成子频带成分MG2_LL、IMG2_HL, IMG2_LH和MG2_HH(步骤S30)。另外，Haar小波变换部3对放大图像MG_UP进行Haar小波变换，生成子频带成分MG3_LL、IMG3_HL, IMG3_LH和MG3_HH (步骤 S30)。在后续步骤S45中进行低通滤波处理和增益处理。以下，详细说明低通滤波处理和增益处理。CDF9/7逆小波变换部4将由子频带成分IMG_LL(0)以及从CDF9/7小波变换部2输出的子频带成分IMG2_HL、IMG2_LH和IMG2_HH合成的图像视为小波变换图像，进行CDF9/7逆小波变换来生成边缘信号。LPF201对在CDF9/7逆小波变换部4中生成的边缘信号实施低通滤波处理，然后将边缘信号(低通滤波处理后的边缘信号)EDGE_CDF9/7输出到乘法器7和增益控制部6。另外，Haar逆小波变换部5将由子频带成分MG_LL(0)以及从Haar小波变换部3输出的子频带成分IMG3_HL、IMG3_LH和IMG3_HH合成的图像视为小波变换图像，进行Haar逆小波变换来生成边缘信号。LPF202对在Haar逆小波变换部5中生成的边缘信号实施低通滤波处理，然后将边缘信号(低通滤波处理后的边缘信号)EDGEJlaar输出到乘法器8和增益控制部6。此外，子频带成分IMG_LL(0)是全部的像素值为O的子频带成分。通过如上所述的处理，对在⑶F9/7逆小波变换部4中生成的边缘信号进行低通滤波处理，因此能抑制在图像的轮廓部分出现网眼那样的噪声，对在Haar逆小波变换部5中生成的边缘信号进行低通滤波处理，因此能抑制在图像的细部部分出现网眼那样的噪声。从图10(a)和图10(b)的比较可以明确这一情况。图10(a)示出将从Haar逆小波变换部5输出的信号视觉化的一个例子，图10 (b)示出将从LPF202输出的边缘信号EDGE_Haar视觉化的一个例子。增益控制部6基于第m(自然数)行第n(自然数)列的关注像素G(M、N)的边缘信号EDGE_CDF9/7和EDGE_Haar的各值，决定关注像素G(M、N)的增益GAIN_CDF9/7和GAIN_Haar的各值。在本实施方式中，增益控制部6判断关注像素G (M、N)的边缘信号EDGE_CDF9/7的值是否大于第I阈值Thl，如果关注像素G (M、N)的边缘信号EDGE_CDF9/7的值大于第I阈值Thl，使关注像素G (M、N)的增益GAIN_CDF9/7的值为cl (正的常数)，如果关注像素G (M、N)的边缘信号EDGE_CDF9/7的值为第I阈值Thl以下，使关注像素G(M、N)的增益GAIN_⑶F9/7的值为O。并且，将增益GAIN_CDF9/7和边缘信号EDGE_CDF9/7用乘法器7相乘来生成校正信号REV_CDF9/7。用⑶F9/7小波变换得到的边缘信号EDGE_CDF9/7平滑(自然)地表示图像的轮廓，因此通过如上所述的处理，校正信号REV_CDF9/7成为增强图像的轮廓部分的校正信号。此外，第I阈值Thl是取芯阈值。另外，在本实施方式中，增益控制部6判断是否关注像素G(M、N)的边缘信号EDGE_⑶F9/7的值小于第2阈值Th2并且关注像素G (Μ、N)的边缘信号EDGE_Haar的值大于第3阈值Th3，如果关注像素G(Μ、N)的边缘信号EDGE_CDF9/7的值小于第2阈值Th2并且关注像素G(M、N)的边缘信号EDGE_Haar的值大于第3阈值Th3，使关注像素G (Μ、N)的增益GAIN_Haar的值为c2 (正的常数)，如果关注像素G (M、N)的边缘信号EDGE_CDF9/7的值为第2阈值Th2以上和/或者关注像素G(M、N)的边缘信号EDGE_Haar的值为第3阈值Th3以下，使关注像素G(M、N)的增益GAIN_Haar的值为O。不过，与这种关注像素G(M、N)的增·益GAINJfaar的值的设定无关，如果在关注像素G (M、N)的周边区域(第m_Am(自然数)行 第m+Am行，第η-Λη(自然数)行 第η+Λ η列的区域)有边缘信号EDGE_CDF9/7大于第4阈值Th4的像素，就使关注像素G (M、N)的增益GAIN_Haar的值强制地为O。并且，将增益GAIN_Haar和边缘信号EDGE_Haar用乘法器8相乘来生成校正信号REV_Haar。此外，c2和Cl可以是相同的值，也可以是不同的值。用Haar小波变换得到的边缘信号EDGE_Haar含有图像的轮廓和图像的细部这两者，而且，在包含于边缘信号EDGEJlaar的图像的轮廓中有锯齿，因此排除图像的轮廓部分(边缘信号EDGE_CDF9/7大的像素的部分)，仅保留图像的细部部分。通过如上所述的处理，校正信号REV_Haar为仅增强图像的细部部分的校正信号。此外，第2阈值Th2是用于辨别是否与图像的轮廓部分相应的阈值，第3阈值Th3是取芯阈值。而且,如果在关注像素G(M、N)的周边区域(为第m-Am行 第m+Am行,第η-Δ η行 第η+Λ η列的区域)有边缘信号EDGE_CDF9/7大于第4阈值Th4的像素，就使关注像素G(M、N)的增益GAlNjlaar的值强制地为0，因此在将图像分为轮廓和细部增强时能抑制在细部保留轮廓。在此，图11示出在使第I阈值Thl和第2阈值Th2相同的情况下本发明的第4实施方式的图像放大装置的各部的输入输出数据例。从上起按顺序将输入到Lancz0S3滤波器I的输入图像IMG_IN、从Lanczos3滤波器I输出的放大图像IMG_UP、从⑶F9/7小波变换部2输出的子频带成分MG2_LL、MG2_HL、MG2_LH和MG2_HH、从Haar小波变换部3输出的子频带成分MG3_LL、IMG3_HL, MG3_LH和MG3_HH、从LPF201输出的边缘信号EDGE_⑶F9/7、从LPF202输出的边缘信号EDGE_Haar、从图I示出的本发明的第I实施方式的图像放大装置的乘法器8输出的校正信号REV_Haar (比较例)、从乘法器8输出的校正信号REV_Haar视觉化。当将从图I示出的本发明的第I实施方式的图像放大装置的乘法器8输出的校正信号REV_Haar (比较例)视觉化时，与将从本实施方式中的乘法器8输出的校正信号REV_Haar视觉化的方案比较，由此可知在本实施方式中将图像分为轮廓和细部来增强时能抑制在细部(校正信号REV_Haar)保留轮廓(在图11的例子中为“CLEAN ENERGY is the SUN”的文字的痕迹)。返回图9，继续说明本发明的第4实施方式的图像放大装置的动作。在接着步骤S45的步骤S50中进行校正处理。加法器10对在步骤S20中生成的放大图像MG_SYNTH加上在步骤S45中生成的校正信号REV_CDF9/7和REV_Haar，生成输出图像MG_0UT。输出图像IMG_0UT为本发明的第4实施方式的图像放大装置的输出。在本实施方式中，如果输入图像IMG_IN为M像素XN像素(M、N分别为自然数)，则放大图像IMG_UP和MG_SYNTH分别为2M像素X 2N像素，子频带成分MG2_LL、IMG2_HL,IMG2_LH和MG2_HH分别为M像素XN像素，子频带成分MG3_LL、MG3_HL、MG3_LH和IMG3_HH分别为M像素XN像素(参照图5)。即，本发明的第4实施方式的图像放大装置在水平方向、垂直方向上分别进行2倍的图像放大。 另外，在本实施方式中，由增益控制部6使用的正的常数Cl和c2被存储到内置于控制部的非易失性存储器。能通过改写该正的常数Cl和c2来自由调整边缘增强强度。本发明的第4实施方式的图像放大装置能分别以不同的强度分别独立增强图像的轮廓部分和图像的细部部分，因此能同时画质良好地增强图像的轮廓和图像的细部。另夕卜，本发明的第4实施方式的图像放大装置对在CDF9/7逆小波变换部4中生成的边缘信号进行低通滤波处理，因此能抑制在图像的轮廓部分出现网眼那样的噪声，对在Haar逆小波变换部5中生成的边缘信号进行低通滤波处理，因此能抑制在图像的细部部分出现网眼那样的噪声。另外，在本发明的第4实施方式的图像放大装置中，如果在关注像素G(m、η)的周边区域(为第m-Am行 第m+Am行、第η-Λη行 第η+Λη列的区域)有边缘信号EDGE_CDF9/7大于第4阈值Th4的像素，就使关注像素G(m、n)的增益GAIN_Haar的值强制地为0，因此在将图像分为轮廓和细部来增强时能抑制在细部保留轮廓。<本发明的第5实施方式的图像放大装置>本发明的第5实施方式的图像放大装置与本发明的第4实施方式的图像放大装置同样，是能同时画质良好地增强图像的轮廓和图像的细部，而且也能解决上述第I课题和上述第2课题的图像放大装置。图12示出本发明的第5实施方式的图像放大装置的构成。此外，在图12中对与图8相同的部分标注相同的附图标记。本发明的第5实施方式的图像放大装置与本发明的第4实施方式的图像放大装置同样，具备LancZ0S3滤波器I、⑶F9/7小波变换部2、Haar小波变换部3、⑶F9/7逆小波变换部4、Haar逆小波变换部5、增益控制部6、乘法器7和8、CDF9/7逆小波变换部9、加法器10、内置有能改写的非易失性存储器的控制部(未图示)以及 LPF201 和 202。本发明的第5实施方式的图像放大装置与本发明的第4实施方式的图像放大装置的区别在于CDF9/7逆小波变换部9不将输入图像IMG_IN看作小波变换图像的子频带成分MG_LL，将其与剩余的三个子频带成分MG_HL(0)、MG_LH(0)和MG_HH(0)合成的图像视为小波变换图像，而是将从CDF9/7小波变换部2输出的子频带成分IMG2_LL看作小波变换图像的子频带成分MG_LL，将其与剩余的三个子频带成分MG_HL(0)、MG_LH(0)和MG_HH(O)合成的图像视为小波变换图像，进行CDF9/7逆小波变换来生成放大图像MG_SYNTH。本发明的第5实施方式的图像放大装置与本发明的第4实施方式的图像放大装置同样，能分别以不同的强度分别独立增强图像的轮廓部分和图像的细部部分，因此能同时画质良好地增强图像的轮廓和图像的细部。另外，本发明的第5实施方式的图像放大装置与本发明的第4实施方式的图像放大装置同样，对在CDF9/7逆小波变换部4中生成的边缘信号进行低通滤波处理，因此能抑制在图像的轮廓部分出现网眼那样的噪声，对在Haar逆小波变换部5中生成的边缘信号进行低通滤波处理，因此能抑制在图像的细部部分出现网眼那样的噪声。另外，本发明的第5实施方式的图像放大装置与本发明的第4实施方式的图像放大装置同样，如果在关注像素G(M、N)的周边区域(为第m-Am行 第m+Am行、第η-Δη行 第η+Λη列的区域)有边缘信号EDGE_CDF9/7大于第4阈值Th4的像素，就使关注像素G(M、N)的增益GAlNjlaar的值强制地为O，因此在将图像分为轮廓和细部增强时能抑制在细部保留轮廓。〈本发明的第6实施方式的图像放大装置〉本发明的第6实施方式的图像放大装置与本发明的第4实施方式的图像放大装置和本发明的第5实施方式的图像放大装置同样，是能同时画质良好地增强图像的轮廓和图像的细部，而且也能解决上述第I课题和上述第2课题的图像放大装置。 图13示出本发明的第6实施方式的图像放大装置的构成。此外，在图13中对与图8相同的部分标注相同的附图标记。本发明的第6实施方式的图像放大装置构成为从本发明的第4实施方式的图像放大装置除去CDF9/7逆小波变换部9，加法器10对从Lancz0S3滤波器I输出的放大图像IMG_UP加上从乘法器7和8输出的校正信号REV_CDF9/7和REV_Haar，生成输出图像MG_0UT。本发明的第6实施方式的图像放大装置与本发明的第4实施方式的图像放大装置和本发明的第5实施方式的图像放大装置同样，能分别以不同的强度分别独立增强图像的轮廓部分和图像的细部部分，因此能同时画质良好地增强图像的轮廓和图像的细部。另外，本发明的第6实施方式的图像放大装置与本发明的第4实施方式的图像放大装置和本发明的第5实施方式的图像放大装置同样，在CDF9/7逆小波变换部4中对生成的边缘信号进行低通滤波处理，因此能抑制在图像的轮廓部分出现网眼那样的噪声，在Haar逆小波变换部5中对生成的边缘信号进行低通滤波处理，因此能抑制在图像的细部部分出现网眼那样的噪声。另外，本发明的第6实施方式的图像放大装置与本发明的第4实施方式的图像放大装置和本发明的第5实施方式的图像放大装置同样，如果在关注像素G(M、N)的周边区域(为第m- Am行 第m+ Am行、第η- Δ η行 第η+ Δ η列的区域)有边缘信号EDGE_CDF9/7大于第4阈值Th4的像素，就使关注像素G (M、N)的增益GAIN_Haar的值强制地为0，因此在将图像分为轮廓和细部来增强时能抑制在细部保留轮廓。另外，在本发明的第6实施方式的图像放大装置中，Lanczos3滤波器I中的放大不限于在水平方向、垂直方向上分别为2倍。在本实施方式中，输入图像IMG_IN为M像素X N像素(M、N分别为自然数)，放大图像IMG_UP和输出图像IMG_0UT分别为2K像素X2L像素(K为大于M/2的自然数，L为大于N/2的自然数)，子频带成分MG2_LL、IMG2_HL, IMG2_LH和MG2_HH分别为K像素X L像素，子频带成分MG3_LL、IMG3_HL, IMG3_LH和MG3_HH分别为K像素XL像素(参照图7)。即，在本发明的第6实施方式的图像放大装置中，只要输出图像IMG_0UT的水平方向的像素数和垂直方向的像素数分别为2的倍数，就能进行放大处理。
在第4实施方式和第5实施方式中，如上所述，在水平方向、垂直方向上仅分别进行2倍的图像放大。但是所希望的放大图像不限于在水平方向、垂直方向上分别为作为原图像的输入图像的2倍。因此，在所希望的放大图像不是在水平方向、垂直方向上分别为作为原图像的输入图像的2倍的情况下，能通过在本发明的第4实施方式的图像放大装置、本发明的第5实施方式的图像放大装置的前级、后级设置现有的放大、缩小处理装置来得到所希望的放大图像，但是会导致成本提高设置现有的放大、缩小处理装置的量。如上述表I所示，代表性的显示电视信号、显示面板的图像大小都是在水平方向、垂直方向均为2的倍数，因此本发明的第6实施方式的图像放大装置不用在前级、后级设置现有的放大、缩小处理装置也能对应代表性的显示电视信号、显示面板的图像大小。<本发明的显示装置>图14示出作为本发明的显示装置的一个例子的液晶电视的概要构成。图14示出的液晶电视具备调谐器11、前端部12、后端部13、定时控制器14、液晶显示面板15。 调谐器11将包含于从天线16送来的高频信号中的接收信道的播放波信号变换为特定频率的信号，输出到前端部12。前端部12处理调谐器11的输出信号或者外部输入信号(来自视频、DVD等的YC信号)。前端部12在处理的信号为复合信号的情况下进行YC分离处理。另外，前端部12在处理的信号为压缩信号的情况下进行解码处理。另外，前端部12在处理的信号是隔行方式的信号的情况下进行IP变换处理，将隔行方式的信号变换为逐行方式的信号。后端部13具有将YC信号变换为RGB信号的RGB变换处理部(在图14中未图示)。另外，后端部13具有进行定标处理和边缘增强处理的定标·边缘增强处理部(图14中未图示)。后端部13对前端部12的输出信号或者外部输入信号(来自个人计算机等的RGB信号)进行处理，将实施了定标处理和边缘增强处理的RGB信号输出到定时控制器14。定时控制器14对后端部13的输出信号进行帧速率变换(例如倍速处理)、伽马校正、预测视频信号的变化来从变化前强化驱动信号的校正等处理，利用进行了这些处理而得到的驱动信号来驱动液晶显示面板15。作为本发明的显示装置的一个例子的图14示出的液晶电视中，在后端部13的定标·边缘增强处理部内设有本发明的图像放大装置。在此，图15A示出了设有本发明的第I实施方式的图像放大装置的情况下的后端部13的构成例。此外,在图15A中对与图I相同的部分标注相同的附图标记。在图15A示出的后端部13中，在包含本发明的第I实施方式的图像放大装置以及Lanczos3滤波器17和18构成的定标·边缘增强处理部的后级设有将YC信号变换为RGB信号的RGB变换处理部19。此外，图15A示出的后端部13还具备将RGB信号变换为YC信号的YC变换处理部(未图示)，在对外部输入信号(来自个人计算机等的RGB信号)进行处理的情况下，最初利用该YC变换处理部将外部输入信号变换为YC信号。在图15A示出的后端部13，本发明的第I实施方式的图像放大装置将亮度图像IMG_IN_Y作为输入图像对待。色差图像MG_IN_Cb由Lanczos3滤波器17进行定标处理，变换为在水平方向、垂直方向上分别放大为2倍的放大色差图像IMG_UP_Cb，提供给RGB变换处理部19。色差图像MG_IN_Cr由Lancz0S3滤波器18进行定标处理，变换为在水平方向、垂直方向上分别放大为2倍的放大色差图像MG_UP_Cr，提供给RGB变换处理部19。
此外，当然也可以代替本发明的第I实施方式的图像放大装置而设置本发明的第I实施方式的图像放大装置以外的本发明的图像放大装置(例如，本发明的第2实施方式的图像放大装置、本发明的第3实施方式的图像放大装置、本发明的第4实施方式的图像放大装置、本发明的第5实施方式的图像放大装置或者本发明的第6实施方式的图像放大装置等)。设有本发明的第2实施方式的图像放大装置的情况下的后端部13的构成例如图15B所示，设有本发明的第3实施方式的图像放大装置的情况下的后端部13的构成例如图15C所示，设有本发明的第4实施方式的图像放大装置的情况下的后端部13的构成例如图15D所示，设有本发明的第5实施方式的图像放大装置的情况下的后端部13的构成例如图15E所示，设有本发明的第6实施方式的图像放大装置的情况下的后端部13的构成例如图15F所示。另外，与图15A 图15F示出的构成不同，在后端部13中，也能在RGB变换处理部的后级设置定标 边缘增强处理部而成为如图15G所示的构成。在图15G示出的后端部13中，在将YC信号变换为RGB信号的RGB变换处理部19的后级设有选择器20和本发明的图像放大装置21 23。在图15G示出的后端部13，在RGB中分别需要本发明的图像放大装 置，因此需要3个本发明的图像放大装置。RGB变换处理部19将前端部12 (参照图14)的输出信号(亮度图像IMG_IN_Y、色差图像IMG_IN_Cb和色差信号IMG_IN_Cr)变换为RGB信号提供给选择器20。选择器20选择来自RGB变换处理部19的RGB输出、外部输入信号(来自个人计算机等的RGB信号)中的任一方。包含于由选择器20选择的信号的红色成分图像MG_SEL_R由本发明的图像放大装置21进行定标处理和边缘增强处理成为放大红色成分图像MG_0UT_R。包含于由选择器20选择的信号的绿色成分图像MG_SEL_G由本发明的图像放大装置22进行定标处理和边缘增强处理成为放大绿色成分图像MG_0UT_G。包含于由选择器20选择的信号的蓝色成分图像MG_SEL_B由本发明的图像放大装置22进行定标处理和边缘增强处理成为放大蓝色成分图像MG_0UT_B。即，本发明的图像放大装置21将红色成分图像MG_SEL_R作为输入图像对待，本发明的图像放大装置22将绿色成分图像IMG_SEL_G作为输入图像对待，本发明的图像放大装置23将蓝色成分图像MG_SEL_B作为输入图像对待。本发明的图像放大装置21 23能分别使用例如本发明的第I实施方式的图像放大装置，当然也可以使用本发明的第I实施方式的图像放大装置以外的本发明的图像放大装置(例如，本发明的第2实施方式的图像放大装置、本发明的第3实施方式的图像放大装置、本发明的第4实施方式的图像放大装置、本发明的第5实施方式的图像放大装置或者本发明的第6实施方式的图像放大装置等)。〈变形例〉以上说明了本发明的实施方式，但是本发明的范围不限于此，在不脱离发明的主旨的范围内能追加执行各种变更。在上述实施方式中，图像放大滤波器使用了 Lancz0S3滤波器，但是也可以置换为具有图像放大功能的其它滤波器(例如，使用bi-cubic方法的滤波器、使用带窗sine函数的滤波器、使用Haaming、Kaiser窗的滤波器等)。在上述第4实施方式、第5实施方式和第6实施方式中，是能解决上述第I课题和上述第2课题这两者的构成，但是可以是能仅解决上述第I课题和上述第2课题中的上述第I课题的构成，也可以是能仅解决上述第I课题和上述第2课题中的上述第2课题的构成。作为能仅解决上述第I课题和上述第2课题中的上述第I课题的构成的例子，能举出在上述第I实施方式、第2实施方式和第3实施方式中，对增益GAIN_Haar的值的设定实施与上述第4实施方式、第5实施方式和第6实施方式同样的变更的构成。另外，作为能仅解决上述第I课题和上述第2课题中的上述第2课题的构成的例子，能举出在上述第4实施方式、第5实施方式和第6实施方式中，对增益GAIN_Haar的值的设定实施与上述第I实施方式、第2实施方式和第3实施方式同样的变更的构成。另外，本发明的图像放大装置不限于专用的硬件装置，例如，如图16所示，也可以通过个人计算机等计算机30的CPU31执行保存于存储器32的图像放大程序来实现。CPU31能将通过接口 33从外部取得的图像或者存储于HDD34的图像放大而得到的放大图像通过接口 33输出到外部、保存到HDD34或者显示于显示部35。此外，本发明的图像放大程序也能存储于计算机可读取的存储介质。
工业h的可利用件本发明的图像放大装置、图像放大程序、存储有图像放大程序的存储介质和显示装置能在例如将低分辨率的内容显示于高分辨率的显示装置时利用。附图标记说明1、17、18、101 Lanczos3 滤波器2CDF9/7小波变换部3 Haar小波变换部4、9 CDF9/7逆小波变换部5 Haar小波变换部6增益控制部7、8乘法器10加法器11调谐器12前端部13后端部14定时控制器15液晶显示面板16 天线19 RGB变换处理部20选择器21 23本发明的图像放大装置30计算机31 CPU32存储器33 接口34 HDD35显示部102离散小波变换部
103 105乘法器106逆离散小波变换部 201、202 LPF
权利要求
1.ー种图像放大装置，其特征在干， 具备 图像放大滤波器，其生成将输入图像放大所得的第I放大图像； 第I小波变换部，其对上述第I放大图像进行小波变换，生成表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第I子频带成分、表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第2子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第3子频带成分以及表示提取上述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第4子频带成分； 第2小波变换部，其对上述第I放大图像进行小波变换，生成表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第5子频带成分、表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第6子频带成分、表示提取 上述第I放大图像的垂直方向上的高频成分所得的图像的第7子频带成分以及表示提取上述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第8子频带成分； 第I逆小波变换部，其将规定的子频带成分以及从上述第I小波变换部输出的上述第2子频带成分、上述第3子频带成分和上述第4子频带成分视为小波变换图像，进行逆小波变换来生成第I边缘信号； 第2逆小波变换部，其将规定的子频带成分以及从上述第2小波变换部输出的上述第6子频带成分、上述第7子频带成分和上述第8子频带成分视为小波变换图像，进行逆小波变换来生成第2边缘信号； 图像放大部，其生成第2放大图像；以及 增强处理部，其使用上述第I边缘信号和上述第2边缘信号，对上述第2放大图像进行增强处理， 上述第I小波变换部和上述第2小波变换部使用相互不同的小波变换， 上述第I逆小波变换部和上述第2逆小波变换部使用相互不同的逆小波变换。
2.根据权利要求I所述的图像放大装置， 上述第I小波变换部使用CDF9/7小波变换，上述第2小波变换部使用Haar小波变换，上述第I逆小波变换部使用CDF9/7逆小波变换，上述第2逆小波变换部使用Haar逆小波变换。
3.根据权利要求I或者权利要求2所述的图像放大装置， 上述图像放大部是将上述输入图像和3个规定的子频带成分视为小波变换图像进行逆小波变换来生成上述第2放大图像的第3逆小波变换部。
4.根据权利要求I或者权利要求2所述的图像放大装置， 上述图像放大部是将上述第I子频带成分和3个规定的子频带成分视为小波变换图像进行逆小波变换来生成上述第2放大图像的第3逆小波变换部。
5.根据权利要求I或者权利要求2所述的图像放大装置， 上述图像放大滤波器兼作上述图像放大部，上述第I放大图像和上述第2放大图像是相同的。
6.根据权利要求I至权利要求5中的任ー项所述的图像放大装置， 上述第I边缘信号是表示图像的轮廓的信号， 上述第2边缘信号是含有图像的轮廓和图像的细部这两者的信号， 在上述增强处理部中，如果在关注像素的周边区域有上述第I边缘信号大于规定的阈值的像素，则使对上述关注像素的上述第2边缘信号的增益为零。
7.根据权利要求I至权利要求6中的任ー项所述的图像放大装置， 将对上述第I边缘信号实施低通滤波处理的第I低通滤波器设于上述第I逆小波变换部和上述增强处理部之间， 将对上述第2边缘信号实施低通滤波处理的第2低通滤波器设于上述第2逆小波变换部和上述增强处理部之间。
8.一种图像放大程序，其特征在干， 使计算机发挥如下图像放大装置的功能， 上述图像放大装置具备 图像放大滤波器，其生成将输入图像放大所得的第I放大图像； 第I小波变换部，其对上述第I放大图像进行小波变换，生成表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第I子频带成分、表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第2子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第3子频带成分以及表示提取上述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第4子频带成分； 第2小波变换部，其对上述第I放大图像进行小波变换，生成表示提取上述第I放大图像的水平方向上的低频成分和垂直方向上的低频成分所得的图像的第5子频带成分、表示提取上述第I放大图像的水平方向上的高频成分所得的图像的第6子频带成分、表示提取上述第I放大图像的垂直方向上的高频成分所得的图像的第7子频带成分以及表示提取上述第I放大图像的水平方向上的高频成分和垂直方向上的高频成分所得的图像的第8子频带成分； 第I逆小波变换部，其将规定的子频带成分以及从上述第I小波变换部输出的上述第2子频带成分、上述第3子频带成分和上述第4子频带成分视为小波变换图像，进行逆小波变换来生成第I边缘信号； 第2逆小波变换部，其将规定的子频带成分以及从上述第2小波变换部输出的上述第6子频带成分、上述第7子频带成分和上述第8子频带成分视为小波变换图像，进行逆小波变换来生成第2边缘信号； 图像放大部，其生成第2放大图像；以及 增强处理部，其使用上述第I边缘信号和上述第2边缘信号，对上述第2放大图像进行增强处理， 上述第I小波变换部和上述第2小波变换部使用相互不同的小波变换， 上述第I逆小波变换部和上述第2逆小波变换部使用相互不同的逆小波变换。
9.一种计算机能读取的存储介质，其特征在于， 存储有权利要求8所述的图像放大程序。
10.一种显示装置，其特征在干，具备权利要求I至权利要求7中的任ー项所述的图像放大装置。
11.根据权利要求10所述的显示装置，上述图像放大装置的输入图像是亮度图像。
12.根据权利要求10所述的显示装置，具备3个上述图像放大装置，第I个上述图像放大装置的输入图像是红色成分图像，第2个上述图像放大装置的输入图像是绿色成分图像，第3个上述图像放大装置的输入图像是蓝色成分图像。
全文摘要
图像放大装置具备图像放大滤波器(1)，其将输入图像放大来生成第1放大图像；第1小波变换部(2)，其对上述第1放大图像进行小波变换；第2小波变换部(3)，其对上述第1放大图像进行小波变换；以及增强处理部(6、7、8、10)，其进行使用了根据第1小波变换部的输出而生成的第1边缘信号(EDGE_CDF9/7)和根据第2小波变换部而生成的第2边缘信号(EDGE_Harr)的增强处理。上述第1小波变换部和上述第2小波变换部使用相互不同的小波变换。
文档编号H04N1/393GK102844786SQ201080065110
公开日2012年12月26日 申请日期2010年11月9日 优先权日2010年3月1日
发明者张小忙, 上野雅史, 大木康宽 申请人:夏普株式会社