专利名称：图像处理设备的制作方法
技术领域：
本发明涉及图像处理设备，并且特别地涉及一种用于生成补偿了原始图像的高频分量的输出图像的图像处理设备、用于此的方法、和使计算机执行该方法的程序。
背景技术：
已知在利用线性滤波器等通过简单执行线性插值而放大由多个像素组成的原始数字图像时，输出图像容易模糊。因此，已经利用了用于基于图像自身相似性通过执行增大处理具有最高相似性的块而防止图像降级的技术。
例如，已经提出了执行块图像增大处理的图像处理设备(例如参看，日本未审查专利申请公开No.2003-283811(图2))。图像处理设备采集增大的伪区域块图像，该伪区域块图像是根据原始图像中的区域块图像和区域块图像附近的排列块图像之间关系而增大的排列块图像，并且用增大的伪区域块图像来替换增大的区域块图像，由此来执行块图像增大处理。
发明内容
在上述已知的技术中，当生成增大的图像时，具有最高相似性的块图像被选择并用于增大处理。但是，由于在图像之间存在轻微差异时选择了另一块图像，因此图像立刻改变。更具体地，当将已知技术应用于移动图像的图像处理时，被执行了增大处理的块图像与另一个频繁切换，这引起了闪烁。
由此，根据本发明的实施例，生成分辨率等于或高于原始图像分辨率的输出图像的图像处理设备能生成比原始图像质量更高的稳定输出图像。
本发明的实施例解决了上述缺点。根据本发明的实施例，一种图像处理设备生成分辨率等于或高于原始图像分辨率的输出图像，该图像处理设备包括第一图像转换装置，用于将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像；第二图像转换装置，用于将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像；相似性信息生成装置，用于在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并用于生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；纹理生成装置，用于根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像；和纹理混合装置，用于混合输出的分辨率图像和纹理图像以便生成输出图像。该结构有利地允许图像处理设备通过用纹理图像补偿输出图像中的高频分量来生成质量比原始图像高的稳定输出图像，所述纹理图像是通过组合中间分辨率图像的多个相似区域中的高频分量而得到的。
此外，根据本实施例，第二图像转换装置可生成多个分辨率彼此不同的中间分辨率图像。相似性信息生成装置可为多个中间分辨率图像的每一个生成相似性信息。纹理生成装置可为多个中间分辨率图像的每一个生成纹理图像。纹理混合装置可混合多个纹理图像和输出分辨率图像以便生成输出图像。该结构有利地允许图像处理设备基于多个分辨率利用纹理图像来生成高质量的输出图像。
此外，根据本实施例，相似性信息生成装置可选择多个区域作为部分区域，每个区域具有彼此不同的尺寸。纹理生成装置可为具有不同尺寸的多个部分区域的每一个生成纹理图像。纹理混合装置可混合多个纹理图像和输出分辨率图像以便生成输出图像。该结构有利地允许图像处理设备基于根据中间图像特征的多个检测尺寸利用纹理图像来生成高质量的输出图像。
此外，根据本实施例，相似性信息生成装置可选择一个位置作为相似区域的位置，在该位置处基于与部分区域的亮度差的值是相对最小值。
此外，根据本实施例，纹理生成装置可根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来在块中生成纹理块，并且可通过铺设纹理块来生成纹理图像。该结构有利地允许图像处理设备基于高质量的纹理图像来生成输出图像。
进而，根据本发明的另一个实施例，一种用于图像处理设备的图像处理方法，该图像处理设备生成分辨率等于或高于原始图像分辨率的输出图像，该方法或者使计算机执行该方法的程序包括步骤将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像；将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像；在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像；并且混合输出的分辨率图像和纹理图像以便生成输出图像。这有利地允许通过用纹理图像补偿输出图像中的高频分量来生成质量比原始图像高的稳定输出图像，所述纹理图像是通过组合中间分辨率图像的多个相似区域中的高频分量而得到的。
本发明的实施例提供了良好的优点，该优点允许生成质量比原始图像高的稳定输出图像。
图1是示出根据本发明的实施例的图像处理设备结构例子的图示；图2是示出根据本发明的实施例的检测相似位置方式的图示；图3是示出根据本发明的实施例的检测块和相似位置例子的图示；图4是示出根据本发明的实施例的相似性信息数据结构例子的图示；图5是示出根据本发明的实施例的相似性信息生成部分200-i结构的例子的图示；图6是示出根据本发明的实施例的相似位置检测单元230-j结构的例子的图示；图7是示出根据本发明的实施例的由相似位置检测单元230执行的图像比较的例子的图示；图8是示出根据本发明的实施例的相似性评估单元240-j结构的例子的图示；图9A和9B是示出根据本发明的实施例的由相似位置可靠性确定部件242-q执行的确定相似位置可靠性245-q的例子的图示；图10A到10D是示出根据本发明的实施例的由像素可靠性确定部件241-q执行的确定像素可靠性的例子的图示；图11是示出根据本发明的实施例的纹理生成部分300-i结构的例子的图示；图12是示出根据本发明的实施例的纹理铺设单元320-j结构的例子的图示；图13是示出根据本发明的实施例的由纹理决生成部件321-p执行的生成纹理块的例子的图示；图14是示出根据本发明的实施例的由块铺设部件322执行的铺设操作方式的图示；图15是示出根据本发明的实施例的纹理结合单元330结构的例子的图示；图16A和16B是示出根据本发明的实施例的由纹理结合单元330执行的示例控制操作的图示；图17是示出根据本发明的实施例的图像处理方法的整个过程的流程图；图18是示出根据本发明的实施例的纹理生成操作过程的流程图；和图19是示出根据本发明的实施例的相似性信息生成操作过程(步骤S940)的流程图。
具体实施例方式
接下来参考附图来详细描述本发明的实施例。
图1是示出根据本发明的实施例的图像处理设备结构例子的图示。该图像处理设备生成分辨率等于或高于原始图像101分辨率的输出图像409。该图像处理设备具有(N+1)个(N是大于0的整数)分辨率转换部分100、N个相似性信息生成装置200、N个纹理生成部分300、和一个纹理混合部分400。在下面的描述中，将标示数字附加到参考数字来识别具有相同结构的元件。例如，相似性信息生成装置200-N表示第N个相似性信息生成装置200。
每个分辨率转换部分100-0到100-N将原始图像的分辨率转换为预定的分辨率。在分辨率转换中可利用例如使用Lanezos滤波器的线性插值，以及非线性插值。在(N+1)个分辨率转换部分100中，第0个分辨率转换部分100-0将原始图像101的分辨率转换为与输出图像409相同的分辨率，以便生成输出分辨率图像109-0。另一方面，其它分辨率转换部分100-1到100-N将原始图像101的分辨率转换为与输出图像409不同的分辨率，以便分别生成中间分辨率图像109-1到109-N。
分辨率转换部分100-0到100-N使用的增大比率可以是任何值。即是，该比率不仅可以大于100％而且可以是100％或更小。如果增大比率被设置为100％，则分辨率转换部分100-0到100-N的操作可以被省略。当在分辨率转换部分100-0中增大比率被设置为100％时，原始图像101不被增大并且输出图像409的分辨率与原始图像101的分辨率匹配。但是，即使在分辨率转换部分100-0中增大比率被设置为100％，图像处理设备也能利用中间分辨率图像109-1到109-N生成天然外观的高质量图像，中间分辨率图像109-1到109-N具有其它分辨率转换部分100-1到100-N按给定增大比率转换的分辨率。
相似性信息生成部分200-1到200-N分别检测与输出分辨率图像109-0中检测模板的位置相似的中间分辨率图像109-1到109-N中区域的位置，并在评估相似性之后生成相似性信息。
检测模板是设置在输出分辨率图像109-0处的区域。用户可自由地设置该区域。可为检测模板设置一个或多个尺寸。为检测模板设置的K(K是大于0的整数)尺寸被称为“检测尺寸”。
纹理生成部分300-1到300-N基于由相似性信息生成部分200生成的相似性信息，分别通过组合中间分辨率图像109-1到109-N的高频分量来生成纹理图像。纹理生成部分300-1到300-N，类似相似性信息生成部分200-1到200-N，根据K个检测尺寸来执行处理，并且分别生成与中间分辨率图像109-1到109-N相对应的N个纹理图像309-1到309-N。
纹理混合部分400混合输出分辨率图像109-0和纹理图像309-1到309-N以便生成输出图像409。即是，具有中间分辨率图像109-1到109-N的高频分量的纹理图像309-1到309-N与输出分辨率图像109-0混合，由此在输出图像409中补偿了高频分量。
图2是示出根据本发明的实施例的检测相似位置方式的图示。相似性信息生成部分200-1到200-N中的第i(i是整数，1≤i≤N)个相似性信息生成部分200-i执行在第i个中间分辨率图像109-i中的图像检测操作。如下所述，相似性信息生成部分200-i具有K个相似位置检测单元230-1到230-K。第j(j是整数，1≤j≤N)个相似位置检测单元230-j利用检测模板601-j来执行图像检测操作，检测模板601-j具有存在于输出分辨率图像109-0中的第j个检测尺寸。
中间分辨率图像109-i中与检测模板601-j对应的区域被称为检测块。对应于检测尺寸，存在C(j)个检测块。这里C(j)是j的函数，并表示大于0的整数。此后，C(j)可以简写为Cj。在该图中，示出第p(p是整数，1≤p≤C(j))个检测块602-p。
相似位置检测单元230-j利用检测模板601-j来执行检测块602-p中的图像检测操作，并且根据检测尺寸来检测L(j)个相似位置。这里L(j)是j的函数，并表示大于0的整数。此后，L(j)可以简写为Lj。在该图中，示出第q(q是整数，1≤q≤L(j))个相似位置603-q。
在以上述方式利用具有K个检测尺寸的检测模板来执行在N个中间分辨率图像中的图像检测操作后，在C(j)个检测块的每一个中检测L(j)个相似位置。此时检测的相似位置和相似位置的权重共同称作为相似性信息。
图3是示出根据本发明的实施例的检测块和相似位置例子的图示。在该图中，在第i个中间分辨率图像109-i中存在三个检测块602-1到602-3。
在第一检测块602-1中检测三个相似位置603-1到603-3。类似地，在第二检测块602-2中检测三个相似位置603-1到603-3，而在第三检测块602-3中检测两个相似位置603-1和603-2。尽管在本例中，将相同的参考数字(例如603-1到603-3)分配给不同检测块中的相似位置，但这些相似位置彼此不同。
图4是示出根据本发明的实施例的相似性信息数据结构例子的图示。相似性信息可被表示为具有i、j、p和q索引的四维阵列。更具体地，当在第i个中间分辨率图像中利用具有第j个检测尺寸的检测模板来执行图像检测操作时，与在第p个检测块中检测的第q个相似位置有关的相似性信息被表示为“相似性信息(i，j，p，q)”。
图5是示出根据本发明的实施例的相似性信息生成部分200-i结构的例子的图示。第i个相似性信息生成部分200-i生成第i个中间分辨率图像109-i的相似性信息。第i个相似性信息生成部分200-i具有检测模板提取单元210、检测块提取单元220、K个相似位置检测单元230-1到230-K、和K个相似性评估单元240-1到240-K。
检测模板提取单元210提取输出分辨率图像109-0中的检测模板。如前所述，对于检测模板存在K个检测尺寸。因此，K个检测模板216-1到216-K分别被提供给相似位置检测单元230-1到230-K和相似性评估单元240-1到240-K。
检测块提取单元220提取中间分辨率图像109-i中与由检测模板提取单元210提取的检测模板相对应的检测块。与K个检测模板216-1到216-K相对应的K个检测块226-1到226-K被分别提供给相似位置检测单元230-1到230-K和相似性评估单元240-1到240-K。
相似位置检测单元230-1到230-K分别利用检测模板216-1到216-K来执行检测块226-1到226-K中的图像检测操作。相似位置检测单元230-1到230-K分别输出相似位置236-1到236-K的信息和相似位置237-1到237-K的相似性以作为图像检测结果。
相似性评估单元240-1到240-K基于从相似位置检测单元230-1到230-K提供的相似位置236-1到236-K的信息和相似位置237-1到237-K的相似性来评估相似性，并且分别与相似位置246-1到246-K一起输出相似位置236-1到236-K的权重248-1到248-K。相似位置246-1到246-K及其权重248-1到248-K被提供给纹理生成部分300以作为相似性信息。
图6是示出根据本发明的实施例的相似位置检测单元230-j结构的例子的图示。第j个相似位置检测单元230-j具有频带转换部件231和图像比较部件232。
频带转换部件231通过变化检测块226-j的特定频带来生成检测块235-j。例如，频带转换部件231例如利用低通滤波器来移除高频分量。通过该操作，检测模板216-j和检测块235-j的频带可被调整到相等级别。
图像比较部件232执行检测块235-j中的图像比较操作，频带转换部件231相对于检测模板216-j来转换检测块235-j的频带。通过该图像比较操作，检测相似位置236-j，并且输出相似位置236-j及其相似性237-j。
图7是示出根据本发明的实施例的由相似位置检测单元230执行的图像比较操作的例子的图示。这里，示出一个例子，其中SAD(绝对差之和)被用作为相似性的评估指示符。SAD是检测块235-j和检测模板216-j之间亮度差的和。在该图中，SAD在二维平面中被绘制。白色部分表示大的SAD值(即，低的相似性)，而黑色部分表示小的SAD值(即，高的相似性)。
相似位置检测单元230-j检测一个或多个最小值以作为每个检测块中的相位位置。在该图中，由于存在四个黑色区域，因此检测到四个相似位置。相似位置检测单元230-j输出四个相似位置处的SAD值以作为相似性。
尽管这里SAD被用作为相似性的评估指示符，但是也可使用SAD之外的诸如SSD(平方差之和)的其它评估指示符。此外，可根据分析诸如边缘和转角点的特征量之后的匹配程度来评估相似性。此外，可使用通过组合SAD和特征量获得的特征向量。
图8是示出根据本发明的实施例的相似性评估单元240-j结构的例子的图示。相似性评估单元240-j具有L(j)个像素可靠性确定部件241-1到241-Lj、L(j)个相似位置可靠性确定部件242-1到242-Lj、和L(j)个相似位置权重确定部件243-1到243-Lj。
存在从相似位置检测单元230-j提供的L(j)对相似位置236-j及其相似性237-j。为了识别这些对，第q对的位置被表述为相似位置236-j-q，并且其相似性被表示为相似性237-j-q。
像素可靠性确定部件241-q以逐个像素为基础来确定相似位置236-j-q处的像素可靠性244-q。另一方面，相似位置可靠性确定部件242-q确定相似位置可靠性245-q，其表示相似位置236-j-q的实体的可靠性。即是，相似位置可靠性指明相似位置相对于其它相似位置的可靠程度。相似位置权重确定部件243-q根据像素可靠性244-q和相似位置可靠性245-q来确定相似位置236-j-q的权重248-j-q。
相似性评估单元240-j输出相似位置236-j-q以作为相似位置246-j-q，而不用对相似位置236-j-q执行任何操作。
图9A和9B是示出根据本发明的实施例的由相似位置可靠性确定部件242-q执行的确定相似位置可靠性245-q的过程例子的图示。图9A示出一个例子，其中SAD被用作为相似性的评估指示符。在该图中，在水平方向上示出每个位置，而在垂直方向上示出每个位置处的SAD。
下面的线表示最小值，而上面的线表示最大值。此外，在最大和最小值之间示出平均等级。在该图中，在位置1示出来自最小值的相对值d1，而在位置2示出来自最小值的相对值d2。
为了根据这种SAD值来确定表示整个相似位置可靠性的相似位置可靠性245-q，设置图9B中的确定标准。更具体地，如位置2，当相对SAD值大于平均值时，相似位置可靠性被确定为0％。另一方面，如位置1，当相对SAD值等于或低于平均值时，相似位置可靠性被如此设置使得随着相对SAD值逼近最小值而使可靠性逼近100％。
图10A到10D是示出根据本发明的实施例的由像素可靠性确定部件241-q执行的确定像素可靠性的过程例子的图示。图10A示出输出分辨率图像109-0中的示例检测模板216-j。图10B示出检测块226-j中的相似位置236-j-q处的示例图像。
像素可靠性确定部件241-q确定图10A中每个像素和图10B中的对应像素之差的绝对值，并且根据图10C所示的确定标准来确定每个像素的像素可靠性。更具体地，当像素之差的绝对值超过预定阈值时，像素可靠性被设置为0％。另一方面，当绝对值不超过该阈值时，像素可靠性可如此被设置使得可靠性随绝对值变得更小而逼近100％。由此，确定了图10D中所示的像素可靠性。在该图中，白色部分表示高像素可靠性，而黑色部分表示低像素可靠性。
相似位置权重确定部件243-j根据按上述方式确定的像素可靠性244-q和相似位置可靠性245-q来确定相似位置236-j-q的权重248-j-q。例如，通过将每个像素的像素可靠性244-q与相似位置可靠性245-q相乘来确定相似位置236-j-q处每个像素的权重248-j-q，相似位置可靠性245-q表示整个相似位置的可靠性。
图11是示出根据本发明的实施例的纹理生成部分300-i结构的例子的图示。纹理生成部分300-i具有K个纹理分量提取单元310-1到310-K、K个纹理铺设单元320-1到320-K、和纹理结合单元330。
纹理分量提取单元310-j提取中间分辨率图像109-i中的纹理分量316-j。例如，可使用根据每个检测尺寸而具有不同频带峰值频率的带通滤波器。
纹理铺设单元320-j根据由相似性信息生成部分200-i生成的相似性信息(246-j和248-j)来生成C(j)个纹理块，并通过铺设纹理块为每个检测尺寸生成纹理图像。
纹理结合单元330对于纹理铺设单元320-j生成的每个检测尺寸将纹理图像结合。纹理生成部分300-i的纹理结合单元330对应于第i个中间分辨率图像的纹理图像309-i。
图12是示出根据本发明的实施例的纹理铺设单元320-j结构的例子的图示。纹理铺设单元320-j具有C(j)个纹理块生成部件321-1到321-Cj，和块铺设部件322。
纹理块生成部件321-p根据由相似性评估单元240-j生成的相似性信息(246-j-p和248-j-p)用纹理分量316-j来生成纹理块325-p。
块铺设部件322分别对由纹理块生成部件321-1到321-Cj生成的C(j)个纹理块325-j到325-Cj执行铺设处理。
图13是示出根据本发明的实施例的由纹理块生成部件321-p执行的生成纹理块的过程例子的图示。纹理块生成部件321-p提取纹理分量316-j中L(j)个相似位置246-j-p-1到246-j-p-Lj的图像(灰色部分)。
纹理块生成部件321-p以如图所示方式来组合L(j)个图像，该L(j)个图像是通过将相似位置246-j-p-1到246-j-p-Lj的每个图像与相似位置的对应权重248-j-p-1到248-j-p-Lj相乘而得到的，由此生成纹理块325-p。在该图中，尽管每个灰色区域的左上角处的坐标表示相似位置，但是其它坐标可被分配给相似位置。
图14是示出根据本发明的实施例的由块铺设部件322执行的铺设操作例子的图示。不用任何操作而将由纹理块生成部件321-p生成的纹理块铺设在一起。但是，在该情况下，存在纹理块的接合处在强边缘上尤其突出的可能性。
由此，这个例子使用在四个纹理块605-1到605-4彼此移动以便与另一个纹理块重叠一半时获得的公共部分，以作为用于铺设的纹理分量606。通过在整个图像上铺设以如此方式生成的纹理分量606，生成了纹理图像326-j。
图15是示出根据本发明的实施例的纹理结合单元330结构的例子的图示。纹理结合单元330包括特征量确定部件331和纹理添加部件332。
特征量确定部件331检测输出分辨率图像109-0中的局部特征量。例如，边缘强度可被检测作为局部特征量。根据该局部特征量，纹理添加部件332对于K个检测尺寸添加纹理图像326-1到326-K，以便生成第i分辨率的纹理图像309-i。
图16A和16B是示出根据本发明的实施例的由纹理结合单元330执行的示例控制操作的图示。在特征量确定部件331例如将边缘强度用作为局部特征量的情况下，随着边缘强度变高使用更小的检测尺寸是可能的。因为高的边缘强度可指示包含了对象的边界而不是其图案。因此，在该情况下，可想到应用较小的检测尺寸来排除边界是更有效的。
例如，当如图16B所示存在三个检测尺寸时，计算权重使得当边缘强度变得更高时使用更小的检测尺寸。纹理添加部件332接着根据权重按如下等式所示那样来执行添加操作。在等式中，T表示已经进行了添加操作的纹理图像，而TA、TB和TC分别表示大、中和小的检测尺寸的纹理图像。WA、WB和WC分别表示大、中和小的检测尺寸的纹理图像的权重(图16B)。
T＝WA·TA+WB·TB+WC·TC纹理混合部分400将与以这种方式获得的每个分辨率相对应的纹理图像309-1到309-N和输出分辨率图像109-0混合。纹理混合部分400例如根据下面等式来执行混合。系数αi，β，和γ根据经验来确定。
假设在这里使用分别具有100％、200％和400％分辨率的三个纹理图像#1到#3。例如在该情况下，系数αi被设置为如下α1＝2；α2＝1并且α3＝1。此外，系数β可被设置为1，而系数γ可被设置为大约0.3。
以如此方式，生成包括原始图像101的高频分量的输出图像409。
接下来参考附图来详细描述根据本发明的实施例的图像处理设备的操作。
图17是示出根据本发明的实施例的图像处理方法的整个过程的流程图。首先，分辨率转换部分100-0将原始图像101转换为输出分辨率图像109-0(步骤S911)。
在将索引变量i初始化为“1”(步骤S912)后，第i个分辨率转换部分100-i将原始图像101转换为中间分辨率图像109-i(步骤S913)。相似性信息生成部分200-i和纹理生成部分300-i根据中间分辨率图像109-i和输出分辨率图像109-0来生成纹理图像309-i(步骤S920)。接着将索引变量i递增1(步骤S916)，并且重复步骤S913到S917，直到递增的索引变量i超过N(步骤S917)。
纹理混合部分400将以这种方式生成的N个纹理图像309-1到309-N与输出分辨率图像混合(步骤S918)以便生成输出图像409。
图18是示出根据本发明的实施例的纹理生成操作过程(步骤S920)的流程图。首先，将索引变量j和p初始化为“1”(步骤S921和S922)。在上层处理中确定索引变量i的值(图17)。
相似性信息生成部分200对于第i个分辨率生成具有第j个检测尺寸的第p个检测块的相似性信息(246-j-q和248-j-q)(步骤S940)。此外，纹理分量提取单元310-j对于第i个分辨率提取第j个检测尺寸的纹理分量316-j(步骤S923)。纹理块生成部件321-p根据这些相似性信息和纹理分量来生成纹理块325-p(步骤S924)。
接着，将索引变量p递增“1”(步骤S925)，并且重复步骤S940到S926，直到递增的索引变量p超过C(j)(步骤S926)。
在生成C(j)个纹理块325-1到325-Cj后，块铺设部件322执行纹理块的铺设操作(步骤S927)以便对于第i个分辨率生成第j个检测块的纹理图像326-j。随后，将索引变量j递增“1”(步骤S928)，并且重复步骤S922到S929，直到递增的索引变量j超过K(步骤S929)。
在以这种方式生成K个纹理图像326-1到326-K后，纹理结合单元330结合这些纹理图像(步骤S930)以便对于第i个分辨率生成纹理图像309-i。
图19是示出根据本发明的实施例的相似性信息生成操作过程(步骤S940)的流程图。检测模板提取单元210提取输出分辨率图像109-0中的检测模板(步骤S941)。检测块提取单元220提取与中间分辨率图像109-i中的检测模板相对应的检测块(步骤S942)。
在将索引变量q初始化为“1”(步骤S943)后，相似位置检测单元230-j对于第i个分辨率检测具有第j个检测尺寸的第p个检测块中第q个相似位置(步骤S944)。索引变量i、j和p的值在上层处理中被设置(图17和18)。
相似性评估单元240-j对于第i个分辨率评估具有第j个检测尺寸的第p个检测块中第q个相似位置的相似性(步骤S945)以便确定相似位置的权重。
接着，将索引变量q递增1(步骤S946)，并且重复步骤S944到S947，直到递增的索引变量q超过L(j)(步骤S947)。
如上所述，根据本发明的实施例，生成分辨率等于或高于原始图像101分辨率的输出图像409的图像处理设备可通过添加纹理图像来生成比原始图像质量更高的稳定输出图像，所添加的纹理图像包括中间分辨率图像109-1到109-N的高频分量，中间分辨率图像109-1到109-N具有的分辨率与输出图像409的分辨率不同，从而输出分辨率与输出图像409相等的输出分辨率图像109-0。
本发明的实施例只是体现本发明的例子，并具有与权利要求中所述特征的随后对应关系。但是，应当注意，本发明不限于这些实施例，并且在不偏离本发明的精神和范围的情况下可做出各种修改。
更具体地，根据本发明，第一图像转换装置例如对应于分辨率转换部分100-0。此外，第二图像转换装置例如对应于分辨率转换部分100-1到100-N。另外，相似性信息生成装置和纹理生成装置例如分别对应于相似性信息生成部分200-1到200-N和纹理生成部分300-1到300-N。此外，纹理混合装置例如对应于纹理混合部件400。此外，输出分辨率图像中的预定部分区域和中间分辨率图像中的块例如分别对应于检测模板和检测块。
根据本发明的另一个实施例，将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像的步骤例如对应于步骤S911。此外，将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像的步骤例如对应于步骤S913。此外，在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重的步骤例如对应于步骤S940。此外，根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像的步骤例如对应于步骤S920。此外，混合输出的分辨率图像和纹理图像以便生成输出图像的步骤例如对应于步骤S918。
本发明的实施例中描述的过程可被当作为具有该步骤序列的方法。可替换地，该过程可被当作为使计算机执行该步骤序列的程序或存储该程序的存储介质。
权利要求
1.一种用于生成分辨率等于或高于原始图像分辨率的输出图像的图像处理设备，该图像处理设备包括第一图像转换装置，用于将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像；第二图像转换装置，用于将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像；相似性信息生成装置，用于在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并用于生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；纹理生成装置，用于根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像；和纹理混合装置，用于混合输出的分辨率图像和纹理图像以便生成输出图像。
2.根据权利要求1的设备，其中第二图像转换装置可生成多个分辨率彼此不同的中间分辨率图像，并且其中相似性信息生成装置为多个中间分辨率图像的每一个生成相似性信息，并且其中纹理生成装置为多个中间分辨率图像的每一个生成纹理图像，并且其中纹理混合装置混合多个纹理图像和输出分辨率图像以便生成输出图像。
3.根据权利要求1的设备，其中相似性信息生成装置选择多个区域作为部分区域，每个区域具有彼此不同的尺寸，并且其中纹理生成装置为具有不同尺寸的多个部分区域的每一个生成纹理图像，并且其中纹理混合装置混合多个纹理图像和输出分辨率图像以便生成输出图像。
4.根据权利要求1的设备，其中相似性信息生成装置选择一个位置作为相似区域的位置，在该位置处基于与部分区域的亮度差的值是相对最小值。
5.根据权利要求1的设备，其中纹理生成装置根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来在块中生成纹理块，并且通过铺设纹理块来生成纹理图像。
6.一种用于图像处理设备的图像处理方法，该图像处理设备生成分辨率等于或高于原始图像分辨率的输出图像，该图像处理方法包括步骤将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像；将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像；在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像；并且混合输出的分辨率图像和纹理图像以便生成输出图像。
7.一种用于图像处理设备的程序，该图像处理设备生成分辨率等于或高于原始图像分辨率的输出图像，该程序使计算机执行一个过程，该过程包括步骤将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像；将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像；在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像；并且混合输出的分辨率图像和纹理图像以便生成输出图像。
8.一种用于生成分辨率等于或高于原始图像分辨率的输出图像的图像处理设备，该图像处理设备包括第一图像转换部分，用于将原始图像的分辨率转换为与输出图像相同的分辨率以便生成输出分辨率图像；第二图像转换部分，用于将原始图像的分辨率转换为与输出图像不同的分辨率以便生成中间分辨率图像；相似性信息生成部分，用于在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并用于生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；纹理生成部分，用于根据相似性信息所指示的权重，通过合并中间分辨率图像在相似性信息所指示的位置处的高频分量来生成纹理图像；和纹理混合部分，用于混合输出的分辨率图像和纹理图像以便生成输出图像。
全文摘要
一种图像处理设备包括第一图像转换部分，用于将原始图像转换为输出分辨率图像；第二图像转换部分，用于将原始图像转换为中间分辨率图像；相似性信息生成部分，用于在与输出分辨率图像中预定的部分区域相对应的中间分辨率图像的块中检测多个相似区域，这些相似区域与所述部分区域类似，并用于生成相似性信息，包括多个相似区域的每一个在中间分辨率图像中的位置以及位置的权重；纹理生成部分，用于根据权重通过合并中间分辨率图像在位置处的高频分量来生成纹理图像；和纹理混合部分，用于混合输出的分辨率图像和纹理图像以便生成输出图像。
文档编号H04N5/14GK101013501SQ20071000616
公开日2007年8月8日 申请日期2007年1月31日 优先权日2006年1月31日
发明者畠泽泰成, 五味信一郎, 绪形昌美 申请人:索尼株式会社