图像分辨率增强的制作方法

专利名称：图像分辨率增强的制作方法
技术领域：
本发明涉及图像分辨率增强，特别地但非排他性地，涉及用于视频序列的帧的分辨率增强。
背景技术：
提高图像的分辨率通常称为升尺度(upscale)并且正变得越来越受关注。例如， 由于各种高清晰度(HD)电视标准的出现，存在对于用于从标准清晰度(SD)图像产生HD图 像的适当方法和算法的需要。例如，离线处理已经被用来从原始SD视频序列产生HD视频 序列并且已经开发了能够动态地将SD视频内容实时地升尺度到HD视频内容的电视和DVD播放器等等。
这种升尺度典型地使用插值产生新的像素值，其使用例如双线性或双三次插值或 者多相缩放。然而，尽管这样的方法增加了图像中的像素数量，但是它们未在图像中引入新 的高频细节并且因而升尺度的图像出现模糊。为了将标准清晰度(SD)视频转换成高清晰 度(HD)，需要近似200%的升尺度因子，并且对于这个以及更高的尺度因子，模糊趋向于清 晰可见并且是不希望的。
为了减轻或补偿这种感知的模糊，在分辨率增强中经常使用高级非线性技术以 便产生具有更详细和鲜明印象的图像。这样的方法包括例如如T. Kondo，和K. Kawaguchi 的"Adaptive dynamic range encoding method and apparatus，，,美国专利 5，444，487, 1995 ip 8 ^ , \)J,R Τ. Kondo ^AW "Method and apparatus for adaptive filter tap selection according to a class”，美国专利 6，192，161，2001 年 2 月中所描述的使用 训练和结构分类而优化的数据相关插值滤波器，如Li和Orchard的“New edge-directed interpolation,，，IEEE Transactions on Image Processing 10:1521-1527 2001 中所描 述的针对边缘的插值技术。这些技术中许多技术的综述和评价可以见诸van Ouwerkerk的 “Image super-resolution survey", Image and Vision Computing 24(10) 1039-1052, 2006 以及 de Μ· Zhao，Μ· Bosma 禾口 G. de Haan 的“Making the Best of Legacy Video on Modern Displays", Journal of the Society for Information Display__January 2007 Volume 15,Issue 1, pp. 49—60。
电视中使用的用于分辨率增强的方法的一个特定实例称为利用峰化的瞬态亮度 改进(LTI)。LTI是一种通过在不创建过冲的情况下增大瞬态值，从而在信号中引入新的高 频内容而改进边缘锐度的技术。峰化旨在增强信号中已经存在的高频分量，以便赋予图像 更鲜明的印象。LTI的描述可以见诸J. Tegenbosch, P. Hofman和M. Bosma的“Improving nonlinear up-scaling by adapting to the local edge orientation",Proceedings of the SPIE, Vol. 5308，pp. 1181-1190，Jan. 2004 以及美国专利 US4414564A。
然而，典型地这些方法主要着眼于产生更清晰的边缘过渡，结果，它们倾向于在诸 如纹理之类的细节密集区域缺乏足够的增强能力。这种纹理/细节增强的缺乏对于增大尺 度因子以及尤其是对于200%以上的尺度因子可能变得更加可见。
例如 Wei, L. -Y.的"Texture synthesis by fixed neighborhood searching，，， 2002 以 及 Ashikhmin, M 的"Fast Texture Transfer" ；Computer Graphics and Applications, IEEE Volume 23，Issue 4, July-Aug. 2003 Page (s) :38-43 中提出了用于纹 理合成的方法。这些文章中的第一篇公开了基本的基于实例的纹理合成的实例，这是一种 旨在基于用作实例的小纹理片扩展图像区域中的纹理的技术。然而，尽管这样的方法对于 通过适当的纹理覆盖一定区域是有用的，但是它们并不针对升尺度或者分辨率增强，并且 针对将纹理扩展到更宽的区域，而不是提高现有纹理区域的分辨率。第二篇文献公开了称 为纹理传递(或者有时称为约束纹理合成)的技术，其中合成通过额外目标图像操控。
另一种用于升尺度的方法称为基于实例的超分辨率并且记载于“Example-Based Super-Resolution"；Freeman, W.Τ. ；Jones, Τ. R. ；Pasztor, Ε. C. , Computer Graphics and Applications, IEEE, vol. 22, no. 2, PP. 56-65, Mar/Apr 2002 以及 William T. Freeman and Thouis R. Jones, "One-pass super-resolution images，，，美国专利 6766067 July 20, 2004。
基于实例的超分辨率使用具有若干组预存储的图像的数据库，其中每组图像包括 相同场景的低分辨率和高分辨率版本。要升尺度的输入图像经过逐片处理，并且对于每片， 在数据库中找到最佳匹配的实例。所述匹配通过比较该片的低分辨率内容以及数据库中存 储的针对实例图像的相应低分辨率片来确定。此外，可以将升尺度图像的已经合成的像素 值与数据库中作为与低分辨率片相应的高分辨率图像实例而存储的像素进行比较。这通过 让合成的片具有小的重叠来实现，其事实上施加了更好的空间一致性。用于最佳匹配的存 储的高分辨率图像的高频分量然后用来合成高分辨率输出，从而产生改进的升尺度图像。 特别地，可以从最佳匹配实例的存储的高分辨率图像拷贝像素值。
然而，尽管这种方式对于某些图像可以提供良好的结果，但是它也倾向于具有某 些缺点。特别地，产生的高分辨率图像可能不具有最优的质量。例如，由于所述过程是在逐 片的基础上执行的，因而输出中的空间一致性不受保证。此外，所述实例图像可能不与被处 理的图像精确地对应，从而引入不一致性。再者，为了对于许多不同输入图像实现足够高的 质量，有必要具有大量存储的实例图像，从而增大了资源要求、复杂性和成本。例如，存储要 求以及搜索大小和时间特性可能较高。
因此，一种改进的图像分辨率增强将是有利的，特别地，一种允许灵活性增大、复 杂性降低、图像质量提高、资源消耗减少和/或性能改善的系统将是有利的。发明内容
因此，本发明寻求更可取地单独地或者以任意组合地缓解、减轻或者消除上述缺 点中的一个或多个。
依照本发明的一个方面，提供了一种用于图像的分辨率增强的方法，该方法包括 接收第一分辨率的第一图像；产生第一分辨率的第二图像，作为第一图像的模糊图像；通 过将第一图像升尺度到第二分辨率而产生第三图像；通过对于分辨率增强图像的多个像素 组迭代以下步骤来合成第二分辨率的分辨率增强图像选择分辨率增强图像的第一像素 组；选择第三图像的与第一像素组具有第一预定空间关系的比较像素组，该比较像素组具 有第二分辨率的分辨率；选择分辨率增强图像的与第一像素组具有第二空间关系的合成像素组，该合成像素组具有第二分辨率的分辨率；对于图像区域中的多个位置选择第一位 置；确定第二图像的与第一位置具有第三空间关系的第一样本像素组和比较像素组之间的 第一匹配度量，第一样本像素组具有第一分辨率的分辨率；确定第一图像和第三图像中的 至少一个的与第一位置具有第四空间关系的第二样本像素组和合成像素组之间的第二匹 配度量，第二样本像素组具有第一分辨率的分辨率；通过组合第一匹配度量和第二匹配度 量产生针对第一位置的组合匹配度量；并且响应于组合匹配度量以及第一图像和第三图像 中的至少一个的源图像区域的像素值产生第一像素组的至少一个像素值。
本发明可以允许改进诸如视频序列的图像之类的图像的分辨率增强。本发明可以 允许便利的和/或低复杂度的实现。在许多情况下，本发明可以提供分辨率增强图像的改 进的图像质量，尤其是可以提高图像的细节水平和高频内容。
例如，本发明可以允许产生/增强纹理(例如头发、软毛、规则纹理等等)和边缘。 特别地，所述方法并不限于改进边缘过渡。此外，本发明可以允许边缘增强无混叠，即该方 法可以实现更清晰的边缘过渡，而不引入锯齿状图形作为锐化的一部分。
本发明可以组合和提供由基于实例的超分辨率和基于实例的纹理合成提供的一 些优点和益处。特别地，该方式可以利用自相似性和尺度不变性的假设以提供改进的升尺 度并且特别地产生和引入附加的细节、边缘和较高的分辨率纹理。
此外，可以在无需提供和存储实例图像的情况下实现图像分辨率增强。事实上，第 二图像和/或第一图像可以用作用于合成分辨率增强图像中的像素的实例图像。
因此，该方式可以避免需要具有匹配低分辨率和高分辨率图像对的实例的数据 库。此外，无需存储纹理图像实例。
所述方法在升尺度中使用了图像实例，其从被升尺度的图像本身产生。因此，该方 法可以利用图像具有一定程度的自相似性并且具有尺度不变元素的假设以便在升尺度的 图像中产生附加的细节。通过使用原始图像作为高分辨率图像的细节和纹理的源，通常可 以实现改进的增强图像质量。此外，由于可以限制对细节的搜索，这可以充分地降低复杂 度，因为可以假设在许多情形下，相关的细节位于与被合成的图像位置靠近的位置。
第二图像可以包括比第一图像更少的高频分量。第二图像特别地可以变模糊，这 意味着图像数据的空间频率带宽远小于第二分辨率下可用的空间频率带宽。例如，图像数 据的空间频率带宽可以小于可用带宽的70%，并且特别地可以限制为对于升尺度因子2而 言仅仅可用带宽的一半。
合成像素组包括已经在一次或多次前面的迭代中合成的像素。所述第一和第二空 间关系可以相同和/或可以不同。类似地，所述第三和第四空间关系可以相同和/或可以 不同。空间关系可以例如规定邻近被合成的像素位置的像素区域和/或图像区域。
第一样本像素组可以包括在第一分辨率下子采样的第二图像的线性升尺度的和/ 或插值的样本。这可以实现等效于第二分辨率的子像素精度。特别地，第一样本像素组的 像素的像素尺寸可以小于第一分辨率的像素，并且特别地可以具有与第二分辨率的像素相 同的尺寸。特别地，第一样本像素组的像素可以与分辨率增强图像的像素处于相同的像素 网格上。
第二样本像素组可以包括在第一分辨率下子采样的第一图像的线性升尺度的和/ 或插值的样本。这可以实现等效于第二分辨率的子像素精度。特别地，第二样本像素组的6像素的像素尺寸可以小于第一分辨率的像素，并且特别地可以具有与第二分辨率的像素相 同的尺寸。特别地，第二样本像素组的像素可以与分辨率增强图像的像素处于相同的像素 网格上。
这些不同像素组和图像区域中的像素数可以静态和/或动态地确定。例如，合成 像素组和/或比较像素组中的像素数可以响应于第一图像的特性而动态地确定。
依照本发明的一个可选的特征，产生至少一个像素值的步骤包括通过与多个位置 关联的源图像区域的多个像素值的加权组合而产生第一像素组的像素的像素值，所述多个 像素值的每个像素值的加权取决于该像素值的组合匹配度量。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。例如，可以合成没有伪像和/或噪声降低的更自然的图像。
依照本发明的一个可选的特征，产生至少一个像素值的步骤包括选择所述多个 位置的位置组，其包含组合匹配度量匹配一定准则的位置；为所述位置组的每个位置选择 源像素值；并且响应于这些源像素值而产生所述至少一个像素值。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，它可以例如允许对分辨率增强图像的像素值的贡 献限制为源图像中特别适当的位置的像素值。所述准则可以例如包括以下要求组合匹配 度量超过给定阈值和/或组合匹配度量必须是确定的最高匹配度量。
依照本发明的一个可选的特征，产生第二图像的步骤包括对第一图像降尺度以 便产生较低分辨率图像；并且通过将该较低分辨率图像升尺度到第一分辨率而产生第二图 像。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，它可以允许高效地产生模糊图像。该方式可以允 许产生这样的第二图像，该第二图像相对于第一图像与第三图像相对于分辨率增强图像具 有类似的质量退化。因此，该特征可以允许基于自相似性和尺度不变性的假设特别适当地 产生对于添加细节有用的实例图像。
所述升尺度特别地可以包括插值或者其他空间滤波。因此，该升尺度特别地可以 是不向较低分辨率图像引入任何附加空间频率的升尺度。该升尺度可以使用用于从第一图 像产生第三图像的相同算法和/或设置。
依照本发明的一个可选的特征，较低分辨率图像的分辨率和第一分辨率之间的比 值与第一分辨率和第二分辨率之间的比值基本上相同。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，它可以允许图像精确地反映跨第一分辨率与第二 分辨率之间的分辨率差值的自相似性和尺度不变性。
在许多实施例中，这些比值可以相同和/或可以处于彼此的10%以内。
依照本发明的一个可选的特征，提供了权利要求6。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。
依照本发明的一个可选的特征，第一图像与分辨率增强图像之间的升尺度因子为 2。7
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。
依照本发明的一个可选的特征，第二样本像素组选自第三图像。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，它在许多情形下可以允许补偿分辨率增强图像与 第一图像之间的像素边缘位置的偏移差。
依照本发明的一个可选的特征，第二样本像素组的选择包括在第一分辨率下对第 三图像的区域的像素子采样。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，这可以允许分辨率增强引入附加的细节。
依照本发明的一个可选的特征，第二样本像素组的像素的像素中心在空间上相对 于第一图像的像素的像素中心偏移。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。该空间偏移特别地可以小于第一分辨率下的像素宽度。该 特征在许多情形下可以允许补偿分辨率增强图像与第一图像之间的像素边缘位置的偏移差。
依照本发明的一个可选的特征，所述组合匹配度量包括第一匹配度量和第二匹配 度量的加权总和。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，它在许多情形下可以允许补偿分辨率增强图像与 第一图像之间的像素边缘位置的偏移差。
依照本发明的一个可选的特征，所述比较像素组包含不足40个像素。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，已经发现，对于这样的小比较像素组可以实现特别 高的图像质量和细节添加。
依照本发明的一个可选的特征，所述合成像素组包含不足15个像素。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。特别地，已经发现，对于这样的小合成像素组可以实现特别 高的图像质量和细节添加。合成像素组中的像素数可以响应于被合成的图像纹理的周期/ 尺度/元素尺寸而设置。
依照本发明的一个可选的特征，确定第一匹配度量的步骤包括通过将第二图像升 尺度到第二分辨率并且在第一分辨率下对像素子采样而确定第二图像的第一样本像素组。
这在许多情形下可以允许改进分辨率增强图像的图像质量和/或可以允许便利 的实现和/或降低资源的使用。所述空间偏移特别地可以小于第一分辨率的像素宽度。该 特征在许多情形下可以允许补偿分辨率增强图像与第一图像之间的像素边缘位置的偏移 差。
依照本发明的一个方面，提供了一种用于图像的分辨率增强的设备，该设备包括 用于接收第一分辨率的第一图像的装置；用于产生第一分辨率的第二图像作为第一图像的 模糊图像的装置；用于通过将第一图像升尺度到第二分辨率而产生第三图像的装置；以及用于通过对于分辨率增强图像的多个像素组迭代以下步骤来合成第二分辨率的分辨率增 强图像的装置选择分辨率增强图像的第一像素组；选择第三图像的与第一像素组具有第 一预定空间关系的比较像素组，该比较像素组具有第二分辨率的分辨率；选择分辨率增强 图像的与第一像素组具有第二空间关系的合成像素组，该合成像素组具有第二分辨率的分 辨率；对于图像区域中的多个位置选择第一位置；确定第二图像的与第一位置具有第三 空间关系的第一样本像素组和比较像素组之间的第一匹配度量，第一样本像素组具有第一 分辨率的分辨率；确定第一图像和第三图像中的至少一个的与第一位置具有第四空间关系 的第二样本像素组和合成像素组之间的第二匹配度量，第二样本像素组具有第一分辨率的 分辨率；通过组合第一匹配度量和第二匹配度量产生针对第一位置的组合匹配度量；并且 响应于组合匹配度量以及第一图像和第三图像中的至少一个的源图像区域的像素值产生 第一像素组的至少一个像素值。
本发明的这些和其他方面、特征和优点根据以下描述的实施例将是清楚明白的， 并且将参照该(这些)实施例进行阐述。


下面将仅通过实例参照附图描述本发明的实施例，在附图中
图1为依照本发明一些实施例的图像升尺度器的实例的图示；
图2为依照本发明一些实施例的图像处理的实例的图示；
图3为依照本发明一些实施例的图像升尺度方法的实例的图示；
图4为依照本发明一些实施例的图像升尺度方法中的合成未知像素值的实例的 图示；以及
图5为依照本发明一些实施例的图像升尺度方法中的像素组匹配的实例的图示。
具体实施方式
下面的描述着眼于可应用于对视频序列的图像升尺度的本发明实施例。然而，应 当理解的是，本发明并不限于该应用，而是可以应用到许多其他图像。
图1示出了依照本发明一些实施例的图像升尺度器的实例。
图像升尺度器包括接收要升尺度和增强的第一图像的接收器101。在该实例中，接 收视频序列中的图像并且在该实例中，接收器101被设置成接收数字编码的视频信号(例 如MPEG-2信号)并且解码该信号以便产生之后在像素域单独地处理的各图像。
应当理解的是，可以从任何适当的内部或外部源接收第一图像和视频序列。
第一图像在第一分辨率下接收，该第一分辨率在该特定实例中为标准清晰度(SD) 分辨率。作为一个特定实例，图像可以是720x576像素图像，其要以尺度因子2进行上转换 以便产生1440x1152像素的高清晰度(HD)图像。应当理解的是，该升尺度的图像随后可以 例如通过使用线性插值例如降尺度到更广泛使用的1366x768像素的HD分辨率。
接收器101耦合到产生第二图像的第一图像生成器103，该第二图像与第一图像 处于相同的分辨率下，但是为第一图像的缺乏某些高频分量的模糊版本。因此，第二图像与 第一图像处于相同的分辨率下，但是通过移除第一图像的某些较高空间频率而被模糊。
因此，在第二图像中，只有频谱的较低部分被填充，即其没有填充到图像分辨率允许的水平。这典型地为(线性)升尺度(而没有全分辨率增强)之后的情况，因为图像的 分辨率在没有利用前面的较低分辨率下不可用的新的高频分量(完全地)填充可用的较宽 频谱的情况下增大。
结果，例如边缘过渡变得较不陡峭并且因而看起来是模糊或平滑的，即较不清晰， 并且不存在图像中存在的(新)细微细节。因此，对于第二图像而言，没有完全利用第二分 辨率的全分辨率。
此外，接收器101耦合到第二图像生成器105，其继续通过将第一图像升尺度到与 输出分辨率增强图像的分辨率相应的第二分辨率而产生第三图像。因此，第二图像生成器 105产生HD图像。第二图像生成器105使用的升尺度技术是线性升尺度技术，例如基于插 值的升尺度。第三图像在第二分辨率下被感知为相对模糊，因为它没有包含比第一图像更 高的空间频率。
接收器101、第一图像生成器103和第二图像生成器105耦合到分辨率增强处理器 107，该处理器继续通过基于第一、第二和第三图像合成图像的像素值来产生输出分辨率增 强图像。此外，像素合成附加地基于分辨率增强图像的已经合成的像素值。
因此，如图2中所示，分辨率增强处理器107在分辨率增强中使用四幅图片
-第一图像201，其为第一(SD)分辨率的接收的原始图像。
-第二图像203，其为第一图像201的模糊版本并且处于第一(SD)分辨率下。
-第三图像205，其为第一图像201在第二(HD)分辨率下的线性升尺度的版本。
-分辨率增强图像207，其处于第二(HD)分辨率下。
图像升尺度器使用的算法使用了与基于实例的超分辨率和基于实例的纹理合成 的元素类似的元素。然而，与这些现有技术方式形成对照的是，当前的方式在许多情形下允 许改进图像质量。此外，该方式不使用或不需要实例图像数据库以便提供分辨率增强，而是 使该增强基于图像本身。特别地，第一和第二图像201、203用作用于分辨率增强的实例图 像段。
该方式寻求利用图像的图像区域的自相似性和尺度不变性的性质以产生增强的 高分辨率图像。特别地，本发明人已经认识到，许多图像/场景包含大量的尺度不变元素和 跨尺度的自相似性，并且这可以用来提供分辨率增强。例如，边缘是尺度不变的，在每个尺 度下看起来相同并且基本上可以从低分辨率图像拷贝到高分辨率图像，许多诸如头发之类 的纹理在不同的尺度下看起来是相似的，等等。当前的方式允许这种实现不仅用来产生较 清晰的边缘，而且用来产生诸如额外的头发等的附加细节。
图像升尺度器的操作将在下文中参照图3-5中所示的示例性流程图加以描述。
所述方法开始于步骤301，其中第一图像201被接收器101接收。
步骤301之后是步骤303，其中第二图像生成器105继续对第一图像201升尺度 以产生具有与分辨率增强图像207相等的分辨率的第三图像205。所述升尺度是线性升尺 度，其产生第二分辨率的插值图像(即它是HD图像)。因此，在该实例中，第三图像205不 包含任何比第一图像201中存在的空间频率更高的空间频率。然而，应当理解的是，在一些 实施例中，一些非线性分辨率增强技术可以应用到第三图像205。如果这样的话，相同的非 线性分辨率增强技术可以应用到第二图像203。
步骤303之后是步骤305，其中第一图像生成器103继续产生第二图像203作为第一图像201的模糊图像，但是其具有相同的分辨率。第二图像203特别地可以代表第一 图像201的模糊，这相应于第三图像205相对于基本场景(即相应于第二分辨率下原始捕 获的清晰图像)的理论上理想的分辨率增强图像的模糊。特别地，第二图像203的空间频 率可以限制为具有相对于第一图像201的带宽的比值的低频带宽，该比值相应于第三图像 205与全带宽高分辨率图像的空间频率带宽之间的比值。
作为一个特定实例，对于升尺度因子2而言，第三图像205可以仅包含为第二分辨 率下可能的带宽一半的带宽内的空间频率。相应地，第二图像203可以限制为仅包含为第 一分辨率下可能的带宽一半的带宽内的空间频率。
结果，第二图像203相对于第一图像201的相对模糊紧密地相应于第三图像205 相对于与第一图像201相应的理论理想高分辨率图像的相对模糊。因此，在跨尺度自相似 性的假设下，第一和第二图像203之间的关系可以有效地用来估计第三图像205与分辨率 增强图像207之间的关系。
应当理解的是，模糊第二图像203的产生可以例如通过对第一图像201进行空间 低通滤波来实现。然而，在该特定实例中，第一图像生成器103被设置成通过首先将第一图 像201降尺度到较低分辨率并且然后将该图像往回升尺度到第一分辨率来产生第二图像 203。
特别地，所述降尺度可以按照一定因子来进行，该因子等效于第二分辨率(即第 三图像205和分辨率增强图像207的分辨率)与第一分辨率(即第一和第二图像201、203 的分辨率)之间的比值。这可以允许第一和第二图像对201、203更好地反映第三和分辨率 增强图像对205、207之间的相关性。
在许多实施例中，第一图像201与降尺度的低分辨率图像之间的尺度因子被选择 成等于分辨率增强图像207与第一图像201之间的尺度因子。在该特定实例中，按照因子 2来降尺度被应用以得到具有360x 288像素的分辨率的降尺度图像。
所述降尺度特别地可以是通过应用空间抗混叠低通滤波器、移除高频分量、之后 进行因子为2的向下采样而实现的线性降尺度。
然后，使用线性升尺度算法按照相同的尺度因子对降尺度的图像升尺度。特别地， 可以使用用来将第一图像201升尺度为第三图像205的相同升尺度算法。
因此，在第二图像203中，只有频谱的较低部分被填充，即它没有填充到第一分辨 率允许的水平。这典型地为(线性)升尺度(而没有全分辨率增强)之后的情况，因为图 像的分辨率在没有利用前面的较低分辨率下不可用的新的高频分量(完全地)填充可用的 较宽频谱的情况下增大。
结果，例如边缘过渡变得较不陡峭并且因而看起来是模糊或平滑的，即较不清晰， 并且不存在图像中存在的(新)细微细节。因此，对于第二图像203而言，没有完全利用第 二分辨率的全分辨率。
然后，所述方法继续产生分辨率增强图像207。该方法使用基于序列像素的方式， 其中一次合成一组像素，该方法迭代该合成，直到产生整个分辨率增强图像207。此外，像素 组的合成包括考虑已经在前面的迭代中合成的像素。
在该特定实例中，一次合成分辨率增强图像207的一个像素，但是应当理解的是， 在其他实施例中，可以一起合成包含两个或更多像素的像素组。11
这样，步骤305之后是步骤307，其中分辨率增强图像207的下一个像素被选择和 合成。步骤307之后是步骤309，其中评估是否已经合成了分辨率增强图像207的所有像 素。如果是这样的话，那么方法在步骤311中停止，否则，方法回到步骤307以处理下一个像素。
图4示出了分辨率增强处理器107用来合成像素值的方法。图4特别地示出了当 已经合成一定数量的像素，从而允许在合成当前像素中使用这些像素时由分辨率增强处理 器107使用的方法。然而，应当理解的是，可以使用在不利用任何已经合成的像素启动该方 法的任何适当的方法和方式。例如，可以简单地从第一图像201、第三图像拷贝初始像素组 或者将其设置为零值。
图4的方法将参照图2以及所示未知像素209的合成来描述。该方法特别地继续 逐行且从左到右地(即以光栅扫描顺序)合成像素。因此，当合成未知像素209时，已经合 成了分辨率增强图像207中该未知像素209之上和左边的所有像素。
图4的方法继续针对当前像素在第一图像201和第二(模糊)图像203中搜索适 当的匹配。特别地，该方法搜索分辨率增强图像207中的相邻合成像素与第一图像201中 的相应像素组之间的匹配，并且搜索第三图像205中的相邻像素与第二图像203中的相应 像素组之间的匹配。这些匹配针对两幅图像201、203中的相应位置而确定，并且组合成组 合匹配度量。因此，利用包含来自两幅清晰图片(已经合成的分辨率增强图像207与第一 图像201)之间以及两幅模糊图像(第二和第三图像203、20幻之间的比较的分量的匹配度 量执行搜索。
此外，所述匹配跨第一和第二分辨率之间的分辨率边界而执行。特别地，通过假设 自相似性和尺度不变性，直接将不同分辨率下的像素组相互比较，并且用来产生较高图像 中的附加细节。例如，对于升尺度因子2而言，发现在第三图像205的像素组的图案或像素 变化与第二图像203的像素组的匹配的情况下，即在其事实上具有两倍高的相应空间频率 的情况下，出现模糊的第二和第三图像203、205之间的匹配。
图4的方法在步骤401启动，其中选择下一个未知(尚未合成的)像素209。如前 所述，下一个像素被选择为紧邻分辨率增强图像207中前一个合成像素的右边的像素。
步骤401之后是步骤403，其中选择第三图像205的比较像素组211。比较像素组 211被选择为这样的像素组，其包含与合成像素209具有第一预定空间关系的像素。在该特 定实例中，比较像素组211简单地被选择为第三图像205的处于未知像素209的给定半径 内的像素。
例如，比较像素组211可以包含离开合成像素的位置1个像素或更少的所有像素。 因此，在该特定实例中，这将得到与包含9个像素的正方形图像区域(包括第三图像205的 与未知像素209具有相同位置的像素)相应的比较像素组211。应当理解的是，在其他实施 例中，可以使用其他像素组尺寸。例如，在许多实施例中，对于1-6个像素的半径发现了有 利的性能。例如，相应于像素组中的M个像素的像素半径3通常提供高性能。
应当理解的是，可以使用用于比较像素组211的任何适当的像素选择并且该像素 组不一定需要与邻近图像区域相应。此外，应当理解的是，其他数量的以及特别是更大数量 的像素可以包含在比较像素组211中。然而，已经发现，对于许多图像而言，通过保持像素 数量相对较低实现了特别良好的分辨率增强。对于包含少于40个像素的比较像素组已经发现了特别有利的性能。产生的比较像素组211之后用来搜索第二图像203中的匹配，如 后面将要更详细地描述的。
步骤403之后是步骤405，其中选择分辨率增强图像207的合成像素组213。合成 像素组213被选择为分辨率增强图像207的与合成像素209具有第二预定空间关系的已经 合成的像素组。在该特定实例中，比较像素组211简单地选择为分辨率增强图像207的已 经被合成并且处于未知像素209的给定半径内的像素。
例如，合成像素组213可以包含与未知像素209邻近的所有合成像素。因此，在该 特定实例中，这将导致与包含4个像素的L形区域相应的L形合成像素组213。产生的合成 像素组213之后用来搜索第一图像201 (或第三图像205)中的匹配，如后面将要更详细地 描述的。
应当理解的是，可以使用用于合成的像素组213的任何适当的像素选择，并且该 像素组不一定需要与邻近图像区域相应。此外，应当理解的是，其他数量的以及特别是更大 数量的像素可以包含在合成像素组213中。然而，已经发现，对于许多图像而言，通过保持 像素数量相对较低实现了特别良好的分辨率增强。对于包含少于15个像素的合成像素组 已经发现了特别有利的性能。
比较像素组211和合成像素组213处于第三图像205和分辨率增强图像207的第 二分辨率下。因此，比较像素组211和合成像素组213都处于输出图像的高分辨率下。该 方法继续将这些高分辨率像素组与第一和第二图像201、203中的相应像素组匹配。然而， 这些像素组处于第一分辨率下并且因而执行跨分辨率间隙的匹配。
特别地，该方法继续搜索包含一定数量的位置的图像区域。对于每个位置，计算组 合匹配度量，其考虑了该位置处对于比较像素组211和合成像素组213的匹配。
特别地，步骤405之后是步骤407，其中选择适当的搜索图像区域215。搜索图像 区域215可以例如选择为第一分辨率下包含20x 20像素(相应于第二分辨率下40x 40像 素)的正方形图像区域。应当理解的是，在其他实施例中，可以使用其他搜索图像区域，并 且特别地可以使用更大的搜索图像区域(或者事实上整个图像)。然而，已经发现，对于第 一分辨率下625个或者更少像素的图像区域，经常可以实现特别有利的性能。事实上，这样 的相对较小的搜索图像区域不仅可以降低复杂度和资源要求，而且在许多情形下可以提高 识别相同图像对象内(例如相同纹理内)的适当匹配的概率。因此，它可以降低当产生未 知像素209的像素值时考虑不与相同可视对象有关的图像区域内的虚假匹配的概率。
该方法继续顺序地评估搜索图像区域215中的每个位置以便确定匹配度量。特别 地，该方法在步骤409继续，其中对于搜索图像区域215的下一个位置确定组合匹配度量。
然后，该方法在步骤411中继续，其中评估当前位置是否是搜索图像区域215中的 最后位置(即评估了所有位置)。如果是这样的话，该方法在步骤413中继续，其中确定合 成像素的像素值。否则，该方法返回到步骤409，其中确定针对下一个位置的匹配度量。
图5更详细地示出了步骤409的处理。
该过程在步骤501中开始，其中针对当前位置确定第二图像203的第一样本像素 组217。在该特定实例中，第一样本像素组217被设置为与第三图像205中的比较像素组 211直接相应的像素组。因此，在该特定实例中，第一样本像素组217与第二图像203中的 9像素正方形相应。然而，由于第二图像203处于第一分辨率下，而第三图像205处于第二13分辨率下，因而跨这些分辨率执行匹配。然而，在图像区域的自相似性假设下，该比较与纹 理的不同尺度之间的比较相应，从而允许在第二分辨率下产生更多细节的纹理。这可以通 过从第一图像201拷贝和重复清晰纹理元素来实现。类似地，尺度不变性的假设允许从第 一图像201拷贝边缘，因为边缘在每个尺度下看起来相同。
在该实例中，可以使用相同的空间关系，即第一样本像素组217可以选择为包围 当前位置的9个像素。
步骤501之后是步骤503，其中对于第一样本像素组217和比较像素组211计算第 一匹配度量。应当理解的是，任何适当的匹配度量和距离准则都可以用来确定所述匹配度 量。例如，可以产生9个像素对的倒数平均平方像素值差值。
因此，第一匹配度量表示两幅模糊图像中相应位置的像素组在多大程度上彼此匹 配。由于第三图像205与理论理想分辨率增强图像的模糊版本相应，因此第三图像205的 像素与第二图像203的像素之间的强匹配表示第一图像201在该位置匹配理论理想分辨率 增强图像。此外，由于两幅图像同等地模糊，因而尺度不变性假设导致这很可能反映第一图 像201的相应像素是未知像素值的精确反映。因此，如果模糊图像203、205跨分辨率间隙 匹配，那么很可能在分辨率间隙之间在第一图像201与理论理想分辨率增强图像之间也存 在强匹配。
步骤503之后是步骤505，其中针对当前位置确定第一图像201的第二样本像素 组219。在该特定实例中，第二样本像素组219被设置为直接与分辨率增强图像207中的 合成像素组213相应的像素组。因此，在该特定实例中，第二样本像素组219与包含4个像 素(当前位置之上和左边的4个像素)的L形相应。然而，由于第一图像201处于第一分 辨率下，而分辨率增强图像207处于第二分辨率下，因而跨这些分辨率执行匹配。然而，在 图像区域的尺度不变性假设下，该比较与纹理的不同尺度之间的比较相应，从而允许在第 二分辨率下产生更多细节的纹理。
步骤505之后是步骤507，其中对于第二样本像素组219和合成像素组213计算第 二匹配度量。应当理解的是，任何适当的匹配度量和距离准则都可以用来确定所述匹配度 量。例如，可以产生9个像素对的倒数平均平方像素值差值。
因此，第二匹配度量表示两幅清晰图像207、201中相应位置的像素组在多大程度 上彼此匹配。由于假设分辨率增强图像207与理论理想分辨率增强图像的估计版本相应， 因此该图像的像素与第一图像201的像素之间的强匹配表示第一图像201在该位置匹配理 论理想分辨率增强图像。此外，由于两幅图像同等地清晰，因而尺度不变性假设导致这很可 能反映第一图像201的相应像素是未知像素209的精确反映。
此外，由于合成像素组213选自输出图像中已经合成的值，因而所述匹配确保了 在分辨率增强图像207中合成的像素之间的空间一致性，特别是从第一图像201施加邻近 像素之间的约束。此外，这允许通过重复纹理元素/周期而实现纹理(再)合成。
步骤507之后是步骤509，其中针对当前位置通过组合第一匹配度量和第二匹配 度量而计算组合匹配度量。特别地，该组合匹配度量可以产生为第一匹配度量和第二匹配 度量的加权总和，权重分别反映清晰图像与模糊图像之间的匹配的相对重要性。
特别地，组合匹配度量w (i，j)可以确定为
权利要求
1.一种用于图像的分辨率增强的方法，该方法包括 接收(301)第一分辨率的第一图像O01)；产生(30 第一分辨率的第二图像003)，作为第一图像O01)的模糊图像； 通过将第一图像O01)升尺度到第二分辨率而产生(30 第三图像Q05)； 通过对于分辨率增强图像(207)的多个像素组迭代以下步骤来合成(307)第二分辨率 的分辨率增强图像O07)-选择G01)分辨率增强图像OO7)的第一像素组QO9)；-选择(40 第三图像Q05)的与第一像素组(209)具有第一预定空间关系的比较像 素组011)，该比较像素组011)具有第二分辨率的分辨率；-选择(40 分辨率增强图像O07)的与第一像素组(209)具有第二空间关系的合成 像素组013)，该合成像素组(21 具有第二分辨率的分辨率； 对于图像区域015)中的多个位置 选择第一位置；确定(501，50 第二图像Q03)的与第一位置具有第三空间关系的第一样本像素组 (217)和比较像素组(211)之间的第一匹配度量，第一样本像素组(217)具有第一分辨率的 分辨率；确定(505，507)第一图像(201)和第三图像Q05)中的至少一个的与第一位置具有第 四空间关系的第二样本像素组(219)和合成像素组(21 之间的第二匹配度量，第二样本 像素组(219)具有第一分辨率的分辨率；通过组合第一匹配度量和第二匹配度量产生(509)针对第一位置的组合匹配度量；并且响应于组合匹配度量以及第一图像(201)和第三图像(20 中的至少一个的源图像区 域015)的像素值产生(41 第一像素组Q09)的至少一个像素值。
2.权利要求1的方法，其中产生至少一个像素值的步骤包括通过与多个位置关联的源 图像区域015)的多个像素值的加权组合而产生第一像素组O09)的像素的像素值，所述 多个像素值的每个像素值的加权取决于该像素值的组合匹配度量。
3.权利要求1的方法，其中产生(413)至少一个像素值的步骤包括 选择所述多个位置的位置组，其包含组合匹配度量匹配一定准则的位置； 为所述位置组的每个位置选择源像素值；并且响应于这些源像素值而产生所述至少一个像素值。
4.权利要求1的方法，其中产生(30 第二图像Q03)的步骤包括 对第一图像O01)降尺度以便产生较低分辨率图像；并且通过将该较低分辨率图像升尺度到第一分辨率而产生第二图像(203)。
5.权利要求4的方法，其中较低分辨率图像的分辨率和第一分辨率之间的比值与第一 分辨率和第二分辨率之间的比值基本上相同。
6.权利要求1的方法，其中第一图像O01)与分辨率增强图像(207)之间的升尺度因 子为2。
7.权利要求1的方法，其中第二样本像素组选自第一图像001)。
8.权利要求1的方法，其中第二样本像素组选自第三图像005)。
9.权利要求8的方法，其中第二样本像素组019)的选择包括在第一分辨率下对第三 图像Q05)的区域的像素子采样。
10.权利要求8的方法，其中第二样本像素组(219)的像素的像素中心在空间上相对于 第一图像O01)的像素的像素中心偏移。
11.权利要求1的方法，其中产生(509)所述组合匹配度量的步骤包括第一匹配度量和 第二匹配度量的加权总和。
12.权利要求1的方法，其中所述比较像素组011)包含不足40个像素。
13.权利要求1的方法，其中所述合成像素组(21 包含不足15个像素。
14.权利要求1的方法，其中确定(501，50；3)第一匹配度量的步骤包括通过将第二图像 (203)升尺度到第二分辨率并且在第一分辨率下对像素子采样来确定第二图像O03)的第 一样本像素组017)。
15.一种用于图像的分辨率增强的设备，该设备包括 用于接收第一分辨率的第一图像(201)的装置(101)；用于产生第一分辨率的第二图像O03)作为第一图像O01)的模糊图像的装置 (103)；用于通过将第一图像(201)升尺度到第二分辨率而产生第三图像(20 的装置(105)；以及用于通过对于分辨率增强图像O07)的多个像素组迭代以下步骤来合成第二分辨率 的分辨率增强图像(207)的装置(107)-选择G01)分辨率增强图像OO7)的第一像素组QO9)；-选择(40 第三图像Q05)的与第一像素组(209)具有第一预定空间关系的比较像 素组011)，该比较像素组011)具有第二分辨率的分辨率；-选择(40 分辨率增强图像O07)的与第一像素组(209)具有第二空间关系的合成 像素组013)，该合成像素组(21 具有第二分辨率的分辨率； 对于图像区域015)中的多个位置 选择第一位置；确定(501，50 第二图像Q03)的与第一位置具有第三空间关系的第一样本像素组 (217)和比较像素组(211)之间的第一匹配度量，第一样本像素组(217)具有第一分辨率的 分辨率；确定(505，507)第一图像(201)和第三图像(20 中的至少一个的与第一位置具有第 四空间关系的第二样本像素组(219)和合成像素组(21 之间的第二匹配度量，第二样本 像素组(219)具有第一分辨率的分辨率；通过组合第一匹配度量和第二匹配度量产生(509)针对第一位置的组合匹配度量；并且响应于组合匹配度量以及第一图像(201)和第三图像(20 中的至少一个的源图像区 域015)的像素值产生第一像素组O09)的至少一个像素值。
全文摘要
本发明涉及图像的升尺度，例如将视频图像从标准清晰度升尺度到高清晰度。通过依赖于组合两个匹配度量的匹配度量对输入图像中的像素值加权而将输入图像升尺度为分辨率增强图像(207)。第一图像生成器(103)产生输入图像的模糊版本并且第二图像生成器(103)产生升尺度的5插值版本。通过比较模糊图像和升尺度的插值图像的像素组而产生第一度量。通过比较输入图像的像素组以及分辨率增强图像(207)的已经合成的像素值而产生第二度量。对于搜索区域中的每个位置，分辨率增强处理器(107)产生组合匹配度量并且当10产生分辨率增强图像(207)的未知像素值时使用该度量对该位置的像素值加权。
文档编号G06T3/40GK102037489SQ200980118293
公开日2011年4月27日 申请日期2009年5月14日 优先权日2008年5月21日
发明者C·达姆卡特 申请人:皇家飞利浦电子股份有限公司