利用基于模型的稳健贝叶斯估算计算较高分辨率图像的制作方法

专利名称：利用基于模型的稳健贝叶斯估算计算较高分辨率图像的制作方法
技术领域：
本发明的实施例涉及从多个观测的较低分辨率图像中获得较高分辨率(HR)图像(或图像序列)的信号处理技术。同时也描述了其他实施例。
背景技术：
在多数电子成像应用中，具有较高分辨率的图像通常是更想要的。这些是具有较大像素密度的图像并因此比相同景物的较低分辨率图像显示更多的细节。HR图像有许多应用，包括医学成像、卫星成像、和计算机视觉。
HR图像可以通过简单地增加用于获取图像的电子图像传感器芯片中的像素传感元件的数量和/或密度来获得。然而，这可能把芯片的尺寸增加得非常大以至于电容效应将妨碍像素信号值的快速传输，从而导致难以获得高速拍摄和视频。另一个可能性是减少每一个像素传感元件的物理尺寸；然而，这样做可能增加所得到的像素信号值的噪声电平。另外，增加像素传感元件的数量将增加装置的成本，这在许多情况下都是不希望有的(例如，安装在其基本功能不是图像获取的移动装置上的摄像机，所述移动装置类似个人数字助理(PDA)和便携式电话)，并且在其它情况下是禁止的(例如，红外传感器)。因此，获得HR图像的另一个途径(不需要更改较低分辨率传感器)是在由传感器拍摄的多个较低分辨率(LR)图像上执行数字信号处理，以增强分辨率(也称为超分辨率(SR)图像重建)。
利用SR图像重建，已获得景物的多个观测的LR图像或帧，其实际上是相同景物的不同“面貌”。这些可以利用相同的摄像机来获得，例如，在从帧到帧的摄像机定位中引入小的、所谓的次像素移动，或在景物中拍摄到少量运动。可替换地，可以利用针对相同景物的不同摄像机来拍摄LR图像。然后通过适当地调准和组合LR图像重建“结果”HR图像，以便为结果HR图像获得附加的信息，例如分辨率的增加或去混叠。该过程也可以包括图像复原，其中也执行去模糊和去噪声操作，以产生更高质量的结果HR图像。
然而，结果HR图像的重建是一个难题，因为它属于逆的、不适定(ill-posed)的数学问题类别。所需的信号处理可以解释为是所谓的观测模型的反向，其是描述景物的LR图像的构成(依据已知的摄像机参数)的数学确定方式。由于景物被自身的可接受质量的HR图像逼进，观测模型通常被定义为将景物的HR离散图像(具有给定的分辨率和像素栅格)与其相应的LR图像相关联。这种关系(其可以应用于静止图像和视频两种构成)可以作为几何变换、模糊算子、和下降取样算子、加上附加的噪声项的串联而给出。几何变换的例子包括，全局或局部变换和旋转，同时模糊算子试图非理想地复制摄像机，例如焦点没对准、衍射极限、像差、慢动作模糊、以及集成在空间区域的图像传感器(有时把全部组合成点扩展功能)。下降取样算子把HR图像下降取样成重叠的低分辨率图像。这种观测模型可以用下述数学关系表示Y＝W*f+n，(1)其中Y是观测的LR图像组，并且W代表HR图像f中HR像素到Y中LR像素的线性变换(包括下降取样、几何变换和模糊的作用)。n代表具有随机特性的附加噪声，其可以表示，例如，在景物没有任何变化以及没有任何对摄像机或照明设置的变化时，由相同的摄像机捕获的LR图像间的变化(或误差)。基于等式(1)的观测模型，SR图像重建估算对应于给定的LR图像组Y的HR图像f。
贝叶斯(Bayesian)估算处理(也称作随机的或概率的SR图像重建)可以用于估算f，以得到上述的“结果”HR图像。如果是那样的话，“后验”概率函数(典型地，概率密度函数)被数学地定义为p(f|Y)，给出观测的LR图像组Y，其是特定HR图像f的概率。运用被称为贝叶斯定律的数学操作，最优化问题，该操作发现合适的HR图像f，例如给出一组LR图像其具有最高概率，或者最大化p(f|Y)，可以被重写为P(f|Y)＝p(Y|f)*p(f)， (2)其中p(f)被称为先于任何观测给出特定HR图像概率的“先验”概率密度函数。先验基于，例如，不同HR图像的全部的统计特性，表明什么HR图像更可能出现。先验概率可以是联合概率，在关于HR图像中所有的像素上定义，并且应当基于来自大量图像的统计数据。然而，把先验概率估算和描述为关于所有像素的联合分布在计算上是不可行的。因此现有的方法基于在许多类型的图像中，像素间的相关性随着像素距离衰减得相对快这样的事实使用适合的模型。例如先验可以是基于叫做马尔可夫(Markov)随机场(MRF)的概率结构。与其采用所有HR图像是相等可能的状态，MRF更适合表明例如某些像素图案(例如，逐块连续；文本图像)比其它的更有可能。在数学意义上图像可以假定为球形平滑的，因而MRF典型地用于定义具有标准(高斯)概率分布的先验。
关于p(Y|f)，其被称为“似然性”函数；其是定义观测LR图像的概率的概率密度函数，该观测LR图像相应于特定的HR图像。可以根据由在上面等式(1)中的数学关系描述的观测模型确定似然性，其中噪声项典型地假定为具有高斯概率分布。估算过程变成迭代确定试验HR图像和当存在收敛时停止中的一个，其可以表示已经达到后验概率函数的最大值。


本发明的实施例经由举例并且并不限于结合附图的说明，在附图中相同的参考表示类似的部件。应当注意，对这个公开中本发明的“一个”实施例的参考不必要对应相同的实施例，并且它们意味着至少一个。
图1是稳健和正态概率密度的曲线图。
图2是对于试验HR图像的似然性和先验概率函数的曲线图。
图3是在超分辨率图像重建处理中的一些操作的流程图。
图4是在操作彩色图像的超分辨率图像重建方法中一些操作的流程图。
图5和6示出了说明把超分辨率方法应用到网络摄像机(webcam)图像上的结果的两幅图像。
图7-11示出了说明把超分辨率方法应用到来自扫描波束纳米成像装置的图像上的结果的图像。
具体实施例方式
本发明的一个实施例是用于图像处理的方法，其中给出多个观测的LR图像，贝叶斯估算图像重建方法论计算景物的结果HR图像。结果HR图像基于似然性概率函数，该函数为存在噪声的LR图像的构成执行观测模型。方法论通过概率的、非高斯的、稳健(robust)函数为噪声建模。这种稳健函数在统计估算文献中被定义并且特征在于如图1所示的概率密度函数中的长尾部。与正态或高斯分布相反，稳健分布承认被异乎寻常的大量噪声影响的少数点的出现，这些点也称为界外值(outlier)(其位于图1示出的密度曲线的尾端)。对噪声建模的改变更好地建立了来自HR图像的LR图像的构成的模型，所以该方法产生更精确的解决方案。因此，尽管用高斯概率函数对噪声建模时执行SR处理更简单，但这种假定不能充分地处理包含不同级别界外值的图像，其在SR重建中是普遍的，特别是由于图像调准中的不准确性。
现在参考图2，其示出了对于试验HR图像的概率密度曲线图，其中绘制出范例似然性函数和先验函数。最大后验值(MAP)与上面的等式(2)给出的先验和似然性成比例。在这种情况中，示出了对于两个不同的假定噪声分布(R)和(G)的似然性，其分别相应于稳健概率函数以对噪声(R)建模，并且另一个使用正态或高斯(G)。曲线图说明了在给定LR图像(未示出)中界外值的影响，其转换成试验HR图像的某些区域的似然性(G)中的倾角。这个似然性(G)中的强倾角是由于支配似然性函数的界外值产生的，对于该特定的试验HR图像，其表明观测的LR图像组的相对低的概率。然而，实际上，试验HR图像可能是良好的，并且为什么似然性值低的唯一的原因是由于界外值(在一个或多个观测的LR图像中)。这种由界外值对似然性函数的支配被稳健函数的应用所取消，该稳健函数降低观测的LR图像中界外值像素的作用。因此，对于观测的LR图像(假定是试验HR图像)图像的该特定组的计算的稳健似然性(R)比噪声由高斯函数建模的情况要高。
这里描述的本发明的不同实施例可以证明SR处理的稳健性，以致于它能用在下述的不同类型的现实应用中。图3说明了SR方法中一些操作的流程图。该方法包含被重复执行为迭代处理的一部分以确定结果(或最终的)HR图像104的主循环。这种过程可以试图为误差函数E找到一个最佳值，这里是一个最小值。更特别地，这个误差函数可以定义为等式(2)的后验概率的负对数。可以利用任何标准的最小化技术来最小化这个误差函数。例如，图3示出了共轭梯度方法的应用，其是一个在复杂度和收敛速度之间提供可接受的平衡的迭代方法。收敛的判别式是ΔE＜T，其测试在两个相继的试验HR图像间，等式(2)的后验概率中的误差或差值是否低于预定阈值，T(块106)。一个可替换的测试是把ΔE定义为连续的试验HR图像间的差值。
在这个实施例中共轭梯度方法计算具有两项的误差函数的梯度，一项对应于似然性并且另一项对应于先验。似然性梯度的计算(块108)包括标准的图像处理操作的应用，该标准的图像处理操作包括几何变形、线性滤波、以及二次取样/向上取样(upsampling)，例如，其对LR图像构成过程的正向和反向建模。为了计算似然性梯度，需要一个初始的、试验HR图像。这可以是，例如，一个或多个的输入(观测的)LR图像序列(块110)的组合，该LR图像序列已被调准(块114)以产生具有初始调准的HR图像(块116)。然后这种初始调准的结果被用于计算似然性梯度(块108)。再次调用SR方法假定输入LR图像是再取样HR图像的结果，并且目标是找到HR图像，当依照成像观测模型在输入LR图像的栅格中再取样时，所述HR图像很好地预测输入(观测的)LR图像。
图3中的主计算循环的另一半与先验梯度(块120)有关。不同类型的概率函数可以被用于先验，但是就稳健MRF来说，先验梯度相当于对应的稳健各向异性扩散滤波器的一个更新，如在Michael J.Black等人的“RobustAnisotropic Diffusion(稳健的各向异性扩散)”，Institute of Electrical and ElectronicsEngineers(电气与电子工程师协会)，IEEE Transactions on Image Processing(IEEE图像处理学报)，第7卷第3期，1998年3月中所述。也可以替换地应用先验函数及其相应的梯度的其它实施例。
在块108和120中计算的梯度向迭代处理指明方向，在该方向上移动以便接近似然性和先验函数的组合中的波峰或波谷(见图2)。这种沿着似然性和先验函数曲线的移动导致到下一个HR图像的变化或更新(块124)，其生成当前的、试验HR图像126。然后把该当前的试验HR图像126插入等式(2)，并且把等式(2)的当前值和等式(2)的先前值之间的差值ΔE与阈值T相比较(块106)。如果ΔE仍太高，那么重复梯度计算循环。在块128中，可以作出关于LR图像初始调准是否需要精细化(块116)的附加判定。可以利用任何一种常规技术来评定这种调准。然后操作可以继续进行将LR图像调准到新的HR图像(块130)，其产生精细的调准(块134)。对似然性的下一个梯度计算可以使用具有这种精细调准134的HR图像。
应该注意的是，如果指定正态或高斯函数来对用于计算似然性(及其梯度)的附加噪声建模，那么HR图像更新(块124)可能导致下一个试验HR图像126变化太多，这是由于在输入LR图像序列110中的界外值产生的，从而导致方法论选择不是最佳的最终HR图像104。
一种用于利用稳健函数对观测模型中的噪声建模的方法论可以是如下所述的，该方法论的功能是能够“降低权值”或在某些情况下基本上忽略SR处理中的界外值。理想地，给出一组包括HR图像以及它们相应的LR图像的训练范例，应该可以知道噪声的概率分布。这种组难以获得，并且即使是可以得到的，其可能不包含归因于调准中误差的噪声。为此，在多数情况下利用来自统计文献的普通的稳健函数是更好的。使用的稳健函数的选择可以依赖于关于当前图像中可用的知识。例如，该过程可以依赖于关于存在界外值的可用的知识，使用两个不同稳健函数中的一个。如果希望观测的LR图像具有相对少的界外值，那么用来对附加噪声建模的稳健函数可以是众所周知的Huber函数。注意，可以由调准误差、模糊的不准确建模、随机噪声、运动目标、运动模糊、以及其它来源导致这种界外值。因而，如果希望一个处理具有，例如，相对准确的图像调准，则Huber函数可以被用来对附加噪声建模。Huber函数，尽管不是非常稳健的，但其具有凸面的优点，因而基本上在似然性函数中保证一个唯一的最佳值(最大值或最小值)。
另一方面，如果希望观测的LR图像具有相对多的界外值(例如，盐和胡椒噪声，和/或具有不准确调准的调准图像中的区域)，则稳健函数可以被设置为被认为是非常稳健的Tukey函数，从而基本上消除在解决方案中界外值的所有影响。
除依赖于希望相对少还是相对多的界外值，把稳健函数设置为不同的函数这种选择之外，依照训练数据的可用性，可以估算和改变稳健函数的形状。例如，可以由比例因子调节稳健函数的形状，其中如果有以一个或多个地面实况(ground truth)HR图像及它们相应的LR图像为形式的充分的训练数据，则从计算景物的观测的LR图像与它们的来自地面实况HR图像的投影之间的误差中获得的取样中估算比例因子。
另一方面，如果没有这种训练数据，可以通过把当前的、试验HR图像126(图3)视为地面实况HR图像来估算比例因子，并且把稳健估算值应用为比例因子。这种稳健估算值可以是，例如，关于中间值的余量的中间值。这里也可以替换地使用稳健估算值的其它类型。
依照本发明的另一个实施例，先验函数可以如下所述。如果有关于希望的HR图像的特定的或统计信息，例如对于观测的LR图像中获取的结构的计算机辅助设计(CAD)模型，那么可以使用下述专利申请中描述的那些类似的过程，该专利申请为转让给与本专利申请相同的受让人的美国专利申请号10/685867，名称为“Model Based De-Noising of Images and Image Sequences(基于模型的图像和图像序列的去噪)”。那些过程在诸如使用扫描方法(例如，聚焦离子束；扫描电子显微镜)的硅结构微观成像的应用中特别有益。那是因为在那种情况下被成像的结构具有对应的、基础的CAD模型。
另一方面，如果没有这种希望的HR图像的基于模型的知识存在，那么可以使用以例如稳健MRF为形式的普通先验函数。对应于这种先验的梯度部分相当于各向异性扩散方法论的一个更新。为此，可以使用最好地适合于希望的图像类型的多个不同的各向异性扩散方法中的任何一个。然而，对于普通的图像，在图像中详细地保存边界的优选方案是在4邻近值的MRF上的Tukey函数，如Black等人的上述文章中所述。其它选择方案包括具有适合于正在使用的滤波器类型的价值函数的邻近值方案(例如，8邻近值)，其可以是普通的或从训练图像组中知道的。同样见H.Scharr等人的“Image Statistics and AnisotropicDiffusion(图像统计和各向异性扩散)”，IEEE Conference on Computer Vision andPattem Recognition(计算机视觉和模式识别的IEEE会议)，840-847页，2003年10月13-16日。期望使用在这里描述的SR方法中上述选择方案中的任何一个以提供相对于使用高斯MRF作为普通先验的改善的性能。
图像调准在之前的讨论中，可以假定用HR图像126的取样栅格调准观测的或输入LR图像序列110中的取样栅格的几何变换是已知的。然而，在多数情况下，这种信息并不能先验的知道，除非在图像获取装置相对于景物中目标的显式控制运动下已获得了LR图像序列。因此，经常需要这些几何变换的估算。依照本发明的另一个实施例，可以如下估算这些几何变换。
首先，获得观测的或输入LR图像之间的几何变换的初始估算。这里依赖于图像获取装置相对于被成像的景物的运动特性，可以使用不同的选择方案。对于普通的序列，具有透视方面小的变化，使用球形仿射变换模型。对于具有透视方面大的变化的图像，仿射模型可能不再适合，因此应当使用更高阶的模型(例如投影)。最后，如果有景物中的物体之间的相对运动或透视变化以及深度的不连续性，球形模型通常可能不适合，以致于应当使用密集局部运动模型(光流)或分层模型。
一旦获得HR图像的合理估算(例如在4-6次迭代之后)，初始调准116(图3)可以使用当前形式的试验HR图像126来精细化(块134)。希望后者能提供比LR到LR图像调准114更精确的结果，这是因为LR图像受混叠的影响。对于HR图像和几何变换两者来说，这种技术可以与组合贝叶斯估算相比较。
不管用于调准的运动模型、以及调准类型(即LR到LR，或是HR到HR)、基于的现有技术梯度、多分辨率、稳健图像运动估算方法应当被用来确定将被输入到似然性梯度计算块108(图3)的调准。
彩色图像上述的本发明的实施例可以被假定为操作灰度级图像。然而，这些SR方法，也可以被应用到彩色图像上，这些彩色图像的每个像素通常表现为三个分量，对应于红(R)、绿(G)和蓝(B)色带。该方法可以被独立地应用到每一个色带上以获得RGB的最终HR图像。然而，把该方法应用到3个RGB带对计算要求非常高。为此在图4中示出的流程图中描述一个替换方法，其具有较小的计算强度，并且产生在感知上等效于把该方法应用到所有3个色带上的结果。在这个实施例中，操作首先把输入LR彩色图像序列404从RGB彩色空间转换到符合人类彩色感知的彩色空间(在这种情况下是CIELab(CommiteInternationale del’Eclairage)(块408)。在CIELab彩色空间中，三个分量是亮度(L)和两个对立的彩色分量(a，b)。上述的SR方法论仅被应用到L分量序列412，而不是a、b分量416，因为人类视觉系统主要在亮度上，而不是在对立的彩色分量上检测高空间频率。因此，对于a、b对立彩色分量416，以获得HRa、b图像422的重建可以简单地采用调准的LR图像的平均(块417)，在那里这种操作帮助减少分量图像中的噪声，然后，使用诸如双线性内插的标准内插方法进行内插以匹配所需的HR图像分辨率(块418)。这种方法论比把SR方法414应用到所有三个彩色通道上快得多，并且在多数情况下，预期其在感知上是相同的。执行回到RGB彩色分量的转换(块430)以在常规RGB空间中获得结果HR彩色图像432。
图4的方法论已被执行并应用到用相对便宜的数字摄像机获得的彩色图像序列上，该数字摄像机是用在Web交互应用中使用的消费产品种类(也称为网络摄像机)。在这种情况中，当一个人把摄像机握在手中大约1秒钟(产生一个被获取的帧序列)时记录了LR彩色图像序列404。用户手的自然晃动提供用于获得LR图像中不同取样栅格的必要运动。如可以在图5中看到的，图像是来自单个LR帧的三个彩色通道的线性内插(通过因子×3)(以匹配更高的分辨率)，然而图6中的图像是由SR方法对上述彩色图像所获得的HR重建，其中在这种情况中，将普通的Huber函数用于似然性和先验。显然地，所得到的HR图像比内插图像包含更多细节。
点扩展函数校准再调用点扩展函数(PSF)对摄像机(也称为图像获取系统)的非理想化建模。尽管图像获取系统的PSF的精确知识对于SR方法工作可能不是关键性的，但是如果把这种知识与SR方法相结合可以进一步改善结果HR图像的质量。理论上可以基于图像获取系统的规范计算PSF。例如，在视频电荷耦合装置(CCD)摄像机中，可以用镜头和CCD传感器规范来计算PSF。然而，那种信息不总是可用的，在这种情况下PSF由校准估算。
现有的估算PSF的方法是获得对应于点状来源(punctual source)(例如，黑色背景上的白点)的图像。可替换地，该图像可以对应于等效的点状来源，例如扩展的激光束。因此在摄像机传感器的图像平面(焦平面)上投影的图像对应于PSF。这个光学图像由传感器取样，以获得数字形式。如果取样频率比PSF的最高频率的两倍高，那么数字形式可以被认为是基础的、连续的PSF的完全表示。然而，在超分辨率重建的情况下，取样频率(对于LR图像)明显地低于为避免混叠所需要的频率。因此，单个的、点状来源的LR图像是有噪声的并且是基础的PSF的潜在混叠的形式。
依照本发明的实施例，利用移动点状来源的LR图像序列，而不是单个图像来恢复PSF的较高分辨率、无混叠形式。除了在这种情况下该过程具有结果HR图像是点状来源的图像以及PSF不是已知的知识之外，这种方法基本上可以与上述的从LR图像序列中获得HR图像的方法相同。因为在点状来源和PSF之间有线性关系，因此成像的景物与PSF的角色是可以互换的。因而，为恢复PSF，利用PSF作为一个点(或者，更通常地，用作用于校准PSF的测试的已知图像)，把上述相同的SR方法应用到利用点状来源获得的图像序列上是充分的。恢复的HR图像应当是基础的PSF的更高分辨率形式。那么这个所得到的、校准的PSF可以被用在观测模型中，用于确定早先所述的SR方法中的似然性函数。
系统应用只要有足够的计算能力以在合理的时间内产生估算处理的解决方案，上述SR方法就可以被用在各种不同的系统应用中。因为小而便宜的数字图像获取装置正变得普及，例如消费者等级的数字摄像机和网络摄像机，所以可以利用由这些装置捕获的LR图像执行SR方法，以从有限的图像获取硬件能力中提供增强的数字图像。特定的范例包括用附加于蜂窝式/移动电话、个人数字助理、以及其它主要目的不是获取图像的小电子装置上的固定状态数字摄像机获得的图像的分辨率改善。在这种应用中，当摄像机被用户握住时捕获LR图像序列，其中用户手的自然运动将产生生成所需的LR图像所需的运动。然而，这种便携式装置可能缺乏用以在合理的时间内执行SR方法所需要的操作的计算能力。替代地，LR图像序列要么被发送到为这种特别应用提供计算服务(例如基于Web的服务性行业模型)的专用服务器，要么被发送到个人计算机，其中HR图像或图像序列可以被重建。
关于网络摄像机，再次说明它们的最初目的并不是为了获得高分辨率的图像。因此，SR方法将把这种相对便宜的、低分辨率装置转换成高分辨率摄像机。例如，分辨率的增加可以允许具有640×480标准视频图形分辨率的网络摄像机以每英寸200点的分辨率扫描信函大小(letter sized)的文件，其适用于以合理的质量打印和传真传输。那么，通过简单地把要扫描的文件放置在用户桌上并且把网络摄像机瞄准该文件，当用户在其手中握住在文件上方的网络摄像机时获得图像序列，可以将这种便宜的和相对通用的装置用作临时的文件扫描仪。不需要附加的设备来握住该摄像机，因为用户手的自然晃动提供了LR图像间的差值所需的运动，以使超分辨率方法工作以产生高分辨率图像。
在另一个应用中，可以实现分辨率改善以用于标准视频到高清晰度视频的转换。在那种情况，可以从时间t到时间t+N(以帧的方式)收集N帧，其中这些帧变成用来生成对应于时间t+N的高分辨率帧的LR图像。在这种情况下，分辨率改善可以被限制到在收集低分辨率帧的时间间隔期间可见的景物部分。这个所得到的HR帧相对于标准视频到高清晰度视频的简单内插来说具有清楚感知的改善。这个实施例可以被用来生成，例如，高清晰度电视、HDTV、来自标准视频序列的视频，或者用来从标准(较低分辨率)视频序列中生成适于高清晰度打印的HR图像。
也可以在已被扫描成像装置(例如，扫描电子显微镜、聚焦的离子束、以及激光电压探针)获得的图像中应用SR方法以获得图像增强，包括去噪声、去模糊、以及分辨率改善。为获得SR方法所需的不同的LR图像，这些扫描成像装置允许扫描模式改变，因而产生SR方法所需的具有次像素移动的不同取样栅格。这种装置可以是用在微电子测试和制造中的工具的一部分，以成像和/或修复半导体结构以及光刻掩膜。有时，需要在低于最高可能的分辨率下操作这些工具，以增加生产量或因为工具的参数是对纳米加工最佳而不是最佳成像。利用这些图像，特定的先验模型是可用的，这适合于使得SR方法更有效。
而且，由于微电子制造工艺升级，被检查的结构特征正变得越来越小，以致于将来当使用当前的扫描成像装置时，可以产生较低质量的图像。通过增强来自较旧一代扫描成像装置的图像，将来将可以延长这些工具的使用期限，而不需要升级或取代这些工具，因此转化成能显著的节约工具成本。图7-9和10-11示出了两个范例，分别是把SR方法应用到重建高分辨率扫描成像装置的图像。在第一范例中(图7-9)，从模拟的有噪声低分辨率研磨(milling)序列，重建高分辨率聚焦离子束图像。在图7中，示出了用聚焦的离子束工具获取的原始的HR图像。在图8中，示出了在低通滤波之后、具有附加噪声的4×次取样图像序列中的一个LR图像。图9示出了SR重建。注意，在SR重建(图9)和LR图像(图8)之间在细节上明显的改善。对应于具有移位的研磨盒(millboxes)的真实研磨序列，细节上的改善在第二个范例中也是明显的。比较使用最近邻域内插放大8倍的初始的LR图像(图10)中的一个，和应用SR重建之后放大8倍的结果HR图像(图11)。
可以利用程序控制计算机执行上述的SR方法。计算机程序产品或软件可以包括具有在其上存储指令的机器或计算机可读介质，该指令可以用来对计算机(或其它电子装置)编程以执行依照本发明的实施例的处理。在其它实施例中，可以由特定的包含微码、硬连线逻辑的硬件部件，或者由程序控制计算机部件和定制硬件部件的任何组合来执行操作。
机器可读介质可以包括用于以机器(例如，计算机)可读形式存储或传送信息的任何机构，但是并不限于软盘、光盘、致密盘只读存储器(CD-ROM)、以及磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、磁卡或光卡、闪存、在因特网、电的、光学的、声学的或其它形式上的传播信号(例如，载波、红外信号、数字信号，等)上的传输，等等。
本发明并不限于上述的特定实施例上。例如，等式(1)的观测模型中的噪声n，其被建模为非高斯稳健函数，可替换地可以是先前从HR图像和LR图像序列对中知道的任何噪声分布。因此，其它实施例也在权利要求的范围内。
权利要求
1.一种图像处理方法，包括给出景物的多个观测的较低分辨率(LR)图像，使用贝叶斯估算图像重建方法论计算景物的结果较高分辨率(HR)图像，其中该方法论基于似然性概率函数产生结果HR图像，似然性概率函数执行存在噪声的LR图像构成的模型，以及其中该方法论通过概率的、非高斯的、稳健函数对噪声建模。
2.如权利要求1的方法，其中该方法论基于最大后验概率产生结果HR图像，给出观测的LR图像，其是未知的HR图像的条件概率，其中该方法论基于似然性函数和先验概率函数的组合产生结果HR图像，先验概率函数表明哪些HR图像是可能的。
3.如权利要求2的方法，其中当基于似然性函数计算试验HR图像时，由稳健函数对噪声的建模导致在观测的LR图像中统计的界外值像素的作用降低，以使得所述观测的LR图像的计算的似然性概率比由高斯函数对噪声建模的情况要高。
4.如权利要求3的方法，其中稳健函数是Huber函数。
5.如权利要求4的方法，其中稳健函数是Tukey函数。
6.如权利要求2的方法，其中在方法论中使用的先验函数执行高斯马尔可夫随机场(MRF)、Huber MRF、以及Tukey MRF中的一个来表明图像中哪些像素取哪些值的概率。
7.如权利要求3的方法，进一步包括依赖于观测的LR图像是否具有相对少和相对多的界外值，把稳健函数设置为不同的函数，其中该方法论依照训练数据的可用性估算稳健函数的形状。
8.如权利要求3的方法，其中该方法论通过选择比例因子来估算稳健函数的形状，其中如果有充分的以一个或多个地面实况HR图像和它们相应的LR图像为形式的训练数据，则从计算景物的观测的LR图像与它们的来自地面实况HR图像的投影之间的误差中获得的取样中估算比例因子。
9.如权利要求8的方法，其中如果有不充足的训练数据，则通过(1)把迭代的最大后验估算处理的当前的试验HR图像视为地面实况HR图像，以及通过(2)对于比例因子的稳健估算量来估算比例因子。
10.如权利要求3的方法，进一步包括基于用于观测的LR图像中捕获的结构的计算机辅助设计模型来定义先验函数。
11.如权利要求3的方法，其中先验函数是基于非高斯的、稳健马尔可夫随机场。
12.一种系统，包括处理器；以及具有指令的存储器，当该指令被处理器运行时，使用贝叶斯图像重建方法论根据执行包括附加噪声的LR图像构成的模型的似然性概率函数，基于景物的多个较低分辨率(LR)图像生成景物的结果较高分辨率(HR)图像，并且其中该方法论通过概率的、非高斯的、稳健函数对附加噪声建模。
13.如权利要求12的系统，其中处理器和存储器是台式和笔记本式个人计算机其中之一的一部分，以及其中存储器存储进一步的指令，当由处理器运行该指令时，基于从数字摄像机下载到个人计算机的图像获得多个LR图像。
14.如权利要求13的系统，其中该指令基于从数字摄像机下载到个人计算机上的视频，获得多个LR图像作为视频，并且其中多个结果HR图像将被生成为景物的HR视频。
15.如权利要求14的系统，其中该指令以高清晰度电视、HDTV格式生成HR视频。
16.如权利要求12的系统，其中该指令基于最大化后验概率生成结果HR图像，所述后验概率是似然性函数和先验概率函数的组合，先验函数表明哪些HR图像是可能的。
17.一种制造产品，包括包含指令的机器可存取介质，当执行指令时，倘若给出景物的多个观测的较低分辨率(LR)图像，则导致机器使用贝叶斯图像重建方法论计算景物的结果较高分辨率(HR)图像，其中该方法论基于似然性概率函数产生结果HR图像，所述似然性概率函数执行存在噪声的LR图像构成的模型，以及其中该方法论通过加权函数对噪声建模，当基于似然性函数计算试验HR图像时，其导致观测的LR图像中统计的界外值像素的作用降低，以使得给出试验HR图像，所述观测的LR图像的计算的似然性概率比由高斯函数对噪声建模的情况要高。
18.如权利要求17的制造产品，其中该指令是这样的以致于方法论基于最大化后验概率产生结果HR图像，给出关于LR图像的观测，其是未知的HR图像的条件概率，其中该方法论基于似然性函数和先验概率函数的结合产生结果HR图像，先验函数表明哪些HR图像是可能的。
19.如权利要求18的制造产品，其中介质包括进一步的指令，该指令依赖于多个观测的LR图像是否具有相对少和相对多的界外值，把加权函数设置为不同的函数，以及其中该方法论依照训练数据的可用性估算加权函数的形状。
20.如权利要求18的制造产品，其中该指令是这样的以致于方法论通过选择比例因子估算加权函数的形状，其中如果有充分的以一个或多个地面实况HR图像和它们相应的LR图像为形式的训练数据，则从计算景物的多个观测的LR图像与它们的来自地面实况HR图像的投影之间的误差中获得的取样中估算比例因子。
21.如权利要求20的制造产品，其中该指令是这样的以致于如果有不充足的训练数据，则通过(1)把迭代的最大后验估算处理的当前的试验HR图像视为地面实况HR图像，以及通过(2)对于比例因子的稳健估算量来估算比例因子。
全文摘要
给出景物的多个观测的较低分辨率(LR)图像，利用贝叶斯估算图像重建方法论计算景物的结果较高分辨率(HR)图像。该方法论基于执行存在噪声的LR图像构成的模型的似然性概率函数产生结果HR图像。通过概率的、非高斯的、稳健函数对这个噪声进行建模。此外还描述并要求保护其它实施例。
文档编号G06T5/00GK1734500SQ20051009805
公开日2006年2月15日 申请日期2005年6月30日 优先权日2004年6月30日
发明者O·内斯塔尔斯, H·W·豪泽克尔, S·M·埃廷格尔 申请人:英特尔公司