图像噪声降低的制作方法与工艺

文档序号:13109460阅读:142来源:国知局


背景技术:
相机被用于捕获图像。通常,在有一些图像噪声存在于图像中的意义上,图像是有噪声的。图像噪声可以是随机的(或伪随机的),使得在相同场景的两幅不同图像的图像噪声之间几乎没有或没有关联。在本说明书的上下文中,图像噪声是存在于从图像捕获过程得到的图像中的不想要的信号,并且可以例如由传感器和/或由捕获图像的相机的电路产生。由于在相同场景的两幅不同图像的图像噪声之间通常几乎没有或没有关联,所以图像噪声可以通过将相同场景的快速连续地捕获的两幅或更多幅图像的序列进行组合来被降低。将图像进行组合将减少从图像捕获过程得到的每幅单独的图像中的随机波动的效应。例如,在每个像素位置处,可以对针对不同图像的像素值求平均值以确定经组合的图像的像素值。经组合的图像是经降低噪声的图像。由于被组合的图像在不同的时刻被捕获,所以可能在捕获不同图像的时间之间存在在场景中的对象的一些运动。另外,可能在捕获不同图像的时间之间存在相机的一些移动。具体地,如果用户在相机捕获图像的序列的同时持有该相机,则很有可能在捕获不同图像的时间之间将存在一些相机移动。被组合以形成经降低噪声的图像的图像之间的运动可以导致图像之间的一些几何不对齐(misalignment),其转而可能将一些模糊引入到经降低噪声的图像中。存在图像之间的各种类型的“对齐(alignment)”,例如几何对齐、辐射对齐和时间对齐。本文中的描述考虑图像的几何对齐,其与处理图像之间的运动是相关的,并且如本文中使用的术语“对齐”应当被理解为指代“几何对齐”。图像之间的不对齐导致在将图像进行组合以便降低噪声时出现问题。另外,在图像被捕获的同时相机的移动可能将运动模糊引入到图像中,其能够降低图像的清晰度。

技术实现要素:
提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容不旨在标识要求保护的主题的关键特征或必要特征,也不旨在用于限制要求保护的主题的范围。提供了一种使用图像的集合来形成经降低噪声的图像的方法,所述方法包括:对所述集合的所述图像中的至少一些图像应用相应变换以使所述至少一些图像更接近与来自所述图像的集合的参考图像的对齐;针对经变换的图像中的每幅经变换的图像,确定所述经变换的图像与所述参考图像的对齐的相应测量;使用所确定的对齐的测量来确定针对经变换的图像中的一幅或多幅经变换的图像的权重;以及使用所确定的权重来组合包括经变换的图像中的所述一幅或多幅经变换的图像的多幅图像,以形成经降低噪声的图像。提供了一种用于使用图像的集合来形成经降低噪声的图像的处理模块,所述处理模块包括:对齐逻辑,所述对齐逻辑被配置为:对所述集合的所述图像中的至少一些图像应用相应变换以使所述至少一些图像更接近与来自所述图像的集合的参考图像的对齐;针对经变换的图像中的每幅经变换的图像,确定所述经变换的图像与所述参考图像的对齐的相应测量;以及组合逻辑,所述组合逻辑被配置为:使用所确定的对齐的测量来确定针对经变换的图像中的一幅或多幅经变换的图像的权重;以及使用所确定的权重来组合包括经变换的图像中的一幅或多幅经变换的图像的多幅图像,以形成经降低噪声的图像。提供了一种用于对第一图像进行变换以使所述第一图像更接近与第二图像的对齐的方法,所述方法包括:实施多核跟踪技术,以基于所述第二图像的目标区域的集合与所述第一图像的候选区域的集合之间的相似度来确定所述第一图像的所述候选区域的集合的位置,其中所述第二图像的所述目标区域分别被定位在所述第二图像的预定点集的位置上;使用所述候选区域的集合的所确定的位置中的至少一些位置来初始化LucasKanade逆算法;使用所述LucasKanade逆算法来确定所述第一图像的、与所述第二图像的所述预定点集中的至少一些点相对应的点集;基于误差度量来确定要被应用到所述第一图像的变换的参数,所述误差度量指示所述第一图像的所确定的点集中的至少一些点的变换与所述第二图像的所述预定点集的对应点之间的误差;以及对所述第一图像应用所述变换以使所述第一图像更接近与所述第二图像的对齐。提供了一种用于对第一图像进行变换以使所述第一图像更接近与第二图像的对齐的处理模块,所述处理模块包括对齐逻辑,所述对齐逻辑包括:多核跟踪逻辑,所述多核跟踪逻辑被配置为实施多核跟踪技术以基于所述第二图像的目标区域的集合与所述第一图像的候选区域的集合之间的相似度来确定所述第一图像的所述候选区域的集合的位置,其中所述第二图像的所述目标区域分别被定位在所述第二图像的预定点集的位置上;LucasKanade逆逻辑,所述LucasKanade逆逻辑被配置为使用LucasKanade逆算法来确定所述第一图像的、与所述第二图像的所述预定点集中的至少一些点相对应的点集,其中由所述多核跟踪逻辑确定的所述候选区域的集合中的至少一些候选区域的位置被用于初始化所述LucasKanade逆算法;以及变换逻辑,所述变换逻辑被配置为:(i)基于误差度量来确定要被应用到所述第一图像的变换的参数,所述误差度量指示所述第一图像的所确定的点集中的至少一些点的变换与所述第二图像的所述预定点集的对应点之间的误差;以及(ii)对所述第一图像应用所述变换以使所述第一图像更接近与所述第二图像的对齐。还可以提供计算机可读代码,当所述代码运行在计算机上时所述计算机可读代码适于执行本文中描述的方法中的任何方法的步骤。另外,计算机可读代码可以被提供用于生成根据本文中描述的示例中的任何示例的处理模块。计算机代码可以被编码在计算机可读存储介质上。如对于技术人员而言将是显而易见的,以上特征可以在适当情况下被组合,并且可以与本文中描述的示例的方面中的任何方面进行组合。附图说明现在将参考附图来详细描述示例,在附图中:图1是用于形成经降低噪声的图像的处理模块的示意图;图2是用于形成经降低噪声的图像的方法的流程图;图3是示出了针对图像的集合的清晰度指示的值的图形;图4是用于确定两幅图像之间的点对应关系的方法的流程图;图5表示图像内的用于多核跟踪技术的区域集合和该图像内的用于LucasKanade逆算法的对应的区域集合;图6是示出了针对图像的集合的不对齐参数的值的图形;图7a示出了当在场景中存在运动时图像的集合的平均的示例;图7b示出了指示图像的集合中的运动区域的二进制运动掩码;图7c示出了经修改的运动掩码;图7d示出了经平滑的运动掩码;图8示出了参考图像、经降低噪声的图像和经运动校正的降低噪声图像的示例;图9是用于形成经降低噪声的图像的处理模块被实施在其中的计算机系统的示意图;以及图10示出了用于生成体现图形处理系统的集成电路的集成电路制造系统。附图图示了各种示例。技术人员将认识到附图中的图示的元件边界(例如,框、框的组或者其他形状)表示边界的一个示例。可能的是,在一些示例中,一个元件可以被设计为多个元件或者多个元件可以被设计为一个元件。在适当情况下,在整个附图中使用共同的附图标记来指示相似的特征。具体实施方式在本文中描述的示例中,经降低噪声的图像是使用图像的集合来形成的。该集合中的图像中的一幅图像可以被选择为参考图像,并且该集合中的其他图像被变换使得它们更好地与参考图像对齐。之后使用根据图像与参考图像的对齐的权重来将图像中的至少一些图像进行组合以形成经降低噪声的图像。通过根据图像与参考图像的对齐来对图像进行加权,减少经组合的图像中的图像之间的不对齐的效应。另外,在本文中描述的示例中,图像的集合中的第一图像与图像的集合中的第二图像(例如,参考图像)之间的点对应关系可以通过实施多核跟踪(KMT)技术以确定第一图像的候选区域的集合的位置并且使用所确定的位置来初始化LucasKanade逆(LKI)算法来被确定。LKI算法可以之后被用于确定第一图像的、与第二图像的预定点集中的至少一些点相对应的点集。这些点对应关系可以之后被用于确定要被应用到第一图像以使第一图像更接近与第二图像的对齐的变换的参数。注意,MKT技术给出包括描述针对完整图像的对齐的对齐参数的全局对齐,并且之后该全局对齐被用于确定用于在LKI算法中使用的初始位置,LKI算法之后获得本地对齐以确定点对应关系。如下面更详细地描述的,使用多核跟踪技术来初始化LucasKanade逆算法解决了LucasKanade逆算法有时可能遇到的一些问题。例如,在没有充分准确的初始化的情况下,LucasKanade逆算法可能不能收敛于准确的解。对多核跟踪技术的使用可以提供针对LucasKanade逆算法的充分准确的初始化,即使点对应关系包含位置上的大的移位并且即使存在图像之间的诸如旋转的仿射变换。另外,LucasKanade逆算法在图像的平坦区域不能良好地执行,因为该算法使用梯度来收敛于解。多核跟踪技术包括特征直方图的计算,该特征直方图可以被用于指示区域是否平坦并且因此是否应当被丢弃使得在实施LucasKanade逆算法时不使用该区域。更详细地,在本文中描述的示例中,候选图像(即,除了参考图像以外的图像)使用MKT参数而被扭曲回参考图像,使得来自候选图像的任何区域应当接近于参考图像的对应区域。之后LKI算法可以使用在执行MKT时使用的相同区域,因为已经针对它们计算了一些信息(例如,如下面所描述的,可以针对区域计算强度直方图,其可以被用于确定该区域是否平坦)。MKT技术可以包括缩放功能和旋转功能,所以将完整候选图像扭曲回参考图像可以具有一些准确性优点,因为本文中描述的LKI算法不包括缩放功能或旋转功能。本文中描述的LKI算法不包括缩放功能或旋转功能,因为其操作在小区域上,所以允许缩放和旋转将对小区域引入太多自由度由此导致错误。所以,对MKT技术的使用将缩放和旋转考虑在内,使得LKI算法不需要考虑旋转和缩放并且方法仍然具有对旋转和缩放的容忍度。注意,由LKI算法获得的点对应关系提供投影变换,其可以包括缩放和旋转。在本文中描述的示例中,在MKT步骤上不估计投影变换,因为MKT技术将由于太多自由度而变得不稳定。本文中描述的MKT技术具有四个自由度(x、y、缩放、角度)并且投影变换具有八个自由度。现在将仅通过示例的方式来描述实施例。图1示出了处理模块100,其被配置为接收图像的集合并且使用图像的集合来形成经降低噪声的图像。另外,在图1所示的示例中,处理模块100被配置为应用运动校正使得从处理模块100输出的图像是经运动校正的、经降低噪声的图像。处理模块100包括选择逻辑102、对齐逻辑104、组合逻辑106和运动校正逻辑108。对齐逻辑104包括点对应关系逻辑110、变换逻辑112和对齐测量逻辑114。对应关系逻辑110包括多核跟踪逻辑116和LucasKanade逆逻辑118。处理模块100和其逻辑块可以以硬件、软件或它们的组合来实施。参考图2中示出的流程图来描述处理模块100的操作。在步骤S202中,处理模块100接收图像的集合。为了给出一些示例,可以从图像传感器、从其他处理模块或从存储器接收图像,图像传感器、其他处理模块和存储器可以被实施在相同设备(例如,相机、智能电话、平板等)上作为处理模块100。图像的集合中的图像在它们基本上具有相同场景的意义上是相似的。例如,图像的集合可以例如利用在突发模式中操作的相机来被快速连续地捕获,使得在短时间段(例如,3秒)内捕获多幅图像(例如,24幅图像)。本文中给出的数目仅仅通过示例的方式来给出并且在不同实施方式中可以是不同的。图像的集合可以包括视频序列的帧。在选择逻辑102处接收图像的集合。作为由处理模块100实施的噪声降低方法的非常简要的概述:-选择逻辑102基于图像的清晰度从图像的集合选择参考图像,并且丢弃模糊图像(步骤S204到S208);-对齐逻辑104对图像进行变换使得它们与参考图像更紧密地对齐,并且丢弃高度不对齐的那些图像(步骤S210到S218);-组合逻辑106对图像进行组合以形成经降低噪声的图像(步骤S220到S222);以及-运动校正逻辑108校正经降低噪声的图像中的、由图像之间的运动产生的伪影(步骤S224到S226)。下面更详细地描述这些过程。在步骤S204中,选择逻辑102确定针对图像的清晰度指示。注意,捕获图像的相机可以被实施在手持设备中,并且因此图像中的一些图像可能由于相机的运动而是模糊的。由相机的运动导致的模糊通常不是期望效应。因此,在步骤S206中,如果针对图像的所确定的清晰度指示低于清晰度阈值,则丢弃该图像。作为示例,清晰度指示可以是针对相应图像的图像拉普拉斯(Laplacian)估计的绝对值的和。图像拉普拉斯是图像中的高频率的存在的良好指示符,并且模糊图像通常具有不太高的频率能量。在图像Ii的像素位置(x,y)处的拉普拉斯L(Ii(x,y))是在该像素位置处的图像的2阶导数并且由以下等式给出:L(Ii(x,y))=∂2Ii∂2x+∂2Ii∂2y,]]>其中,Ii(x,y)是在位置(x,y)处的图像像素值,并且L是拉普拉斯算子。计算拉普拉斯是计算梯度的幅值的较简单运算。(针对拉普拉斯计算的)二阶导数对噪声比梯度的幅值更敏感,因此在一些示例中,梯度的幅值可以被用于确定清晰度指示,但是在本文中详细描述的示例中,由于拉普拉斯的简单性而使用拉普拉斯并且可以做出噪声对于每幅图像将大致相同的假设。例如,拉普拉斯可以通过利用合适的滤波器对图像进行滤波来被估计。针对图像i的清晰度指示被表示为并且为在该图像的全部像素位置上的图像拉普拉斯的绝对值的和,使得:图像的清晰度指示是该图像的清晰度(或相反地模糊度)的测量。清晰度阈值可以使用针对图像的集合的清晰度指示的集合的均值和标准差来被确定,其中,针对N幅图像的集合,例如,阈值可以被设定在(其中,作为示例,ε1可以处在1.1≤ε1≤1.4的范围中),其中如果图像的清晰度指示低于该阈值则丢弃该图像。也就是说,如果下式成立,则在步骤S206中丢弃图像i:作为示例,图3示出了针对十幅图像的集合的清晰度指示302i的图形(i=0..9)。在该示例中,清晰度阈值由虚线304示出。图像6和7具有低于清晰度阈值304的清晰度指示3026和3027。因此,在步骤S206中图像6和7被丢弃,因为它们被确定为太模糊。其他图像的清晰度指示302高于清晰度阈值304并且因此在步骤S206中不丢弃那些其他图像。注意,在一些其他示例中,可能不执行步骤S206。也就是说,在一些示例中,图像不会基于它们的清晰度而被丢弃。这可以帮助简化过程,但是可能导致出现在最终图像中的更多模糊度。在步骤S208中,基于清晰度指示302,选择逻辑102将来自图像的集合的最清晰的图像选择为参考图像。因此,在图3所示的示例中,图像5被选择为参考图像,因为它的清晰度指示3025高于十幅图像的集合中的其他图像的清晰度指示302。将最清晰的图像选择作为参考图像对下面描述的方法的剩余部分是有益的。例如,与确定向模糊图像对齐相比,确定向清晰图像对齐是更容易的。在其他示例中,参考图像能够使用不同的准则(例如,不同准则的组合)来被选择。例如,参考图像能够基于图像的内容来被选择,即来自图像的集合的、其中最多数目的人正在微笑或者其中最多数目的人使其眼睛睁开和/或正在注视着相机的图像可以被选择作为参考图像。总体上,“最好的”图像可以被选择作为参考图像,但是确定哪个图像被认为是最好的准则可以在不同示例中是不同的。尚未被丢弃的图像(例如,在图3所示的示例中的图像0到图像5以及图像8和图像9)从选择逻辑102被传递到对齐逻辑104。在步骤S210到S214中,对齐逻辑104对图像中的每幅图像(除了参考图像和被选择逻辑102丢弃的图像以外)确定并应用相应变换以使它们更接近与参考图像的对齐。在下面描述的示例中,针对图像Ii的变换被表示为单应性矩阵Hi。单应性矩阵Hi是以满足以下等式为目的而确定的矩阵:xi=Hixr,其中,xi是图像Ii的点集并且xr是参考图像Ir的对应点集。所以为了确定变换的参数(即,单应性矩阵Hi的分量),首先确定点对应关系,即确定图像Ii的哪些点与参考图像Ir的点集xr中的至少一些点相对应。参考图像Ir的点集xr是预定点集,并且可以例如包括均匀晶格(uniformlattice)的点。因此,在步骤S210中,点对应关系逻辑110针对要对其应用变换的图像中的每幅图像确定与参考图像Ir的预定点集xr相对应的点集xi。在本文中描述的示例中,点集xi是使用LucasKanade逆(LKI)算法来被确定的。另外,LKI算法使用多核跟踪(MKT)技术的结果来被初始化。在图4的流程图中示出了步骤S210的细节。具体地,步骤S210包括步骤S402、S404和S406。在步骤S402中,MKT逻辑116实施MKT技术,以基于参考图像Ir的目标区域的集合与图像Ii的候选区域的集合之间的相似度来确定图像Ii的候选区域的集合的位置。图5表示图像Ii,其被表示为502。参考图像的预定点集的位置在图像502的至少部分上创建均匀晶格,并且图5示出了这些点(其中的每个点利用附图标记504来表示)。在该示例中,晶格是点504的5x7晶格但是在其他示例中可以使用预定点的不同布置,例如10x10晶格。图5中示出的圆506表示在步骤S402中由MKT逻辑116确定位置所针对的候选区域。图5中示出的方块508表示由如下面所描述的LKI算法使用的候选区域。在MKT技术中,将候选区域506与参考图像Ir的目标区域进行比较。图5中的圆506仅仅是说明性的,并且区域能够具有任何合适的形状,例如目标区域可以为参考图像的31x31像素的块,被定位在来自参考图像Ir的预定点集的点504的位置(例如,以其为中心)上。多核跟踪技术是本领域中已知的,例如如Hager、Dewan和Stewart所著的“MultiplekerneltrackingwithSSD”(IEEEConferenceonComputerVisionandPatternRecognition,2004,第790至679页)中所描述的。因此,为简洁起见,本文中不提供对多核跟踪技术的深度解释。然而,作为更高层次的解释,MKT技术利用例如包含在目标区域中的像素强度值的核加权直方图q来表示参考图像Ir的目标区域中的每个目标区域。直方图q包括多个直方图组(bin),即q=(q1,q2,…,qm)T,其中m是直方图中的组的数目。直方图的组利用以参考图像Ir中的、与预定点集504中的一个点的位置相对应的位置c为中心的核函数进行加权。对于图像Ii的候选区域506以相同的方式,核加权直方图p(c’)利用以图像Ii中的位置c’为中心的核函数来确定。假设位置c’接近位置c,则c与c’之间的差能够被表示为Δc=c′-c。两个直方图q(c)与p(c’)之间的相似度函数可以被用于找到针对Δc的值,其提供参考图像Ir的目标区域与图像Ii的候选区域506之间的改进的对应关系。该方法可以被迭代直到Δc的值下降到阈值以下或者直到已经执行了最大数目的迭代。该构思可以被扩展到多核,使得可以找到变换ΔC,其提供良好对应关系以用于将参考图像Ir的多个目标区域跟踪到图像Ii的候选区域506。利用单核跟踪,Δc可以被发现为平移,即Δc=(Δcx,Δcy);但是利用多核跟踪,ΔC可以被发现为更复杂的变换,例如仿射变换,其包括旋转(θ)功能和/或缩放(λ)功能,即ΔC=(Δcx,Δcy,θ,λ)。因此,总之,MKT逻辑116通过迭代地改变候选区域的位置来迭代地优化参考图像的目标区域的集合的特征直方图(例如,强度直方图)与候选区域的集合的对应特征直方图之间的相似度,实施MKT技术。如果图像Ii的候选区域506中的一些候选区域对于利用其工作的LKI算法被确定为太平坦,则它们可以被拒绝。LKI算法依赖于梯度以便收敛于解,所以如果图像区域是平坦的,则LKI算法不会一直提供良好的结果。MKT技术可以提供用于确定区域是否平坦的简单方式,使得平坦区域中的点能够被拒绝,使得它不被LKI逻辑118使用。例如,针对区域的计数器(或“权重”)可以被用作关于区域是否平坦的指示。从左向右读取直方图,如果组不为零,则它的权重被递增。另外,如果当前组左边的组为零则当前组的权重再被递增1。如果所有权重的和大于3,则该区域被用于在LKI算法中进行跟踪。否则,该区域被丢弃,因为其被确定为平坦的。如果权重低于4,则意味着该块具有恒定颜色,使得它具有为平坦区域的高概率。对此的原因在于如果图像的区域具有恒定颜色(即,其是平坦区域),则这导致具有单个非零组的直方图,因为所有像素具有相同值。平坦区域可以通过噪声和对其值的量化来改变(在生成直方图时),这可以导致具有针对平坦区域的两个连续的非零组的直方图。对于被认为不平坦的区域,其直方图应当具有至少两个非连续的非零组(所以区域中的颜色更加不同于由噪声改变的颜色)或三个连续的非零组。该方法的算法可以被视作如下:图5示出了如方块(例如,方块508)的、没有被确定为太平坦的区域。由MKT逻辑106确定的区域中的一些区域不被提供给LKI逻辑118,因为它们太平坦并且因此图5示出了一些区域(例如,区域50613)不具有意味着它们不被LKI逻辑118使用的相关联的方块。在步骤S404中,LKI逻辑118使用由MKT技术确定的候选区域的集合中的至少一些候选区域的位置来初始化LKI算法。LKI算法是本领域中已知的,例如如SimonBaker和IainMatthews所著的“Lucas-Kanade20YearsOn:AUnifyingFramework”(InternationalJournalofComputerVision,2004,第221至255页)中所描述的。在步骤S406中,LKI逻辑118使用LKI算法来确定图像Ii中的、与参考图像Ir的预定点集中的点中的至少一些点相对应的点集。由于LKI算法是本领域中已知的,所以为简洁起见,在本文中不提供对LKI算法的深度解释。然而,作为更高层次的解释,LKI算法目的在于使两个图像块之间的均方误差的和最小化:第一块为参考图像Ir的目标区域,并且第二块为图像Ii的候选区域,其被扭曲回到参考图像的坐标上。两个图像块之间的均方误差的和通过改变扭曲参数p(即,将p改变为p+Δp)来被最小化,以找到使均方误差的和最小化的Δp的值。根据LKI算法,这被迭代地进行直到Δp的值低于阈值或者直到已经执行了最大数目的迭代。在已经执行了LKI算法之后的扭曲参数p的最终值被用于确定图像Ii中的、与参考图像Ir的预定点集中的至少一些点相对应的点集的位置。LKI算法有时能够遇到的问题与参考图像Ir中的图像梯度有关。当在一个方向上的梯度支配在垂直方向上的梯度时(例如,当在x轴上的梯度支配在y轴上的梯度时,或者反之亦然),则LKI算法的结果可以是错误的。然而,如可以在下面提供的LKI算法的更详细描述中看到的,针对图像Ii的点集中的、没有被确定为太平坦的点中的每个点,LKI算法包括确定包围该点的图像块的经扭曲的版本,并且确定针对该图像块的海森(Hessian)矩阵。海森矩阵的元素指示跨图像块的经扭曲的版本的在不同方向上的梯度的平方值的和。在一个方向上的梯度支配在另一方向上的梯度的问题可以通过将在x和y轴上的梯度的平方值的和进行比较来解决。如果在一个方向上的针对区域的梯度的平方值的和比在垂直方向上大至少20倍,则该区域被丢弃。通过以这种方式丢弃区域,LKI逻辑118将不会输出针对被丢弃的区域的点对应关系。注意,该比较不会显著地增加由点对应关系逻辑110执行的计算,因为梯度的平方值的和可以从海森矩阵(作为LKI算法的一部分被计算)中提取。当两个梯度之间的比值很大(例如,≥20)时,海森被称为“病态”的。图5利用具有虚线的方块示出了具有病态海森的区域,诸如区域50852。由点对应关系逻辑110确定的点对应关系被提供给变换逻辑112。在图5所示的示例中,存在由MKT逻辑116确定的包围相应35个预定点504的35个区域。那些区域中的七个区域是平坦的(并且不具有图5中示出的对应方块)并且因此MKT逻辑116丢弃它们。在剩余的28个区域中,LKI逻辑118确定它们中的五个区域具有病态海森(并且具有在图5中利用虚线示出的方块)并且因此LKI逻辑118丢弃它们。因此,针对剩余的23个区域(即,在图5中利用实线示出的那些区域)确定点对应关系并将针对这些区域的点对应关系提供给变换逻辑112。在步骤S212中,变换逻辑112基于指示从点对应关系逻辑110接收到的点集的变换与参考图像Ir的预定点集的对应点集之间的误差的误差度量来确定要被应用到图像Ii的变换的参数。例如,针对图像Ii的变换是由矩阵Hi描述的单应性,其能够被用于将图像Ii的像素位置与参考图像Ir的对应像素位置更紧密地对齐。作为示例,单应性可以限于2D投影变换。这提供在对齐估计的灵活性与简单性之间的良好权衡。确定变换的参数的步骤可以包括确定单应性矩阵Hi的元素,使得:xi=Hixr,其中xi是图像Ii的、与参考图像的点xr相对应的点集,如由点对应关系逻辑110所确定的。步骤S212包括通过计算在两个点集xi和xr上的最小均方误差(MMSE)来优化单应性矩阵Hi的元素。这包括通过例如对以下等式进行求解来找到提供针对点集的最小均方误差的针对矩阵Hi的元素的值:000-xrj-yrj1xrjyijyrjyijxrjyrj1000-xrjxij-yrjxijh1h2h3h4h5h6h7h8=-yijxij,]]>对于j=0到N,其中N是确定对应关系所针对的点的数目。注意,N至少为4使得能够找到针对Hi的解,并且在以上参考图5描述的示例中,N=23。通常,增大N将增大针对矩阵Hi确定的值的准确度。为了得到以上的等式,注意针对参考图像Ir的第j个点并且针对图像Ii的第j个点在其他示例中,(除了MMSE以外的)其他误差度量可以被用于找到针对矩阵Hi的解。在步骤S214中,变换逻辑112对图像Ii应用变换以使其更接近与参考图像Ir的对齐。对齐逻辑104针对从选择逻辑102接收到的图像中的除了参考图像以外(无需对参考图像进行变换)的每幅图像执行步骤S210到S214,使得相应变换被应用于不同图像。步骤S210、S212和S214能够被实施为用于对第一图像(例如,图像Ii)进行变换以使第一图像更接近与第二图像(例如,参考图像Ir)的对齐的独立方法。这些步骤在本文中在图2所示的噪声降低方法的部分的上下文中进行描述,但是它们能够被使用在其中其将有助于对第一图像进行变换使得第一图像更接近与第二图像的对齐的其他场景中。即使图像已经被变换,在图像与参考图像之间也可能仍然存在一些不对齐。当图像被组合时,图像之间的不对齐可能是有害的。因此,如下面在步骤S216和S218中所描述的,如果经变换的图像显著地与参考图像不对齐,则经变换的图像可以被对齐逻辑104丢弃。在步骤S216中,对齐测量逻辑114确定经相应变换的图像与参考图像的对齐的测量。经变换的图像被表示为Wi。作为示例,经变换的图像Wi的对齐的测量是不对齐参数τi,其可以例如被确定为(在图像的全部像素位置(x,y)上的)经变换的图像Wi(x,y)与参考图像Ir(x,y)之间的绝对差的和。即:τi=Σxy|Wi(x,y)-Ir(x,y)|。在步骤S218中,对齐测量逻辑114针对经变换的图像中的每幅经变换的图像确定对齐的相应测量是否指示经变换的图像Wi与参考图像Ir的对齐低于阈值对齐水平。据此,对齐测量逻辑114选择性地丢弃被确定为不对齐的图像。被丢弃的图像不会从对齐逻辑104被提供给组合逻辑106。在其中图像Ii的对齐的测量是不对齐参数τi的示例中,如果不对齐参数τi高于阈值则丢弃图像。作为示例,阈值可以根据针对不同图像的不对齐参数的均值μ(t)并且根据针对不同图像的不对齐参数的标准差σ(t),其中τ表示针对不同图像的全部不对齐参数,即τ={τ1,…,τN
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1