专利名称：多分辨率图像金字塔的生成的制作方法
多分辨率图像金字塔的生成
背景技术：
在计算机图形和GIS (地理信息系统)社区中，已经广泛地研究了縫合与融合图像集合以形成无缝地图或全景图的主題。这些成像技术已经用于组装因特网服务(像Keyhole、TerraServer> Bing 地图、Google 地图和Yahoo 地图)上可用的大型数据集。多分辨率数据集通常包含若干不同比例的图像源。例如，可以以粗略分辨率来提供卫星图像，而以较精细的分辨率来使用航摄图像。在这些地图中缩放可能会展现有抖动的过渡。由于光谱响应、季节变化、光照和阴影以及定制图像处理中的差异，从中提取图像的数据源通常在外观上显著的变化。具体而言，在多分辨率图像金字塔内放大或缩小通常导致外观上的突变(即临时的“弹出”)。另外，可能在静态立体图中观察到空间的不连续，因为这些视图同时访问若干图像金字塔层
发明内容
提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的ー些概念。本发明内容并不g在标识出所要求保护的主题的关键特征或必要特征，也不g在用于限定所要求保护的主题的范围。尽管在上文描述了现有技术的某些缺点，但所要求保护的主题不限于解决现有技术的所描述缺点中的任何缺点或全部缺点的实现。描述了用于生成多分辨率图像金字塔的系统和方法的各个实施例。该方法可包括获得作为被定义对象的粗略图像和被定义对象的精细图像来捕捉的图像。可对精细图像进行下采样以创建临时图像。进ー步的操作为对临时图像应用结构转移操作以转移来自粗略图像的色彩细节。结构转移发生，但同时保留来自临时图像的结构细节。可在临时图像与精细图像之间应用混合操作，以在精细图像与粗略图像之间为多分辨率图像金字塔中的至少ー个中间层构建中间图像。
图I示出具有多分辨率上采样图像的多分辨率图像金字塔的一个实施例。图2是示出一个实施例中的用于生成多分辨率图像金字塔的方法的概览的流程图。图3是示出用于创建多分辨率图像金字塔的方法的一个实施例的框图。图4是可用于窗ロ转移计算的Z-分数和排序属性的一个实施例的图示。图5是示出用于生成图像的方法的一个实施例的流程图，该图像包括来自精细图像的图像结构细节以及来自粗略图像的色彩。图6是示出用于经修剪的拉普拉斯(Laplacian)混合的过程的一个实施例的图表。图7示出用于经修剪的拉普拉斯混合的高效混合方法的过程的一个实施例。图8是示出生成在跨多个查看比例的视觉过渡中使用的多分辨率图像金字塔的高效操作的实施例的流程图。
图9是示出可用于生成在跨多个查看比例的视觉过渡中使用的多分辨率图像金字塔的各个模块的实施例的框图。
具体实施例方式现在将參考附图中所示出的示例性实施例，并使用特定语言来对其进行描述。不过，需要理解的是，并无意由此作出本发明范围上的限制。相关技术领域的且拥有本公开内容的技术人员将想到的对此处所示出的特征的更改和进ー步的修改以及对本文所示的各实施例的其他应用，都应该被视为在本发明的范围内。能够创建对不同比例的不同数据源进行组合的视觉平滑图像。这种图像金字塔用于在计算机生成的图像环境中的较低分辨率图像与较高分辨率图像之间过渡。这种计算机生成的图像环境的示例可包括仿真、游戏、地图、医学图像、以及期望粗略分辨率图像与精细分辨率图像之间的平滑过渡的其他环境。 在各层的子集处存在图像金字塔的输入图像，并且该图像可能已经是使用现有的縫合技术在空间上被縫合到一起。虽然创建图像金字塔的问题可能看起来简单，但是若干直接的方法存在缺点。一种简单的想法是一直对精细图像进行下采样直到金字塔的最粗略层，重写任何较粗略的图像内容。下采样或上采样是降低对根据原始图形图像创建的图像的采样频率的过程。然而，精细比例的图像通常被稀疏地定义，并且所得的较粗略层可能具有不统ー的外观。相反，期望保留粗略比例图像的空间一致性。另ー种可能的方法是将精细比例的图像修改成具有与粗略比例的内容相同的色彩外观。然而，精细图像的色彩直方图通常更丰富，并且可能更偏好精细图像的色彩直方图。具体而言，在外观上图像边缘处的差异以及图像金字塔各层之间的差异在静态立体图中会是明显的。类似地，通过对稀疏精细图像进行下采样来替换粗略金字塔层的方案可能导致较粗略层处的拼凑外观。为了解决这些问题，如图I所示，本技术可根据若干比例的经缝合的图像来创建具有多分辨率的经上采样的图像的图像金字塔100，该图像金字塔提供缩放发生时的更平滑的视觉过渡。本技术提供了改善图像间的过渡的技木。被称为结构转换的ー种技术是将一个图像的细节与另ー个图像的局部外观进行组合的非线形操作符。该操作可用于在保留色彩一致性的同时将细节从精细图像130注入到粗略图像110中。来自结构转移操作的中间分辨率图像120中提供的经改进的结构相似度显著地减少了层间的重影产物。第二种技术可被称为经修剪的拉普拉斯混合，并且该混合技术可以是最小化创建中间层时的模糊的高效构造。这种混合考虑了金字塔内全部层间图像差异的总和。该过程可同时满足多分辨率和空间连续性。因此，图像金字塔的相邻层之间的视觉差异可被最小化。另外，可以保留粗略和精细图像二者的色彩特性。通常使用对应像素的均方误差(MSE)来測量两个图像间的视觉差异。虽然这个简单的点态度量带来便利的线性系统，但它不能准确地捕捉人类视觉系统的知觉特性。相反，强调结构相似度(SSIM)的度量能够更加有效。具体而言，単独最小化MSE导致具有严重重影产物的图像金字塔。简单地最小化MSE的一个问题是由于重合失调、视差、或图像获取和处理中的许多其他无法避免的因素，粗略和精细图像具有结构细节上的差异。明确地考虑结构相似度有助于克服重影。
最大化结构相似度通常是非线形的问题，并且因此要直接解决则代价昂贵。为了得到高效的解决方案，该问题可被划分成两部分。第一，结构转移操作可用于最大化结构兼容性。该操作可将粗略图像修改为在保留其原始局部色彩特性的同时继承精细图像的细节。第二，一旦结构上兼容的图像已被创建，则可使用MSE度量来最小化金字塔内的全部层间图像差异的总和。该差异函数可被明智地定义以避免信号模糊。虽然最小化MSE是线性问题，但对大型图像金字塔中全部像素的全局解决方案依然代价昂贵。可使用具有经修剪的拉普拉斯混合的高效构造来寻找ー个好的近似解决方案。图2是示出用于生成多分辨率图像金字塔的方法的实施例的高级概览的流程图。该方法可包括获得作为被定义对象的粗略图像来捕捉的图像的操作，如在框210。粗略图像的一个示例是某个地理区域的卫星图像(例如，Landsat图像)或被应用到3-D几何对象的粗略纹理。图像也可作为被定义对象的精细图像被捕捉，如在框220。粗略图像的一个示例 是作为粗略图像的同一地理区域的航摄图像或被应用到3-D几何对象的精细纹理。可从计算机可读存储介质或计算机存储器中获得被定义对象的粗略图像和精细图像。随后可对精细图像进行下采样以创建临时图像，如在框230。结构转移操作随后可被应用到该临时图像，以在保留来自临时图像的结构细节的同时转移来自粗略图像的色彩细节，如在框240。可在临时图像与精细图像之间应用混合操作，以在精细图像与粗略图像之间为多分辨率图像金字塔中的至少ー个中间层构建中间图像，如在框250。向临时图像应用结构转移操作和应用混合操作的操作可由计算机处理器在服务器上执行。在一个实施例中，混合操作可以是经修剪的拉普拉斯混合。该拉普拉斯混合可包括应用ー个混合操作，该混合操作将来自精细图像的拉普拉斯金字塔与根据粗略图像生成的拉普拉斯图像相混合。可根据精细图像生成具有多个经下采样的图像的精细拉普拉斯图像金字塔。类似地，可根据来自粗略图像的多个经下采样的图像来构建粗略拉普拉斯图像金字塔。拉普拉斯金字塔将单个图像表示为不同分辨率层的细节总和。換言之，拉普拉斯金字塔是通过形成表示高斯金字塔的连续层间的差异的图像来获得的带通图像金字塔。在经修剪的拉普拉斯混合中，可通过从根层(最粗略层)到粗略图像层混合粗略拉普拉斯金字塔和精细拉普拉斯金字塔的对应层，来生成多分辨率金字塔的一个或多个中间图像(稍后用图6更详细地描述)。換言之，根据阿尔法參数α，将分辨率等于粗略图像或比其更粗略的拉普拉斯金字塔层混合到一起。另外，只从精细图像的拉普拉斯金字塔中取得分辨率层大于该粗略图像的拉普拉斯金字塔层。随后可通过对所得的拉普拉斯金字塔层求和来构建中间图像。例如， 。+1)是经混合的拉普拉斯金字塔し(。+1)的总和。可对其他中间图像重复该汇总过程，并且稍后将更详细地描述此过程。在图3中示出用于创建多分辨率图像金字塔的过程的框图。可使用结构转移320将粗略图像310与经下采样322版本的精细图像312相组合。稍后将更为详尽地描述结构转移操作。接着，经修剪的拉普拉斯混合330创建中间层。最后，对经结构转移的粗略图像350 (或临时图像)进行下采样340，使得其新的细节结构被传播到更加粗略的层360。使用对图像的预处理来执行图像金字塔构造。因此，任何2D或3D客户机呈现器无需为了从被改进的多分辨率连续性中受益而被修改。预处理可发生在服务器370或具有多个处理器380和存储器390的计算云上，以服务于上面描述的预处理模块或操作。或者，所描述的预处理可被嵌入到固件或专用硬件中。图像金字塔表示图像金字塔可被表示为集合X={X(I，,xf}，其中最粗略的图像Xtl包含单个像素，且每个图像X1有Z1XZ1个像素。最常见的形式是高斯金字塔，其中每层包含低通过滤版本的给定精细图像xf。它被表示为并通过连续地应用下采样过滤器来形成§/ = Xf^1 = D1Q1,其中稀疏矩阵D1的行对过滤器权重进行编码。
另ー种有用的形式是拉普拉斯或带通金字塔，其包含连续的高斯层之间的差异。更精确地，每个拉普拉斯层包含当前的高斯层与经上采样版本的下ー较粗略的高斯层之间的差异￡0 = ^05A = Gl ~ 叫-丄ん—丄。为了定义上采样矩阵U，可以使用二次立方插值过滤器，它也被称为Catmull-Rom插值。该过滤器是两个ID过滤器的张量积。在金字塔上被求值后，每个ID过滤器在交替的像素上具有权重(-9111 29-3) / 128 和(-3 29 111-9) / 128。下采样过滤器可通过取上采样矩阵的转置矩阵(即D1 = UjL1)来选择。从而，过滤器的ID权重是(-3-9 29 111 111 29-9-3) / 256。该过滤器产生比具有权重(11) / 2的简单箱式过滤器更好的結果。虽然已经描述了二次立方插值过滤器作为示例，但存在用于下采样和上采样过滤器的许多其他已知的过滤器选择。从较粗略层k到较精细I层的上采样矩阵的乘积可被表示为机=UkIW" Uw，并且对于下采样矩阵Df是类似的。图像计算可在期望的色彩空间(例如，Lab色彩空间或RGB (红、绿和蓝))中执行。将描述用于创建图像金字塔的底层框架，之后是对实现该技术的示例过程和方法的更具体的描述。该过程的输入可以分别是粗略和精细图像1和％，并且输出可以是图像金字塔层IxJ。目标可以是在保留较粗略金字塔层的色彩特性的同时最小化连续的金字塔层之间的视觉差异。这两个目标可被表示为对目的的最大化第一项对全部相邻的金字塔层的平均结构相似度(MSSM)求和。两个图像x、y的MSSIM(X，y)是全部对应的NXN (例如，11 X 11)个像素邻近区域u [ χ,ν [ ▼的平均SSIM0邻近区域SSIM被定义为这些因子之积SSIM (u, v) =1 (u, v) · c (u, v) · s (u, v)以邻近区域的平均色彩μ、标准偏差σ、和协方差σ uv来定义亮度相似度I、对比度相似度C1、和结构对比s
_] Ku,V)=細)=池 V〕= ^用具有2个像素的标准偏差的空间高斯核(spatial Gaussian kernel)对这些邻近区域统计数据进行加权。小常数Cl，C2，C3存在以确保数值的稳定性。上面的乘积简化为
权利要求
1.一种用于生成多分辨率图像金字塔的方法，包括获得作为被定义对象的粗略图像来捕捉的图像；获得作为所述被定义对象的精细图像来捕捉的另ー个图像；对所述精细图像进行下采样以创建临时图像；对所述临时图像应用结构转移操作，以在保留来自所述临时图像的结构细节的同时转移来自所述粗略图像的色彩细节；以及在所述临时图像与所述精细图像之间应用混合操作，以在所述精细图像与所述粗略图像之间为所述多分辨率图像金字塔中的至少ー个中间层构建中间图像。
2.如权利要求I所述的方法，其特征在于，还包括应用ー混合操作，所述混合操作是经修剪的拉普拉斯混合。
3.如权利要求I所述的方法，其特征在于，还包括应用ー混合操作，所述混合操作将来自所述精细图像的拉普拉斯金字塔与根据所述临时图像生成的拉普拉斯图像相混合。
4.如权利要求I所述的方法，其特征在于，还包括根据所述精细图像形成具有多个经下采样的图像的精细拉普拉斯图像金字塔；根据所述粗略图像构建具有多个经下采样的图像的粗略拉普拉斯图像金字塔；通过形成第三拉普拉斯金字塔来形成每个中间图像，所述第三拉普拉斯金字塔通过从根层到所述粗略图像层混合所述粗略拉普拉斯金字塔与精细拉普拉斯金字塔的对应层来形成。
5.如权利要求I所述的方法，其特征在于，还包括从计算机可读存储介质检索所述被定义对象的所述粗略图像和精细图像。
6.如权利要求2所述的方法，其特征在干，向所述临时图像应用结构转移操作和应用混合操作的操作可由服务器通过计算机处理器来执行。
7.—种生成在视觉过渡中使用的多分辨率图像金字塔的系统，包括获取模块，被配置成获得被定义对象的粗略图像以及与所述被定义对象的视图相对应的所述被定义对象的精细图像，所述粗略图像具有一大小；下采样模块，被配置成对所述精细图像进行下采样，以创建具有所述粗略图像的所述大小的临时图像；结构转移模块；被配置成对所述临时图像应用结构转移操作，以将色彩从所述粗略图像转移到所述临时图像，同时保留来自所述临时图像的结构细节以形成中间图像；图像差异模块，被配置成根据具有结构转移细节的所述中间图像与所述临时图像之间的差异来计算差异图像；以及上采样和混合模块，被配置成使用将所述差异图像混合到高斯图像金字塔中，来将所述差异图像上采样到高斯图像金字塔的连续较精细层中，将所述差异图像混合到高斯图像金字塔中是用用于图像层的分级层的阿尔法混合来实现的。
8.如权利要求7所述的系统，其特征在于，所述结构转移模块还被配置成使用处理器来根据具有结构转移细节的所述中间图像与所述临时图像之间的差异计算差异图像。
9.如权利要求7所述的系统，其特征在于，所述上采样和混合模块被配置成将所述差异图像混合到所述高斯图像金字塔的每层的每个图像中。
10.如权利要求9所述的系统，其特征在于，所述上采样和混合模块被配置成使用分级量的阿尔法 混合来将经上采样的差异图像添加回到所述高斯图像金字塔的每层。
全文摘要
描述了用于生成多分辨率图像金字塔的系统和方法的各实施例。该方法可包括获得作为被定义对象的粗略图像和被定义对象的精细图像来捕捉的图像。可对精细图像进行下采样以创建临时图像。进一步的操作是对临时图像应用结构转移操作以便转移来自粗略图像的色彩细节。结构转移发生，但同时保留来自临时图像的结构细节。可在临时图像与精细图像之间应用混合操作，以便为精细图像与粗略图像之间的多分辨率图像金字塔中的至少一个中间层构建中间图像。
文档编号G06T1/00GK102834844SQ201180016646
公开日2012年12月19日 申请日期2011年3月25日 优先权日2010年4月5日
发明者H·霍普, C·韩, M·尤特纳达勒 申请人:微软公司