专利名称：用于生成深度图的方法和设备的制作方法
技术领域：
本发明涉及用于使用单眼信息生成图像的深度图的方法和设备，以及涉及计算机可读介质上的用于使用单眼信息生成图像的深度图的计算机程序产品。
背景技术：
在过去十年中，相当多数量的研究已聚焦于在家庭中和周围使用的3D显示技术的实现。结果，有了立体和自动立体显示器两者的风潮。在立体显示器中，例如一般由位于观众眼睛和显示器之间的眼镜或薄片(foil)辅助观众的眼睛以时间复用或同时的方式(例如，通过光谱分离)将左眼图像引至观众的左眼，并将右眼图像引至观众的右眼。由于用户一般发现佩戴眼镜是麻烦的，因此自动立体显示器同样已受到相当多的注意。自动立体显示器(经常为多视图显示器)一般允许可视以聚焦于观众的视锥(viewing cone)的方式所复用的多个(例如，5_9或者更多)图像或视图。 通过分别利用左右眼从锥体观察分离的视图，肉眼获得了立体效果。对于立体显示器和自动立体显示器两者的重要问题是内容的传送。已知各种办法用于将三维内容传送至显示器。这些办法中的一些办法明确地对所有的视图编码，而其它办法对一个或一些视图以及这些视图中的一个或所有视图的附加深度和/或视差信息进行编码。提供深度信息的优点在于，其例如在基于所提供的图像呈现附加视图时，方便了三维内容的操作。尽管例如可以通过立体图像的视差的分析或者使用测距仪(range finder)来获取这些深度信息，但是这一般仅对于新获取的内容而言是可能的。此外，立体或多视图获取一般也具有更高的成本。结果，已存在相当多的研究聚焦于从单眼图像或单眼图像序列获取深度信息。可想象范围从完全自动转换至用于高质量内容的用户辅助2D到3D转换的这些算法的各种应用。在用户辅助2D到3D转换的情况下，计算机辅助深度图生成可能代表相当多的时间节省。S. Battiato 等人在 Proceedings of SPIE Electronic Imaging 2004， Three-Dimensional Image Capture and Applications VI - Vol. 5302-13 中出版的 "Depth Map Generation by Image Classification”给出了从单眼图像获得深度图的办法的示例。在上面的论文中，通过组合基于所估计出的图像全局深度分布的深度图来生成深度图，其然后与包含图像结构的另一个深度图相组合。然而，作为结果的组合并不总是在作为结果的图像中提供令人满意的深度感觉。
发明内容
据此，对于本发明的目标，本发明需提供一种替代的方法，其提供替代的深度图。以上通过使用单眼信息生成图像的深度图的方法而实现，该方法包含生成该图像的第一深度图，其中，所述第一深度图对应于对于该图像中描绘的场景的全局深度分布的估计；生成该图像的第二深度图，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个；以及使用来自第一深度图和第二深度图的深度值生成该图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。第三深度图的生成基于两个下面(underlying)的深度图成分第一和第二深度图，它们均基于所估计出的在该第一深度图下面的全局深度分布。具体地，当该图像是来自图像序列的图像时，对于该序列中的各相邻图像，该全局深度分布可能是类似的，由此有助于第三深度图的时间稳定性。第二深度图生成接着将局部结构高效地并入到全局深度分布。在第二深度图的生成期间，图像中的亮度和/或色彩相似性用于分配深度值。结果，局部地使得图像中具有相似色彩和/或亮度的各对象的深度值更加相似，从而产生在图像中具有相似性的结构，获得一般更加相似并且经常不同于全局深度分布的深度值。注意，上面提到的相似性可以量化为落在色彩和/或亮度值的预定变化内。最后，第三步骤以高效地缩放第一和第二深度图之间的某些差异的方式来组合所生成的第一和第二深度图。在根据本发明的一个实施例中，这允许在局部结构和全局深度分布之间引入更加显著的差异。以此方式，可以为各对象增强第一和第二深度图之间经常为某种程度的细微差异，这产生更加动态的深度图。可替代地，第二深度图中的局部结构可能太显著，在这种情况下，具有0和1之间的因子的缩放可改善3D观看体验。注意，当生成第二深度图中的像素的深度值时，使用处于第一深度图中对应像素周围区域中的、来自第一深度图的深度值。优选地，基于色彩和/或亮度相似性(尽管也可以使用其它的图像属性，如图像动作、局部边缘状态(edginess)和/或附近的纹理量)来加权这种相邻深度值的深度值。以此方式，相比于较不相似的像素，与相似色彩和/或亮度的像素相关联的深度值更加有助于第二深度图中的像素的深度值。注意，这里的相邻旨在表示局部而不是全局；即，不基于图像的整体。实践中，相邻经常涉及光圈内的像素。尽管光圈可以是预定形状和/或尺寸，但是其也可以例如基于进一步的图像信息来动态地适配光圈。在实施例中，第一深度图基于深度图模板。这种模板可以是简单的普通模板，如斜线；即，从场景底部的前景到顶部的背景的渐变。替代的斜线可以包含定义背景开始的某一垂直位置上的水平线。可替代地，可以构造更加复杂的能够以参数表示的模板， 如上面所引的、在此通过引用并入的S. Battiato ^ "Depth Map Generation by Image Classification”中公开的模板。这里给出了关于可以怎样基于图像分析来构造能够以参数表示的全局深度分布的示例。一般而言，深度图模板包含对于特定类型场景的深度分布的估计，由此可能表现出相当大的变化；例如，考虑室内对话场景的典型深度分布或者鱼眼特写之间的差异。在优选实施例中，第二深度图的生成包含将双边滤波器应用于图像中的色彩和亮度值之一以及第一深度图中的深度值。结果，不需要图像的分割，然而同时，图像内的色彩和/或亮度变化可用于防止来自色彩转变一侧的深度值有助于色彩转变另一侧的像素的深度值。结果，相比于第一深度图中的各对应区域，第二深度图中对应于具有特定色彩和/或亮度相似性的各区域的深度值一般将具有更加相似的深度值。结果，将会使得对象更加不同于全局深度分布。在进一步的优选实施例中，第三深度图的深度值设为与最接近于场景的视点的深度相对应的深度值，并且为
-第一深度图中的对应深度值，或
-基于来自第二深度图的对应深度值的候选深度值。实践中，一般将第三深度图的深度值设为第一深度图中的深度值与基于来自第二深度图的对应深度值的候选深度值中的最大者。作为这种特定措施的结果，第三深度图中的深度值不会置于全局深度分布的后面。 从而，在第二深度图中被置于全局深度分布后面的(部分)对象将被设为全局深度分布。将注意，设想进一步的候选深度值。上面提到的有利实施例中的候选值包含来自第一深度图的深度值加上来自第一深度图的深度值与来自第二深度图的对应深度值的加权差异。结果，可能即使在用户/观众控制的情况下，增强也可以予以调整。可替代地，候选值可包含基于在空间上相邻于来自第一深度图的深度值的一个或多个深度值的阈值深度值。以此方式，对于具有特定色彩或亮度的对象的深度值可以得到进一步增强。在实施例中，为其生成深度图的图像是图像序列的一部分。作为第一阶近似，可以以镜头(shot)分割图像序列，然后可以基于镜头中的图像来选择全局深度分布。以此方式， 所生成的深度图的时间连续性可以得到进一步改善。在更加先进的方法(其可以特别有利地例如与能够以参数表示的深度图模板相组合)中，基于镜头中多于一个的图像(例如，镜头中的第一个和最后一个图像)，或者假设在镜头内具有关于大量图像/帧的进一步变化的情况下，来确定全局深度分布。尽管上面的实施例是特别有益的，但这并不排除进一步的实施例，如这样的实施例其中基于处于隔离的图像序列的每个图像/帧，或者更加可选地通过评估当前图像/帧以及所使用的最后的全局深度分布，来选择全局深度分布。对于本发明的目标，本发明需进一步提供一种替代的设备，其提供了替代的深度图。以上通过用于使用单眼信息生成图像的深度图的设备而实现，该设备包含接收装置，其被安排用于接收图像；以及处理装置，该处理装置配置为生成该图像的第一深度图，其中，所述第一深度图对应于对于该图像中描绘的场景的全局深度分布的估计；生成该图像的第二深度图，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个；以及使用来自第一深度图和第二深度图的深度值生成图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。以上进一步通过计算机可读介质上的用于使用单眼信息生成图像的深度图的计算机程序产品而实现。本发明的这些和其它方面、特征和优点将根据下文描述的(一个或多个)实施例而清楚，并且将参照所述实施例加以说明。
将参照附图，仅以示例的方式描述本发明的实施例，附图中图1示出根据本发明的方法的流程图2示出根据本发明的设备的框图3A示出第一和第二深度图的垂直横截面；
图:3B示出两个深度图的垂直横截面；
图3C示出三个深度图的垂直横截面；
图3D示出三个深度图的垂直横截面；
图4示出对于场景的全局深度分布的若干估计；以及
图5示出根据本发明的方法的若干步骤的输出。
具体实施例方式如上指出的，使用单眼信息生成图像的深度图比使用立体图像时更加复杂。在立体或多视像的情况下，经常可以使用场景的各个视图之间的视差，以获得与视图中描绘的场景有关的深度信息。尽管立体以及较小程度上的多视图获取装置正变得可用，然而相比于单眼获取装置，一般仍存在使用这些装置时所涉及到的附加成本。此外，对于现有的单眼内容，经常不能以双视图(即，立体)或多视图形式进行重新捕获。结果，需要用于使用单眼信息生成图像的深度图的方法。图1示出根据本发明的方法100的流程图。方法100表示使用单眼信息生成图像的深度图的方法。该方法包含用于生成110图像的第一深度图的第一步骤。在该第一步骤期间，生成深度图(一般为图像中所有像素的深度图)，其中第一深度图中的深度值与对于图像中描绘的场景的全局深度分布的估计相对应。在 V. Nedovic 等人发表于 IEEE 11th International Conference on Computer Vision, 2007，ICCV 2007 的“D印th Information by Stage Classification”中(这里通过引用将其并入)，给出了 5个全局深度级和11个更具体的深度级的图像的分类，以及将图像映射于这些深度级上的方法。全局级对应于包含天空、背景和地面的第一级(如，风景镜头)。第二级包含框(box)，通常适于室内场景。第三级称为角落级，通常适于室内场景。第四级用于背景前方的一个或多个人，最后，第五级包含不具有深度的场景。尽管上面的论文中所使用的分类是特别有利的，但是应当注意，其不是穷举的，而是可以由本领域技术人员容易地扩展。例如，论文中给出的模型未提供与使用鱼眼透镜制作的微距镜头(macro shot)相对应的全局深度分布。图4提供可用于某些图像的全局深度分布的深度图的若干示例。这里，图像410 提供了图像底部的前景至图像顶部的背景的渐变。对于本领域技术人员清楚的是，一般而言，当使用这种分布以通过检测水平线并随后将水平线以上的所有像素置于背景中来提炼 (refine)该分布时，其可能是有益的。可替代地，创建具有更多预示的云彩的风景可能是有利的。在后一情况下，可以使用包含两个垂直渐变的图像420。结果，位于图像顶部的云彩相比于水平线上的那些更靠近于观众。图像440接着示出了对于鱼眼微距镜头的全局深度分布的深度图，其包括具有白色中心和朝向图像边缘的更暗的环形的圆形渐变。结果，将图像的中心从观察图像的视点移开最近，并且将图像的边缘从观察图像的视点移开最远。最终，图像450像前方观看的场景一样提供了简单框(box)的深度图。再次参考图1，在生成第一深度图之后，下一步骤对应于生成120图像的第二深度图。在第二深度图中，与像素相关联的深度值基于以下两者
-在空间上相邻于该像素的区域内的第一深度图中的深度值，以及 -该区域内的图像的色彩和/或亮度值。注意，第二深度图明确地基于第一深度图以及图像中的色彩和/或亮度信息。结果，第二深度图通常允许将具有不同色彩和/或亮度的对象与全局深度分布进行区分。在优选实施例中，第二深度图的生成一方面涉及例如对于第一图像中深度值的双边滤波器，另一方面涉及对于图像的色彩信息的双边滤波器。为了将局部结构添加至深度图，可以使用交叉(cross)或联合(joint)双边滤波
ο双边滤波器是既利用(空间)域又利用(强度)范围特性的非线性滤波器。下面的等式(1)示出了基本的双边滤波器。通过位置P的邻居S中来自输入图像Itl的各位置q的各像素的加权平均，确定输出图像0P。加权计算取决于空间距离函数s和强度范围函数r。 这里的函数s是传统的2D卷积滤波器核(kernel)。函数r接着随着更大的强度差异而减小，以传送边缘保存特性。
权利要求
1.一种使用单眼信息生成图像(205)的深度图的方法(100)，该方法包含-生成(110)图像(205)的第一深度图，其中，所述第一深度图对应于对于图像(205) 中描绘的场景的全局深度分布(410、420、440、450)的估计，-生成(120)图像(205)的第二深度图(520)，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个，以及-使用来自第一深度图和第二深度图的深度值生成(130)图像(205)的第三深度图 (530、540、550)，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。
2.如权利要求1所述的方法，其中，针对具有色彩和亮度相似性中的至少一个的空间区域中的多个像素缩放深度差异。
3.如权利要求1所述的方法，其中生成(130)中涉及的缩放将深度差异进行放大。
4.如权利要求1所述的方法，其中第二深度图的生成包含将双边滤波器应用于图像中的色彩和亮度值之一以及第一深度图中的深度值。
5.如权利要求1所述的方法，其中第三深度图的深度值设为与最接近于场景的视点的深度相对应的深度值，并且选自以下之一-第一深度图中的对应深度值，以及-基于来自第二深度图的对应深度值的候选深度值。
6.如权利要求5所述的方法，其中所述候选深度值是来自第一深度图的深度值加上来自第一深度图的深度值与来自第二深度图的对应深度值的加权差。
7.如权利要求6所述的方法，其中候选深度值是基于在空间上相邻于来自第一深度图的深度值的深度值的阈值深度值。
8.如权利要求1-7中任何一项所述的方法，其中所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计对于镜头中的所有图像是相同的。
9.如权利要求1-7中任何一项所述的方法，其中所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计基于镜头的多于一个的图像而确定。
10.一种用于使用单眼信息生成图像(205)的深度图的设备(200)，该设备包含-接收装置(210)，其被安排用于接收图像，以及-处理装置(220)，该处理装置配置为-生成图像(205)的第一深度图，其中，所述第一深度图对应于对于图像(205)中描绘的场景的全局深度分布(410、420、440、450)的估计，-生成图像(205)的第二深度图(520)，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个，以及-使用来自第一深度图和第二深度图的深度值生成图像(205)的第三深度图(530、 540、550)，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。
11.如权利要求10所述的设备，其中，配置所述处理装置，以使得针对具有色彩和亮度相似性中的至少一个的空间区域中的多个像素缩放深度差异。
12.如权利要求10所述的设备，其中配置所述处理装置，以使得第三深度图的深度值设为与最接近于场景的视点的深度相对应的深度值，并且至少选自-第一深度图中的对应深度值，以及-基于来自第二深度图的对应深度值的候选深度值。
13.如权利要求12所述的设备，其中配置所述处理装置，以使得所述候选深度值是来自第一深度图的深度值加上来自第一深度图的深度值与来自第二深度图的对应深度值的加权差。
14.如权利要求10-13中任何一项所述的设备，其中所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计对于镜头中的所有图像是相同的。
15.如权利要求10-13中任何一项所述的设备，其中所述图像是图像序列的一部分，并且其中，对于全局深度分布的估计基于镜头的多于一个图像来确定。
16.一种计算机可读介质上的用于使用单眼信息生成图像的深度图的计算机程序产品，该产品包含用于执行根据权利要求1-9的任一项的方法步骤的指令。
全文摘要
本发明涉及使用单眼信息生成图像的深度图的设备和方法(100)，该方法包含生成(110)图像(205)的第一深度图，其中，所述第一深度图与对于该图像中描绘的场景的全局深度分布的估计相对应；生成(120)该图像的第二深度图，其中，与第二深度图中的像素相关联的深度值基于在空间上相邻于该像素的区域内的第一深度图中的深度值以及该区域内的图像的色彩和亮度值中的至少一个；以及使用来自第一深度图和第二深度图的深度值生成(130)该图像的第三深度图，该生成对深度差异进行缩放，以使得相比于第二和第一深度图的深度值之间的对应差异，第三和第一深度图的深度值之间的差异被缩放。本发明进一步涉及用于执行根据本发明的方法的计算机程序产品。
文档编号G06T7/00GK102203829SQ200980143979
公开日2011年9月28日 申请日期2009年11月2日 优先权日2008年11月4日
发明者B·G·B·巴伦布鲁格 申请人:皇家飞利浦电子股份有限公司