专利名称：通过分析图像序列构建三维景物模型的方法
技术领域：
本发明涉及通过分析图像序列构建三维(3D)景物模型的方法。
该领域涉及在进行导航时对图像序列进行处理并对真实静态景物建模。序列是与静态景物有关的图像，在静态景物中，视点(即摄像机)发生变化。
目的是允许用户在真实景物中进行虚拟导航。然而，与景物有关的数据包括代表大量信息的图像序列。必须以这样的方式对这些序列进行处理以提供景物压缩图，即导航时，可以以最佳方式使用此景物压缩图，即利用受控图像质量允许交互式再现。问题是在获得高压缩比的同时避免不适于进行导航的预测类型图像间的技术。
可以将当前存在各种景物图像主要划分为●基于3D模型的图像，在这种图像中，通常以与图像纹理有关的多面体的方式表示景物的几何图形。这种建模过程多用于描绘利用CAD(计算机辅助设计)类软件获得的合成景物。相反，由于这种建模过程复杂，所以到目前为止，它很少用于描绘真实景物。现有方法使用少量图像，通常是照片，而且效果图不太细致并缺少真实感。
●非3D图像，例如基于QuickTime VR(苹果公司的商标)软件获得；利用从一个全景拍摄转换另一个全景拍摄的变迁图像序列，以全景拍摄的形式获得景物数据。这种描绘过程明显地限制了在虚拟景物内进行导航的可能性。
本发明目的在于克服上述缺点。本发明的目标是提供一种通过分析图像序列构造3D景物的方法，各图像与其位置和其方向确定的视点对应，其特征在于，该方法包括下列步骤●对图像计算与该图像像素在3D空间内的深度对应的深度图；●根据深度图，对图像计算与该图像像素的分辨率对应的分辨率●通过将当前图像像素投影到其它图像，使当前图像像素与另一个序列图像像素匹配，像素与3D景物的相同点有关；●根据其分辨率以及与此像素匹配的其它序列图像像素的分辨率，选择当前图像的像素；●根据选择的像素构建3D模型。
根据特定实施例，该方法的特征在于，图像的选择像素构成一个或多个区域，根据像素是否属于该区域并根据他们在图像内所属的区域的几何图形特征计算权重并将权重分配到图像像素，其特征还在于，根据对像素赋予的分辨率和权重值，重新选择像素。
根据可以与上述特定实施例合并使用的特定实施例，该方法的特征在于，通过对当前图像识别其相应视点具有与涉及当前图像的观察区交叉的观察区的图像，分割图像以致形成与其有关的图像列表，其特征还在于，与当前图像像素匹配的序列的其它图像即其列表中的图像。
通过从与图像有关的列表中删除具有太少与当前图像的像素对应像素的图像，可以分割序列图像。
本发明还涉及在3D景物内进行导航的方法，该方法包括根据视点的移动创建图像，其特征在于，根据上述构建3D模型的方法创建图像。
图像序列代表非常大量、具有图像间高冗余度的数据。通过使用作为描绘静态景物的最佳模型的3D模型以及通过简单几何变换使图像匹配，可以广泛识别图像间的冗余度。事实上，此模型可以考虑大量图像。此外，不需要在2D图像级进行运动补偿操作。
可以实现再现交互和再现质量的、在压缩方法之间的一种更好的折衷方案，即对待保存和待处理的数据进行压缩的折衷方案尽管压缩率高，但是该方法可以提供高质量图像并且允许在导航时具有非常高的柔性和速度。
与现有的3D建模技术获得的真实感比较，本发明可以实现更好的真实感，并且与对图像进行编码的传统技术获得的柔性进行比较，本发明具有更好的柔性。
通过参考附图和利用实例进行的下列说明，本发明的特征和优势将变得更加明显，附图包括
图1示出根据本发明方法的各步骤的运算算法；图2示出与视点有关的参照帧。
获得的真实景物数据与所观察的图像有密切关系。在此例中，我们研究由标准摄像机以视频速率拍摄图像的情况，并且在使用期间摄像机以前进步伐的方式移动。在这种情况下，根据图像序列构建景物图像与对图像进行编码的技术相同。
构建景物图像的原理就是选择必要、足够数据用于重构具有可控质量的序列图像。该过程包括对一幅一幅图像进行比较以选择具有最佳关联性的区域、与分辨率和描绘成本有关的参数。事实上，在像素级进行比较选择像素和比较像素的基本准则为与各像素有关的3D局部表面分辨率。
从现有技术中已知，假定通过对各视点进行适当处理，就可以获得其在与景物有关的参照帧内的3D位置(视点的位置和方向)，以及与视点图像有关的深度图。下一个目的就是构建适于导航的所有这些数据的压缩图像。
图1示出根据本发明方法各步骤的流程图。
参考图1，在系统输入端输入与通过在真实景物范围内移动摄像机获得的图像序列有关的数据。然而，完全可以想象在图像内可以出现某个运动对象。在这种情况下，用特定方法识别这些对象，然后标记这些对象以在后续处理期间忽略这些对象。对各图像进行特定处理可以提供深度图以及相应视点的位置和方向。在与删除运动对象对应的区域内没有深度信息。
在步骤2，对各图像的各像素计算分辨率值。然后，在步骤3期间，进行第一次分割和第二次分割。在步骤4计算权重以便在步骤5提供与像素有关的关联性数值。接着，在步骤6，选择依赖于其关联性的像素。然后，在步骤7，对图像序列获得选择像素的掩码序列。在步骤7之后，为了提纯掩码重复步骤4至步骤7。重复这些步骤直到掩码不再发生明显变化。因此，为了仅根据选择的像素构建多面体3D模型执行步骤8。
以下将详细说明各步骤。
在系统的输入端，各序列图像可以使用深度图以及相应视点的位置和方向。
步骤2在于对图像的各像素计算分辨率值，该分辨率值给出图像的分辨率图。
各像素的分辨率指出表面的详细灰度级(例如从当前视点观察的表面)。例如，通过集中在像素上的点块可以计算分辨率并且分辨率与与此块有关的景物上(即3D空间内)的点的密度对应。
在一个实例中，可以使用集中在被计算分辨率的图像像素上的7×7像素的滑窗。对于属于此滑窗的各像素，对深度信息进行处理以根据被处理像素周围的点在3D空间内的分布确定3D分辨率在大深度分布点获得的分辨率比在小深度分布点获得的分辨率要差。对图像的所有像素进行处理之后，可以获得各序列图像的图像分辨率图。
然后，进行步骤3分割序列。
导航过程在于根据3D模型插入当前视点图像。模型可以非常大，可以对它进行分割以限制为了重构视点在各瞬时处理的信息量。的确，重要的是在有限时间内将图像插入以确保流畅导航。此外，如下所述，在数据选择步骤6，逐个像素对图像进行比较运算量庞大，尤其是在序列长时，运算量更大。分割也是如此，尽早完成分割以减少计算量。
事实上，为了减少数据计算量，可以在构建图像过程中和在使用过程中(导航过程中)进行两次分割运算。
通过识别没有观察区域交叉的视点，可以对序列进行第一次分割。这样在后续步骤，就可以不对它们进行比较，即只对与这些视点有关的图像进行比较。因此，通过检测这些区域边缘之间的交叉可以确定各视点锥形观察区域之间的交叉。只根据各视点的相对位置进行此运算，而不根据景物的内容进行此运算。对于各图像均存在一组相关图像，相关图像的观察区域与当前图像的观察区域之间存在交叉，此组图像构成一个列表。
在允许进行第二次分割的分割步骤3进行投影。对于各图像组，为了识别各匹配像素，进行与之后根据步骤6说明的投影相同的投影。如果一幅图像中与其列表中图像的像素相匹配的像素很少，则将此图像从此列表中删除。
对于各视点，这些分割过程会获得具有与其共用的3D点视点列表或视点组，并且在选择像素期间可以对这些视点进行比较以减少冗余度。为了对各序列图像识别对其进行重构所需的选择图像，构建矩阵。
在投影期间，通过设置分辨率，例如设置为1，对无匹配的像素进行标记。利用此特定掩码，显然在步骤6无需为了寻找匹配像素重新投影这些像素。事实上，在步骤6重复此投影操作就可以避免存储在步骤3获得的与这些匹配有关的信息，此信息代表非常大量数据。
在步骤4计算图像中各像素的权重。引入此参数是为了考虑保存像素的代价。由于选择像素时不存在附加限制，所以像素可以含有各种尺寸和各种形状并且描述这些区域的代价高。为了避免此问题，在封闭环境下(选择的像素和未选择的像素)考虑像素分类的权重与像素有关。可以以这样的方式选择权重，即恶化区域的小尺寸或使小尺寸更粗糙，图像具有少量选择点。在这种情况下，每幅图像一个值，例如，选择点的百分比。还可以对描述选择点区域的掩码设置形态滤波器以降低其形状的复杂性并描绘的代价。
计算权重考虑的判据为，例如●图像内选择的点的数量●区域的尺寸●对区域的压缩(与权重成反比)●为了考虑例如待删除的尖峰的区域的外围区。在计算权重之前，形态滤波器还可以通过掩码以删除小区域的这些外围区。
在第一次迭代过程中，将掩码初始化为0，即利用缺省可以选择所有像素。将第一次通过步骤4计算的权重作为单位值。作为图像所有像素的权重，在此第一此迭代过程中，变量在于根据图像的点数选择不与其它图像匹配的图像的点的百分比。因此，有助于保存没有匹配的大多数像素的图像(参考选择像素的步骤5和步骤6)。
在步骤5，可以计算将分辨率和权重合并的关联值。例如，可以这样计算关联值=分辨率×(1+权重)
将此数值指定到各像素以对图像提供关联图。
在此，目的是通过最小的图像获得描述景物的最多点，根据其关联值选择像素(参考步骤6)。
在步骤6选择像素。
在此，对于各像素，这包括在其它视点内搜索匹配，并包括用于识别最佳关联像素的关联值。
为此，通过进行几何变换，各种图像像素之间可以实现匹配。图2示出与图像i对应的图像参照帧(O、u、v)，即与视点i有关的图像。参照帧(Oci、xci、yci、zci)依赖于视点i(例如Oci与视点i的位置相同)和绝对参照帧(Oa、xa、ya、za)。
对于各视点i，我们知道其在绝对参照帧内的位置和方向。图像的各像素(u,v)具有在与视点i有关的参照帧(Oci、xci、yci、zci)内定义的深度值zci(u,v)。
几何变换可以将图像参照帧(O,u,v)变换到依赖于视点的参照帧(Oci、xci、yci、zci)，并且几何变换还可以将此参照帧变换到依赖于已知景物的绝对参照帧(Oa、xa、ya、za)。
如下所述，这些变换确实可以将一幅图像变换为另一幅图像，即可以使一幅图像的像素与另一幅图像的像素匹配。
各像素是将3D空间内的点投影到当前视点i的2D图像平面获得的结果。从与景物内任意点对应的图像i的像素开始(其z分量已知)，通过已知几何变换，可以确定其在图像j内的投影点。如果此投影点与图像上的像素一致，则存在匹配像素。否则，此2D投影点与最近像素有关。然后，我们研究与景物内相同表面上非常近的点有关的这2个像素(起始像素和目标像素)的匹配关系并对它们的特性进行比较。
对于其列表内的所有图像，完成一幅图像的像素的匹配，这就是在步骤3定义的分割目的。将各像素投影到组中各其它图像上如上所述，它与像素匹配。对关联值进行比较并标记具有最差关联值的像素。如果发现具有良好关联性的匹配，就停止将此像素与相应像素的比较过程。
因此，通过只保留最佳关联性像素，这些操作可以识别并删除图像间的冗余度。然而，尽管降低了冗余度，但是优势在于为了创建远距离视点、避免必须在最高分辨率对图像进行处理，可以保留更多的给定表面图像。因此其优势在于将阈值引入分辨率的比较过程如果两个分辨率的比值超过此阈值，则不标记任何像素。因此，根据要求的分辨率、细粒度和粗糙度，可以使用各像素。
首先通过初始化所有标记的所有像素，例如初始化为二进制1，可以对像素进行标记。在分割过程，如果在其它有关视点内存在匹配像素，可以将各像素与其匹配像素进行比较。将具有最低关联性的像素标记为0，即拒绝标记。因此，如果其匹配像素没有比当前像素具有更高的关联性，则因为它保留初始标记就是被选择像素。对于二进制掩码或图像内的各序列图像，这样会导致被指定数值1的像素与选择像素对应。
步骤7采集与构成序列的各图像有关的掩码以提供掩码序列。
为了提高计算的关联值精度，存在从步骤7到步骤4的循环。在每次迭代时，根据先前迭代获得的标记重新计算权重和关联值。
在每次迭代时重复投影操作，并且投影操作与图像的所有像素以及在例如为了降低其匹配像素的切合性数值选择的先前迭代期间不选择的像素有关。然而，不对没有匹配像素的像素进行投影。
为了减少计算量，每次迭代时，可以将不具有比当前图像内的相应像素具有更高关联性的像素的图像从与当前图像有关的图像列表内删除。这样，给定图像的最终列表含有对其进行重构所必需的足够图像。
预定次数的迭代完成之后并且当在掩码内不再存在明显变化时，停止迭代过程。一旦在步骤7之后的步骤8获得这些最终掩码，则将这些掩码用于构建多面体3D模型，仅根据由这些掩码定义的选择像素完成此构建过程。
与此多面体3D模型有关的数据包括几何信息和纹理信息。对于掩码定义的各选择区域，其轮廓成为多角形并利用3D三角形来近似相应深度图。为了不保留不必要区域，所以将选择的纹理数据组合在一起。根据所有这些信息可以容易地建立3D模型。在为了对它进行分割构建3D模型时，优势在于可以考虑图像列表以及与各图像有关的区域。在重构图像的过程中，为了减少信息的处理量，此分割过程可以用于重新过程。
在3D景物内进行导航的方法在于根据视点的运动创建图像并利用所有信息来重新创建此图像。
权利要求
1．一种通过分析图像序列构建三维(3D)景物模型的方法，各图像与根据其位置和方位定义的视点对应，其特征在于，该方法包括下列步骤●对图像计算与该图像像素在3D空间内的深度对应的深度图(1)；●根据深度图，对图像计算与该图像像素的分辨率对应的分辨率图(2)；●通过将当前图像像素投影到其它图像，使当前图像像素与另一个序列图像像素匹配(6)，像素与3D景物的相同点有关；●根据其分辨率以及与此像素匹配的其它序列图像像素的分辨率，选择当前图像(6)的像素；●根据选择的像素构建3D模型(8)。
2．根据权利要求1所述的方法，其特征在于，图像的选择像素构成一个或多个区域，根据像素是否属于该区域并根据他们在图像内所属的区域的几何图形特征计算权重并将权重分配到图像像素(4)，其特征还在于，根据对像素赋予的分辨率和权重值，重新选择像素(6)。
3．根据权利要求2所述的方法，其特征在于，根据已经赋予此像素的权重和分辨率，将关联值赋予各图像像素(5)，其特征还在于，为了给出选择像素的掩码，根据匹配像素内的最高关联值(5)选择当前图像像素(6)。
4．根据权利要求1所述的方法，其特征在于，通过对当前图像识别其相应视点具有与涉及当前图像的观察区交叉的观察区的图像，分割图像(2)以致形成与其有关的图像列表，其特征还在于，与当前图像(6)像素匹配的序列的其它图像即其列表中的图像。
5．根据权利要求4所述的方法，其特征在于，通过从与图像有关的列表中删除具有太少与当前图像的像素对应像素的图像，可以分割序列图像。
6．根据权利要求3所述的方法，其特征在于，重复进行计算权重(4)、计算关联性(5)以及选择像素的运算直到从选择中获得的掩码不再发生明显变化。
7．根据权利要求3所述的方法，其特征在于，如果发现具有更高关联值的相应像素，则通过投影到其它图像，对此像素停止匹配当前图像像素的运算。
8．根据权利要求3所述的方法，其特征在于，当匹配像素的分辨率比值在运动限度内时根据关联值进行选择。
9．根据权利要求1所述的方法，其特征在于，其它图像的像素即在此其它图像上距离投影点(6)最近的像素。
10．根据权利要求1所述的方法，其特征在于，对在景物内运动的运动对象进行检测以从中抽取并获得静态景物。
11．一种在3D景物内进行导航的方法，其中根据视点的运动创建图像，其特征在于，根据权利要求1构建的3D模型创建图像。
全文摘要
一种通过分析图像序列构建3D景物模型的方法,该方法包括步骤:对图像计算与该图像像素在3D空间内的深度对应的深度图(1);根据深度图,对图像计算与该图像像素的分辨率对应的分辨率图(2);通过将当前图像像素投影到其它图像,使当前图像像素与另一个序列图像像素匹配(6),像素与3D景物的相同点有关;根据其分辨率以及与此像素匹配的其它序列图像像素的分辨率,选择当前图像(6)的像素;根据选择的像素构建3D模型(8)。
文档编号G06T7/20GK1321285SQ00801990
公开日2001年11月7日 申请日期2000年9月14日 优先权日1999年9月17日
发明者扬尼克·尼古拉斯, 菲利普·罗伯特 申请人:汤姆森多媒体公司