之，该优化特别地趋向高效的示例来调节每个可见的顶点的UV 坐标，W使得高曲率顶点投影到输入图像中的边缘，并且使得邻近的顶点具有类似的UV坐 标位移。之前的标准类似于2013年11月18日提交的名为DASSAULT SYSTEMS的申请 EP13306576.3,并出于相同的原因在本文中保留。之后的标准是新制定标准，并在3D重建的 上下文中没有被证明相关，但是其还使得MRF理论的申请及其计算效率优点可用。
[0072] 该方法根据如下想法构建:具有针对想要对可能不精确的模型进行纹理化的图片 的相机位姿。图6示出了由方法的示例实现的两个主要级别的全局纹理3D重建管线。第一级 别包括利用RGB或者RGB深度传感器来重建3D场景：然后提供外在相机参数W及3D网格模 型。运些技术主要在更早的引用文献中有说明。第二级别（即，该方法的核屯、原创)致力于纹 理坐标优化W用于纹理化过程。换言之，图6示出了两个级别的全局过程总览，级别1指代场 景的3D重建，而级别巧旨代对3D模型的自动纹理化。因此，下面的讨论将主要聚焦于描述纹 理坐标优化过程（即，步骤S20,或者图6的级别2-A)。该示例的总体算法被分为运些主要步 骤：1/预处理:在3D模型上提取鲁棒曲率，并在图像上进行距离转换计算;2/优化处理：i)建 立图，ii)优化马尔科夫随机场。
[0073] 不像目前工艺水平的方法那样，该方法的解决方案仅使用不精确的3D网格模型作 为输入W及由通常3D重建算法提供的、可能扭曲的校准的输入图像，就能实现高质量纹理 化，且运W快速的方式。如果3D模型含有大量边缘，特别是当其基于3D点的曲率时，那么该 方法的解决方案在运样的示例中执行得特别好。该方法的解决方案在具有高分辨率图像的 示例中执行得特别好。如果图像上有大量边缘，并且如果图像上的对象不具有高颜色变动， 那么该方法的解决方案在运样的示例中执行得特别好。该方法的解决方案在具有对比度的 图像的示例中执行得特别好，运是因为该解决方案可W在示例中检测到图像上的强大的梯 度。该方法的解决方案能够在示例中处理扭曲的网格或者图像，而不像基于相机位姿优化 的纹理化过程那样。
[0074] 要注意的是，该方法建立在从学习马尔科夫随机场得知的公知的数学结果上。例 如，通向该方法的发展利用哈默斯利克利福德化ammer S1 ey-Cl if ford)定理。还注意到，MRF 理论已被用于图像处理的领域。然而，先前的应用将图像视为所有图像像素的栅格(grid)， 所述栅格限定MRF应用的底层图。然而，该方法不将MRF基于运样的像素的栅格，而是基于与 3D网格相对应的图（即，3D网格被视为图，具有分配到每个顶点的标签，W及分配到边缘的 条件概率）。此外，运里将MF结果具体地应用到3D网格纹理化。因此，运里MRF的效率结果被 巧妙地应用到3D重建和3D纹理的上下文中。
[0075] 现在讨论在SlO处提供的输入。
[0076] 如从先前技术已知的那样，实际对象可W由CAD系统利用对应于不同几何形状的 不同数据结构W3D表示。在该方法的上下文中，在SlO处提供的3D表示（下文中其还可W称 作"3D模型"）是根据先前技术已知的3D网格表示。先前技术3D重建技术提供运样的离散3D 表示，如所已知的那样。运样的技术的示例通常包括利用传感器在实际对象上执行测量，并 根据该测量推断离散3D表示。该技术可W是从运动中恢复结构的分析，意味着捕捉实际对 象的多视点图像，W经由数学模型推断离散3D表示。先前技术中呈现的第一方法(仅RGB数 据)和第二方法(RGB和深度数据)构成针对该方法预见的从运动中恢复结构的分析。离散3D 网格表示还可W由激光=角测量和/或声学传播分析获得，也可W预见不同技术的组合。 [0077]在包括来自RG姻像的3D重建的从运动中恢复结构的分析的情况下，该方法可W 包括对图像之间的兴趣2D点进行匹配。然后该方法可W校准相机，例如通过估计相对于所 观察的场景的位置(外在校准)和估计传感器的物理参数(例如，焦点、失真（内在校准））。然 后该方法可W利用校准数据将匹配点=角化来估计3D位置(例如，点云产生）。然后该方法 可W从所有3D =角化的点来建立3D网格模型，从而实现离散3D表示。关于上述步骤的细节， 参考之前引用的化：Ttley和Zisse;rman、Szeliski、和!^iugeras的论文。
[0078] 在包括来自RGB深度的3D重建的从运动中恢复结构的分析的情况下，该方法可W 主要使用深度图像（即，含有针对每个像素的差异信息的图像）。该方法可W首先从第一深 度图像建立3D场景（即，从差异值产生3D点云）。然后该方法可W针对每个新的深度图像估 计外在相机校准(例如，根据先前的视点的相机旋转和平移）。该方法可W更新全局3D点云。 该方法可W最终根据点云分析产生3D网格模型，从而实现离散3D表示。关于上述步骤的细 节，参考之前引用的化i等人W及化wcombe等人的论文。
[0079] 因此，3D网格和映射W及可能地纹理图像可W由在方法中或者在方法之前应用运 样的技术而产生。因此，该系统可W包括禪合至处理器的至少一个传感器来提供传感测量， 该系统在其程序中包括指令W用于根据该测量来确定离散3D网格表示。优选地，该系统包 括至少一个深度传感器，W使得该方法可W执行输出实际对象的相对精确的3D表示的深度 测量。运是先前技术已知的，如先前所述。
[0080] 如先前技术已知的，纹理图像是包括纹理信息的实际对象的2D视图，诸如实际对 象的RGB图像/照片。要注意的是，3D网格可W对应于实际对象的可见部分，纹理图像是实际 对象的可见部分的照片。实际对象的视图是实际对象的任何图示，诸如图像、照片、图片。因 此，2D视图是2D表示，允许仅从一个角/视点来观看实际对象，与之前提供的3D表示的定义 相对。提供纹理图像通常可W独立于提供3D网格而执行，例如，伴随、在之前或者之后执行。 在该方法的情况下，在SlO处提供的2D视图被校准。校准的视图是与信息(校准信息)一起提 供的，允许2D视图的位置与对应的3D表示的位置之间的对应，3D表示即运里在SlO处提供的 3D网格表示:运是在SlO处提供的映射。例如，运样的信息可W包括相机参数，该参数是表示 已（可能虚拟地)捕捉2D视图的相机的配置的参数。换言之，相机参数构成的信息允许可能 已捕捉相对于3D表示的纹理图像的相机的后验(posteriori)说明。该方法可W相对于在 SlO处提供的3D网格表示执行运样的纹理图像的校准，通过事先计算所述相机参数，或者通 过计算更精确的相机参数来改善2D视图的事先校准(换言之，通过优化先前的相机参数）， 诸如2013年11月18日提交的名为DASSAULT SYSTEMS的申请EP 13306576.3。
[0081] 在SlO处提供的离散3D网格表示是从运动中恢复结构的分析的输出的情况下，可 W在该从运动中恢复结构的分析期间捕捉实际对象的2D视图（即，纹理图像）。换言之，从运 动中恢复结构的分析可W用于对3D网格的提供S10,设及至少一个2D视图（例如，RGB图像）， 并且所述2D视图可W有效地是在SlO处提供的纹理图像。实际上，基于至少一个2D视图作为 输入的从运动中恢复结构的分析，输出用于描述从离散3D表示投影到输入纹理图像的数 据。然而，尽管在运种情况下2D纹理图像视图被校准（即，根据校准信息，2D视图的位置对应 于3D网格表示的位置，运是因为当执行从运动中恢复结构的分析时运两者均对应于实际对 象的实际位置），但是所述校准数据并非完美精确，并且因此，该方法可W有利地经由S20执 行的纹理坐标的优化来抗衡运样的误差。在实际对象的3D表示是通过从至少一个深度传感 器的测量W重建3D表示来提供的情况下，尤其如此。在运样的情况下，实际上，深度数据主 要用于确定3D表示，而2D数据（诸如RGB图像）主要用于其他目的（诸如对3D表示进行纹理 化）。因此，纹理图像可W由高分辨率相机(提供具有至少比深度传感器、或者捕捉用于重建 初始3D表示的图像的其他相机更高分辨率的数据)来捕捉。因此，尽管2D视图由与深度传感 器同步的相机捕捉，但可能存在导致精度缺乏的移位，如上所述。因此，该方法引起更精确 的最终纹理。
[0082] 现在进一步讨论在10处提供的可W形成映射的相机参数。
[0083] 运些相机参数允许在SlO处提供的2D纹理图像/视图上的位置与3D网格表示中的 位置之间的对应。因此，相机参数与纹理图像相关联，并相对于在SlO处提供的3D网格。对 此，相机参数可W包括投影矩阵(例如，描述从3D表示到2D视图的投影）。投影矩阵可W基于 与3D表示相关联的参考，W及基于与2D视图相关联的参考。如所已知的，投影矩阵可W包括 外在参数(诸如视点的3D位置，例如，相机位置和/或取向，例如，旋转和平移数据)和/或内 部参数(诸如焦长、斜参数(skew parameter)、主点和/或失真参数）。内部参数是与传感器 相关的参数(例如，焦点、光学中屯、投影、失真），并且通常在先前技术中通过离线过程来估 计，Z.Zhang在国际计算机视觉大会1999发表的A Flexible New Technique for Camera 化Iibration的论文中定义了该过程。外在参数也称作"位姿(pose)参数"，设及图像在3D场 景的参考(此处为3D重建的模型）中的位置(例如，旋转矩阵和平移向量）。先前技术已知的 估计运些位姿参数的经典方式是在诸如上述的重建过程期间（如基于RGB深度的重建)将其 近似(诸如之前提到的Izadi等人的论文中描述的那样），其中，根据深度相机定位来推断 RGB位姿。运是可能的，是因为两个传感器(RGB和深度)刚性地连接，因此只有相对的变换来 改变参考轴。
[0084]现在参考图7-15来描述与图6的示例一致的方法的具体示例。在该示例中，3D网 格、纹理图像和映射可W都通过如上所述的应用到实际对象的预先确定从运动中恢复结构 的分析方案来输出。因此，映射可W对应于对于在从运动中恢复结构的分析中针对纹理图 像所确定的位姿相机参数。运允许利用纹理的有效且精确的3D重建。
[008引该示例根据如下想法建么可能具有近似的30立角网格的，利用校准的（拍摄图像 时的相机的内部参数+平移/旋转）图像W用于纹理化。下面的讨论聚焦于对纹理坐标优化 过程(图6的级别2-A)的描述，在图7中详细说明，其示出了对方法的示例所实现精确纹理化 进行优化的流程图说明。该示例的算法被分为运些主要步骤：
[0086] 1)预处理:在3D模型上提取鲁棒曲率，并在2D图像上进行距离转换
[0087] 计算。
[008引 2)优化处理：
[0089] i.建立图。
[0090] ii.优化马尔科夫随机场。
[0091] 讨论步骤1:预处理
[0092] 讨论预处理i
[0093] 在示例中，方法首先计算利用位姿相机的3D点可见性。第一步骤实际上是提取网 格的所有可见顶点（在3D网格包括的顶点多于在纹理图像上可见的顶点的情况下）。运用低 级图形API,诸如化en化或者DirectX能够非常容易地完成。运些API提供Z缓冲算法，经常由 硬件实现。Z缓冲算法针对给定的相机位姿提供网格的深度图。然后，该方法可W使用该深 度图来检查网格的顶点是否可见。为了运样做，该方法可W简单地将网格的所有顶点投影 到深度图，并针对每个顶点将其深度与在投影的顶点的像素位置处深度图的值进行比较。 如果两个值足够接近，那么