一种三维模型的无接缝纹理映射方法与流程

本申请属于计算机视觉技术领域，具体涉及一种三维模型的无接缝纹理映射方法。

背景技术：

三维模型的纹理映射是将带有颜色信息的纹理图像映射到空间三维模型表面上，赋予三维模型表面纹理特征。在三维重建过程中通过网格构建得到的三维模型不具有纹理特征，为了使三维模型具有更好的视觉效果，通常最终需要对三维模型进行纹理映射，而如何通过一组图像，来获得物体上更真实无接缝的纹理，是三维建模的重要一步，影响着模型表面的细节与三维模型的真实感。

现有的纹理映射方案包括：获取三维模型对应的多张纹理图像，该多张纹理图像中包含该三维模型对应的目标，比如车辆目标、人员目标等；从该多张纹理图像中，选择一张视点最近的图像，或者选择一张最清晰的图像；根据所选择纹理图像中像素点与三维模型中网格点的映射关系，将所选择纹理图像中该目标的纹理特征映射到三维模型中。

如申请公布号为cn105957137a的专利文献，提出了一种基于纹理映射的三维彩色模型图像处理方法，将各纹理块的边界和内部分开更新，可降低接缝处颜色的差异提升整体纹理的一致性。但该专利弱化接缝处颜色更新的约束，对纹理错位导致接缝颜色失真的情况无法处理，存在扩大纹理错位的风险。

如申请公布号为cn108335352a的专利文献，提出了一种面向多视图大规模三维重建场景的纹理映射方法，对输入的多视图不做筛选，若输入视点数量增多则会导致纹理块细碎，纹理接缝增加，该方法对纹理接缝也采用融合处理，无法避免融合导致的纹理模糊。

因此实际的纹理映射中，纹理图像质量与所需要的位姿精度制约着纹理映射的质量，主要存在如下两个问题：

1、如果所选择纹理图像中的目标被遮挡，则无法将该遮挡区域的纹理特征映射到三维模型上，若不进行筛选，过多视点的纹理图像会导致纹理块细碎，映射效果较差。

2、相邻纹理映射图像因曝光差异，颜色差异，精度问题，将引起纹理接缝处的纹理出现错位、模糊等问题，映射的接缝处纹理效果差。

如何解决目标遮挡、相邻纹理亮度颜色差异、纹理接缝融合失真等问题，获得更细致真实的三维模型对于三维重建具有重要的意义。

技术实现要素：

本申请的目的在于提供一种三维模型的无接缝纹理映射方法，有效降低相邻纹理的亮度颜色差异，抑制接缝融合导致的纹理失真，提升了三维模型整体纹理的准确度和一致性。

为实现上述目的，本申请所采取的技术方案为：

一种三维模型的无接缝纹理映射方法，所述三维模型的无接缝纹理映射方法，包括：

步骤1、输入已知的三维模型、rgbd图像、三维模型到rgbd图像的投影矩阵以及投影矩阵误差；

步骤2、根据所述投影矩阵进行位姿变换和误差分析，筛选出完全覆盖三维模型且位姿估计误差总和最小的rgb图像；

步骤3、计算三维模型中每一面片与筛选出的rgb图像的位姿关系，确定各面片对应的候选视点；

步骤4、利用面片以及对应的候选视点，剔除所有候选视点中纹理错误的候选视点；

步骤5、在剔除后剩余的候选视点中选取最优的视点进行纹理映射；

步骤6、调整纹理映射后的三维模型的颜色和亮度，进行接缝融合处理；

步骤7、若步骤5的最优的视点中存在遮挡，则取历史纹理映射至步骤6接缝融合处理后的三维模型的遮挡区域，得到完整的纹理映射三维模型。

作为优选，所述计算三维模型中每一面片与筛选出的rgb图像的位姿关系，确定各面片对应的候选视点，包括：

步骤3.1、根据三维模型获取各面片的法向量；

步骤3.2、根据所述投影矩阵计算各rgb图像的法向量；

步骤3.3、逐一计算面片的法向量与rgb图像的法向量之间的夹角，取夹角小于角度阈值的rgb图像作为对应面片的候选视点。

作为优选，所述利用面片以及对应的候选视点，剔除所有候选视点中纹理错误的候选视点，包括：

步骤4.1、依次取三维模型中的面片以及对应的候选视点，根据投影矩阵将面片顶点的三维坐标投影至对应的rgb图像上，得到面片顶点的二维坐标；

步骤4.2、利用该rgb图像对应的rgbd图像的像素深度信息，将所述二维坐标反投影至三维空间中，得到参考面片的各顶点三维坐标；

步骤4.3、计算所取面片与所述参考面片之间的最短距离；

步骤4.4、若最短距离小于距离阈值，则该候选视点的纹理正确并保留该候选视点；否则该候选视点的纹理错误并剔除该候选视点。

作为优选，所述调整纹理映射后的三维模型的颜色和亮度，进行接缝融合处理，包括：

进行颜色调整：

a)全局颜色调整：采用代价方程进行全局颜色调整；

b)局部颜色调整：判断接缝两侧颜色差异大小，若颜色差异大于第一阈值，则放弃局部颜色调整；否则采用泊松编辑对接缝两侧区域的颜色纹理进行融合；

进行亮度调整：

a)全局亮度调整：采用代价方程进行全局亮度调整；

b)局部亮度调整：判断接缝两侧亮度差异大小，若亮度差异大于第二阈值，则放弃局部亮度调整；否则采用泊松编辑对接缝两侧区域亮度进行融合。

本申请提供的三维模型的无接缝纹理映射方法，借助输入相机位姿与位姿估计准确度，选取较少且位姿估计较准的视点组合作为纹理映射的输入，减少接缝数量与纹理错位程度；采用视点选取优化模型，为面片选择最优视点，控制接缝在弱纹理区域，降低接缝显著度；提出纹理调整策略，将纹理亮度与颜色区别处理，抑制接缝融合导致的纹理失真。从而提升模型整体纹理的准确度与一致性。

附图说明

图1为本申请的三维模型的无接缝纹理映射方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，提供一种三维模型的无接缝纹理映射方法，如图1所示，本实施例的三维模型的无接缝纹理映射方法，包括：

步骤1、输入已知的三维模型、rgbd图像、三维模型到rgbd图像的投影矩阵以及投影矩阵误差。

输入的三维模型为待映射纹理的三维模型，且rgbd图像为不同视角、视点对齐无畸变的多张，各rgbd图像包括rgb图像和深度图像，投影矩阵误差包括rgbd图像中每一视点的标定误差与校验误差。

步骤2、根据所述投影矩阵进行位姿变换和误差分析，筛选出完全覆盖三维模型且位姿估计误差总和最小的rgb图像。

在纹理映射前，根据投影矩阵进行位姿变换、根据投影矩阵误差进行误差分析对rgb图像进行筛选，可有效降低三维模型的接缝数量与纹理错位程度。且为了保证筛选操作的灵活性，筛选过程采用现有技术实现，可以采用的筛选步骤包括但不限于以下：例如先采用穷举筛选，得到满足覆盖整个三维模型的rgb图像组，然后选取位姿估计误差(即投影矩阵误差中的标定误差与校验误差)总和最小的，得到最终的rgb图像组作为候选视点。

步骤3、计算三维模型中每一面片与筛选出的rgb图像(即上述rgb图像组中的各rgb图像)的位姿关系，确定各面片对应的候选视点。

由于对应的面片与图像之间存在一定的规律，因此在确定面片对应的候选视点时，通常根据两者的位姿关系，例如角度、距离等参数进行确定。在一实施例中，提供的确定方法如下：

步骤3.1、根据三维模型获取各面片的法向量，在输入三维模型时，三维物体上的面片信息是已知的。

步骤3.2、根据所述投影矩阵计算各rgb图像的法向量。

步骤3.3、逐一计算面片的法向量与rgb图像的法向量之间的夹角，取夹角小于角度阈值的rgb图像作为对应面片的候选视点。

步骤4、利用面片以及对应的候选视点，剔除所有候选视点中纹理错误的候选视点。

误差视点剔除利用与纹理图像对齐的深度图像剔除候选视点中映射错误纹理的视点，计算面片顶点在对应视点的二维坐标，获取相应深度，反投影到三维模型空间，生成参考面片，计算模型面片与参考面片间距，根据间距大小判断纹理正确性。具体剔除步骤如下：

步骤4.1、依次取三维模型中的面片以及对应的候选视点，根据投影矩阵将面片顶点的三维坐标投影至对应的rgb图像上，得到面片顶点的二维坐标。rgb图像就是纹理图像，即该视点下的视点图像。

步骤4.2、利用该rgb图像对应的rgbd图像的像素深度信息，将所述二维坐标反投影至三维空间中，得到参考面片的各顶点三维坐标。反投影为常规手段，与投影矩阵相乘可以做投影，反之可以做反投影，本实施例中在生成参考面片时做反投影，并替换深度信息即可。

步骤4.3、计算所取面片与所述参考面片之间的最短距离。

步骤4.4、若最短距离小于距离阈值，则该候选视点的纹理正确并保留该候选视点；否则该候选视点的纹理错误并剔除该候选视点。

步骤5、在剔除后剩余的候选视点中选取最优的视点进行纹理映射。

在选取最优视点时，为控制接缝在弱纹理区域，降低接缝显著度，可以采用的优化步骤包括但不限于，采用基于马尔科夫随机场建立的优化模型作为视点选取优化模型计算面片在各剩余候选视点中的能量值，根据能量值从剩余候选视点中选取用于纹理映射的最优视点。

步骤6、调整纹理映射后的三维模型的颜色和亮度，进行接缝融合处理。

颜色调整融合相邻面片颜色并控制同一片面的颜色统一，使三维模型整体纹理一致性提升。然而，纹理映射误差也会经由颜色调整扩散，导致三维模型颜色失真。因此，在颜色调整前，需限制调整前后的颜色差异。首先将表示颜色的分量从rgb空间通过转换公式变换到yuv空间。由于人类对邻近区域的亮度差异比较敏感，且接缝两侧颜色趋近较亮度趋近更容易导致纹理失真，因此亮度调整的限制条件较颜色调整的限制条件放宽。

由于现有技术中纹理融合经常导致失真，因此本实施例将颜色与亮度分别进行调整，且设置不同的限制条件，以达到更优的融合效果。在一实施例中，提供的接缝融合处理如下：

进行颜色调整：

a)全局颜色调整：采用代价方程进行全局颜色调整；

b)局部颜色调整：判断接缝两侧颜色差异大小，若颜色差异大于第一阈值，则放弃局部颜色调整；否则采用泊松编辑(poissonediting)对接缝两侧区域的颜色纹理进行融合；

进行亮度调整：

a)全局亮度调整：采用代价方程进行全局亮度调整；

b)局部亮度调整：判断接缝两侧亮度差异大小，若亮度差异大于第二阈值，则放弃局部亮度调整；否则采用泊松编辑对接缝两侧区域亮度进行融合。

本实施例在接缝两侧颜色差异较大(不属于同一色系)时，放弃纹理融合，抑制融合失真，并且设置第二阈值大于第一阈值，实现亮度调整的限制条件较颜色调整的限制条件放宽。

需要说明的是，本实施例建议全局与局部、颜色与亮度调整相结合的方法，但不局限于此，可根据实际调整所需采用其他结合方法，例如全局、颜色与亮度调整相结合的方法。

步骤7、若步骤5的最优的视点中存在遮挡，则取历史纹理映射至步骤6接缝融合处理的三维模型的遮挡区域，得到完整的纹理映射三维模型。

由于视点存在遮挡会导致三维模型在纹理映射后存在缺失，为了得到更加完整的映射模型，本实施例中提取历史纹理映射至遮挡区域，提升模型纹理的完整度。其中历史纹理映射应理解为该视角下无遮挡的纹理图像。

本申请的三维模型的无接缝纹理映射方法借助输入相机位姿与位姿估计准确度，筛选出较少且位姿估计较准的视点组合作为纹理映射的输入，减少视点可以降低纹理接缝数量；采用视点选取优化模型，为面片选择最优视点，使纹理稠密区的面片倾向选取同一视点图像的纹理，控制接缝发生在弱纹理区域，降低不同视点纹理接缝的显著度；提出纹理调整策略，在yuv颜色空间中，将纹理亮度与颜色两种属性区别处理，抑制接缝两侧纹理融合导致的模型颜色失真；有效减少纹理接缝数量，提升当前帧模型纹理的完整度，针对复杂三维模型可获取较为准确完整的纹理映射结果，增强其主观视效。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。