基于自适应网格细分的重建模型几何与纹理优化方法

本发明涉及计算机视觉、纹理优化技术，具体涉及一种基于自适应网格细分的重建模型几何与纹理优化方法。

背景技术：

1、虽然利用三维重建技术可以准确恢复出场景的形状和外观。然而，现有的三维重建技术在重建过程中会遭受各种噪声的影响，导致重建模型几何细节缺失以及表面纹理存在伪影、模糊和裂缝等问题，无法直接应用到真实场景中。为了提高三维重建模型的纹理质量，近年来，专家和学者在实现三维重建与纹理映射方面取得了显著进展。从影响纹理优化结果的因素出发，现有三维重建与纹理映射相关算法分为以下几类。

2、一、基于面投影的方法。此类方法首先为每个三角形面片选择一张最合适的彩色图像，然后将三角形面片投影到图片上生成面纹理，并存储在二维图像上；同时，计算每个顶点的uv坐标，建立模型顶点和纹理图像像素的映射关系；采用面投影方法生成纹理图像面临一个挑战，即如何降低相邻纹理块之间的视觉不连续性，这类方法根源在于相机位姿估计不准或重建的几何形状存在缺陷，导致纹理图像和模型发生错位。例如，lempitsky等人提出全局颜色校正方案，调整不同块边界顶点的颜色，以使相邻块之间的颜色趋近一致。

3、waechter等人对此进行了改进并提出了一种新的全局色彩调整算法，不仅考虑相邻顶点之间的颜色差异，还额外考虑了相邻边的颜色，得到更为鲁棒的结果。在全局颜色调整之后，接着使用泊松编辑调整目标图像区域的边界像素颜色，进一步减少细缝。fu等人提出了一种全局到局部的非刚性优化方法来校正相机的位姿漂移。利用重投影误差优化相机外参，并提出局部扭曲纹理坐标方法，以纠正几何误差引起的纹理坐标漂移。由于相机曝光、位姿和几何误差等因素无法完全消除，以上基于面投影的方法，在局部区域都会产生未完全对齐的纹理块。

4、二、基于顶点加权融合的方法。此类方法为三维模型的顶点赋予颜色，直接作为物体表面纹理，具体地，首先将三维模型中每个顶点投影到可见的彩色图像上，得到初始颜色，然后利用加权平均算法计算出该顶点的最终颜色，重复此步骤直到生成所有模型顶点的颜色纹理。这类方法对相机位姿误差十分敏感，由于基于光度一致性假设，顶点投影到不同视角时应该得到相同颜色，但由于重建模型中存在各种误差，顶点可能会投影到错误的位置，导致得到的颜色不一致，加权平均后会出现模糊的颜色。为了弥补相机估计误差，zhou等人采用了模型顶点的重投影误差优化相机位姿，并对图像施加变形场的方法，然而由于是以顶点颜色表示整个场景的纹理，为得到更清晰的外观颜色，需要在优化之前细分网格模型，增加顶点数，这会显著增加计算代价和内存代价，限制算法的适用范围。

5、三、基于块合成的方法。此类方法源于图像编辑与以往的纹理优化方案不同，基于块合成方案为每个图像合成一个与三维模型对齐的纹理图像，纠正由几何、相机姿势和光学畸变引起的图像失真。例如，bi等人借助图像和视频编辑任务领域的块合成技术，首次提出纹理图像合成算法，保留原始图像内容的同时，为几何模型生成一张完全对齐的纹理图像，避免纹理映射结果中的模糊伪影以及裂缝现象。最近fu等人提出了一种新的纹理映射方法，该方法使用一个三向相似度函数来重新合成纹理图边界内条纹的图像上下文，减少纹理接缝的出现；此外，引入全局颜色协同方法解决从不同视点捕获的纹理图像之间的颜色不一致问题，最终生成视觉逼真的纹理映射结果。基于块的合成方案虽然简单灵活，但是合成每一个视角的纹理图像时需要参考其他视角以保证纹理图像的多视角一致性，这显然增加了计算代价。

6、四、基于联合优化的方法：联合优化方案对重建过程中各种误差进行优化纠正，并使用交替循环策略进行联合优化。例如，robert maier等人提出了一种基于阴影恢复形状(shape-from-shading，sfs)和空间变化的球谐光照函数的子体优化方法，该方法同时优化几何、纹理、相机姿态和场景照明，获得全局一致的高质量三维重建模型与纹理，然而，该方法依赖于sfs，需要分解场景的光照，容易导致纹理拷贝问题。最近fu等人提出一种基于颜色和几何一致性以及高频法线线索对重建网格进行优化的方法，这种方法虽然能够克服sfs产生的纹理拷贝问题，然而仍然需要为每个目标设计不同的损失函数，在优化时要么需要高昂的计算时间，要么容易陷入局部最小值影响优化效果。

7、五、基于深度学习的方法。此类方法通过生成对抗网络来生成与真实世界充分接近的高质量彩色图片。受基于块合成纹理方法的启发，huang等人使用从弱监督视图中获得的条件对抗损失，以近似表面生成逼真的纹理，使用基于学习的方法训练纹理目标函数，以保持对相机位姿和几何畸变的鲁棒性。zhang等人同样借助于可微分渲染方法提出了一种联合优化方法，将几何、纹理和相机姿态共同纳入一个统一的优化框架中，并采用自适应交织策略，提高优化的稳定性和效率。

技术实现思路

1、发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于自适应网格细分的重建模型几何与纹理优化方法，额外采用自适应性细分策略对重建模型进行细分，更易恢复出模型高频几何细节，提升模型在重建误差较大场景下的鲁棒性和健壮性。

2、技术方案：本发明的一种基于自适应网格细分的重建模型几何与纹理优化方法，包括以下步骤：

3、步骤s1、对于同一场景的彩色图像、深度图像和掩码图像，通过三维重建产生初始的三维模型以及每个图像对应的相机位姿；

4、步骤s2、利用三维模型顶点投影至图像，经过纹理重建的加权融合生成初始纹理图像、几何模型以及纹理模型；

5、步骤s3、使用可微分渲染模块来渲染三维模型至图像(初始纹理图像、几何模型以及纹理模型)，并允许梯度在可微分渲染模块自由传播至三维场景，更新顶点位置和相机位姿参数，从而实现相机位姿矫正、几何形状矫正、纹理优化、几何细化，具体包括以下内容：

6、(3.1)、基于可微分的光栅化和blinn-phong着色模型实现相机位姿矫正；

7、对于相机参数t,令t＝(r,t)∈se(3),ri∈so(3),每次渲染时随机选择一个视角ti，并在这个视角下拍摄生成彩色图像深度图像和掩码图像定义render(m0|ti)表示网格m0在视角ti下的渲染结果；然后使用光度一致性损失来优化关键帧的相机姿势，优化目标如下：

8、

9、其中，ic、id、is分别表示彩色图真值、深度图真值和掩码图真值；λc，λd，λs分别代表不同损失项的权重(0.1，1，1)；

10、(3.2)、基于自适应细分法进行集合网格优化和网格顶点矫正；

11、首先，为网格上每个顶点施加偏移量来矫正几何误差；然后，基于场景本身纹理丰富程度采用自适应质心细分网格方法增加三角形面片数目，接着，在图像损失基础上增加几何正则化项，即拉普拉斯项、法线一致性项和l2范数；其损失函数如下：

12、

13、其中，是网格模型的图拉普拉斯矩阵，vk是初始网格的顶点坐标，是优化后网格顶点的坐标，代表共享一条边的相邻三角形面的集合，nk,nj表示任意一对儿三角形面片的法线，k和j分别代表相邻三角形面片的索引；

14、(3.3)、基于pi-gan网络使用纹理重生模块进行纹理优化得到与三维模型完全对齐的新的纹理图像；

15、定义辅助视角到源视角的重映射ib→a，作为监督可微分渲染生成彩色图像的真例；相应的对抗性损失函数定义如下：

16、

17、其中，表示源视角的渲染图像；

18、经过若干次迭代交替训练判别器d和纹理生成器p后，判别器d识别渲染图像中的伪影模糊或者裂缝，纹理生成器p重新生成像素；

19、纹理图像生成过程中通过调整纹理像素的颜色，最大化生成损失，使得纹理图像在判别器视角下看起来更逼真；

20、判别器优化过程中最小化对抗性损失，降低假样本与真样本之间的概率分布差异；

21、最后，为使得对抗生成纹理的优化更加稳定，额外增加l1损失，避免优化过程陷入局部最小值，并提供初始的指导；

22、(3.4)对相机位姿、几何模型和纹理优化按顺序交替迭代优化；

23、步骤s4、输出最终所得的矫正后相机位姿、细化网格模型、优化后纹理和纹理模型。

24、进一步地，基于自适应细分法进行集合网格细化和网格顶点矫正的具体方法为：

25、(a)、使用soble算子提取所有视图的梯度图作为细分面片的依据；

26、(b)、计算几何模型上每个面片fj投影到每个可见视角i上的面积aij，并计算面积之和

27、(c)、计算每个面片的抽样概率其中m是几何模型中面片数量，n是视角数量；

28、(d)、根据概率对所有面片进行无放回随机抽样。抽样概率阈值设置为0.5，在概率阈值之上的面片才会被选取；

29、(e)、对所选择面片fj进行质心细分。

30、进一步地，对相机位姿、几何模型和纹理优化按顺序交替迭代优化时，采用外部循环方法分别优化参数集合(t,m,p)：

31、首先，固定参数(m,p)，通过最小化损失函数lt以优化每一帧的相机参数t至t′；

32、其次，使用参数(t′,p)最小化损失函数lm优化几何模型m至m′；

33、最后，使用并固定前两次的结果参数(t′,m′)最小化对抗损失ladv来优化纹理p至p′。

34、进一步地，所述步骤s3在进行相机位姿矫正时，选择真实的彩色图像的某一个视角(可以根据场景，增加至多个视角)：tc，然后通过微分渲染库定义渲染器g渲染进而分别得到两幅彩色图像接着再和用深度相机采集彩色图像做l1损失，用梯度下降算法更新投影矩阵tc。

35、进一步地，所述步骤s3中网格优化时，先将初始三角形网格进行自适应质心细分，细分完成后，随机选择一个视角，在该视角下利用可微分的光栅化算法，渲染出深度图像和掩码图像；接着经过blinn-phong着色模型生成彩色图像。

36、上述自适应质心细分的详细过程为：

37、进一步地，使用纹理重生成模块进行纹理优化的具体内容如下：

38、输入rgb-d相机采集的彩色图像，用初始的纹理图像作为生成器和判别器网络分别进行优化；首先，定义输入网络的“假例”与“真例”，为得到“真例”，输入的彩色图像需要进行重投影操作，随机挑选一对输入图像，即源图像和辅助图像；接着，用辅助图像重新投影至源图像关联的视角上作为“真例”，然后用可微分渲染在源图像视角下渲染出彩色图像作为“假例”；

39、定义初始的纹理图像为生成器，然后定义五层卷积的判别器，对于任意一个源视角ts，为其选取一个辅助视角tt(与源视角在z方向的夹角θ≤15°)，再利用公式(4)将辅助视角对应的彩色图像wrap至源视角得到彩色图像it→s，以此作为监督渲染图像的“真例”；

40、其中，tt→s表示辅助视角到源视角变换的相机外参矩阵，k表示相机内参矩阵，pspt分别表示源视角与辅助视角彩色图像像素；

41、ps～ktt→sdtk-1pt     (4)

42、最后，利用可微分渲染在源视角ts下渲染生成彩色图像作为“假例”，同时将源视角作为条件gan的条件变量，限制生成器所生成内容的随机性。

43、有益效果：本发明在优化几何时额外采用自适应性细分策略，当几何误差过大时，本发明仍能恢复出几何模型的细节，并且能够获取高保真的纹理。