基于PIFu和3D-GAN改进的秦腔人物三维模型重建的方法

基于pifu和3d
‑
gan改进的秦腔人物三维模型重建的方法
技术领域
1.本发明属于计算机图形学处理领域，具体涉及一种基于pifu和3d
‑
gan改进的秦腔人物三维模型重建的方法。


背景技术：

2.秦腔“形成于秦，精进于汉，昌明于唐，完整于元，成熟于明，广播于清，几经演变，蔚为大观答”，是相当古老的剧种，堪称中国戏曲的鼻祖。旧时，在中国西北辽阔的大地乃至西域国家，秦腔曾是老百姓最为喜爱和掌握的艺术形式。它简单灵活、轻松幽默、亲切随和，富有浓郁的地域特色和乡土气息。然而随着现代经济高速发展，互联网快速普及，国民大众的娱乐方式发生了变化。秦腔原始的娱乐性功能被削弱，受众群体老龄化，面临着生存和发展的危机。
3.通过对2d秦腔人物图片进行三维模型重建，生成3d人物模型用来进行人机交互，极大地推动了秦腔文化的发展，以更加现代化的方式让人们重拾对传统戏剧的兴趣，体会秦腔这一传统中华文化的深厚艺术积累和丰富的人文内涵。
4.目前，对于某些特定领域的物体，如人脸、人体或已知的人造物体，通过参数化模型、数据驱动技术或深度神经网络的帮助，已经可以从图像中推断出相对准确的3d表面。传统方法都是从cad库中寻找组件生成新的物体，因此生成的很真实却不新颖。最近3d深度学习的进展表明，一般的形状可以从很少的图像，有时甚至是单个输入就可进行推断出相对准确的3d表面。然而，这些方法的结果分辨率和精度通常是有限的，甚至对于特定领域的建模任务效果也不好。siclope网络引入了一种多视图推理方法，即通过从单个图像合成新的剪影视图。虽然多视图剪影的记忆效率很高，但凹区域很难推断，因此，siclope无法可靠地得出模型精确的细节。


技术实现要素：

5.针对现有技术存在的不足，本发明的目在于提供一种基于pifu和3d
‑
gan改进的秦腔人物三维模型重建的方法，内存占用较少，精准捕捉细节，提升了三维重建模型的逼真度和运算速度。
6.为了实现上述目的，本发明采用以下技术方案予以实现：
7.基于pifu和3d
‑
gan改进的秦腔人物三维模型重建的方法，包括以下步骤：
8.步骤1：搜集2d秦腔人物图片，并设置图片为适配尺寸；
9.步骤2：通过使用background
‑
based抠图算法对步骤1中的秦腔人物图片进行去除背景操作；
10.步骤3：对步骤2得到的图片进行掩膜处理，对图片加mask，并提取mask区域；
11.步骤4：在原始的3d
‑
gan模型网络中的dib
‑
r框架前加入pifu网络的tex
‑
pifu模型，同时在3d
‑
gan网络中加入一个生成器，并引入循环一致性损失来约束生成器的训练；
12.循环一致性损失表示为：
[0013][0014]
其中，l
cyc
表示的是循环一致性损失；参数g代表3d
‑
gan的生成器；参数f代表的是增加的3d
‑
gan的生成器；
[0015]
表示期望x从p
data
分布中获取；x表示真实数据，
[0016]
p_data(x)表示真实数据的分布；同理e_(y～p_data(y))表示的是期望y从p
data
(y)分布中获取；y表示生成数据，p
data
(y)表示生成数据的分布；g(x)代表的是输入图像x经过生成器g生成的图像y’；f(g(x))代表的是图像y经过生成器f生成的图像x’；公式中||u||1下标1代表的是1
‑
范数，整体表示u向量中元素绝对值之和；
[0017]
步骤5：将步骤3得到的掩膜图片作为训练的输入数据开始训练，训练目标是使得f(g(x))≈x，g(f(y))≈y，用改进后的3d
‑
gan对其进行三维重建最终得到的秦腔人物三维模型。
[0018]
进一步，所述3d
‑
gan模型网络结构由一个生成器、一个判别器和一个dib
‑
r框架三部分组成。
[0019]
进一步，所述步骤1中设置图片尺寸为512x512mm。
[0020]
本发明具有以下有益效果：
[0021]
本发明基于pifu和3d
‑
gan改进的秦腔人物三维模型重建的方法，利用background
‑
based抠图算法对2d戏曲人物图片进行消除背景操作，通过修改3d
‑
gan网络，将其中纹理重建部分融入pifu网络的tex
‑
pifu模型，为了使得生成前后身份保持一致性，本发明增加3d
‑
gan一个生成器，并引入循环一致性损失来约束生成器的训练，达到生成的三维模型更加真实逼真的目的；该方法使生成的三维模型更加生动逼真，本发明解决了3d
‑
gan生成的三维模型纹理粗糙以及训练时间较长的问题，大大提升了三维重建模型的逼真度和运算速度。
[0022]
本发明方法不需要对空间进行体素划分，内存占用较少，记忆效率更高；使用全卷积神经网络可以保留图像中的局部特征，隐式函数也能够表达表面的几何细节，能够捕捉2d图像中出现的精确细节；并能预测模型每个顶点的颜色，且只需要一张2d图片就可生成真实逼真的三维模型，过程简单。
附图说明
[0023]
图1是2d秦腔人物图片；
[0024]
图2是background
‑
based抠图算法结构图；
[0025]
图3是经过抠图算法生成的图像；
[0026]
图4是提取mask区域得到的图像；
[0027]
图5是3d
‑
gan模型的整体结构图；
[0028]
图6是加入tex
‑
pifu的3d
‑
gan模型；
[0029]
图7是完善后的3d
‑
gan模型；
[0030]
图8是最终生成的三维模型示意图；
具体实施方式
[0031]
以下结合实施例对本发明的具体内容做进一步详细解释说明。
[0032]
本发明提供了一种基于pifu和3d
‑
gan改进的秦腔人物三维模型重建的方法，具体包括以下步骤：
[0033]
步骤1：首先在绿幕下对秦腔人物进行拍照得到2d秦腔人物图片，然后更改图像尺寸为(512，512)，如图1是得到的2d秦腔人物图片。
[0034]
步骤2：为了在训练中不受到其他因素的干扰，得到更好的三维模型，利用background
‑
based抠图算法对图1进行消除背景操作，background
‑
based抠图算法结构如图2所示，消除背景后得到的结果如图3所示。
[0035]
步骤3：在消除人物背景后，通过提取图2的mask区域，此时完成数据的预处理操作，结果如图4所示。
[0036]
步骤4：使用pytorch构建原始的3d
‑
gan模型网络结构，3d
‑
gan模型网络结构由一个生成器、一个判别器和一个dib
‑
r框架三部分组成，3d
‑
gan模型如图5所示。
[0037]
3d
‑
gan中的生成器和判别器相互对抗、相互博弈。生成器的任务是生成让判别器无法判断真假的数据，而判别器的任务是判别生成器生成的图片和真实图片的真假。在3d
‑
gan的训练过程中，需要先固定生成器的参数，训练判别器的参数，在固定判别器的参数，训练生成器的参数。
[0038]
为了获得更加精细的三维模型，本发明引入了pifu中的tex
‑
pifu模型，替换掉3d
‑
gan中提取图片纹理的部分，tex
‑
pifu模型首先预测一个连续的空间内外概率场，通过提取0.5等值面得到人体的模型表面。然后纹理预测过程为人体几何表面的3d点预测一个rgb颜色值，能够捕捉2d图像中出现的精确细节，并能预测模型每个顶点的颜色。此时改进的3d
‑
gan网络结构如图6所示。
[0039]
为了使生成的三维模型与原图片保持身份一致性，本发明为3d
‑
gan增加了一个生成器，并引入了循环一致性损失来约束生成器的训练，以达到生成的三维模型更加真实逼真的目的。此时改进的3d
‑
gan网络结构如图7所示。
[0040]
循环一致性损失表示为：
[0041][0042]
其中，l
cyc
表示的是循环一致性损失；参数g代表3d
‑
gan的生成器；参数f代表的是增加的3d
‑
gan的生成器；
[0043]
表示期望x从p
data
分布中获取；x表示真实数据，
[0044]
p_data(x)表示真实数据的分布；同理e_(y～p_data(y))表示的是期望y从p
data
(y)分布中获取；y表示生成数据，p
data
(y)表示生成数据的分布；g(x)代表的是输入图像x经过生成器g生成的图像y’；f(g(x))代表的是图像y经过生成器f生成的图像x’；公式中||u||1下标1代表的是1
‑
范数，整体表示u向量中元素绝对值之和。我们的训练目标是使得f(g(x))≈x，g(f(y))≈y。
[0045]
步骤5：将图3作为原图像，输入到改进后的3d
‑
gan网络中，设置训练轮次为100次，其他参数与3d
‑
gan和tex
‑
pifu的相同，开始训练。最终得到的秦腔人物三维模型如图8中(a)、(b)、(c)所示。