一种基于3D生成对抗网络的鞋子外观设计和用户定制系统的制作方法

本发明涉及计算机图形学，具体为一种基于3d生成对抗网络的鞋子外观设计和用户定制系统。

背景技术：

1、目前鞋子的外观设计主要由模型设计师等专业人员手工设计，而这需要耗费相关人员相当多的时间与精力，因而定制一双鞋子的成本不菲，多数用户在市面上购买的鞋子为统一设计，鞋子外观的设计与用户定制尚且稀有且价格高昂，2d生成式网络已在图像的生成与定向编辑领域大获成功，但3d模型生成方法的高计算复杂度和高内存占用，阻碍了高分辨率模型的生成；

2、现有的3d模型生成方法中，基于神经辐射场的方法侧重于几何生成而忽视了纹理提取，基于神经渲染器的方法难以在blender等常规3d软件中使用，这极大地限制了3d模型生成方法在生产中的使用价值。

技术实现思路

1、本发明提供一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，可以有效解决上述背景技术中提出现有的3d模型生成方法中，基于神经辐射场的方法侧重于几何生成而忽视了纹理提取，基于神经渲染器的方法难以在blender等常规3d软件中使用，这极大地限制了3d模型生成方法在生产中的使用价值的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，由初始参考图像经系统直接生成鞋子3d模型，用户能自定义鞋子外观各属性，实现普通用户对鞋子设计与定制，该定制系统具体包含以下流程：

3、s1、获取两个初始隐向量；

4、s2、建立和训练一个3d生成对抗网络；

5、s3、建立和训练一个可微分编码器；

6、s4、建立和训练若干个属性编辑器；

7、s5、输出初始参考图像在指定属性下的带纹理3d模型。

8、根据上述技术方案，所述s1中，获取两个初始隐向量是指在高斯分布中随机采样两个512维向量z1、z2，经由非线性映射网络得到两个初始隐向量，两个初始隐向量分别为几何隐向量和纹理隐向量。

9、根据上述技术方案，所述非线性映射网络由8个全连接层组成，其目的是解耦z1和z2，减少特征之间的相关性，便于后续通过属性编辑器对隐向量特征方向的学习。

10、根据上述技术方案，所述s2中，建立和训练一个3d生成对抗网络，主要包含两个生成器和两个判别器，两个生成器分别为几何生成器和纹理生成器，两个判别器分别为rgb判别器和轮廓判别器；

11、两个生成器接收两个初始隐向量作为输入，输出鞋子的网格与纹理，利用可微分渲染器将其渲染成2d图像，进而得到rgb图和轮廓图，交由两个判别器鉴别，判别器采用卷积神经网络，并将梯度反向传播至两个生成器，以此进行对抗性训练，生成对抗的全过程均可微分。

12、根据上述技术方案，在s2中，对抗目标函数如下：

13、

14、l＝l(g,drgb)+l(g,dmask)

15、其中g为生成器，d为判别器，r为可微分渲染，f定义为f(x)＝-log(1+e-x)；

16、几何生成器利用可微分曲面表示，将几何表示为一个可变形三角形面片的四面体网格及网格表面各顶点的符号距离场，通过移动网格的顶点位置来优化曲面表示，这种表示方法能减少计算量，从而支持更高分辨率的图像和网格。

17、根据上述技术方案，在s2中，纹理生成器利用一个卷积神经网络建立隐向量空间到rgb空间的映射，采用三正交平面表征一个纹理场，以提高查询效率，公式如下：

18、

19、纹理场对模型几何也有依赖，因此输入中同时包括几何隐向量和纹理隐向量，x为像素点坐标，通过查询几何到纹理场的映射g得到。

20、根据上述技术方案，所述s3中，建立和训练一个可微分编码器，学习生成网络渲染出的图像与初始随机隐向量间的映射关系，从而实现2d图像到隐向量的反转；

21、编码器采用卷积神经网络，输入为生成网络渲染出的rgb图，输出为512维隐向量，损失函数定义为预测的隐向量与生成网络实际接收的隐向量间的l1损失。

22、根据上述技术方案，所述s4中，建立和训练若干个属性编辑器，以鞋子的风格属性为例，通过在同一款式不同风格鞋子的隐向量间插值的方式，学习表达鞋子风格的隐向量方向；

23、属性编辑器输入某属性连续变化的2d图像，输出为512维向量，属性编辑器学习真实隐向量在该向量方向上的特征值的变化。

24、根据上述技术方案，所述s5中，输出初始参考图像在指定属性下的带纹理3d模型，具体的，先给定初始参考图像，用s3中训练好的编码器反转得到隐向量，然后用s4中训练好的属性编辑器将其投影至待编辑属性的方向上，用户通过调节投影的长度来修改对应属性，将修改后的隐向量传给s2中训练好的3d生成对抗网络中，3d生成对抗网络最终输出初始参考图像在指定属性下的带纹理3d模型。

25、根据上述技术方案，在s5中，用属性编辑器将隐向量投影至待编辑属性的方向上，目的是避免修改目标属性的同时影响到其他属性值，用户通过调节投影的长度来修改对应属性，公式如下：

26、

27、其中α为用户的修改值，ni为目标属性的编辑方向，nj(j≠i)为其他属性的编辑方向。

28、与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便：

29、1、本发明结合3d生成对抗网络与神经渲染来生成带纹理的鞋子3d模型的方式，通过给定初始参考图像，用训练好的编码器反转得到隐向量，再用训练好的属性编辑器将其投影至待编辑属性的方向上，用户通过调节投影的长度来修改对应属性，将修改后的隐向量传给训练好的3d生成对抗网络，网络最终输出初始参考图像在指定属性下的带纹理3d模型；

30、实现了采用3d生成对抗网络能从给定的初始参考图像直接生成带纹理的鞋子3d模型，同时使用生成对抗反转技术，求解由鞋子3d模型到可编辑隐向量的逆映射，将初始图像逆映射到隐向量空间，得到3d模型对应的可编辑的隐向量，通过用户自定义编辑隐向量的特征值，从而使用户可直接修改鞋子3d模型的颜色、款式、光泽等属性，实现用户对鞋子3d模型的自主设计与定制。

31、2、非线性映射网络由8个全连接层组成，减少特征之间的相关性，便于属性编辑器对隐向量特征方向的学习，而几何生成器利用可微分曲面表示，方便将几何表示为一个可变形三角形面片的四面体网格及网格表面各顶点的符号距离场，通过移动网格的顶点位置来优化曲面表示，能减少计算量，从而支持更高分辨率的图像和网格；

32、3、纹理生成器利用一个卷积神经网络建立隐向量空间到rgb空间的映射，采用三正交平面表征一个纹理场，以此来提高查询效率，用属性编辑器将隐向量投影至待编辑属性的方向上，能够避免修改目标属性的同时影响到其他属性值，便于用户通过调节投影的长度来便捷的修改对应属性。

技术特征：

1.一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：由初始参考图像经系统直接生成鞋子3d模型，用户能自定义鞋子外观各属性，实现普通用户对鞋子设计与定制，该定制系统具体包含以下流程：

2.根据权利要求1所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：所述s1中，获取两个初始隐向量是指在高斯分布中随机采样两个512维向量z1、z2，经由非线性映射网络得到两个初始隐向量，两个初始隐向量分别为几何隐向量和纹理隐向量。

3.根据权利要求2所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：所述非线性映射网络由8个全连接层组成，其目的是解耦z1和z2，减少特征之间的相关性，便于后续通过属性编辑器对隐向量特征方向的学习。

4.根据权利要求1所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：所述s2中，建立和训练一个3d生成对抗网络，主要包含两个生成器和两个判别器，两个生成器分别为几何生成器和纹理生成器，两个判别器分别为rgb判别器和轮廓判别器；

5.根据权利要求4所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：在s2中，对抗目标函数如下：

6.根据权利要求4所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：在s2中，纹理生成器利用一个卷积神经网络建立隐向量空间到rgb空间的映射，采用三正交平面表征一个纹理场，以提高查询效率，公式如下：

7.根据权利要求1所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：所述s3中，建立和训练一个可微分编码器，学习生成网络渲染出的图像与初始随机隐向量间的映射关系，从而实现2d图像到隐向量的反转；

8.根据权利要求1所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：所述s4中，建立和训练若干个属性编辑器，以鞋子的风格属性为例，通过在同一款式不同风格鞋子的隐向量间插值的方式，学习表达鞋子风格的隐向量方向；

9.根据权利要求4-8任意一项所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：所述s5中，输出初始参考图像在指定属性下的带纹理3d模型，具体的，先给定初始参考图像，用s3中训练好的编码器反转得到隐向量，然后用s4中训练好的属性编辑器将其投影至待编辑属性的方向上，用户通过调节投影的长度来修改对应属性，将修改后的隐向量传给s2中训练好的3d生成对抗网络中，3d生成对抗网络最终输出初始参考图像在指定属性下的带纹理3d模型。

10.根据权利要求9所述的一种基于3d生成对抗网络的鞋子外观设计和用户定制系统，其特征在于：在s5中，用属性编辑器将隐向量投影至待编辑属性的方向上，目的是避免修改目标属性的同时影响到其他属性值，用户通过调节投影的长度来修改对应属性，公式如下：

技术总结
本发明公开了一种基于3D生成对抗网络的鞋子外观设计和用户定制系统，获取两个初始隐向量；建立和训练一个3D生成对抗网络；建立和训练一个可微分编码器；建立和训练若干个属性编辑器；输出初始参考图像在指定属性下的带纹理3D模型，本发明实现了采用3D生成对抗网络能从给定的初始参考图像直接生成带纹理的鞋子3D模型，同时使用生成对抗反转技术，求解由鞋子3D模型到可编辑隐向量的逆映射，将初始图像逆映射到隐向量空间，得到3D模型对应的可编辑的隐向量，通过用户自定义编辑隐向量的特征值，从而使用户可直接修改鞋子3D模型的颜色、款式、光泽等属性，实现用户对鞋子3D模型的自主设计与定制。

技术研发人员：王家奎,宁云翔
受保护的技术使用者：武汉唯理科技有限公司
技术研发日：
技术公布日：2024/1/14