三维物体风格化方法、装置、设备、存储介质与流程

本申请涉及三维建模，尤其涉及一种三维物体风格化方法、装置、设备、存储介质。

背景技术：

1、现有的一种基于输入文本驱动的三维物体风格化方法为text2mesh和tango。

2、text2mesh通过预测符合目标文本输入的颜色和局部几何细节来对三维物体网格进行风格化。text2mesh利用深度神经网络对三维物体进行分解表示，将三维物体隐式表达为三维物体上点的颜色和位移，通过训练学习深度神经网络的参数来实现对三维物体的风格化。为了实现最终结果与输入文本匹配的风格，text2mesh利用预训练好的用于匹配图像和文本的预训练神经网络大模型clip(contrastive language-image pre-training，对比语言-图像预训练)的表征能力，获得输入文本与风格化的三维物体的相似度得分来监督训练深度神经网络，最终实现三维物体的风格化。

3、tango为了实现将给定的三维物体表面网格渲染图片风格化，首先将三维物体的外观风格利用深度神经网络分解表示为空间变化的双向反射分布函数，局部几何变化和光照条件。并通过基于球形高斯的可微分渲染器渲染出三维物体图片。利用clip大模型计算图片和输入的文本提示之间的相似度，从而监督神经网络的训练。最终实现三维物体渲染的风格化。

4、但text2mesh和tango都是利用clip来监督三维物体的风格化，这导致了无法实现精准的细粒度的控制。

技术实现思路

1、为了解决上述技术缺陷之一，本申请提供了一种三维物体风格化方法、装置、设备、存储介质。

2、本申请第一个方面，提供了一种三维物体风格化方法，该方法包括：

3、获取文本；

4、根据文本，确定三维物体涉及的顶点；

5、确定经过图像中各点的光线；

6、基于光线和顶点，确定各点的深度值；

7、根据光线确定各点的光强度；

8、根据光强度和各点的深度值，生成风格化的三维物体。

9、可选地，经过图像中各点的光线也经过当前相机光心位置，且，光线以时间为自变量。

10、可选地，基于光线和顶点，确定各点的深度值，包括：

11、对于图像中任一点，确定与经过任一点的光线相交的首个顶点；根据首个顶点，当前相机光心位置以及过任一点的光线与标准光线的角度，确定任一点的深度值；

12、标准光线为经过前相机光心位置和图像中心像素点的光线。

13、可选地，根据光线确定各点的光强度，包括：

14、对于图像中任一点，确定入射光的光强度以及表面反射系数；根据入射光的光前度、表面反射系数以及任一点的法向量，确定任一点的光强度。

15、可选地，根据光强度和各点的深度值，生成风格化的三维物体，包括：

16、根据光强度生成初始风格化的三维物体；

17、根据各点的深度值，对初始风格化的三维物体进行噪声估计；

18、根据噪声估计和初始风格化的三维物体，确定损失函数；

19、根据损失函数和光强度生成最终风格化的三维物体。

20、可选地，根据各点的深度值，对初始风格化的三维物体进行噪声估计，包括：

21、根据预先训练的扩散先验模型，获取初始风格化的三维物体的第一图像；

22、根据预先训练的扩散先验模型，基于深度值和文本，获取第二图像；

23、根据第一图像和第二图像，对初始风格化的三维物体进行噪声估计。

24、可选地，根据噪声估计和初始风格化的三维物体，确定损失函数，包括：

25、计算噪声估计和初始风格化的三维物体的第三图像的差；

26、根据差的导数的期望，确定损失函数。

27、本申请第二方面，提供了一种三维物体风格化装置，该装置包括：

28、获取模块，用于获取文本；

29、第一确定模块，用于根据获取模块获取的文本，确定三维物体涉及的顶点；

30、第二确定模块，用于确定经过图像中各点的光线；

31、第三确定模块，用于基于第二确定模块确定的光线和第一确定模块确定的顶点，确定各点的深度值；

32、第四确定模块，用于根据第二确定模块确定的光线确定各点的光强度；

33、生成模块，用于根据第四确定模块确定的光强度和第三确定模块确定的各点的深度值，生成风格化的三维物体。

34、本申请第三个方面，提供了一种电子设备，包括：

35、存储器；

36、处理器；以及

37、计算机程序；

38、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述第一个方面所述的方法。

39、本申请第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上述第一个方面所述的方法。

40、本申请提供一种三维物体风格化方法、装置、设备、存储介质，该方法获取文本；根据文本，确定三维物体涉及的顶点；确定经过图像中各点的光线；基于光线和顶点，确定各点的深度值；根据光线确定各点的光强度；根据光强度和各点的深度值，生成风格化的三维物体。本申请提供的方法，通过各点的深度值引导三维物体的风格化渲染，进而实现了更加精准的文本控制。

技术特征：

1.一种三维物体风格化方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，经过图像中各点的光线也经过当前相机光心位置，且，所述光线以时间为自变量。

3.根据权利要求1所述的方法，其特征在于，所述基于所述光线和所述顶点，确定各点的深度值，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述光线确定各点的光强度，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述光强度和各点的深度值，生成风格化的三维物体，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据各点的深度值，对初始风格化的三维物体进行噪声估计，包括：

7.根据权利要求5所述的方法，其特征在于，所述根据所述噪声估计和所述初始风格化的三维物体，确定损失函数，包括：

8.一种三维物体风格化装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。

技术总结
本申请提供一种三维物体风格化方法、装置、设备、存储介质，该方法获取文本；根据文本，确定三维物体涉及的顶点；确定经过图像中各点的光线；基于光线和顶点，确定各点的深度值；根据光线确定各点的光强度；根据光强度和各点的深度值，生成风格化的三维物体。本申请提供的方法，通过各点的深度值引导三维物体的风格化渲染，进而实现了更加精准的文本控制。

技术研发人员：潘滢炜,姚霆,梅涛
受保护的技术使用者：北京智象未来科技有限公司
技术研发日：
技术公布日：2024/1/15