用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络的制作方法

本公开内容的示例一般涉及消息收发系统内的神经毛发渲染。更具体地但非限制性地，本公开内容的示例涉及使用神经网络将毛发从三维(3d)模型渲染到人的图像上。

背景技术：

1、由于表面着色(surface shading)、光散射、半透明遮挡和软阴影以及由于许多束毛发，渲染人的毛发是复杂的。传统的计算机图形方法实现起来非常复杂并且计算要求高，这可能使得应用开发起来过于昂贵，并且可能使得应用对移动设备的计算要求过于高。

技术实现思路

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，其中，使用所述外观编码器神经子网络进行的编码还包括：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求4所述的方法，还包括：

6.根据权利要求1至4中任一项所述的方法，其中，所述伪毛发编码器神经子网络、所述跨域结构嵌入神经子网络、所述外观编码器神经子网络和所述真实外观渲染器神经子网络是多层神经网络。

7.根据权利要求1至4中任一项所述的方法，其中，在没有合成的真实图像的情况下，基于多个第一真实毛发图像和多个伪毛发的3d模型来训练所述伪毛发编码器神经子网络、所述跨域结构嵌入神经子网络、所述外观编码器神经子网络、以及所述真实外观渲染器神经子网络。

8.根据权利要求1至4中任一项所述的方法，其中，所述第一真实毛发图像和所述第二真实毛发图像是相同的图像。

9.一种系统，包括：

10.根据权利要求9所述的系统，其中，所述指令还使所述系统执行包括以下的操作：

11.根据权利要求9或10所述的系统，其中，使用所述外观编码器神经子网络进行的编码还包括：

12.根据权利要求9或10所述的系统，其中，所述指令还使所述系统执行包括以下的操作：

13.一种方法，包括：

14.根据权利要求13所述的方法，还包括：

15.根据权利要求14所述的方法，还包括：

16.根据权利要求14或15所述的方法，其中，所述伪毛发编码器神经子网络和所述真实毛发编码器神经子网络包括一个或更多个公共层。

17.根据权利要求14至16中任一项所述的方法，其中，基于与所述真实毛发图像相关联的摄像装置设置来渲染所述伪毛发图像。

18.根据权利要求14至17中任一项所述的方法，其中，处理所述特征向量以生成外观图包括：

19.根据权利要求14至18中任一项所述的方法，还包括：

20.根据权利要求19所述的方法，还包括：

技术总结
消息收发系统对由消息收发系统的用户提供的图像执行神经网络毛发渲染。一种神经网络毛发渲染方法，包括：处理伪毛发的三维(3D)模型和描绘第一人的第一真实毛发图像以生成伪毛发结构；以及使用伪毛发编码器神经子网络来编码伪毛发结构以生成编码的伪毛发结构。该方法还包括使用跨域结构嵌入神经子网络来处理编码的伪毛发结构以生成真伪毛发结构，以及使用外观编码器神经子网络来编码描绘具有第二头部的第二人的第二真实毛发图像以生成外观图。该方法还包括使用真实外观渲染器神经子网络来处理外观图和真伪毛发结构以生成合成真实图像。

技术研发人员：阿尔乔姆·邦迪奇,柴梦蕾,奥列克山大·皮什琴科,任健,谢尔盖·图利亚科夫
受保护的技术使用者：斯纳普公司
技术研发日：
技术公布日：2024/1/13