一种单张图片生成精细化3D头部模型处理方法和系统与流程

本技术涉及图像处理，尤其涉及一种单张图片生成精细化3d头部模型处理方法和系统。

背景技术：

1、单张图片生成精细化3d头部模型技术是当前研究的技术热点。

2、目前主要的生成处理方法有三种：第一种：应用扫描设备以及可以生成3d头部模型；第二种：应用深度学习生成粗略的头部模型；第三种：人工参考图片进行手工建模。

3、但是研究发现，目前这些方法仍如存在如下方面的技术缺陷：针对第一种方法其扫描设备建模价格昂贵；针对第二种方法其深度学习生成模型细节不足，这样无法保障生成图像的质量；针对第三种方法的弊端是人工方法耗费时间长，成本高。

4、申请内容

5、本技术提供一种单张图片生成精细化3d头部模型处理方法和系统，其相比于其他建模方法3d建模方法，本发明利用ldm模型与超分模型生成高清的细节位移图与纹理图，能建模出更精确的3d头部模型。

6、为解决上述问题，根据本技术的第一方面，本技术提出了一种单张图片生成精细化3d头部模型处理方法，包括：

7、获取待处理的图片，将所述待处理的图片输入预训练人脸检测模型，通过所述人脸检测模型检测得到当前待处理图片中的人脸边框位置，通过人脸边框位置识别对当前待处理图片进行裁剪得到面部区域图片；

8、裁剪后的面部区域图片经过训练好的flame参数估计模型输出得到第一初始3d模型，经过训练好的位移超分模型输出得到位移超分图，经过训练好的纹理扩散模型输出得到纹理图；

9、将分辨率增强后的超分位移图应用到flame参数估计模型输出的第一初始3d模型上，得到第二初始3d模型；所述第一初始3d模型为无纹理的粗略3d模型；所述第二初始3d模型为无纹理的精细化3d模型；

10、将所述纹理图与第二初始3d模型同时输入到建模应用模块，最终得到目标3d模型。

11、优选的，作为一种可实施方式；裁剪后的面部区域图片经过训练好的flame参数估计模型输出得到第一初始3d模型，包括：

12、将裁剪后的面部区域图片输入到flame参数估计模型中，所述flame参数估计模型针对当前裁剪后的面部区域图片转化成第一初始3d模型。

13、优选的，作为一种可实施方式；经过训练好的位移超分模型输出得到位移超分图，包括：

14、将裁剪后的面部区域图片输入到位移超分模型，所述位移超分模型用于对裁剪后的面部区域图片进行分辨率增强输出针对当前裁剪后的面部区域图片的超分位移图(位移超分图)。

15、优选的，作为一种可实施方式；经过训练好的纹理扩散模型输出得到纹理图，包括：

16、将裁剪后的面部区域图片输入到纹理超分模型，所述纹理超分模型用于对裁剪后的面部区域图片进行分辨率增强输出针对当前裁剪后的面部区域图片的纹理图(纹理细节图)。

17、优选的，作为一种可实施方式；所述人脸检测模型为mobilenet2的轻量化人脸检测模型。

18、优选的，作为一种可实施方式；所述纹理超分模型是通过可微渲染技术生成的图片与原始图片对比的多个方面的损失训练得到的ldm纹理超分模型。

19、优选的，作为一种可实施方式；所述纹理超分模型通过可微渲染技术生成的图片与原始图片对比的多个方面的损失，训练得到的ldm纹理超分模型的过程，具体包括：

20、应用stylegan2模块生成虚拟面部图像；

21、将虚拟面部图像输入经过训练的flame参数估计模型得到可微渲染所需的灯光参数；

22、可微分渲染模块基于计算得到的所述可微渲染所需的灯光参数将输入的上述虚拟面部图像渲染生成目标渲染图像；

23、将虚拟面部图像与目标渲染图像作为输入进入初始模型，根据设置的损失函数计算id损失、感知损失和关键点损失，并训练所述初始模型直至收敛最终得到ldm纹理超分模型；

24、训练过程中损失函数：

25、其中，id为输入虚拟面部图像与目标渲染图像的mse损失；

26、prec损失为虚拟面部图像与目标渲染图像之间的感知特征点的l2距离计算得到的感知损失；

27、lmk为虚拟面部图像与目标渲染图像之间的面部关键点的l1距离计算关键点损失；

28、λid，λprec，λlmk是相应损失对应的权重系数。

29、本发明提供了一种单张图片生成精细化3d头部模型处理系统，包括裁剪处理模块、粗处理模块、高分辨率处理模块和输出模块：

30、裁剪处理模块，用于获取待处理的图片，将所述待处理的图片输入预训练人脸检测模型，通过所述人脸检测模型检测得到当前待处理图片中的人脸边框位置，通过人脸边框位置识别对当前待处理图片进行裁剪得到面部区域图片；

31、粗处理模块，用于裁剪后的面部区域图片经过训练好的flame参数估计模型输出得到第一初始3d模型，经过训练好的位移超分模型输出得到位移超分图，经过训练好的纹理扩散模型输出得到纹理图；所述第一初始3d模型为无纹理的粗略3d模型；

32、高分辨率处理模块，用于所将分辨率增强后的超分位移图应用到flame参数估计模型输出的第一初始3d模型上，得到第二初始3d模型；

33、输出模块，用于将所述纹理图与第二初始3d模型同时输入到建模应用模块，最终得到目标3d模型。

34、相应地，本发明提供了一种电子设备，包括：

35、存储器、处理器及存储在所述存储器上并在所述处理器上运行的单张图片生成精细化3d头部模型处理程序，所述单张图片生成精细化3d头部模型处理程序被所述处理器执行时实现单张图片生成精细化3d头部模型处理方法的步骤。

36、相应地，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现单张图片生成精细化3d头部模型处理方法的步骤。

37、与现有技术相比，本发明至少存在如下方面的技术优势：

38、本技术采用的处理方法如下：获取待处理的图片，将所述待处理的图片输入预训练人脸检测模型，通过所述人脸检测模型检测得到当前待处理图片中的人脸边框位置，通过人脸边框位置识别对当前待处理图片进行裁剪得到面部区域图片；裁剪后的面部区域图片经过训练好的flame参数估计模型输出得到第一初始3d模型，经过训练好的位移超分模型输出得到位移超分图，经过训练好的纹理扩散模型输出得到纹理图；将分辨率增强后的超分位移图应用到flame参数估计模型输出的第一初始3d模型上，得到第二初始3d模型；所述第一初始3d模型为无纹理的粗略3d模型；所述第二初始3d模型为无纹理的精细化3d模型；将所述纹理图与第二初始3d模型同时输入到建模应用模块，最终得到目标3d模型。

39、在具体实施过程中，其首先基于参数化模型建模方法，通过深度学习模型照片进行人脸检测，对检测到的人脸进行flame头部模型的参数估计，输入flame模型得到3d模型。

40、其次，基于生成模型生成高分辨率的纹理图与超分位移图：1应用纹理扩散模型生成纹理图，为了保证面部左右堆成的细节，将检测到的人脸图片进行左右翻转，2应用位移超分模型，与纹理图相同方法生成对应的超分位移图，3采用深度超分模型对纹理图与超分位移图进行分辨率增强。

41、最后生成精细化的3d头部模型：1将分辨率增强后的超分位移图应用到flame输出的3d模型上，得到精细化3d模型(无纹理)；2将精细化3d模型(无纹理)与分辨率增强后的纹理图输入到建模软件得到所需的目标3d头部模型。

技术实现思路