图像重建方法、重建模型的处理方法和装置与流程

本技术涉及计算机，特别是涉及一种图像重建方法、重建模型的处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着计算机技术的发展，各种各样的应用程序涌现，比如：购物类应用程序、社交类应用程序、图像处理类应用程序，其中，图像处理类应用程序提供各种各样的功能特效，可提升玩法趣味性。图像处理类应用程序需要先完成三维人脸的重建，才能完成特效的添加。

2、传统技术中，在重建三维人脸模型时，从待处理图像中提取人脸姿态和表情参数，将人脸姿态和表情参数融合到先验人脸模型中，得到待处理图像中人脸的三维模型。然而，这种方式得到的三维人脸模型准确度不高，不够逼真。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升三维人脸模型准确度的图像重建方法、重建模型的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种图像重建方法。方法包括：

3、获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；

4、提取待处理图像中目标对象的人脸姿态和表情参数；

5、针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；

6、针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。

7、第二方面，本技术提供了一种图像重建装置，其特征在于，装置包括：

8、获取模块，用于获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；

9、提取模块，用于提取待处理图像中目标对象的人脸姿态和表情参数；

10、神经辐射处理模块，用于针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；

11、构建模块，用于针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。

12、在一些实施例中，获取模块，具体用于基于虚拟拍摄点和虚拟图像平面的中心点，确定光轴射线；将虚拟图像平面沿着光轴射线向靠近虚拟拍摄点的方向平移预设距离，得到近光图像平面，将虚拟图像平面沿着光轴射线向远离虚拟拍摄点的方向平移预设距离，得到远光图像平面；针对每条目标辐射射线，将当前目标辐射射线和近光图像平面的交点作为采样起始点，将当前目标辐射射线和远光图像平面的交点作为采样终止点，在当前目标辐射射线上采样起始点和采样终止点之间进行采样，得到当前目标辐射射线上的多个采样点。

13、在一些实施例中，提取模块，具体用于将待处理图像输入人脸特征提取模型，将人脸特征提取模型输出的人脸姿态，作为待处理图像中目标对象的人脸姿态，将人脸特征提取模型输出的表情参数，作为待处理图像中目标对象的表情参数；其中，人脸特征提取模型基于人脸样本数据训练得到，人脸样本数据包括人脸图像样本、人脸图像样本中人脸的标注姿态和标注表情参数。

14、在一些实施例中，表情参数包括表情形变参数和形状形变参数，图像重建装置还包括标准化模块，用于针对每个采样点，对人脸姿态和当前采样点的三维坐标进行融合处理，得到姿态标准化结果；对表情形变参数和表情形变网络参数进行融合处理，得到表情形变标准化结果；对形状形变参数和形状形变网络参数进行融合处理，得到形状形变标准化结果；对姿态标准化结果、表情形变标准化结果和形状形变标准化结果进行聚合处理，得到当前采样点对应的标准化采样点；神经辐射处理模块，具体用于针对每个标准化采样点，对当前标准化采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前标准化采样点属于人脸表面点的人脸概率。

15、在一些实施例中，神经辐射处理模块，具体用于将当前采样点的三维坐标、人脸姿态和表情参数输入至神经辐射场模型，将神经辐射场模型输出的概率，作为当前采样点属于人脸表面点的人脸概率；神经辐射场模型用于对采样点是否属于人脸表面点进行预测。

16、在一些实施例中，构建模块，还用于求取人脸概率在当前采样点处的法向梯度；将法向梯度、人脸姿态、表情参数、当前采样点的三维坐标、人脸概率、高层特征输入至训练完成的神经渲染模型，得到当前采样点的颜色信息，高层特征为神经辐射场模型对输入其中的当前采样点的三维坐标、人脸姿态以及表情参数进行处理后输出的；针对每条目标辐射射线，基于当前辐射射线上各个采样点各自对应的颜色信息，确定当前辐射射线对应的人脸表面点的目标颜色信息；基于各个人脸表面点的目标颜色信息，对三维人脸模型进行渲染后，得到渲染后的三维人脸模型。

17、在一些实施例中，构建模块，具体用于获取当前目标辐射射线上各个采样点与虚拟拍摄点之间的距离；对各个采样点与虚拟拍摄点之间的距离和各个采样点各自对应的人脸概率进行统计处理，得到表面点距离；基于虚拟拍摄点和表面点距离，确定当前目标辐射射线对应的人脸表面点。

18、在一些实施例中，获取模块，还用于响应于特效处理请求，展示图像输入提醒信息；接收对象基于图像输入提醒信息输入的目标图像，将目标图像作为待处理图像；将目标图像对应的拍摄参数，作为待处理图像对应的拍摄参数；获取特效处理请求对应的特效处理参数，基于特效处理参数对三维人脸模型进行渲染处理，得到与特效处理请求匹配的特效图像。

19、第三方面，本技术还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

20、获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；

21、提取待处理图像中目标对象的人脸姿态和表情参数；

22、针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；

23、针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。

24、第四方面，本技术还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

25、获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；

26、提取待处理图像中目标对象的人脸姿态和表情参数；

27、针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；

28、针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。

29、第五方面，本技术还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

30、获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；

31、提取待处理图像中目标对象的人脸姿态和表情参数；

32、针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；

33、针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。

34、上述图像重建方法、重建模型的处理方法、装置、计算机设备、存储介质和计算机程序产品，首先，获取待处理图像对应的拍摄参数，基于拍摄参数，确定待处理图像在三维空间中的虚拟拍摄点和虚拟图像平面，基于虚拟拍摄点和虚拟图像平面，构建多条辐射射线，基于辐射射线确定目标辐射射线，基于虚拟图像平面分别在各目标辐射射线上进行采样，得到各目标辐射射线上的多个采样点；提取待处理图像中目标对象的人脸姿态和表情参数；然后，针对每个采样点，对当前采样点的三维坐标、人脸姿态和表情参数进行神经辐射处理，得到当前采样点属于人脸表面点的人脸概率；针对每条目标辐射射线，基于当前目标辐射射线上各个采样点各自对应的人脸概率，确定当前目标辐射射线对应的人脸表面点；最后，基于各目标辐射射线各自对应的人脸表面点，构建三维人脸模型。这种结合实际拍摄参数对拍摄点和图像平面进行模拟，从而构建出三维辐射场，进而结合神经辐射场处理等手段进行人脸表面点还原的方式，使得最终得到的三维人脸模型更加准确和逼真。