一种头部三维重建方法及设备与流程

本申请涉及三维重建，尤其涉及一种头部三维重建方法及设备。

背景技术：

1、人体三维重建是实现远程三维通信系统的基础，而头部三维重建是人体三维重建的关键，直接影响三维重建的效果。

2、目前，一般使用参数化头部模型进行头部三维重建，参数化头部模型包含形状参数、表情参数、位姿参数。其中，表情参数可以驱动参数化头部模型进行非刚性形变，来表达人脸的各种表情变化。

3、在远程全息通信场景中，语音作为三维重建过程中信息传递的媒介，也会引起面部表情的变化，因此，可结合语音数据进行头部三维重建。

技术实现思路

1、本申请实施例提供了一种头部三维重建方法及装置，用以借助声音进行头部三维重建，提高三维重建的鲁棒性和真实性。

2、第一方面，本申请实施例提供一种头部三维重建方法，包括：

3、针对每一帧人脸图像，获取所述人脸图像对应的语音数据；

4、从所述人脸图像中提取第一表情参数，以及从相应的语音数据中提取第二表情参数，得到目标驱动参数，所述目标驱动参数用于驱动预先存储的参数化头部模型运动；

5、根据所述人脸图像的采集帧率，调节所述第二表情参数的第一权重，以及根据两两目标对象对应的人体三维模型之间的距离，调节所述目标驱动参数的第二权重；

6、将所述第一表情参数、所述第二表情参数、所述第一权重和所述第二权重，发送给渲染端，以使所述渲染端按照所述第一权重和所述第二权重，根据所述第一表情参数和所述第二表情参数，驱动所述参数化头部模型运动。

7、可选的，所述根据所述人脸图像的采集帧率，调节所述第二表情参数的第一权重，包括：

8、若所述采集帧率小于所述渲染端预设的渲染帧率，则针对不存在所述第一表情参数的人脸图像，设置从相应人脸图像对应的语音数据中提取的所述第二表情参数的第一权重为1，针对存在所述第一表情参数的人脸图像，调低从相应人脸图像对应的语音数据中提取的所述第二表情参数的第一权重；或者

9、若所述采集帧率不小于所述渲染端预设的渲染帧率，则调低从所述人脸图像对应的语音数据中提取的所述第二表情参数的第一权重。

10、可选的，所述根据两两目标对象对应的人体三维模型之间的距离，调节所述目标驱动参数的第二权重，包括：

11、根据预先建立的距离与模型等级之间的对应关系，确定所述目标对象的参数化头部模型的模型等级；

12、根据所述模型等级，调节所述目标驱动参数的第二权重。

13、可选的，所述根据所述模型等级，调节所述目标驱动参数的第二权重，包括：

14、若所述模型等级小于第一预设等级，则调低所述目标驱动参数的第二权重；或者

15、若所述模型等级大于第二预设等级，则调高所述目标驱动参数的第二权重，所述第一预设等级小于等于所述第二预设等级。

16、可选的，所述方法还包括：

17、从每一帧人脸深度图像，提取深度数据；

18、根据提取的深度数据，优化所述参数化头部模型。

19、第二方面，本申请实施例提供一种重建设备，包括处理器、存储器、显示器以及至少一个外部通信接口，所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接；

20、所述至少一个通信接口，被配置为获取目标对象的图像以及获取目标对象的语音数据；

21、所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行以下操作：

22、针对每一帧人脸图像，获取所述人脸图像对应的语音数据；

23、从所述人脸图像中提取第一表情参数，以及从相应的语音数据中提取第二表情参数，得到目标驱动参数，所述目标驱动参数用于驱动预先存储的参数化头部模型运动；

24、根据所述人脸图像的采集帧率，调节所述第二表情参数的第一权重，以及根据两两目标对象对应的人体三维模型之间的距离，调节所述目标驱动参数的第二权重；

25、将所述第一表情参数、所述第二表情参数、所述第一权重和所述第二权重，发送给渲染端，以使所述渲染端按照所述第一权重和所述第二权重，根据所述第一表情参数和所述第二表情参数，驱动所述参数化头部模型运动。

26、可选的，所述处理器根据所述人脸图像的采集帧率，调节所述第二表情参数的第一权重，具备被配置为：

27、若所述采集帧率小于所述渲染端预设的渲染帧率，则针对不存在所述第一表情参数的人脸图像，设置相应语音数据中提取的所述第二表情参数的第一权重为1，针对存在所述第一表情参数的人脸图像，调低相应语音数据中提取的所述第二表情参数的第一权重；或者

28、若所述采集帧率不小于所述渲染端预设的渲染帧率，则调低从所述人脸图像对应的语音数据中提取的所述第二表情参数的第一权重。

29、可选的，所述处理器根据两两目标对象对应的人体三维模型之间的距离，调节所述目标驱动参数的第二权重，具体被配置为：

30、根据预先建立的距离与模型等级之间的对应关系，确定所述两两模型的模型等级；

31、根据所述模型等级，调节所述目标驱动参数的第二权重。

32、可选的，所述处理器根据所述模型等级，调节所述目标驱动参数的第二权重，具体被配置为：

33、若所述模型等级小于第一预设等级，则调低所述目标驱动参数的第二权重；或者

34、若所述模型等级大于第二预设等级，则调高所述目标驱动参数的第二权重，所述第一预设等级小于等于所述第二预设等级。

35、可选的，所述处理器还被配置为：

36、从每一帧人脸深度图像，提取深度数据；

37、根据提取的深度数据，优化所述参数化头部模型。

38、第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行头部三维重建方法。

39、本申请的上述实施例中，针对每一帧人脸图像，获取相应的语音数据，分别从人脸图像和语音数据中提取第一表情参数和第二表情参数，得到目标驱动参数，从而结合声音进行模型驱动；进一步地，根据人脸图像的采集帧率，调节第二表情参数的第一权重，并根据两两模型之间的距离，调节目标驱动参数的第二权重，将目标驱动参数和确定的权重发送给渲染端，渲染端按照第一权重和第二权重，用第一表情参数和第二表情参数驱动预先存储的参数化头部模型进行运动，从而完成三维重建。通过使用语音数据中提取的第二表情参数，可以弥补第一表情参数缺失导致模型重建失败的问题，提高三维重建的鲁棒性；并且，考虑到声音对面部表情的影响，结合语音数据进行三维重建，使得重建的头部三维模型更加真实。

技术特征：

1.一种头部三维重建方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述人脸图像的采集帧率，调节所述第二表情参数的第一权重，包括：

3.如权利要求1所述的方法，其特征在于，所述根据两两目标对象对应的人体三维模型之间的距离，调节所述目标驱动参数的第二权重，包括：

4.如权利要求3所述的方法，其特征在于，所述根据所述模型等级，调节所述目标驱动参数的第二权重，包括：

5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

6.一种重建设备，其特征在于，包括处理器、存储器、显示器以及至少一个外部通信接口，所述处理器、所述存储器、所述显示器以及所述外部通信接口通过总线连接；

7.如权利要求6所述的重建设备，其特征在于，所述处理器根据所述人脸图像的采集帧率，调节所述第二表情参数的第一权重，具备被配置为：

8.如权利要求6所述的重建设备，其特征在于，所述处理器根据两两目标对象对应的人体三维模型之间的距离，调节所述目标驱动参数的第二权重，具体被配置为：

9.如权利要求8所述的重建设备，其特征在于，所述处理器根据所述模型等级，调节所述目标驱动参数的第二权重，具体被配置为：

10.如权利要求6-9中任一项所述的重建设备，其特征在于，所述处理器还被配置为：

技术总结
本申请涉及三维重建技术领域，提供一种头部三维重建方法及设备，分别从人脸图像和对应的语音数据中提取表情参数，根据人脸图像的采集帧率和渲染帧率的比较结果，调整从语音数据中提取的表情参数的第一权重，以及，根据虚拟空间中两两人体模型之间的距离，调整表情参数的第二权重，并将提取的表情参数和确定的权重发送给渲染显示端，由渲染显示端按照第一权重和第二权重，由表情参数驱动预先存储的参数化头部模型运动，从而完成三维重建。通过使用语音数据中提取的表情参数，可以弥补人脸图像缺失导致模型重建失败的问题，提高三维重建的鲁棒性；且考虑到声音对面部表情的影响，结合语音数据进行三维重建，使得重建的头部三维模型更加真实。

技术研发人员：刘帅,吴连朋
受保护的技术使用者：聚好看科技股份有限公司
技术研发日：
技术公布日：2024/1/11