虚拟视频图像生成方法、装置、设备和介质与流程

本申请涉及图像处理，例如涉及一种虚拟视频图像生成方法、装置、设备和介质。

背景技术：

1、在远程视频会议中，临场感非常重要。由于摄像头位置不位于屏幕中心位置，摄像头、人物位置，人物眼睛高度以及屏幕中央位置之间会形成视角偏差，拍摄得到的本地人物处于俯视姿态，俯视姿态的形象会给远程人物带来很不好的体验。

技术实现思路

1、本申请目的在于：提供一种虚拟视频图像生成方法、装置、设备和介质，其能够解决视频图像中的远程人物处于俯视姿态的问题。

2、为达到上述目的，第一方面，本申请提供了一种虚拟视频图像生成方法，包括：

3、获取视频图像，所述视频图像为二维图像；

4、获取标准三维人脸模型，根据所述标准三维人脸模型提取所述视频图像第一人物的头部姿态角度和表情基系数；

5、获取头部姿态角度调整量；

6、根据所述头部姿态角度调整量和所述表情基系数重构与所述视频图像对应的原始三维人脸模型，得到重构后三维人脸模型；

7、对所述重构后三维人脸模型进行人像渲染，得到二维的渲染后人脸图像；

8、根据所述二维的渲染后人脸图像和第二人物图像生成虚拟视频图像，所述第二人物为所述第一人物或其他人物。

9、第二方面，本申请提供了一种虚拟视频图像生成装置，包括：

10、视频图像获取模块，用于获取视频图像，所述视频图像为二维图像；

11、参数提取模块，用于获取标准三维人脸模型，根据所述标准三维人脸模型提取所述视频图像第一人物的头部姿态角度和表情基系数；

12、头部姿态角度调整量获取模块，用于获取头部姿态角度调整量；

13、原始三维人脸模型重构模块，用于根据所述头部姿态角度调整量和所述表情基系数重构与所述视频图像对应的原始三维人脸模型，得到重构后三维人脸模型；

14、人像渲染模块，用于对所述重构后三维人脸模型进行人像渲染，得到二维的渲染后人脸图像；

15、虚拟视频图像生成模块，用于根据所述二维的渲染后人脸图像和第二人物图像生成虚拟视频图像，所述第二人物为所述第一人物或其他人物。

16、本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种虚拟视频图像生成方法和/或上述任一项所述的虚拟视频图像生成方法的步骤。

17、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种虚拟视频图像生成方法和/或上述任一项所述的虚拟视频图像生成方法的步骤。

18、本申请的一种虚拟视频图像生成方法，包括获取二维的视频图像，所述视频图像为二维图像；获取标准三维人脸模型，根据所述标准三维人脸模型提取所述视频图像第一人物的头部姿态角度和表情基系数，头部姿态角度和表情基系数与人物身份无关，能够实现头部姿态角度、表情基系数与人物身份之间的解耦。获取头部姿态角度调整量，根据头部姿态角度调整量和所述表情基系数重构与视频图像对应的原始三维人脸模型，能够消除由于摄像头位置不位于屏幕中央位置产生的视角偏差，得到重构后三维人脸模型。在重构原始三维人脸模型之前，只需要传输头部姿态角和表情基系数，不需要传输会议视频或视频图像，能够减少对网络带宽的占用，提高了数据传输效率。对重构后三维人脸模型进行人像渲染，得到二维的渲染后人脸图像。根据第二人物图像将二维的渲染后人脸图像转换为第二人物的虚拟视频图像，在正式场合第二人物为第一人物，输出视频图像中第一人物的虚拟视频图像，在非正式场合第二人物为其他人物，输出第二人物的虚拟视频图像，能够适应多种远程视频场景，降低非正式远程视频场景的实时性要求。

技术特征：

1.一种虚拟视频图像生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的虚拟视频图像生成方法，其特征在于，所述获取头部姿态角度调整量，包括：

3.根据权利要求1所述的虚拟视频图像生成方法，其特征在于，所述根据所述头部姿态角度调整量和所述表情基系数重构与所述视频图像对应的原始三维人脸模型，得到重构后三维人脸模型，包括：

4.根据权利要求1所述的虚拟视频图像生成方法，其特征在于，所述获取标准三维人脸模型，根据所述标准三维人脸模型提取所述视频图像第一人物的头部姿态角度和表情基系数，包括：

5.根据权利要求1所述的虚拟视频图像生成方法，其特征在于，所述对所述重构后三维人脸模型进行人像渲染，得到二维的渲染后人脸图像，包括：

6.根据权利要求1所述的虚拟视频图像生成方法，其特征在于，所述根据所述二维的渲染后人脸图像和第二人物图像生成虚拟视频图像，包括：

7.根据权利要求6所述的虚拟视频图像生成方法，其特征在于，所述对待训练深度卷积神经网络进行训练，包括：

8.根据权利要求4所述的虚拟视频图像生成方法，其特征在于，所述对所述三维人脸区域使用面部动作捕捉方法提取所述头部姿态角度和所述表情基系数，包括：

9.根据权利要求5所述的虚拟视频图像生成方法，其特征在于，所述使用可微分渲染方法对所述重构后三维人脸模型进行人像渲染，得到所述二维的渲染后人脸图像，包括：

10.根据权利要求1所述的虚拟视频图像生成方法，其特征在于，所述根据所述二维的渲染后人脸图像和第二人物图像生成虚拟视频图像之后，还包括：

11.一种虚拟视频图像生成装置，其特征在于，包括：

12.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10中任一项所述的虚拟视频图像生成方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的虚拟视频图像生成方法的步骤。

技术总结
本申请属于图像处理领域，公开了一种虚拟视频图像生成方法、装置、设备和介质，包括：获取视频图像；获取标准三维人脸模型，根据标准三维人脸模型提取所述视频图像第一人物的头部姿态角度和表情基系数；获取头部姿态角度调整量；根据头部姿态角度调整量和表情基系数重构与视频图像对应的原始三维人脸模型，得到重构后三维人脸模型；对重构后三维人脸模型进行人像渲染，得到二维的渲染后人脸图像；根据二维的渲染后人脸图像和第二人物图像生成虚拟视频图像。本方法能够消除由于摄像头位置不位于屏幕中央位置产生的视角偏差，第二人物为第一人物或其他人物，能够适应多种远程视频场景。只需要传输头部姿态角度和表情基系数，提高了数据传输效率。

技术研发人员：张玉兵,马雪浩,王凯
受保护的技术使用者：广州视源电子科技股份有限公司
技术研发日：
技术公布日：2024/5/16