用于图像动画的方法、系统和计算机可读存储介质与流程

本公开内容的实施方式总体上涉及面部动画。更具体地但非限制性地，本公开内容涉及用于视频压缩系统中的面部动画的系统和方法。

背景技术：

1、图像标注包括生成视频序列，使得目标图像中的对象根据驱动视频的运动而被动画化。具体地，面部动画包括从包含显示面部表情序列的面部的驱动视频中提取运动模式，并且将运动模式迁移至一个图像或多个图像到目标面部。

技术实现思路

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中，所述运动估计机器学习模型包括关键点检测器神经网络和密集运动神经网络。

3.根据权利要求2所述的方法，其中，所述关键点检测器神经网络被训练成识别眼睛对的中央的关键点和嘴角的关键点。

4.根据权利要求2所述的方法，其中，所述关键点检测器神经网络和所述密集运动神经网络被配置成生成所述第一组关键点与所述第二组关键点之间的运动估计差异。

5.根据权利要求4所述的方法，其中，所述动画图像包括动画第一图像帧，并且其中，所述图像生成神经网络被配置成通过应用所述第一组关键点与所述第二组关键点之间的运动估计差异来生成所述动画第一图像帧。

6.根据权利要求1所述的方法，其中，所述网络是低带宽网络。

7.根据权利要求1所述的方法，其中，实时发送所述第一图像帧、所述第一组关键点和所述第二组关键点。

8.根据权利要求1所述的方法，其中，所述运动估计机器学习模型在所述第一计算设备上操作。

9.根据权利要求1所述的方法，其中，所述图像生成神经网络在所述第二计算设备上操作。

10.一种计算系统，所述计算系统包括：

11.根据权利要求10所述的计算系统，其中，所述运动估计机器学习模型包括关键点检测器神经网络和密集运动神经网络。

12.根据权利要求11所述的计算系统，其中，所述关键点检测器神经网络被训练成识别眼睛对的中央的关键点和嘴角的关键点。

13.根据权利要求11所述的计算系统，其中，所述关键点检测器神经网络和所述密集运动神经网络被配置成生成所述第一组关键点与所述第二组关键点之间的运动估计差异。

14.根据权利要求13所述的计算系统，其中，所述动画图像包括动画第一图像帧，并且其中，所述图像生成神经网络被配置成通过应用所述第一组关键点与所述第二组关键点之间的运动估计差异来生成所述动画第一图像帧。

15.根据权利要求10所述的计算系统，其中，所述网络是低带宽网络。

16.根据权利要求10所述的计算系统，其中，实时发送所述第一图像帧、所述第一组关键点和所述第二组关键点。

17.根据权利要求10所述的计算系统，其中，所述运动估计机器学习模型在所述第一计算设备上操作。

18.根据权利要求10所述的计算系统，其中，所述图像生成神经网络在所述第二计算设备上操作。

19.一种非暂态计算机可读存储介质，其存储指令，所述指令在由机器的一个或更多个处理器执行时使所述计算机可读存储介质执行操作，所述操作包括：

20.根据权利要求19所述的非暂态计算机可读存储介质，其中，所述网络是低带宽网络。

技术总结
提出了一种用于图像动画的系统、方法和计算机可读存储介质。该方法从第一计算设备访问图像帧的序列，该图像帧的序列包括第一图像帧和第二图像帧，检测第一图像帧的第一组关键点，将第一图像帧和第一组关键点发送至第二计算设备，检测第二图像帧的第二组关键点，将第二组关键点发送至第二计算设备，使动画图像显示在第二计算设备上。

技术研发人员：谢尔盖·杰米亚诺夫,安德鲁·郑-敏·林,瓦尔顿·林,阿列克谢·波德金,阿列克谢·斯托利亚,谢尔盖·图利亚科夫
受保护的技术使用者：斯纳普公司
技术研发日：
技术公布日：2024/1/13