使用内插以从静态图像生成视频的制作方法

背景技术：

1、诸如智能电话或其它数码相机的设备的用户在他们的图像库中捕获和存储大量照片和视频。用户利用这样的库来观看他们的照片和视频，以回忆诸如生日、婚礼、假期、旅行等的各种事件。用户可以具有大的图像库，该图像库具有在长时间段内拍摄的成千上万个图像。

2、本文提供的背景描述是出于一般地呈现本公开的场境的目的。当前署名的发明人的工作，就其在本背景部分中描述的程度而言，以及在提交时可能不属于现有技术的描述的方面，既不明确也不暗示承认为针对本公开的现有技术。

技术实现思路

1、一种方法包括：从与用户账户相关联的图像合集中选择候选图像对，其中每对包括来自用户账户的第一静态图像和第二静态图像。该方法进一步包括应用过滤器以从候选图像对中选择特定图像对。该方法进一步包括使用图像内插器基于特定图像对来生成一个或多个中间图像。该方法进一步包括生成包括布置在序列中的三个或更多个帧的视频，其中序列的第一帧是第一静态图像，序列的最后一帧是第二静态图像，并且一个或多个中间图像中的每个中间图像是序列中的在第一帧与最后一帧之间的对应中间帧。

2、在一些实施例中，过滤器包括时间过滤器，该时间过滤器在与候选图像对中的一个或多个候选图像对中的第一静态图像和该对中的第二静态图像相关联的相应时间戳之间的时间差大于时间阈值时排除该对。在一些实施例中，一个或多个中间图像中的每个中间图像与具有第一静态图像的时间戳和第二静态图像的时间戳之间的值的相应时间戳相关联，并且其中序列中的每个中间图像的位置是基于相应时间戳。在一些实施例中，时间阈值是2秒。在一些实施例中，过滤器包括运动过滤器，该运动过滤器通过以下操作来排除候选图像对中的一个或多个候选图像对：估计第一静态图像与第二静态图像之间的运动；以及确定第一静态图像与第二静态图像之间的运动小于最小运动阈值。在一些实施例中，过滤器进一步通过确定第一静态图像与第二静态图像之间的运动超过最大运动阈值来排除候选图像对中的一个或多个候选图像对。在一些实施例中，过滤器包括过滤器机器学习模块，该过滤器机器学习模块通过以下操作来排除候选图像对中的一个或多个候选图像对：生成表示候选对中的每个候选对中的第一静态图像和第二静态图像的特征向量；以及排除候选对中与相应特征向量相对应的一个或多个候选图像对，其中相应特征向量之间的距离大于阈值向量距离，其中，特征向量是数学表示，并且其中相似图像的数学表示在向量空间中比不相似图像的数学表示更接近。在一些实施例中，特征向量是第一特征向量，并且过滤器机器学习模块进一步能操作以：接收一个或多个中间图像中的中间图像作为输入；生成与中间图像相对应的一个或多个第二特征向量；以及排除与相应特征向量相对应的一个或多个中间图像，其中，中间图像的相应特征向量与对应候选图像对的相应特征向量之间的距离大于阈值向量距离。在一些实施例中，图像内插器包括内插机器学习模型，该内插机器学习模型接收第一静态图像和第二静态图像作为输入并且生成一个或多个中间图像。在一些实施例中，基于特定图像对来生成一个或多个中间图像包括：生成多个候选中间图像；以及通过以下操作来评估每个候选中间图像：生成候选视频，该候选视频包括第一静态图像作为第一帧、候选中间图像作为第二帧、以及第二静态图像作为第三帧；以及如果候选视频不包括帧内插故障，则选择候选中间图像作为一个或多个中间图像中的一个中间图像。在一些实施例中，该方法进一步包括使用被训练以确定输入图像是否是生成的图像的鉴别器机器学习模型来确定帧内插故障，其中，如果鉴别器机器学习模型确定候选中间图像与生成的图像不可区分，则选择候选中间图像。在一些实施例中，该方法进一步包括：如果过滤器排除一个或多个中间图像，则确定发生帧内插故障；以及响应于发生帧内插故障，生成附加的一个或多个中间图像。在一些实施例中，生成视频包括：使用深度机器学习模型基于第一静态图像的深度的预测来生成第一静态图像中的场景的三维表示，其中，深度机器学习模型是接收第一静态图像作为输入的分类器，其中视频包括基于场景的三维表示而生成的相机效果。在一些实施例中，相机效果包括以下中的至少一个：缩放、摇摄或旋转。

3、本说明书有利地描述了一种合成图像对之间的移动并且利用新生成的帧填充间隙以从该图像对创建视频的方式。本说明书描述了一种媒体应用，该媒体应用滤除候选图像对，对特定图像对执行帧内插以生成中间图像，并且从特定图像对和中间图像生成视频。本说明书有利地描述了一种平衡具有高召回率和较快的计算时间的一系列过滤器与具有高精度和较慢的计算时间的一系列过滤器的需求的方式。

技术特征：

1.一种计算机实现的方法，包括：

2.根据权利要求1所述的方法，其中，所述过滤器包括时间过滤器，当在与所述对中的所述第一静态图像和所述对中的所述第二静态图像相关联的相应时间戳之间的时间差大于时间阈值时，所述时间过滤器排除所述候选图像对中的一个或多个。

3.根据权利要求2所述的方法，其中，所述一个或多个中间图像中的每个中间图像与具有在所述第一静态图像的时间戳和所述第二静态图像的时间戳之间的值的相应时间戳相关联，并且其中所述序列中的每个中间图像的位置是基于所述相应时间戳。

4.根据权利要求2所述的方法，其中，所述时间阈值是2秒。

5.根据任一项前述权利要求所述的方法，其中，所述过滤器包括运动过滤器，所述运动过滤器通过以下操作来排除所述候选图像对中的一个或多个：

6.根据权利要求5所述的方法，其中，所述过滤器进一步通过确定在所述第一静态图像与所述第二静态图像之间的所述运动超过最大运动阈值来排除所述候选图像对中的一个或多个。

7.根据任一项前述权利要求所述的方法，其中，所述过滤器包括过滤器机器学习模块，所述过滤器机器学习模块通过以下操作来排除所述候选图像对中的一个或多个：

8.根据权利要求7所述的方法，其中，所述特征向量是第一特征向量，并且所述过滤器机器学习模块进一步能操作以用于：

9.根据任一项前述权利要求所述的方法，其中，所述图像内插器包括内插机器学习模型，所述内插机器学习模型接收所述第一静态图像和所述第二静态图像作为输入并且生成所述一个或多个中间图像。

10.根据任一项前述权利要求所述的方法，其中，基于所述特定图像对来生成所述一个或多个中间图像包括：

11.根据权利要求10所述的方法，进一步包括：使用被训练以确定输入图像是否是生成的图像的鉴别器机器学习模型来确定所述帧内插故障，其中，如果所述鉴别器机器学习模型确定所述候选中间图像与所述生成的图像不可区分，则选择所述候选中间图像。

12.根据任一项前述权利要求所述的方法，进一步包括：

13.根据任一项前述权利要求所述的方法，其中，生成所述视频包括：使用深度机器学习模型，基于所述第一静态图像的深度的预测来生成所述第一静态图像中的场景的三维表示，其中，所述深度机器学习模型是接收所述第一静态图像作为输入的分类器，其中所述视频包括基于所述场景的所述三维表示而生成的相机效果。

14.根据权利要求13所述的方法，其中，所述相机效果包括以下中的至少一个：缩放、摇摄或旋转。

15.一种计算设备，包括：

16.根据权利要求15所述的计算设备，其中，所述过滤器包括时间过滤器，当在与所述对中的所述第一静态图像和所述对中的所述第二静态图像相关联的相应时间戳之间的时间差大于时间阈值时，所述时间过滤器排除所述候选图像对中的一个或多个。

17.根据权利要求16所述的计算设备，其中，所述一个或多个中间图像中的每个中间图像与具有在所述第一静态图像的时间戳和所述第二静态图像的时间戳之间的值的相应时间戳相关联，并且其中所述序列中的每个中间图像的位置是基于所述相应时间戳。

18.一种非暂时性计算机可读介质，在所述非暂时性计算机可读介质上存储有指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行操作，所述操作包括：

19.根据权利要求18所述的计算机可读介质，其中，所述过滤器包括时间过滤器，当在与所述对中的所述第一静态图像和所述对中的所述第二静态图像相关联的相应时间戳之间的时间差大于时间阈值时，所述时间过滤器排除所述候选图像对中的一个或多个。

20.根据权利要求19所述的计算机可读介质，其中，所述一个或多个中间图像中的每个中间图像与具有在所述第一静态图像的时间戳和所述第二静态图像的时间戳之间的值的相应时间戳相关联，并且其中所述序列中的每个中间图像的位置是基于所述相应时间戳。

21.一种系统，包括一个或多个处理器和存储器，所述存储器存储计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时使得所述系统执行根据权利要求1至14中的任一项所述的操作。

22.一种计算机程序产品，包括计算机可读指令，所述计算机可读指令在由计算装置执行时使得所述计算装置执行根据权利要求1至14中的任一项所述的操作。

技术总结
媒体应用从与用户账户相关联的图像合集中选择候选图像对，其中每对包括来自用户账户的第一静态图像和第二静态图像。媒体应用应用过滤器以从候选图像对中选择特定图像对。媒体应用使用图像内插器基于特定图像对来生成一个或多个中间图像。媒体应用生成包括布置在序列中的三个或更多个帧的视频，其中序列的第一帧是第一静态图像，序列的最后一帧是第二静态图像，并且一个或多个中间图像中的每个中间图像是序列中的在第一帧与最后一帧之间的对应中间帧。

技术研发人员：雅纳·孔特卡宁,杰米·阿斯皮纳尔,多米尼克·克泽尔,纳文·萨尔马,布赖恩·可莱丝,大卫·萨莱西尼
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/1/13