具有渐进动态性的自动化视频循环的制作方法
【专利说明】具有渐进动态性的自动化视频循环 WW] 背景
[0002] 视觉图像通常可被分类成静态图像（例如，照片、绘画，等等）或动态图像（例如， 视频、动画，等等）。静态图像捕捉单个时刻。例如，静态照片通常通过其空间和时间边界之 外（例如，相框外且在拍摄照片之前和之后的时刻）所暗示的事物来得到其能力。通常，观 看者的想象可W填充静态图像（例如，空间上和/或时间上）遗漏的事物。相反，视频丢失 该能力中的一些；然而，由于是动态的，视频可提供贯穿时间的展开的时间叙述。
[0003] 不同类型的短视频可W从输入视频中创建。短视频的示例包括微动摄影 (Cinemagraph)和动态图（cliplet)，它们选择性地冻结、播放、并循环各视频区域W实现 引人注意的效果。循环元素与静止背景的反差可帮助抓住观看者的注意力。例如，微动摄 影通常可组合静态场景与微小的重复移动（例如，小束头发在风中飞舞）；因而，一些运动 和叙述可在微动摄影中被捕捉。在微动摄影中，动态元素通常在一系列帖中循环。
[0004] 各种技术常规上被用来创建视频循环。例如，一些方法通过定位各对相似视频帖 W创建稀疏转移图来定义视频纹理。对运一图的随机遍历可生成非重复性视频；然而，对于 具有许多独立地移动的元素的场景而言，在采用运样的技术时，找出兼容帖可能是困难的。 用于创建视频循环的其他传统方法使用马尔科夫随机场（MR巧模型来合成视频。运样的 方法可在空间和/或时间上连贯地合并视频片段偏移，并使用二元图切来确定最优合并场 景。引入约束可允许创建具有指定全局周期的视频循环。其他常规技术尝试根据平摇视频 序列来创建全景视频纹理。因此，用户可W选择静态背景层图像且可绘制掩膜来标识动态 区域。对于每一区域，自然周期性可被自动确定。随后，可使用3D网格上的多标记图切来 求解3DMRF模型。还有其他技术尝试通过在空间-时间体中混合重叠视频来创建全景立 体视频纹理。 阳0化]已经开发了用于交互式创作微动摄影的各方法。例如，视频中的运动区域可被自 动隔离。此外，用户可W选择哪些区域来作出循环W及选择哪些参考帖来用于每一区域。循 环可通过找出匹配帖或区域来实现。用于创建微动摄影的一些常规技术可选择性地稳定视 频中的运动。因此，用户可草拟不同类型的笔划W指示各区域是静态的、固定的、或完全动 态的，其中各笔划可使用光流跨各视频帖来传播。视频还可被进一步变形W用于稳定化，且 3DMRF问题可被求解W将视频与静态内容无缝地合并。其他最近技术提供一组惯用语（例 如，静态、播放、循环W及镜面循环）W允许用户组合来自源视频的若干时空片段。运些片 段可被稳定化且合成在一起W强调场景元素或形成叙述。
【发明内容】
[0006]本文描述了设及生成视频循环的各种技术。输入视频可被接收，其中输入视频包 括一定时间范围上的像素处的值。优化可被执行W确定来自输入视频中的各像素的每一像 素的、在输入视频的时间范围内的相应输入时间区间。特定像素的相应输入时间区间可包 括来自输入视频的时间范围内的特定像素处的循环的每像素循环周期和每像素开始时间。 根据一示例，两阶段优化算法可被用来确定相应输入时间区间。或者，作为另一示例，单阶 段优化算法可被用来确定相应输入时间区间。此外，输出视频可基于输入视频中的各像素 的相应输入时间区间上各像素处的值来被创建。
[0007] 根据各实施例，输入视频的渐进视频循环系列可基于优化来被创建，其中渐进视 频循环系列可W将输入视频中各像素的分割（例如，嵌套分割、不同类型的分割，等等）编 码成独立循环的空间区域。渐进视频循环系列可包括具有不同动态水平的视频循环，范围 从静态图像到具有最大动态水平的动画化循环。根据各实施例，输入视频可被重新映射W 形成经压缩的输入视频。经压缩的输入视频可包括输入视频的一部分。输入视频的该部分 例如可W是由渐进视频循环系列中具有最大动态水平的循环所访问的部分。
[000引根据各实施例，可W接收针对输出视频的动态水平的选择。此外，输出视频可W基 于来自输入视频的值和对输出视频的动态水平的选择来被创建。输出视频中的动态水平可 W基于该选择通过使得输出视频的各空间区域相应地是静态或循环的来被控制。此外，输 出视频可被呈现在设备的显示屏上。
[0009] W上概述呈现了简化概述，W提供对本文讨论的系统和/或方法的一些方面的基 本理解。本概述并不是对此处所讨论的系统和/或方法的全面综述。并不旨在标识关键/ 重要元素，也不描绘运样的系统和/或方法的范围。其唯一目的是W简化形式呈现一些概 念，作为稍后呈现的更详细说明的序言。
[0010] 附图简述
[0011] 图1示出根据输入视频生成视频循环的示例性系统的功能框图。 阳01引图2示出示例性输入视频V(X，t)和对应的示例性输出视频L(X，t)。
[0013] 图3示出从输入视频到输出视频的示例性时间映射。
[0014] 图4示出使用两阶段优化算法根据输入视频生成视频循环的示例性系统的功能 框图。
[0015] 图5示出根据输入视频生成渐进视频循环系列的示例性系统的功能框图。
[0016] 图6示出由图5的系统生成的渐进视频循环系列的示例性循环。
[0017] 图7示出由图5的系统实现的渐进视频循环系列的构造的示例性图形表示。
[0018] 图8示出控制输出视频的呈现的示例性系统的功能框图。
[0019] 图9示出压缩输入视频的示例性系统的功能框图。 阳020] 图10示出示例性输入视频和示例性经压缩的输入视频。
[0021] 图11是示出用于生成视频循环的示例性方法的流程图。
[0022] 图12是示出用于压缩输入视频的示例性方法的流程图。
[0023] 图13是示出用于在设备的显示屏上显示输出视频的示例性方法的流程图。
[0024] 图14示出了示例性计算设备。 阳〇2引详细描述
[00%] 现在参考附图描述设及根据输入视频生成具有不同动态水平的一系列视频循环 的各种技术，其中该系列视频循环范围从静态图像到具有最大动态水平的动画化的循环， 全部附图中使用相同的参考标号来引用相同的元素。在W下描述中，为解释起见，阐明了众 多具体细节W提供对一个或多个方面的全面理解。然而，显然运（些）方面可W在没有运些 具体细节的情况下实施。在其他实例中，W框图形式示出公知的结构和设备W便于描述一 个或多个方面。另外，要理解，被描述为由特定系统组件执行的功能性可由多个组件执行。 类似地，例如，一组件可被配置成执行被描述为由多个组件实现的功能。
[0027] 此外，术语"或"意指包括性"或"而非排斥性"或"。目P，除非另有指定或从上下文 显而易见，否则短语"X采用A或B"意指任何自然的包括性排列。旨P，短语"X采用A或B" 藉由W下实例中任何实例得到满足：X采用A;X采用B;或X采用A和B两者。另外，本申 请和所附权利要求书中所使用的冠词"一"和"某"一般应当被解释成表示"一个或多个"， 除非另外声明或者可从上下文中清楚看出是指单数形式。
[0028] 如本文阐明的，捕捉具有不同动态水平的一系列循环视频的表示可根据输入视频 来被创建。该表示在本文中被称为渐进视频循环系列。渐进视频循环系列中的各视频循环 的范围从静态循环到具有最大动态水平的动画化的循环。渐进视频循环系列中的静态循环 与具有最大动态水平的循环之间的中间循环具有在静态循环与具有最大动态水平的循环 之间的动态水平。在根据输入视频和渐进视频循环系列来创建输出视频时，场景活泼的所 需量可（例如，使用滑块、通过空间区域的局部选择，等等）被交互式地调整。如本文所述 地创建的输出视频可被用于各种应用，如用于背景图像或幻灯片放映，其中活动的水平可 依赖于个人品味或情绪。此外，该表示可W将场景分割成各个独立地循环的空间区域，从而 允许对动态性进行交互式局部调整。对于风景场景，例如，运一控制可与草动、水纹W及树 摇的选择性动画和解除动画相对应。输入视频可通过采用优化而被转换成循环内容，其中 输入视频的每一像素的每像素循环周期可被动态地确定。此外，输入视频的每一像素的每 像素开始时间可通过执行优化来被自动确定（例如，该优化可同时针对每像素循环周期和 输入视频的每一像素的每像素开始时间来求解）。此外，静态和动态场景区域的所得的分割 可被紧凑地编码。
[0029] 现在参考附图，图1示出了根据输入视频102生成视频循环的系统100。系统100 包括接收输入视频102的接收组件104,其中输入视频102包括一定时间范围内各像素处的 值。输入视频102可被表示为=维（3D)体V(X，t)，具有二维（2D)像素位置X和帖时间t。 2D像素位置X在本文中也被称为像素X。
[0030] 系统100根据输入视频102自动形成循环内容。输入视频102中包括的场景中的 某些运动可被呈现在输出视频112中。构想了运样的运动可W是随机或半随机的，诸如例 如摇动的小草、摇摆的树枝、起链満的水坑、W及闪电。场景中的运些移动元素通常具有不 同循环周期；相应地，系统100可自动标识输入视频102的每一像素的相应每像素循环周期 W及输入视频102的每一像素的相应每像素开始时间。在给定像素处，每像素循环周期与 每像素开始时间的组合可W定义输入视频102中的输入时间区间。输入时间区间的长度是 每像素循环周期，且输入时间区间的第一帖是每像素开始时间。此外，构想了输入视频102 中的一些移动对象在输出视频112中可W是静态的（例如，冻结）。
[0031] 用于形成循环的常规技术通常依赖于用户标识场景的循环的各空间区域W及用 户指定所标识的空间区域中的每一者的循环周期。运样的常规技术通常还依赖于用户标识 场景的静态的各空间区域。与传统方法形成对比，系统100将视频循环创建制定为优化，其 中可为输入视频102的每一像素确定每像素循环周期。此外，构想了输入视频102的各像 素中的一者或多者的每像素循环周期可W是统一的，由此像素变成静态的。由此，优化可将 场景自动分割成具有自然的发生周期的各区域W及静态的区域。
[0032] 此外，循环内容可被参数化W保留相位相干性，运可使得优化更易处理。对于每一 像素，可W存在一个自由度可供用于对输出视频112中的视频循环进行时移（例如，使用每 像素循环周期和每像素开始时间从输入视频102中标识的重复时间区间）。因而，不同延 迟可被引入每一像素，其中给定像素的延迟影响该给定像素在输出视频112中何时开始循 环。运些延迟可被设置W保留相位相干性，运可增强空时一致性。因此，如果两个相邻像素 被指派同一每像素循环周期且具有带非零重叠的相应输入时间区间，则对于输出视频112 中的运两个像素，该时间重叠内的像素值可并发地出现。作为说明，如果像素C和像素D具 有共同的每像素循环周期，且像素C具有比像素D早两帖的起始帖，则输出视频112中在像 素D处的循环可相对于像素C处的循环移位2帖，使得像素C和像素D的内容看起来被同 步。
[0033] 系统100可W例如是允许根据输入视频102产生