具有渐进动态性的自动化视频循环的制作方法_2

文档序号:9650890阅读:来源:国知局
输出视频112的专用交互式工具 的至少一部分。根据另一示例,系统100可W是一组专用交互式工具的至少一部分,它可包 括用于根据输入视频102形成视频循环的专用交互式工具W及用于根据所形成的视频循 环产生输出视频112的不同的专用交互式工具。作为另一示例,构想了系统100可被包括 在捕捉输入视频102设备中;因而系统100可被配置成由捕捉输入视频102的设备的处理 器来执行。遵循该示例,智能电话的相机可W捕捉输入视频102,且用户可采用智能电话来 使用系统1〇〇(例如,由捕捉输入视频102的智能电话的处理器执行)创建输出视频112。 根据另一示例,系统100的一部分可被包括在捕捉输入视频102的设备中(例如,配置成由 捕捉输入视频102的设备的处理器执行),且系统100的其余部分可被包括在不同的设备 中(例如,配置成由该不同设备的处理器执行);遵循该示例,系统100的包括在捕捉输入 视频102中的部分可W形成视频循环,而系统100的包括在不同设备中的其余部分可W根 据所形成的视频循环来创建输出视频112。
[0034] 接收组件104可W从基本上任何源接收输入视频102。例如,接收组件104可W从 捕捉输入视频102的相机接收输入视频102。根据另一示例,捕捉输入视频102的相机可包 括接收组件104。根据另一示例,接收组件104可W从保持输入视频102的数据储存库接收 输入视频102。然而,应该理解,所要求保护的主题不限于上述示例。
[0035] 许多类型的设备(如智能电话、相机、平板计算机、膝上型计算机、移动游戏控制 台等)可W捕捉输入视频102。例如,将明白,运些类型的设备可W捕捉高清晰度视频W及 相片。此外,在具有增强的并行处理的情况下,运两个媒体之间的分辨率间隙缩窄。因而, 存档视频的短巧发而非静止帖可变得更常见。因此,可根据使用系统100捕捉到的视频的 短巧发来自动形成循环内容。
[0036] 接收组件104接收到的输入视频102可能例如先前(例如,在由接收组件104接 收之前)已被稳定化。根据另一示例,输入视频102可在由接收组件104接收之后稳定化 (例如,接收组件104可W稳定输入视频102,稳定化组件可W稳定输入视频102,等等)。输 入视频102的稳定可自动执行或在用户指导下执行。
[0037] 系统100进一步包括循环构造组件106,其可使优化器组件108执行优化W确定 来自输入视频102中的各像素的每一像素的、输入视频102的时间范围内的相应输入时间 区间。特定像素的相应输入时间区间可包括来自输入视频102的时间范围内的特定像素处 的循环的每像素循环周期和每像素开始时间。例如,循环构造组件106可W使优化器组件 108执行优化W确定优化目标函数的各像素的输入视频102的时间范围内的相应输入时间 区间。
[0038] 此外,系统100包括查看器组件110,其可基于输入视频102中的各像素的相应输 入时间区间上的各像素处的值来创建输出视频112。查看器组件110可W基于由循环构造 组件106创建的视频循环来生成输出视频112。输出视频112可包括循环内容和/或静态 内容。输出视频112可被表示为3D体L(x,t),具有2D像素位置X和帖时间t。此外,查看 器组件110可W使输出视频112呈现在设备的显示屏上。
[0039] 系统100尝试维持输出视频112中的空时一致性(例如,循环可避免在输出视频 112的内容没有在局部与输入视频102 -致时可发生的不合需要的空间缝隙或时间弹跳)。 由于输入视频102的稳定化,输出视频112可由查看器组件110为输出视频112的每一像 素检索与输入视频102中的同一像素相关联的内容来形成。由查看器组件110从输入视频 102检索且被包括在输出视频112中的内容可W是静态的或循环的。更具体而言,内容可被 表示为来自输入视频102的时间区间[Sx,Sx+Px),其中Sx是像素X的循环的每像素开始时 间而Py是像素X的每像素循环周期。每像素开始时间Sy和每像素循环周期Py可W用帖为 单位来表达。静态像素因而对应于Py= 1的情况。 W40] 转向图2,示出了示例性输入视频200V(X,t)和对应的示例性输出视频 20化(X,t)。输入时间区间可根据输入视频200中的每一像素来确定(例如,由图1的循环 构造组件106)。如图所示,输入视频200的空间区域204中包括的像素各自具有每像素开 始时间Sy和每像素循环周期P此外,如上所示,输入视频200的空间区域206中包括的 像素和输入视频200的空间区域208中包括的像素各自具有共同的每像素循环周期;然而, 输入视频200的空间区域206中包括的像素的每像素开始时间与输入视频200的空间区域 208中包括的像素的每像素开始时间不同。此外,输入视频200的空间区域210中包括的像 素是静态的(例如,统一每像素循环周期)。
[0041] 来自输入视频200的各像素的相应输入时间区间的值可时间映射到输出视频 202。例如,空间区域206中包括的像素的来自输入视频200的输入时间区间可W在输出视 频202中针对空间区域206中包括的像素来循环。同样,如上所示,来自输入视频200的指 定时间的空间区域210中包括的像素的静态值可针对空间区域210中包括的像素在输出视 频202的时间范围上被维持。
[0042] 用来将来自输入视频200的输入时间区间映射到输出视频202的时间映射函数可 W保留不同空间区域之间的相位差,运可辅助维持跨具有共同每像素循环周期和不同每像 素开始时间的不同空间区域中的相邻像素的空间一致性。因而,空间区域206中的像素的 输入时间区间之间的偏移W及来自输入视频200的空间区域208中的像素的输入时间区间 可在输出视频202中被维持W提供同步。
[0043] 再次,参考图1。查看器组件110可利用基于模的时间映射函数将输入视频102中 特定像素的相应输入时间区间时间映射到输出视频112。特定像素的基于模的时间映射函 数的输出可W基于来自输入视频102的该特定像素处的循环的每像素循环周期和每像素 开始时间。因此,输入视频102与输出视频112之间的关系可被定义为:
[0044] L(x,1:) =V(x,4(X,1:)),t> 0。 W45] 在上式中,4 (X,t)是如下阐明的时间映射函数:
[0046]
[0047] 由于时间映射函数的W上模算术,如果两个相邻像素W相同周期在输入视频102 中循环,则查看器组件110可W使运样的相邻像素在输出视频112中(例如,在输出循环 中)同相。 W48] 图3示出从输入视频300到输出视频302的示例性时间映射。在图3所示的示例 中,像素X和像素Z在空间上是相邻的。像素X和Z具有相同的每像素循环周期,且因而Py =P,。此外,像素X的开始时间Sy与像素Z的开始时间S,不同。
[0049] 可为像素X检索来自输入视频200的输入时间区间[Sx,Sx+Px)的内容,且可为像 素Z检索来自输入视频200的输入时间区间[S,,s,+p,)的内容。虽然开始时间Sx和S,不 同,但输入时间区间可具有重大重叠,如输入视频300中的输入时间区间之间的箭头所示。 因为相邻像素X和Z具有相同的循环周期和相似的开始时间,所W式1的同相时间映射函 数可自动保留图3中针对输出视频302示出的输出时间线(由箭头表示)的很大部分上的 空时一致性。时间映射函数可W将像素X和像素Z的相应输入时间区间包装在输出时间线 中W维持时间重叠内的相邻性,并且因而可自动保留空间一致性。
[0050] 针对开始时间进行求解可鼓励在相邻像素之间维持相位相干性。此外,输入视频 102内的循环可具有具有共同经优化周期的循环同相的区域,但具有对于不同区域的交错 的每像素开始时间。与为像素确定开始时间形成对比,一些常规方法求解输出和输入视频 之间的时间偏移。
[0051] 尽管本文阐明的示例中的许多设及时间映射,其中来自输入视频的循环在输出视 频中在时间上向前移动,但其他类型的时间映射旨在落入所附权利要求书的范围内。例如, 诸如镜面循环、反向循环、或反向镜面循环等时间映射可被采用,并且因而针对运样的其他 类型的时间映射的优化可被执行。
[0052] 再次参考图1。如本文阐明的,循环构造组件106可W使优化器组件108执行优化 W确定优化目标函数的各像素的输入视频102的时间范围内的相应输入时间区间。目标函 数可包括空间一致性项、时间一致性项、W及动态性项,该动态性项基于输入视频中的像素 的邻域的时间变化对在像素处的静态循环的指派进行惩罚。视频循环构造可被制定为MRF 问题。因此,可标识使W下目标函数最小化的每像素开始时间S= {sj和每像素循环周期 P={Pxl: 阳053]E(S,P) =E一致性(S,P)巧静态(S,P)
[0054] 在W上目标函数中,第一项可鼓励视频循环中的像素邻域在空间和时间上与输入 视频102中的那些相一致。此外,W上目标函数中的第二项可对静态循环像素的指派进行 惩罚,除了输入视频102的静态区域之外。与常规方法形成对比,MRF图可在2D空间域上 定义,而非全3D视频体。同样,与常规方法形成对比,一组未知可包括每一像素处的每像素 循环周期。 阳化5] 根据一示例,循环构造组件106可W使优化器组件108使用多标记图切算法来求 解MRF优化,其中该组像素标记是候选开始时间{s}和周期{p}的外积。遵循该示例,多标 记图切算法可W是同时针对像素的每像素循环周期和每像素开始时间进行求解的单阶段 优化算法。根据另一示例,如本文更详细地描述的,可W利用两阶段优化算法。
[0056] 在由循环构造组件106创建的所生成的视频循环中,每一像素的空时邻居可看起 来类似于输入视频102中的那些。因为域图是在2D空间网格上定义的,所W目标函数可W 区分空间一致性和时间一致性。
[0057] E一致性(S,P) = 0E空间(S,P)+E时间(S,P)
[0058] 空间一致性项可测量每一对相邻像素X和Z的在视频循环中的时间帖上取平 均的兼容性。
[0059]
[0060] 周期T是输入视频102中的各像素的每像素循环周期的最小公倍数化CM)。因此, 目标可被制定为,在无限循环视频上的平均空间一致性。此外,两像素X和Z处 的像素值差异可被计算W用于对称性。此外,因子r,(x,z)可W是如下:
阳06引因子r,(X,Z)可在输入视频102中的色彩值的时间绝对中位差(MAD)(例如,色彩 值的差)很大时降低像素之间的一致性成本,因为不一致性可能较不可察觉。构想了MAD而 非变化可被采用,因为MAD对局外点较不敏感;然而,将明白,所要求保护的主题不限于此。 根据另一示例,MD度量可根据像素X和像素Z的相应邻域来定义,代替单个像素值V(X,t) 和V(z,t)。根据又一示例,AS可被设为100;然而,所要求保护的主题并不限于此。
[0063] 能量(x,z)可针对各种场景来被简化,运可启用高效评估。根据一示例性场 景,像素X和Z两者都可W是静态的。因而,能量可被简化成: 阳064] E
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1