具有渐进动态性的自动化视频循环的制作方法_5

文档序号:9650890阅读:来源:国知局
平是基于滑块的位置来被控 制的。随着滑块被操纵W增加动态性水平,形成组件806所创建的输出视频112可变得更 加动态(例如,更多像素可从静态转移到循环,使得所呈现的循环变得更类似于具有最大 动态性水平的循环Li)。此外,随着滑块被操纵W降低动态性水平,形成组件806所创建的 输出视频112可变得较不动态(例如,更多像素可从循环转移到静态,使得所呈现的循环变 得更类似于静态循环L。)。尽管在W上示例中描述了对滑块的使用,但将明白,图形用户界 面中包括的基本上任何类型的开关、按钮、键等可W获得对动态性水平810的选择。此外, 基本上任何类型的界面(如自然用户界面)可W接受对动态性水平的选择810。
[0129] 作为另一示例,输出视频112中的动态性水平可基于对动态性水平的选择810在 输入视频112中的独立地循环的空间区域内被局部控制。例如,每像素循环周期和激活水 平可包括将场景分割成各独立地循环的区域。因而,并非使用单个路径来在全局增加或降 低跨输出视频112的各像素的全局动态性,动态性可(例如,基于手动输入)被局部控制。 因而,对动态性水平的选择810可通过选择性地超控每空间区域的循环状态来在空间上适 配动态性(例如,源视频802中包括的树可被选择W从静态转移成循环,等等)。
[0130] 对于细粒度控制,可选择的区域很小但充分大W避免在相邻区域具有不同状态的 情况下的空间缝隙可能是合乎需要的。例如,如果运些像素共享相同循环周期、具有来自源 视频802的相重叠的相应输入时间区间、且具有共同的激活水平的话,两个相邻像素可W 处于共同区域中。作为示例,洪泛填充(flood-fill)算法可W找出运一关系的传递闭包的 等同类;然而,所要求保护的主题不限于此。 阳131] 作为说明,查看器组件110可W提供图形用户界面W操纵不同空间区域上的动态 性。例如,在光标悬停在输出视频112上时,局部底层区域可被突出显示。其他区域可W是 阴影化的,使用色彩编码或W其他方式指示来界定每一区域及其当前状态(例如,红色阴 影用于静态且绿色阴影用于循环)。对动态性水平的选择810可W基于当前突出显示的空 间区域上的鼠标点击或其他选择,运可将突出显示的空间区域的状态在循环和静态之间切 换。根据另一示例,拖动光标可开始笔划的绘制。遵循该示例,取决于是否按下键(例如, shift键),与该笔划重叠的区域可被激活或解除激活。然而,应该理解,所要求保护的主题 不限于上述示例。同样,构想了其他类型的界面也可被用来接受对动态性水平的选择810。
[0132] 构想了查看器组件110可W例如接收图1的输入视频102和参数804。作为补充 或替换,查看器组件110可W例如接收经压缩的输入视频和经调整的参数,如本文进一步 详细描述的。遵循该示例,输入视频112可由形成组件806根据经压缩的输入视频基于经 调整的参数来创建(例如,动态性水平可W基于对动态性水平的选择810来被控制)。因 而,查看器组件110可基于经压缩的输入视频中的各像素的相应输入时间区间上各像素处 的值来创建输出视频112。
[0133] 转向图9,示出了压缩输入视频102的系统900。系统900可包括上述接收组件 104、循环构造组件106、W及优化器组件108。此外,虽然未示出,但将明白,系统900可包 括查看器组件110。
[0134] 系统900进一步包括压缩组件902。压缩组件902可W接收输入视频102和由循 环构造组件106生成的渐进视频循环系列(例如,图5的渐进视频循环系列502)的参数。 压缩组件902可W基于输入视频102的时间范围内的各像素的相应输入时间区间来重新映 射输入视频102W形成经压缩的输入视频904。压缩组件902可W使经压缩的输入视频904 例如被保留在数据储存库906中。此外,压缩组件902可W调整循环构造组件106所生成 的渐进视频循环系列的参数W创建经调整的参数908。经调整的参数908也可例如被保留 在数据储存库906中。
[0135] 渐进视频循环系列L可包括四个每像素参数(s'、,Sy,Py,屯)。运些每像素参数 可具有空间相关性。例如,参数可被存储成四通道便携式网络图(PNG)图像,其中激活阔值 ^被量化成八位;然而,所要求保护的主题不限于此。
[0136] 因为渐进视频循环系列L只访问输入视频102的子集,所W压缩组件902可W通 过评估具有最大动态性水平的循环Li的初始帖来将输入视频102的内容重新打包成max 个帖的较短视频!?.
[0137]化X',0 ~ 如托t) ), 0 .沒《.< '抒紛%泉义'
[0138] 因此,可被用于根据经压缩的输入视频904生成输出视频的时间映射函数可W如 下: 阳1例|{义.,〇-《紛热1齡
[0140] 通过生成经压缩的输入视频904,存储每像素循环周期Sy可能是不必要的,运可 具有高赌并且因而可能不好压缩。静态帖可由压缩组件902按经调整的参数908调整为 《-系林、,4)。此外,压缩组件902可W通过冻结每一循环的最后像素值来降低经压缩的 输入视频904的未使用部分的赌,运帮助压缩。
[0141] 参考图10,示出了输入视频1000(例如,输入视频102)和经压缩的输入视频 1002 (例如,经压缩的输入视频904)。经压缩的输入视频1002包括输入视频1000的一部 分。例如,输入视频1000的被包括在经压缩的输入视频1002中的所述部分,可W是输入视 频1000的被针对输入视频1000创建的渐进视频循环系列中具有最大动态性水平的循环 (例如,循环Li)访问的一部分。根据另一示例,输入视频1000的被包括在经压缩的输入视 频1002中的所述部分可W是输入视频1000的被单个视频循环访问的一部分。 阳142] 来自输入视频1000的对应输入时间区间的空间区域1004的像素的值可通过评估 ;?知)二'冷..新托哦来被重新映射到经压缩的输入视频1002。由于时间映射函数4i(x,t) 中的模算术,来自输入视频1000的像素的内容在重新映射到经压缩的输入视频1002时通 常可在时间上被重新安排。例如,如图10所示,对于空间区域1004中的像素,一些内容A 看起来在时间上早于输入视频1000中的其他内容B。然而,在重新映射后,在经压缩的输 入视频1002中,内容A在时间上定位得比内容B更晚。尽管内容A和内容B在经压缩的输 入视频10002中被重新安排,要注意,在循环内容被播放时,内容B仍然在内容A之后(例 如,因为它卷绕W形成循环)。类似地,来自输入视频1000的相应输入时间区间的空间区 域1006、空间区域1008、空间区域1010W及空间区域1012中像素的值可被重新映射到经 压缩的输入视频1002。
[0143] 如图所示,空间区域1008中的像素的每像素循环周期可大于空间区域1004、空间 区域1006、空间区域1010、W及空间区域1012的每像素循环周期。因而,经压缩的输入视 频1002的时间范围可W使空间区域1008的每像素循环周期。此外,重新映射到经压缩的 输入视频1002的空间区域1004、空间区域1006、空间区域1010W及空间区域1012中的像 素的最后值可被重复W分别填充经压缩的输入视频1002的部分体1014、部分体1016、部分 体1018W及部分体1020。
[0144] 一般与所要求保护的主题相关的各其他示例性方面在下文描述。然而,将明白,所 要求保护的主题不限于上述示例。
[0145] 根据各方面,在一些情况下,场景运动或视差可使得难W创建高质量循环视频。对 于运些情况,输入视频102内容的局部对齐可被执行W启用增强的循环创建。运样的局部 对齐可W是自动的而无需用户输入。 阳146] 根据一示例,局部对齐可通过将强低空时频率边缘当作要直接对齐的结构边缘来 执行,而高空时频率区域被当作其流被平滑地内插的纹理区域。视觉结果是经对齐的结构 边缘可看起来是静态的,从而留下纹理区域是动态的且能够被循环。上述可W利用具有平 滑的金字塔光流算法来实现,W将视频的每一帖对参考视频帖tfw对齐。帖的参考可被选 作在局部对齐之前与其他帖类似的帖。
[0147] 为支持局部对齐,两个附加项可被引入本文描述的优化算法。第一项可W是如 下:
[0148] …批 份-1过'S,'单?Vc/ .满巧IO其淮
[0149] (X)可^使静态像素(例如,非循环)从参考值中取出。第二项可^是如下: 阳1加] …( 。 化' :1' f;嶺城"K,.濃戟巧")致祗
[0151] (X)可W对光流低置信度的区域中的循环像素进行惩罚,其中F(x,t)是与参考 值tfw对齐的像素X在时间t处的流重新投影误差(在次最精细金字塔层处计算)。对于 重新投影误差大于用流字段缠绕之前的误差的像素,或经缠绕的图像是未定义的(例如, 由于带外流向量),F(x,t)可被设置为无穷大。根据一示例,Af=〇.3可被使用。
[0152]上述项可被用在优化中W减轻与差流对齐的循环,且可使不能对齐的区域取得来 自静态参考帖的值,运可缺少通过构造的对齐误差。循环区域随后可W来自其中金字塔的 粗糖层处的流误差很低的像素。 阳153]根据各方面,交叉淡入淡出可被应用W辅助对视频循环中的空间和时间不连续性 进行掩膜。交叉淡入淡出可被用来减轻由于空间和时间不一致性造成的模糊。例如,时间 交叉淡入淡出可W在循环创建期间使用具有随循环的时间成本线性增加的自适应窗口大 小的线性混合来执行。空间交叉淡入淡出例如可W在运行时使用空间高斯滤波器G在像素 子集S处执行。像素子集S可包括具有大空间成本(例如,> 0. 003)的空时像素W及随空 间成本增加的自适应窗口大小(例如,高达5巧邻域)内的像素。对于每一像素XGS,可 计算下式:
[0154] 碱乏(抑' …,邱啦,參批。)
[0155] 根据各示例,L(x,t)的上述计算可被合并到本文描述的优化中;仍然所要求保护 的主题不限于此。 阳156] 图11-13示出与示出循环视频有关的示例性方法。尽管各方法被表示和描述为顺 序地执行的一系列动作,但要理解,运些方法不受该顺序的次序的限制。例如,一些动作能W与本文描述的不同的次序发生。另外,某一动作可W与另一动作并发地发生。此外,在一 些实例中,实现本文描述的方法并不需要所有动作。
[0157] 此外,本文描述的动作可W是可由一个或多个处理器实现的和/或存储在一个或 多个计算机可读介质上的计算机可执行指令。计算机可执行指令可包括例程、子例程、程 序、执行的线程等。另外,运些方法的动作的结果可W存储在计算机可读介质中,显示在显 不设备上,等等。 阳15引图11示出了用于生成视频循环的方法1100。在1102,输入视频可被接收。输入 视频可包括一定时间范围内各像素的值。在1104,优化可被执行W确定来自输入视频中的 各像素的每一像素的、在输入视频的时间范围内的相应输入时间区间。特定像素的相应输 入时间区间可包括来自输入视频的时间范围内的特定像素处的循环的每像素循环时段和 每像素开始时间。在1106,输出视频可基于输入视频中的各像素的相
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1