具有渐进动态性的自动化视频循环的制作方法_3

文档序号:9650890阅读:来源:国知局
空间(X,Z) =I Wx,Sx)-V(x,Sz)I|2+|IV(z,Sx)-V(z,Sz)I |2 阳0化]根据另一示例性场景,像素X可W是静态的且像素Z可W是循环的。因而,能量可 简化成:
[0066]
[0067] 对于两个求和的向量范数中的每一者且对于每一色彩系数VtGV,该总和可如下 获得:
W例 W上两个总和可通过预计算V和V2上的时间累积总和表来在恒定时间中求值。
[0070] 根据另一示例性场景,在两个像素X和ZW相同周期循环时,P,=P,,能量可被简 化成:
[0071] 阳072] 此外,(I) (X,t) =d) (z,t)的零值项可被检测并忽略。因而,如先前在图3中所 示,对于开始时间相似的情况下,在图3中用箭头标记的很大时间区间可被忽略。
[0073]根据另一示例性场景,在像素具有不同循环周期时,一般而言总和是使用T=LCM(Px'Pz)来计算得至Ij的。然而,在两个循环周期互质时(例如,LCM(Px,Pz) =PxPz),贝Ij下 式可被求值:
[0075] 在上式中,a和b与V(x,?)和V(z,?)中的系数相对应。因而,根据上述示例性 场景(其中像素X是静态的而像素Z是循环的)计算得到的累积总和表可被重用来在恒定 时间中对运些项求值。
[0076] 此外,构想了期望平方差可被用作近似,甚至在周期P济P,不互质时。运样的近 似可W提供加速而不会可观地影响结果质量。
[0077]此外,如上所述,目标函数可包括时间一致性目标项E讯司。
[0078]
[0079] 上述时间一致性目标项可W对于每一像素,比较循环的每像素开始时间Sy处的值 与循环s,+p,的每像素结束时间后的值(例如,来自每像素结束时间后的下一帖),而对于 对称性,比较循环Sy-I的每像素开始时间之前的值(例如,来自每像素开始时间之前的先 前帖)和循环Sx+Px-1的每像素结束时间处的值。
[0080] 因为在像素在输入视频102中随时间极大地变化时,循环不连续性较不易察觉, 所W-致性成本可W使用W下因子来削弱:
[0082] W上因子可基于连贯像素差的绝对中位差来估计像素处的时间变化。根据一示 例,At可被设为400 ;然而,所要求保护的主题并不限于此。
[0083] 对于指派为静态的像素(例如,Px= 1),EW目可计算连贯帖之间的像素值差,并且 因此可偏好输入视频102中具有零光流的像素。尽管运样的行为可能是合理的,但可发现, 移动对象可被抑制冻结在静态图像中。根据另一示例,构想了对于被指派为静态的像素,时 间能量可被设为零。
[0084]根据一示例,对于循环像素,因子,
可被用来将较短循环纳入考虑,从而相对于 较长循环而言更频繁地掲露时间不连续性。然而,应当理解,所要求保护的主题不限于利用 运样的因子。 阳O化]此外,目标函数可包括动态性项,该动态性项基于输入视频102中的像素的邻域 的时间变化对像素处的静态循环的指派进行惩罚。例如,如果输入视频102的像素根据同 一输入帖各自被指派为静态的,则该循环在空时上相一致而没有循环。动态性项可惩罚运 样的平凡解并鼓励输入视频102中的动态的像素在循环中是动态的。
[0086] 像素的邻域N可W指像素的空时邻域。因而,给定像素的邻域可W是围绕给定像 素的空间和时间中的指定窗口内的一组像素,可任选地由降低在空间或时间上较远离给定 像素的像素值的影响的核(例如,高斯核)加权。此外,构想了给定像素的邻域的指定窗口 可包括该给定像素,同时缺少其他像素(例如,输入视频102中的给定像素的邻域可W是给 定像素本身)。
[0087] 动态性项可被用来基于每一像素的邻域N是否具有输入视频102中的重大时 间变化来调整能量目标函数。如果像素被指派了静态标记,则它可招致成本惩罚。运 样的惩罚可根据像素的邻域N的时间变化来降低。因而,静恣。。矜;r; <-X〉可W用 下式定义:
[0088]
[0089] 在上式中,A静态可被设为100,且N可W是Ox= 0.9且Ot= 1.2的高斯加权空 间时间邻域。
[0090] 现在转向图4,示出了根据输入视频102使用两阶段优化算法生成视频循环402的 系统400。系统400包括接收输入视频102的接收组件104。此外,系统400包括循环构造 组件106和优化器组件108,它们实现两阶段优化算法W创建视频循环402。虽然并未示出, 但将明白,系统400可进一步包括图1的查看器组件110,它可根据视频循环402创建输出 视频。
[0091] 循环构造组件106可采用两阶段方法来确定输入视频102中的像素的相应输入时 间区间。更具体地,循环构造组件106可包括为输入视频102中的像素形成输入视频102 的时间范围内的相应候选输入时间区间集合的候选检测组件404。候选检测组件404可W 确定该时间范围内的优化像素的目标函数的相应候选每像素开始时间。各像素的该时间范 围内的相应候选每像素开始时间可由候选检测组件404针对每一候选循环周期来确定。因 而,作为说明,候选检测组件404可标识假定每像素循环周期为2的情况下每一像素的相应 候选每像素开始时间,假定每像素循环周期为3的情况下每一像素的相应候选每像素开始 时间,W此类推。因此,在第一阶段,候选检测组件404可对于每一候选循环周期p〉l,找出 创建具有该候选循环周期的经优化的视频循环Llp的每像素开始时间Sy|p。优化器组件108 可针对每一候选循环周期求解多标记图切,且候选检测组件404可基于由优化器组件108 针对每一候选循环周期返回的结果来标识各像素的相应候选每像素开始时间。
[0092] 此外,循环构造组件106可包括归并组件406,该归并组件可为各像素确定优化目 标函数的输入视频102的时间范围内的相应输入时间区间。各像素的在输入视频102的时 间范围内的相应输入时间区间可由归并组件406根据输入视频102中的各像素在输入视频 102的时间范围内的相应候选输入时间区间集合(如候选检测组件404所确定的)来选择。 因而,归并组件406可W确定使用由候选检测组件404(例如,在第一阶段中)获得的每像 素开始时间定义经优化的视频循环(技..A.#,}的每像素循环周期1。优化器组件108可 求解多标记图切,且归并组件406可基于由优化器组件108返回的结果来标识各像素的相 应每像素循环周期。优化器组件108针对第二阶段所利用的标记集合可包括在第一阶段中 考虑的周期P〉1连同静态情况P=I下可能的静态帖S'X。因而,优化可将Up} +lis}|个 不同候选循环的区域归并在一起:在第一阶段针对周期{p}找到的经优化的循环加上与输 入视频102的帖{s}相对应的静态循环。
[0093] 优化器组件108可使用迭代a展开算法在两阶段求解多标记图切。迭代a展开 算法可假定能量函数上的规律性条件,即对于每一对相邻节点和=个标记a、0、丫,空间 成本可满足c(a,a+c(e,丫)《c(a,e)+c(a,丫)。然而,将明白,上述约束在第二阶 段可能不被满足。例如,在两个相邻像素被指派相同周期时该约束可能因为它们可具有不 同的每像素开始时间而不被满足,运可意味着它们的空间成本c(a,a)可能是非零。然 而,每像素开始时间可在第一阶段求解W最小化运一成本,所W上述差异可能被减轻。
[0094] 因为规律性条件可能不成立,所Wa展开算法的理论有界近似保证可能不成立。 然而,一些边缘成本可由优化器组件108在设立每一a展开遍(alpha-expansionpass) 时被调整。更具体而言,优化器组件108可将负成本添加到边缘c(e,丫),使得规律性条 件得到满足。此外,能量函数可能不规律的另一原因是(x,z)的平方根可被应用W使 其成为欧几里得距离,而非平方距离;然而,所要求保护的主题不限于此。
[0095] 因为迭代多标记图切算法可找出目标函数的局部最小值,所W选择初始状态可能 是需要的。更具体地,对于第一阶段,候选检测组件404可初始化SyW最小化时间成本。此 夕F,对于第二阶段,归并组件406可选择Px,其循环LIPx在像素X处具有最小空时成本。
[0096] 同样,尽管图4描述了用于根据输入视频102生成视频循环402的两阶段优化算 法,将明白,另选地,单阶段优化算法可被用来根据输入视频102生成视频循环402。因而, 遵循该示例,同时针对每一像素的每像素循环周期和每像素开始时间进行求解的单阶段多 标记图切算法可被实现。尽管本文阐明的示例中的许多设及利用两阶段优化算法,但构想 了运样的示例可被扩展W使用单阶段优化算法。
[0097] 现在参考图5,示出了根据输入视频102生成渐进视频循环系列502的系统500。 与图4的系统400类似,两阶段优化算法可由系统500实现W形成渐进视频循环系列502。 渐进视频循环系列502从输入视频102捕捉具有不同动态性视频的循环系列,范围从静态 循环到具有最大动态性水平的循环。
[0098] 系统500包括接收组件104、循环构造组件106、W及优化器组件108。同样,尽管 未示出,但构想了系统500可包括图1的查看器组件110。循环构造组件106进一步包括本 文描述的候选检测组件404和归并组件406。
[0099] 循环构造组件106可创建渐进视频循环系列502,表示为< ?2' < 1),其 中d指的是动态性水平。动态性水平可W是视频循环中的时间变化的归一化测量。在渐进 视频循环系列502的一端是具有最小动态性水平的循环L。(例如,静态循环)。将明白,静 态循环U中的各像素中的至少两个像素可W来自输入视频102的不同帖;然而,所要求保 护的主题不限于此。在渐进视频循环系列502的另一端是具有最大动态性水平的循环Li, 它可使其像素中的许多像素循环。在循环Li中,将明白,一些像素可能不循环(例如,一个 或多个像素可能是静态的),因为迫使具有不可循环的内容的像素进行循环可造成不合乎 需要的伪像。 阳100] 为定义渐进视频循环系列502,每一像素可具有两个可能状态之一,即静态状态和 循环状态。在静态状态,像素的色彩值可从输入视频102的单个静态帖S'X取得。在循环 状态,像素可具有包括静态帖S'X的循环区间[Sx,Sx+Px)。此外,循环构造组件106可通 过定义激活阔值axG[0,1)作为动态性水平来在循环像素集合上建立嵌套结构,在此阔值 处像素X在静态和循环之间转移。 阳101] 参考图6,示出了渐进视频循环系列(例如,图5的渐进视频循环系列50。的示 例性循环。具有最大动态性水平的循环Li在600处描绘,具有最小动态性水平的循环L。在 602处描绘,且具有循环Li和循环L。之间的动态性水平的中间循环在604处描绘。渐进视 频循环系列的静态循环U和后续中间循环的循环参数被约束成兼容先前计算得到的循环 (例如,静态循环L。的循环参数被约束成兼容循环L1,在604处描绘的中间循环的循环参数 被约束成兼容循环Li和循环L。,等等)。
[0102] 如所示示例中所示,循
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1