一种快速视频浓缩摘要方法

文档序号:6369278阅读:922来源:国知局
专利名称:一种快速视频浓缩摘要方法
技术领域
本发明属于视频检索和视频摘要领域,尤其是ー种快速视频浓缩摘要方法。
背景技术
[I]用于视频索引和视频概要的方法和系统-200780050610.0[2]用于产生视频概要的方法和系统-200680048754.8[3]基于时空融合的智能提取视频摘要方法-201110170308. 7[4]视频摘要系统-201020660533. X
[5]基于视频监控网络的视频自动浓缩方法-201110208090. X[6] PRITCH Y,RAV-ACHA A, PELEG S. Nonchronological video synopsisand indexing [J]. IEEE Transactions on Pattern Analysis and MachineIntelligence, 2008,30(11): 1971-1984[7] Y. Pritchj S. Ratovitchj A. Hendelj and S. Pelegj ClusteredSynopsis of Surveillance Video, 6th IEEE Int. Conf. on Advanced Video andSignal Based Surveillance (AVSSi 09), Genoa, Italy, Sept. 2-4,2009随着视频监控的普及和视频监控技术的发展,每天都有海量的监控视频数据产生并被记录在设备上。如何对这些海量的数据进行有效的浏览和分析已经成为该领域备受关注的ー个问题。通常人们只对视频中的某些目标(主要是运动目标)和内容感兴趣,希望能快速浏览视频一段长时间视频中出现的感兴趣内容。视频浓缩技术通过对视频内容分析,分割运动目标,并对它们的出现时间重排,使得在最短的时间里能向用户有效呈现所有的目标。[I] [2] [6] [7]中提出了基于运动目标分割、背景建模和碰撞检测的视频浓缩方案。该方案能获得比较理想的浓缩效果。但其中碰撞检测方案需要计算多个不同的碰撞代价项,计算量较大,不利于对高清视频的实时快速处理。[3]提出了ー种基于时空融合的智能提取视频摘要方法。该方法依靠帧差法获得目标轮廓,并根据矩形轮廓对目标进行跟踪。对于跟踪到的目标序列,重排其在时间轴上出现的位置,以形成新的浓缩视频。不同目标若有叠加,则进行透明化处理。该方法主要缺点在干没有对目标的碰撞进行检测以获得较好的视觉效果;对于长轨迹未进行分段,因此若出现长时间徘徊目标,会影响浓缩视频的压缩长度。 [4]提出了ー种视频浓缩系统方案,该系统包含输入模块,分析模块,数据库模块和输出模块。输入模块获取视频后,送入分析模块进行目标检测和跟踪,将跟踪到的目标轮廓切取出来,保存在数据库中。输出模块将不同帧出现的目标在同一个视频帧里呈现。该系统未提及如何支持对部分处理完成的视频进行输出,也未给出如何避免目标碰撞,以及如何确保切取出来的目标长度适中,以获得较好的视觉效果。[5]提出一种基于视频监控网络的视频自动浓缩方法。该方法处理来自两个有重叠区域摄像机所拍摄的视频源,提出基于图匹配和随机游走思想,对不同相机投影轨迹进行匹配,实现跨摄像机的目标跟踪。在跨摄像机匹配的全景图上进行视频的浓缩,可以获得大场景的浓缩视频。浓缩时,对重排定义了 5个能量损耗,并定义了压缩率,用模拟退化来优化轨迹重排。该方法没有提及如何对轨迹进行分段,因此若出现长时间徘徊目标,会影响浓缩视频的压缩长度。而能量项设计和模拟退火优化的计算量较大,不利于对高清视频的实时快速处理。

发明内容
本发明针对现有技术存在的缺陷,提供ー种快速视频浓缩摘要方法,有效提高运动目标的检测率和跟踪率,有效浓缩视频长度,实现有效密度控制。为此,本发明采取如下技术方案ー种快速视频浓缩摘要方法,包括服务器端,其特征在于由服务器端对预处理视频中的运动目标进行检测跟踪,根据视频的长度或视频中检测目标的数量进行判断,将视频切为多个浓缩段,对每个浓缩段内的目标轨迹进行碰撞检测和重排,之后记录浓缩段信息进入索引文件中;还包括客户端,所述的客户端对存入服务器端内的索引文件进行分析,获取已处理的浓缩段,逐帧渲染浓缩段,形成视频序列,并 对播放中的浓缩视频动态调整目标密度。所述的运动目标检测是采用自适应阈值的混合高斯方法对场景进行背景建摸,结合帧间变化提取前景,在提取前景区域时利用多尺度信息对区域轮廓进行精细化,利用密度估计方法对随机区域进行定位,最后采用随机区域采样的方法对背景模型进行更新,有效检测出低对比度的目标;所述的目标跟踪是采用多假设的方法对多帧的运动检测区域进行关联,对目标轮廓进行预测,并基于边缘信息定位当前帧的轮廓位置,当目标发生分裂、碰撞、丢检时根据该位置产生假设,最后利用匈牙利算法给出最优的假设,并对历史假设进行裁剪,得到目标的跟踪轨迹。所述浓缩段的生成是采用以下方法实现当一段视频累积时间长度超过Tmax或目标数量超过Nmax (与轨迹长度最大允许值Lmax和预设密度d正相关)吋,则产生ー个新的浓缩段。通过运动目标检测和跟踪可以获得每个目标在视频中出现的轨迹信息,包括帧、区域、包围盒,根据切分目标轨迹各帧的包围盒位置,对视频中的长轨迹进行切分,确保每个轨迹长度大于Lmin小于Lmax。判断目标间的碰撞,定义能量项对碰撞进行惩罚,再采用变步长迭代的贪婪法,确保每次迭代能量都有下降,且迭代收敛速度快,并用随机化法避免陷入局部最优解,完成目标碰撞的检测和重排。所述变步长迭代的贪婪法的优化步骤如下a.初始化设定初始迭代步长SI,最终迭代步长S2,其中S2〈S1。设定步长变化数ds,姆个步长迭代次数N。设定当前步长S=Sl。b.以当前步长S迭代N次a)计算当前碰撞代价EI。b)随机选择一条轨迹。c)以步长S为间隔,在浓缩段内所有可能位置,重新放置轨迹出现时间。d)计算所有位置中最小碰撞代价E2。
e)若碰撞代价E2〈El,则将轨迹放置在最小碰撞代价处。c.设定S = S - ds。若S>=S2,重复步骤2,否则结束。客户端在对视频逐帧渲染时,先根据当前帧ID在索引文件中查找该时刻对应的背景图,并查找所有该时刻出现的目标对应的区域像素值,将目标区域叠加到背景图上,若ー个位置有多个目标出现,则该位置的像素值是多个目标像素值的平均。背景图通过对多帧图像累积平均获得,先设定ー个累积区间,若相邻累积区间的背景图发生变化超过门限Tl,则记录一张新的背景图;若变化超过门限T2(T2>T1),则标记为新的浓缩段。浓缩段生成时,使用默认的浓缩密度d,视频在客户端播放时,能根据希望的播放密度进行动态调整,当设置新的播放密度dn时,重新排列每个目标的出现时间,定义T。为目标的原始出现时间,则新的时间为Tn=I^cVdntj 本发明具有以下优点I.跟踪目标连续性好,轮廓区域完整,检测率高,误检率低;2.浓缩视频各时间点的目标密度基本一致;3.能对过长目标切分成小段播放,视频压缩效率高,播放视觉效果好;4.碰撞检测和重排速度快;5.对于需要长时间处理的视频可以支持边处理边播放。6.播放时根据需要可调整密度。


图I为本发明的流程图。
具体实施例方式下面通过实施例,对本发明的技术方案作进ー步具体的说明。如图I所示的快速视频浓缩摘要方法,包括服务器端和客户端,处理的具体步骤如下服务器端先检测并分割该视频中出现的运动目标检测,采用自适应阈值的混合高斯方法对场景进行背景建模,结合帧间变化提取前景,在提取前景区域时利用多尺度信息对区域轮廓进行精细化。结合纹理特征和帧间一致性变化,有效抑制了光照变化的干扰,井能有效检测出低对比度的目标;利用密度估计方法对树叶晃动、水波流动等随机区域进行定位;最后采用随机区域采样的方法对背景模型进行更新,增强了背景模型的鲁棒性。采用多假设的方法对多帧的运动检测区域进行关联,对目标轮廓进行预测,并基于边缘信息定位当前帧的轮廓位置,当目标发生分裂、碰撞、丢检时根据该位置产生假设。最后利用匈牙利算法给出最优的假设,并对历史假设进行裁剪,得到目标的跟踪轨迹输入视频一般有两种形式视频文件和实时视频流。对于视频文件,其时间长度和帧率是确定的,而实时视频流的时间长度不确定。视频中不同时间段的目标密度可能也是不同的,例如街道监控视频白天人流比较密集,而夜晚的人流比较稀疏。而且随着时间的推移,光照的变化或视野中物体的增减,会导致场景发生改变。为确保浓缩视频在不同时间段有相似的密度,而且背景随时间推移发生变化,浓缩采用分段处理的方式。当以下任意条件满足时,则产生一个新的浓缩段累积视频时间长度超过Tmax ;目标数量超过Nmax(与轨迹长度最大允许值Lmax和预设密度d正相关)时;当场景的背景发生显著变化吋,结合轨迹的重排可保证浓缩后各时间点目标密度基本一致。运动目标检测和跟踪可以获得每个目标在视频中出现的轨迹信息,包括帧(或绝对时间)、区域、包围盒。对于视频中出现的长轨迹进行切分,以确保每个轨迹长度不超过最大允许值Lmax。由于过短的目标轨迹在浏览时有闪烁感,为确保人眼视觉效果,切分后轨迹不能短于预定义的最短可视长度Lmin。根据切分目标轨迹各帧的包围盒位置,可以判断目标间的碰撞。定义目标轨迹中第i条轨迹为Ti,第j条轨迹为Tj。整个浓缩段的总碰撞代价与各轨迹之间发生重叠的总面积以及时间上错位的代价之和E=Eo+Et两条轨迹的重叠代价定义为用视频图像尺寸归ー化的包围盒重叠区域面积
E ο = 'yZ I j f Ti 门 TJ ) /a 由于视频切分为浓缩段,因此时间上错位代价可以忽略不计,近似的有E Eo0这种近似使得碰撞代价计算量大大減少。为最小化碰撞总能量,采用变步长迭代的贪婪法。优化步骤如下I.初始化设定初始迭代步长SI,最终迭代步长S2,其中S2〈S1。设定步长变化数ds,姆个步长迭代次数N。设定当前步长S=Sl。2.以当前步长S迭代N次a.计算当前碰撞代价El。b.随机选择一条轨迹。c.以步长S为间隔,在浓缩段内所有可能位置,重新放置轨迹出现时间。d.计算所有位置中最小碰撞代价E2。e.若碰撞代价E2〈E1,则将轨迹放置在最小碰撞代价处。3.设定S = S - ds。若S>=S2,重复步骤2。否则结束。以上优化步骤可以确保迭代过程中能量逐步下降。为加快计算速度,步骤2中计算最小碰撞代价E2可以替换为直接计算碰撞代价是否下降。即每次迭代后,选中轨迹的放置位置为所有可能位置上与其他轨迹碰撞代价最小处。由于对轨迹选择进行了随机化,可以避免能量优化的过程陷入局部最优。变步长的寻优是由粗到精的捜索思想,比直接捜索最细的步长效率更高。以上能量项的定义和寻优方式确保了快速的目标碰撞检测和重排。背景图通过对多帧图像累积平均获得。设定ー个累积区间,若相邻累积区间的背景图发生变化超过门限Tl,则记录一张新的背景图;若变化超过门限T2(T2>T1),则标记为新的浓缩段。本发明还提出了ー种C\S结构的视频浓缩系统架构,并支持边处理边播放浓缩视频。服务端处理时,对视频进行动态分段,以实现并行处理。对于每个并行単元,视频段按前述方法处理,并自适应切分为浓缩段。每个浓缩段存储的信息包括在该视频段出现的目标轨迹;每个轨迹出现和消失的时间;该浓缩段累积的背景图;每张背景图起始和结束时间。将视频中所有浓缩段的信息存储到ー个索引文件中。索引文件头记录已保存浓缩段个数,每个浓缩段对应原始视频的起始结束时间,以及在索引文件中保存的位置。客户端获取索引文件后,分析索引文件头,可获得已完成的浓缩段并进行播放,实现边处理边播放,提供较好的用户体验。客户端对视频逐帧渲染时,先根据当前帧ID在索弓I文件中查找该时刻对应的背景图,并查找所有该时刻出现的目标对应的区域像素值,将目标区域叠加到背景图上。若ー个位置有多个目标出现,则该位置的像素值是多个目标像素值的平均(即透明叠加)。前述浓缩段生成时,会使用默认的浓缩密度d。视频在客户端播放时,可能希望播放密度可以动态调整。客户设置新的播放密度为dn时,重新排列每个目标的出现时间。定义T。为目标的原始出现时间。则新的出现时间为^n=TjdMnt5这种重排方式可以保证浓缩密度降低时,碰撞能量降低,提高视觉效果。由于只需要直接计算每个目标轨迹的出现时间,而不用计算碰撞能量等,因此可以实现实时的密度调整。
需要特别指出的是,上述实施例的方式仅限于描述实施例,但本发明不止局限于上述方式,且本领域的技术人员据此可在不脱离本发明的范围内方便的进行修饰,因此本发明的范围应当包括本发明所掲示的原理和新特征的最大范围。
权利要求
1.一种快速视频浓缩摘要方法,包括服务器端,其特征在于由服务器端对预处理视频中的运动目标进行检测跟踪,根据视频的长度或视频中检测目标的数量进行判断,将视频切为多个浓缩段,对每个浓缩段内的目标轨迹进行碰撞检测和重排,之后记录浓缩段信息进入索引文件中;还包括客户端,所述的客户端对存入服务器端内的索引文件进行分析,获取已处理的浓缩段,逐帧渲染浓缩段,形成视频序列,并对播放中的浓缩视频动态调整目标山/又O
2.根据权利要求I所述的一种快速视频浓缩摘要方法,其特征在于所述的运动目标检测是采用自适应阈值的混合高斯方法对场景进行背景建模,结合帧间变化提取前景,在提取前景区域时利用多尺度信息对区域轮廓进行精细化,利用密度估计方法对随机区域进行定位,最后采用随机区域采样的方法对背景模型进行更新,有效检测出低对比度的目标;所述的目标跟踪是采用多假设的方法对多帧的运动检测区域进行关联,对目标轮廓进行预测,并基于边缘信息定位当前帧的轮廓位置,当目标发生分裂、碰撞、丢检时根据该位置产生假设,最后利用匈牙利算法给出最优的假设,并对历史假设进行裁剪,得到目标的跟踪轨迹。
3.根据权利要求2所述的一种快速视频浓缩摘要方法,其特征在于所述浓缩段的生成是采用以下方法实现当一段视频累积时间长度超过Tmax或目标数量超过Nmax时,则产生一个新的浓缩段。
4.根据权利要求3所述的一种快速视频浓缩摘要方法,其特征在于通过 运动目标检测和跟踪可以获得每个目标在视频中出现的轨迹信息,对视频中的长轨迹进行切分,确保每个轨迹长度大于Lmin小于Lmax。
5.根据权利要求4所述的一种快速视频浓缩摘要方法,其特征在于通过 运动目标检测和跟踪可以获得每个目标在视频中出现的轨迹信息,包括帧、区域、包围盒,根据切分目标轨迹各帧的包围盒位置,判断目标间的碰撞,定义能量项对碰撞进行惩罚,再采用变步长迭代的贪婪法,确保每次迭代能量都有下降,且迭代收敛速度快,并用随机化法避免陷入局部最优解,完成目标碰撞的检测和重排。
6.根据权利要求5所述的一种快速视频浓缩摘要方法,其特征在于所述变步长迭代的贪婪法的优化步骤如下 a.初始化设定初始迭代步长SI,最终迭代步长S2,其中S2〈S1。设定步长变化数ds,每个步长迭代次数N。设定当前步长S=S1。
b.以当前步长S迭代N次 a)计算当前碰撞代价EI。
b)随机选择一条轨迹。
c)以步长S为间隔,在浓缩段内所有可能位置,重新放置轨迹出现时间。
d)计算所有位置中最小碰撞代价E2。
e)若碰撞代价E2〈E1,则将轨迹放置在最小碰撞代价处。
c.设定S= S - ds。若S>=S2,重复步骤2,否则结束。
7.根据权利要求I或6所述的一种快速视频浓缩摘要方法,其特征在于客户端在对视频逐帧渲染时,先根据当前帧ID在索引文件中查找该时刻对应的背景图,并查找所有该时刻出现的目标对应的区域像素值,将目标区域叠加到背景图上,若一个位置有多个目标出现,则该位置的像素值是多个目标像素值的平均。
8.根据权利要求7所述的一种快速视频浓缩摘要方法,其特征在于背景图通过对多帧图像累积平均获得,先设定一个累积区间,若相邻累积区间的背景图发生变化超过门限Tl,则记录一张新的背景图;若变化超过门限T2,且T2>T1,则标记为新的浓缩段。
9.根据权利要求8所述的一种快速视频浓缩摘要方法,其特征在于浓缩段生成时,使用默认的浓缩密度d,视频在客户端播放时,能根据希望的播放密度进行动态调整,当设置新的播放密度dn时,重新排列每个目标的出现时间,定义T。为目标的原始出现时间,则新的时间为Tn=TjcVdn。
全文摘要
本发明涉及一种快速视频浓缩摘要方法,现有的视频浓缩技术对运动目标的检测率和跟踪率效果较差,不能有效浓缩视频长度。本发明采其特征在于由服务器端对预处理视频中的运动目标进行检测跟踪,根据视频的长度或视频中检测目标的数量进行判断,将视频切为多个浓缩段,对每个浓缩段内的目标轨迹进行碰撞检测和重排,之后记录浓缩段信息进入索引文件中;由客户端对存入服务器端内的索引文件进行分析,获取已处理的浓缩段,逐帧渲染浓缩段,形成视频序列,并对播放中的浓缩视频动态调整目标密度。本发明跟踪目标连续性好,轮廓区域完整,检测率高,误检率低,浓缩视频各时间点的目标密度基本一致。
文档编号G06F17/30GK102708182SQ20121014202
公开日2012年10月3日 申请日期2012年5月8日 优先权日2012年5月8日
发明者刘嘉, 尚凌辉, 张兆生, 陈石平, 高勇 申请人:浙江捷尚视觉科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1