一种在线视频浓缩装置、系统及方法

专利名称：一种在线视频浓缩装置、系统及方法
技术领域：
本发明涉及一种针对视频流的分析与处理领域，特别是涉及一种在线视频浓缩装置、系统及方法。
背景技术：
近年来，数字媒体的高速发展，公共安全情势受到社会和公众的广泛关注，多媒体和安防视频数据成爆炸式增长。传统耗时的简单原始的浏览方式已远远不能满足人们对视频信息访问和查询的需求。因此，迫切需要快速便捷，且具有良好的视觉效果的视频浏览查阅方法和系统。目前的视频浏览方法，可以分为视频略览(Video Summary)、视频梗概(Video Skimming)和视频摘要(Video Synopsis)三大类1.视频略览是从原始视频中提取一部分图像的集合来概括原始的视频内容， 而这些代表原始视频的图像就称为关键帧(Keyframe)。对其浏览的方式包括故事板 (Storyboard,参见 S Uchihashi, J Foote and A Girgensohn, “Videomanga !Generating semantically meaningful video summaries", ACMMultimedia, 1999.)禾口场景转移图 (STG,参见 B Yeo and B Liu,"Rapid sceneanalysis compressed video，，，IEEE Trans. On Circuits and Systems forVideo Technology, 5 (6) :533-544,1995)等。基于关键帧提取的视频略览的优点在于简单易行，且计算复杂度低。不足之处在于关键帧表达机制丢失了视频的动态特性，因而表现力不生动。2.视频梗概是从原始视频中提取能够表达原始视频的小片段或者镜头内容加以编辑合成，它本身就是一个视频片断，因此保持了原始视频的动态特性。视频梗概分为两类视步页概述(Summary Sequence，参看 Naphade and Huang，"Semantic video indexing using a probabilistic framework”，ICPR，2000)和精彩片断(Highlight，参看Zhong and Chang，"Structure analysis ofsports video using domain models，，，ICME，2001)。与视频略览相似，视频梗概技术把帧作为组成视频的最小视觉单位，而对于背景相对稳定的监控视频，结果都不可避免的存在大量的冗余信息。3.视频摘要是从完整的原始视频中提取所有运动物体序列，然后将这些序列重排到摘要视频空间，以达到压缩视频的效果。这种技术允许不同时间段出现的运动物体出现在摘要视频空间的同一帧(参看 A. Rav-Acha，Y. Pritch, and S. Peleg, "Making a Long Video Short =Dynamic Video Synopsis”，CVPR，2006)。视频摘要的优点是能够以较大的比例压缩视频，如对于某些特定场景，视频摘要能将M小时的监控视频压缩到一分钟以内。 它的缺点是算法复杂度高，对硬件要求高。首先它需要将提取的所有运动物体信息存放到内存里加以运算，往往原始视频可能长达数小时，需要存放的大量运动物体信息对内存将是巨大的挑战。其次，传统的视频摘要方法是通过模拟退火算法求解运动物体序列重排到摘要视频空间里的位置，由于重排问题数据量庞大，且模拟退火算法里的能量函数计算复杂，导致了整个方法复杂度高，难以实时使用。

发明内容
本发明解决的技术问题在于对实时获取的视频图像进行在线视频浓缩，缩短浓缩视频长度，并尽可能的保留视频中的运动物体信息。本发明进一步解决的问题在于实现便捷的视频浏览查阅，具有较好的视觉效果。本发明进一步解决的问题在于显示运动物体在时间上的并发，尽量避免相互遮挡。本发明进一步解决的问题在于降低硬件需求和算法复杂度。为解决上述问题，本发明公开了一种在线视频浓缩方法，针对每一帧当前获取的图像依次实时执行该方法，该方法包括分割步骤，分割图像的背景图像和前景图像；提取步骤，从该前景图像中提取运动物体；运动物体序列提取步骤，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取步骤，从多帧该图像的背景图像中，提取特定(Π)帧背景图像作为主背景序列；拼接步骤，将该主背景序列与该运动物体序列进行拼接。本发明还公开了一种在线视频浓缩装置，针对获取的每一帧图像依次进行处理， 包括图像分割单元，用于分割图像的背景图像和前景图像；运动物体提取单元，用于从该前景图像中提取运动物体；运动物体序列提取单元，用于累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取单元，用于从多帧该图像的背景图像中，提取特定(η)帧背景图像作为主背景序列；拼接单元，用于将该主背景序列与该运动物体序列进行拼接。本发明还公开了一种在线视频浓缩系统，包括一图像获取装置，用于实时的获取图像；所述的在线视频浓缩装置。本发明的在线视频浓缩方式针对实时提取的运动物体序列进行处理，保证在第一时间即可针对原始视频图像产生浓缩视频。无需在获得全部原始视频图像后再开始进行视频浓缩，节省了存储空间，也避免了现有的获得全部原始视频图像的方式中，内存需同时对全部运动物体序列进行处理所带来的内存消耗，降低了对硬件的需求。同时，每次处理一个运动物体序列的机制能够保证计算速度达到实时要求，提高了处理速度。本发明还在尽量避免相互遮挡的前提下显示时间上的并发，将不同时间出现的运动物体在一帧中同时显示，以节约浓缩视频的长度。所生成的浓缩视频，可以方便的供用户对视频事件进行快速便捷的浏览查阅，而且针对同一运动目标可以体现出连续的动作变化，具有良好的视觉效果。本发明的算法具有较高的合理性以及运行效率，降低了复杂度。


图IA所示为本发明的在线视频浓缩系统的结构示意图；图IB所示为本发明的在线视频浓缩方法的流程图；图2Α所示为本发明的在线视频浓缩系统的结构示意图；图3Α所示为本发明的在线主背景序列选择方法的示意图；图IBB所示为本发明的合并操作的示意图3C所示为本发明的合并操作的示意图；图4A所示为本发明的在线视频浓缩系统的结构示意图；图4B所示为步骤03与04的详细流程示意图；图5所示为本发明的视频浓缩的示意图；图5A所示为本发明的在线视频浓缩系统的结构示意图；图5B所示为本发明的两级浓缩视频缓存空间的示意图；图5C所示为本发明的在线视频浓缩方法的流程图；图6所示为本发明的运动物体相互遮挡示意图；图7A所示为本发明的在线视频浓缩系统的结构示意图；图7B所示为本发明的初始化流程图；图8A、8B所示为时间直方图的示意图。
具体实施例方式以下通过具体实施例详细描述本发明，并不作为对本发明的限制。在本发明中，针对实时获取的视频图像，不论其原始时长为何，可浓缩为η帧。η为正整数。η值为预先设定，例如可为25，可根据需求决定。本发明将原始视频图像中出现的运动目标体现在浓缩视频中，并体现出其动作的连续性，具有动态效果。更进一步的，本发明将并未同时出现的运动目标，同时显示在一帧浓缩视频中。更进一步的，本发明还可尽量避免不同运动目标的相互遮挡。更进一步的，在本发明中，当原始视频图像中出现的运动目标较少时，同样长度的浓缩视频可对应更长的原始视频图像，即，视频浓缩的效率高，降低了浓缩视频的长度。更进一步的，本发明可以根据监控现场的实际情况，动态调整一段浓缩视频所对应的原始视频图像的长度。更进一步的，本发明对硬件的要求低，算法复杂度低。如图IA所示，为本发明的在线视频浓缩系统的结构示意图。在线视频浓缩系统 100包括一在线视频浓缩装置10、图像获取装置20。图像获取装置20用于实时的获取视频图像，其可例如为一监控摄像头。实时获取的视频图像源源不断的传送至在线视频浓缩装置10。在线视频浓缩装置10实时针对当前获取的每一帧图像进行在线处理。即，获取图像与视频浓缩同步进行，并非在保留全部视频后再启动视频浓缩处理。在线视频浓缩装置10可设置在一板卡、GPU或嵌入式处理盒上。在线视频浓缩装置10包括图像分割单元101、运动物体提取单元102、运动物体序列提取单元103、主背景序列提取单元104、拼接单元105。本发明的视频浓缩包括对背景的浓缩和对前景的浓缩，图像分割单元101接收来自图像获取装置20的图像，并对收到的每一帧图像进行前景图像和背景图像的分割。图像分割单元101可以采用混合高斯模型(C. Stauffer, W. Ε.L. Grimson, “ Adaptive background mixture models for real-time tracking", CVPR, Vol. 2，1999)对输入视频图像进行背景建模，得到每一帧图像的背景图像 ’然后将每一帧图像与相应的背景图像相减，再利用图割算法(J. Sun, W. Zhang, X. Tang, H. Shum, ‘‘ Background Cut 〃，ECCV，2006)得到精确前景图像。此外，利用GPU来实现该在线视频浓缩装置10，可以加快图割算法的计算速度，详细说明参见(V.Vineet， P. J. Narayanan, “ CUDA cuts =Fast graph cuts onthe GPU" , CVPR Workshops，2008)。图像分割单元101将分割后的背景图像传送至主背景序列提取单元104，将前景图像传送至运动物体提取单元102。主背景序列提取单元104接收多帧背景图像，并从中提取η帧作为主背景序列。运动物体提取单元102针对接收到的每一帧前景图像，提取其中的运动物体。运动物体序列提取单元103接收运动物体提取单元102提取出的运动物体，形成运动物体序列。拼接单元105接收来自主背景序列提取单元104的主背景序列和来自运动物体序列提取单元103的运动物体序列，并将该主背景序列与该运动物体序列拼接起来，形成浓缩视频。本发明所谓运动物体，是指记录了某个真实的运动目标在连续帧里出现的颜色信息的图像。该运动目标例如为人、宠物、能移动的车体等可移动物。运动目标在图像获取装置20的拍摄区域里走过，通常被图像获取装置20拍摄在连续的多帧图像中，故而，从多帧图像中可提取出针对同一运动目标的运动物体序列，该序列体现了该运动目标在此次经过拍摄区域时的情景，该序列还能够体现出同一运动目标的在不同时刻的动作变化。如图IB所示为本发明的在线视频浓缩方法的流程图。步骤01，获取一帧图像；步骤02，分割该图像的前景图像和背景图像，针对分割出的前景图像执行步骤 03，针对分割出的背景图像执行步骤05 ；步骤03，从该前景图像中提取出运动物体；步骤04，通过循环执行M次步骤01-步骤03，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列，M为大于等于0的整数；步骤05，通过循环执行M次步骤01-步骤02，累积多帧该图像的背景图像，从中提取特定(η)帧背景图像作为主背景序列，步骤04、05中的循环次数相同；步骤06，将该主背景序列与该运动物体序列进行拼接。S卩，针对一帧图像，同时对其前景图像和背景图像进行所述处理。更进一步的，在步骤02中，图像分割单元101分割该图像的前景图像和背景图像后，统计当前帧前景图像的像素个数，将该像素个数也输送至主背景序列提取单元104。以下详细介绍上述方案的具体实现过程。视频浓缩的重要组成部分是对背景的浓缩，在步骤05中，主背景序列提取单元 104需从所接收到的N幅背景图像中，在线的选择出η幅背景图像作为主背景序列，以出现在最终的浓缩视频中。通常情况下，N远大于η。本发明依据以下原则进行主背景序列的选择第一，体现时间的自然推移变迁现象。随着时间推移，同一背景环境中的光线等会发生变化，则视频浓缩需体现出对所有背景的平等选择。第二，反映运动目标在原始视频图像中出现多寡的真实情况。倾向选择运动物体出现的多的图像的背景图像。也就是说，主背景序列提取单元104在线的选择出的主背景序列，其中各帧背景图像被选几率均等，并且，所对应的前景图像的像素多。如图2A所示，该主背景序列提取单元104进一步包括第一记录器1041，针对获取的每一帧背景图像记录一恒定数字，表示平等的选择每帧背景图像。即，主背景序列提取单元104每接收到一帧背景图像，第一记录器1041记录一个恒定数字，例如为“ 1 ”，也可为其他数字。第二记录器1042，针对主背景序列提取单元104获取的每一帧背景图像记录其前景图像的像素个数。表示倾向选择运动物体多的图像对应的背景图像。直方图处理单元1043，用于构建两个时间直方图Ht、Ha，时间直方图Ht的每一个区间的值是该第一记录器记录的值，时间直方图Ha的每一个区间的值为该第二记录器记录的值。如图8A、8B所示为时间直方图Ht、Ha的示意图。图8B体现了一 M小时监控视频的活动量直方图，横坐标代表时刻，纵坐标为相应时刻的活动量(其对应了当前时刻前景图像的像素个数)，该图反映了在白天时刻活动量大，而在晚上活动量则少。直方图处理单元1043还对Ht、Ha进行归一化，分别得到H' t、H' a。由于可能循环跳转执行步骤01，第一、第二记录器所记录的值将不断增加，直方图处理单元1043也在随时构建当前的Ht、Ha、H' t、H' a。该归一化处理可采用目前常见的归一化手段，例如，累加直方图每一个区间的值得到一累加值，然后再用直方图每一个区间的值除以这个累加值作为每一区间的新值。其他归一化处理方式也在本发明的公开范围内。加权平分单元1044，其用于根据Ht、Ha，构建加权时间直方图Hnew。Hnew=(I-X)H' t+XH' a，λ 为加权系数。在主背景序列提取单元104累积收到η帧背景图像后，加权平分单元1044将加权时间直方图Hmw的面积平均分成η份，参见图3Α的平分方式，每份面积中，所有χ值相同的位置代表一帧图像。选取每一份面积的一特定位置(特定χ值)所对应的图像，提取该图像的背景图像，以组成该主背景序列。该特定位置可例如为该区间的第一帧或最后一帧，或其他位置。只要每份面积选择的位置一致即可。以下以第一帧为例进行描述。这种基于两个记录器的主背景序列选择方法，综合考虑了公平选择背景图像以及对内容密集的图像的倾向，使出现在浓缩视频中的背景更合理。请参阅图3Α所示，为本发明的在线主背景序列选择方法的示意图。假设图中SiG = 1,2……η)为加权时间直方图Hnew被均分的η份面积，PBi (i = 1,2……η)为当前时刻选择的用于组成主背景序列的背景图像。随着时间的推进，主背景序列提取单元104将不断接收到新的背景图像。图中的χ为加权时间直方图Hmw中针对新的背景图像的缓冲区，即，直方图处理单元1043针对新的背景图像新构成的直方图数据。该缓冲区可随着所接收到的新的背景图像的增加而增长。CPB代表新的待选背景图像。CPB 位于χ的该特定位置，例如为第一帧。为了避免χ无限增长，同时，为了保证在任一时刻都保证当前所挑选的主背景序列符合上述两个原则。加权平分单元1044需要不断更新主背景序列，判断新的背景图像能否加入主背景序列，现有的主背景序列是否需要剔除部分背景图像，以保证主背景序列的帧数(η)不变。加权平分单元1044采用将相邻面积合并的方式剔除一帧背景图像，并将CPB加入主背景序列，即，两个相邻面积合并，剔除第二块的背景图像。合并包括两种情况，一种如图 3B所示，为本发明的合并操作的示意图，Sj和Sp1合并成新的Sp χ变成新的Sn。一种如图 3C所示，为本发明的合并操作的示意图，1与&合并成新的S' n。这两种情况的结果都能生成S' “1 = 1，...，！!)。本发明在合并操作之后将χ清零。而在触发一次合并操作前， CPB是确定的，χ可以增长。本发明将通过如下方式，选择合适时机触发上述合并。加权时间直方图Hnew均分η份并接收到一 CPB时，加权平分单元1044开始计算当前的 SiG = 1，· · ·，η)的方差 vars。去其中代=去S^ Hnew的每份均分面积值。
n /=1，“ 7=1 ，同时，假设当前触发了合并操作，则计算以上每一种可能的合并操作方式所对应的方差vars，，该合并操作共包括η种方式，故而可计算出η个vars，。从该η个Vars，中选取最小值Varmin，该最小值Varmin对应了使S' = 1, ... , η)的方差最小的合并操作的方式。进一步判断该Varmin是否符合一预设规则，即是否小于，或者Varmin是否大于 a*vars(l. 1< α <2.5)，α还可根据实际需要确定为其他值，该预设规则有利于面积的趋近均分。如果是，根据该Varmin所对应的合并操作方式，触发此次合并操作。如果是第一种合并情况，在主背景序列中剔除合并的相邻面积的第二块面积的第一帧背景图像并增加该CPB，清零χ ；如果是第二种情况，保持原有的主背景序列，清零X，将CPB替换为下一新接收到的背景图像。如果上述判断为否，则不触发合并操作。等待接收到新的背景图像，也就是χ发生了增长后，再次进行上述合并时机的计算。这种动态的主背景选择机制，可以保证在任一时刻，Hnew的面积尽可能的被均分为 η份，所选择的主背景序列随时都符合上述两个原则。这样可以保证后续无论在哪个时刻触发步骤06的拼接步骤，所得到的浓缩视频的背景图像都在所有背景图像中更具有典型性。 且任一时刻都不会存储所有的背景图像。在进行背景提取的同时，前景图像的浓缩是视频浓缩的另一重要组成部分。在执行步骤05的同时执行步骤03，运动物体提取单元102接收图像分割单元101发送来的一帧前景图像的前景掩码(mask)，对该前景掩码做连通性分析，根据连通性分析的结果构建运动物体。即，从前景图像中提取运动物体。该连通性分析一般通过广度(深度)优先或形态学算法找出连通区域，在此基础上统计连通区域的个数、位置等等信息，该位置信息为该运动物体在该图像中的位置。具体可参考((美)R萨雷斯等著，“数字图像处理"，电子工业出版社)。从前景图像中提取出的运动物体记载在一集合中，该集合可例如为通过一跟踪链表1031实现。运动物体序列提取单元103进一步包括该跟踪链表1031以及一匹配判断单元 1032，如图4A所示。跟踪链表1031用于存储从每帧图像中提取出的运动物体，其中，属于同一运动目标的运动物体将依次顺序存储在该跟踪链表1031里以组成一运动物体序列。在步骤04中，匹配判断单元1032用于利用跟踪算法对当前获取的运动物体与跟踪链表里已有的未最终形成的运动物体序列中的运动物体进行匹配，如果匹配，将该当前获取的运动物体添加在相应的运动物体序列中的末位，即，对该相应的运动物体序列进行更新，增加该运动目标的一个最新的动作，由于当前不能认定该运动物体序列已经形成，后续可能还能获取该运动目标的其他运动物体，因而跳转执行步骤01，如果不匹配，认为该当前获取的运动物体对应一新的运动目标，将该运动物体添加到跟踪链表中作为另一新的运动物体序列的第一帧，同时认为跟踪链表里已有的未得到匹配的运动物体序列已最终形成，执行步骤06。鉴于运动目标的移动速度远远慢于图像获取单元每帧的拍摄速度，该“不匹配”代表图像获取装置10没有连续的拍摄到一运动目标的图像，可见该运动目标已脱离图像获取装置10的拍摄区域，那么当前出现的运动物体不可能对应在先的运动目标，而应对应新出现的另一运动目标。可见，该判断是否匹配的步骤，也可以作为判断运动物体序列是否形成的标准。例如，当三个运动目标A、B、C同时并排进入该图像获取单元10的拍摄区域时，运动物体提取单元102提取到三个运动物体，并分别插入跟踪链表中，随着拍摄的继续，每个运动目标都累积了多个运动物体以组成一运动物体序列。当三个运动目标几乎同时离开图像获取单元20的拍摄区域时，图像获取单元20拍摄到的有关这三个运动目标的最后一帧图像，可能只包括其中一个运动目标A，则匹配判断单元1032判断出运动目标B、C的运动物体序列不再得到匹配，认定运动目标B、C的运动物体序列已同时形成，运动目标A的运动物体序列未形成，需继续执行步骤01，当运动目标A的运动物体序列也不再得到匹配时，认定运动目标A的运动物体序列已形成。步骤04中所述“匹配”，即，判断两运动物体间的颜色、大小、面积和/或灰度等因素的一致性是否达到一预定匹配阈值，如果高于该匹配阈值，认定二者匹配。如图4B所示为步骤03与04的详细流程示意图。步骤031，对当前获取的前景图像进行连通性分析；步骤032，根据连通性分析的结果构建运动物体；步骤041，判断该运动物体是否与跟踪链表里的运动物体序列中的运动物体匹配， 如果匹配，执行步骤042，如果不匹配，执行步骤043 ；步骤042，更新对应的运动物体序列，执行步骤01 ；步骤043，将该运动物体添加至跟踪链表，执行步骤06。此时，运动物体序列与主背景序列已经分别生成完毕，可以将所生成的运动物体序列的每一帧依照其位置信息，依次插入该主背景序列的η帧中。通过步骤041的判断，可能同时提取出一个或多个运动物体序列，每个运动物体序列可能包括多帧，即，每个运动物体序列可能包括多于η帧的运动物体也可能等于或少于η帧。对于少于等于η帧的运动物体序列，可直接插入该主背景序列中，对于多于η帧的运动物体序列，可将前η帧插入该主背景序列中，其余可放弃。当图像获取单元20获取图像达到一预定条件时，将当前拼接的结果作为一最终拼接结果，作为此次视频浓缩的一个输出。同时，重新循环执行步骤01，提取新的主背景序列与新的运动物体序列，以前述方法得到又一个输出。该预定条件例如为达到预定的时长时，或者，已提取出的运动物体序列的数目达到一预定数目，即，每预定时长的原始视频提取一段浓缩视频，或者每监控到预定个运动目标提取一段浓缩视频。该预定条件可根据需要确定。从而在图像获取单元20的一段监控时间内，利用本发明的技术方案可以得到一段或多段浓缩视频，可以呈现在该段监控时间，所监控到的所有运动目标。然而，上述方案可能存在不同的运动物体相互遮挡的问题，故而，本发明进一步公开了一种可以尽量避免不同运动物体的相互遮挡的视频浓缩方式，以更清楚的显示运动物体在时间上的并发，便于用户快速便捷的查阅浓缩视频。如图5所示为本发明的图像浓缩的示意图。如图5A所示为本发明的在线视频浓缩系统的结构示意图。在图IA的基础上，在线视频浓缩装置10还包括浓缩视频缓存空间 106和开始播放时间确定单元107。该浓缩视频缓存空间106包括一级浓缩视频缓存空间 1061和二级浓缩视频缓存空间1062，该两级浓缩视频缓存空间的容量均为η帧，与主背景序列的帧数一致。如图5Β所示为两级浓缩视频缓存空间的示意图。在另一实施例中，该浓缩视频缓存空间106也可以只包括一级浓缩视频缓存空间，以下以两级为例进行描述。如图5C所示为本发明的在线视频浓缩方法的流程图。在步骤06之前还有一步骤 07 如果在步骤04中一旦有运动物体序列形成，则当前形成的运动物体序列的每一帧就会被立即依次填充至该浓缩视频缓存空间106中。特别是，该运动物体序列中的每个运动物体，将根据其在原始视频图像中的位置信息，从一级浓缩视频缓存空间1061的第一帧开始填充。整个运动物体序列可以横跨整个浓缩视频缓存空间106。在浓缩视频缓存空间只包括一级的实施例中，一个运动物体序列在一级浓缩视频缓存空间里放不下的部分可以直接放弃。设置该浓缩视频缓存空间106是为了确定该当前形成的运动物体序列的开始播放时刻。在本发明中，开始播放时刻只能是一级浓缩视频缓存空间1061中的0到η-1帧中的某一帧。开始播放时刻就是，该运动物体序列从哪一帧开始执行步骤06的拼接步骤。该运动物体序列中该帧之前的各帧中的运动物体可以放弃或者直接删除。如图6所示为本发明的运动物体相互遮挡示意图。插入一级浓缩视频缓存空间 1061中的当前形成的运动物体序列的运动物体可能遮挡其他运动物体，也可能被其他运动物体遮挡，或者同时遮挡与被遮挡。假设插入规则为，针对浓缩视频缓存空间106中的同一帧，先插入的运动物体序列的运动物体显示在上层，遮挡出现在同一位置的后插入的运动物体序列的运动物体。由于当前形成的运动物体序列可能是一个也可能是多个，如果是多个，那么需要依次插入该浓缩视频缓存空间106，故而当前形成的运动物体序列中的一个， 可能同时遮挡与被遮挡。当然也可以采用其他插入规则，也会同时出现上述两种遮挡情况。 其他插入规则例如为，根据物体深度设置显示的优先顺序，物体深度的定义后述。深度深 (浅)的，显示在上层，优先显示。随后执行步骤08，开始播放时间确定单元107针对一级浓缩视频缓存空间1061中的每一帧，计算该帧中一当前形成的运动物体序列与其他运动物体序列的遮挡率，并选择开始播放时刻，遮挡率的具体计算方法后述。这样，得到了每个可能的开始时刻的遮挡率。开始播放时间确定单元107从计算得到的所有遮挡率中选择一小于特定阈值的遮挡率，以该遮挡率所对应的一级浓缩视频缓存空间中的位置作为该运动物体序列在该拼接步骤06中拼接的起点(开始播放时刻)，如果不存在小于该特定阈值的遮挡率，将该运动物体序列作为等待数据。这种选择起点的方式可以使得在最终浓缩视频中，该运动物体序列至少有一帧的相互遮挡在容忍范围内，可以看的清楚，体现了对应运动目标的信息。该特定阈值对应于浓缩程度，S卩，阈值越大，浓缩视频内的运动物体越拥挤，相互遮挡越严重，在同样的运动目标出现速率的前提下，浓缩视频所对应的原始视频图像的长度越长，反之亦然。该特定阈值可预先设定。将该运动物体序列作为等待数据，S卩，认为太过拥挤，相互遮挡严重，当前的一级浓缩视频缓存空间1061没有足够的空间容纳此运动物体序列。步骤08还可以以下方式实现，对所有遮挡率进行升序排列，在排序队列的前5% (或其他特定数量、特定百分比)中随机挑选一个遮挡率，若该遮挡率大于等于该特定阈值，将该运动物体序列作为等待数据，否则作为拼接起点。可随机挑选一个遮挡率，也可依照其他规则挑选。将该运动物体序列作为等待数据，可通过将该运动物体序列放置于一等待链表的方式实现。步骤09，开始播放时间确定单元107判断浓缩视频缓存空间是否已满。具体的，开始播放时间确定单元107判断等待数据的数量是否超过一预设值，如果超过，执行步骤06，如果没超过，执行步骤01。更具体的，判断该等待链表是否超过一预定长度(该预定长度例如为5-10之间任一)，如果超过，执行步骤06，如果没超过，执行步骤01。该“超过”代表浓缩视频缓存空间106在当前的遮挡容忍度下已满，没有空间继续容纳新的运动物体序列，则在此时触发拼接步骤，完成一次拼接，得到一段浓缩视频。也就是说，在确认浓缩视频缓存空间106已满的情况下才启动拼接步骤，以使浓缩视频中可以包括尽可能多的运动物体。同时，本申请对于每一帧的遮挡率的计算，仅需要计算当前浓缩视频缓存空间内存储的运动物体序列之间的遮挡率，由于当前浓缩视频缓存空间内存储的运动物体序列的个数相对较小，排列组合的结果少，故而在计算时，内存不用如现有技术般存储所有的运动物体序列，计算海量的排列组合结果对应的遮挡率，大幅降低了硬件需求。前述遮挡率通过如下方法获得首先，根据运动物体边框的坐标粗略地确定此物体的深度，在摄像机俯视拍摄情况下，离摄像机越近的物体其边框的最低点的纵坐标越大，则其深度越深；反之，在摄像机仰视拍摄情况下，则离摄像机越近的物体其边框的最低点的纵坐标越小，则其深度越深；即离摄像机越近深度越深。其次，根据该深度信息判断出此运动物体与存在缓存空间里的其它运动物体的相互遮挡情况。如图6所示，运动物体OBJ2遮挡了运动物体OBJl，同时，运动物体OBJ2被运动物体OBJ3所遮挡。对于第一种情况，计算0BJ2在第t帧遮挡OBJl的惩罚面积其中C表示在第t帧0BJ2遮挡OBJl的惩罚面积，C/;2表示在第t帧OBJl和0BJ2
的边框相互遮挡的面积，劣、<分别表示在第t帧OBJl和0BJ2的边框面积，β为一阈值， 表示被遮挡物体最大容忍的遮挡率，κ表示惩罚冲击系数。对于第二种情况，0BJ2在第t帧被0BJ3遮挡的惩罚面积计算如下
1权利要求
1.一种在线视频浓缩方法，包括接收图像步骤和浓缩处理步骤，其特征在于，在该接收图像步骤中，每收到一帧图像，针对该帧图像执行该浓缩处理步骤，该浓缩处理步骤进一步包括分割步骤，分割图像的背景图像和前景图像；提取步骤，从该前景图像中提取运动物体；运动物体序列提取步骤，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取步骤，从多帧该图像的背景图像中，提取特定(η)帧背景图像作为主背景序列；拼接步骤，将该主背景序列与该运动物体序列进行拼接。
2.如权利要求1所述的方法，其特征在于，该分割步骤进一步包括利用混合高斯模型进行背景建模，以得到每一帧图像的背景图像。
3.如权利要求2所述的方法，其特征在于，该分割步骤进一步包括禾IJ用图割算法，将图像与该图像的背景图像相减，以得到该图像的前景图像。
4.如权利要求1所述的方法，其特征在于，该主背景序列提取步骤中，平等选择每一帧背景图像，以及，选择所对应的前景图像的像素多的背景图像。
5.如权利要求1、2、3或4所述的方法，其特征在于，该主背景序列提取步骤进一步包括构建两个时间直方图Ht、Ha，时间直方图Ht的每一个区间的值都是1，时间直方图Ha的每一个区间的值为依次所获取的每帧图像的前景图像的像素个数；对Ht、Ha进行归一化，分别得到H' t、H' a；得到加权时间直方图Hnew，Hnre = (1-λ)H' t+XH' a；将加权时间直方图Hnrat的面积平均分成η份，选取每一份面积的一特定位置所对应的图像，提取该图像的背景图像以组成该主背景序列，η为该特定帧的数量。
6.如权利要求5所述的方法，其特征在于，该主背景序列中的背景图像数量始终不变， 针对该主背景序列生成之后新获得的背景图像，当保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hmw的面积被重新趋近平均的分成η份时，保留该新获得的背景图像在该主背景序列中，并在该主背景序列中删除Hmw中被合并的面积所对应的背景图像；或者当不保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hmw的面积被重新趋近平均的分成η份时，该加权平分单元保留该主背景序列。
7.如权利要求5所述的方法，其特征在于，在该主背景序列生成之后新获得背景图像时，计算Si的方差vars，Si为加权时间直方图Hmw被均分后的每一份面积，计算所有相邻面积合并方式所得到的面积S/所对应的方差vaiv，从中选择最小值，当该最小值符合预设规则时，依据该最小值对应的相邻面积合并方式，进行面积合并，该主背景序列舍弃该合并的两块相邻面积中的一块的该特定位置所对应的图像的背景图像。
8.如权利要求1所述的方法，其特征在于，该提取步骤进一步包括针对该前景图像的前景掩码进行连通性分析，根据连通区域构建运动物体。
9.如权利要求1或8所述的方法，其特征在于，该运动物体序列提取步骤包括一匹配判断步骤将从当前获取的图像中提取出的运动物体与已有的运动物体的集合中运动物体进行匹配判断，如果匹配，将该从当前获取的图像中提取出的运动物体加入该集合，如果不匹配，认为当前已有的运动物体的集合形成了该运动物体序列。
10.如权利要求1所述的方法，其特征在于，该运动物体序列提取步骤后还包括一开始播放时间确定步骤将该运动物体序列的每一帧依次填充至一浓缩视频缓存空间，该浓缩视频缓存空间包括一级浓缩视频缓存空间，或者，一级浓缩视频缓存空间和二级浓缩视频缓存空间，两级浓缩视频缓存空间的容量均为η帧；计算该运动物体序列的每个运动物体与处于同一帧的每个该一级浓缩视频缓存空间中已存在的运动物体序列的运动物体的遮挡率；从计算得到的所有遮挡率中选择一小于一阈值的遮挡率，以该遮挡率所对应的一级浓缩视频缓存空间中的位置作为该运动物体序列在该拼接步骤中拼接的起点。
11.如权利要求10所述的方法，其特征在于，从计算得到的所有遮挡率中选择一小于该阈值的遮挡率的步骤进一步包括将所有遮挡率依大小进行排列，从最小的前特定数量或前特定百分比个遮挡率中选择一个，判断其是否小于该阈值，如果是，将其作为被选择的遮挡率，如果否，将该运动物体序列作为等待数据。
12.如权利要求11所述的方法，其特征在于，该拼接步骤进一步包括当该等待数据的数量超过一预设值时，将该主背景序列与该运动物体序列进行无缝拼接。
13.如权利要求11所述的方法，其特征在于，在该拼接步骤后还包括一初始化步骤，该初始化步骤进一步包括清空一级浓缩视频缓存空间；交换一级浓缩视频缓存空间与二级浓缩视频缓存空间中的内容； 将该等待数据填充至该一级浓缩视频缓存空间； 清空该主背景序列。
14.如权利要求10所述的方法，其特征在于，该遮挡率Rate2为^^^二^^^其中，该遮挡率的分母为运动物体0BJ2沿着时间轴累加自身的边框面积总和，C2=+EjaC)， t表示对时间轴进行积分，Σ ,表示在t帧里对遮挡obj2的运动物体的惩罚面积进行枚举，Σ j则表示在t帧里对被0BJ2遮挡的运动物体的惩罚面积进行枚举；示在第t帧OBJl和0BJ2相互遮挡的面积，劣、劣分别表示在第t帧OBJl和0BJ2的边框面积，β为一阈值，表示被遮挡物体最大容忍的遮挡率，κ表示惩罚冲击系数；表示在第t帧OBJ2遮挡OBJl的惩罚面积，表
15.一种在线视频浓缩装置，针对获取的每一帧图像依次进行处理，其特征在于，包括图像分割单元，用于分割图像的背景图像和前景图像； 运动物体提取单元，用于从该前景图像中提取运动物体；运动物体序列提取单元，用于累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取单元，用于从多帧该图像的背景图像中，提取特定(η)帧背景图像作为主背景序列；拼接单元，用于将该主背景序列与该运动物体序列进行拼接。
16.如权利要求15所述的装置，其特征在于，该图像分割单元利用混合高斯模型进行背景建模，以得到每一帧图像的背景图像，并利用图割算法，将图像与该图像的背景图像相减，以得到该图像的前景图像。
17.如权利要求15所述的装置，其特征在于，该主背景序列提取单元平等选择每一帧背景图像，以及，选择所对应的前景图像的像素多的背景图像。
18.如权利要求15、16或17所述的装置，其特征在于，该主背景序列提取单元进一步包括第一记录器，针对获取的每一帧背景图像记录一恒定数字，表示平等的选择每帧背景图像；第二记录器，针对获取的每一帧背景图像记录其前景图像的像素个数； 直方图处理单元，构建两个时间直方图Ht、Ha，时间直方图Ht的每一个区间的值是该第一记录器记录的值，时间直方图Ha的每一个区间的值为该第二记录器记录的值，对&、札进行归一化，分别得到H' t、H' a；加权平分单元，利用Ht、Ha得到加权时间直方图Hnrat，Hmw= (Ι-λ)Η' t+AH' a，将加权时间直方图Hmw的面积平均分成η份，选取每一份面积的一特定位置所对应的图像，提取该图像的背景图像以组成该主背景序列，η为该特定帧的数量。
19.如权利要求18所述的装置，其特征在于，针对该主背景序列生成之后新获得的背景图像，当保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hmw的面积被重新趋近平均的分成η份时，该加权平分单元保留该新获得的背景图像在主背景序列中，并在该主背景序列中删除Hnrat被合并的面积所对应的背景图像，以使该主背景序列中的背景图像数量始终不变；或者当不保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hmw的面积被重新趋近平均的分成η份时，该加权平分单元保留该主背景序列。
20.如权利要求18所述的装置，其特征在于，该加权平分单元在该主背景序列生成之后新获得背景图像时，计算Si的方差vars，Si为加权时间直方图Hmw被均分后的每一份面积，计算所有相邻面积合并方式所得到的面积S/所对应的方差vars，，从中选择最小值，当该最小值符合预设规则时，依据该最小值对应的相邻面积合并方式，进行面积合并，该主背景序列舍弃该合并的两块相邻面积中的一块的该特定位置所对应的图像的背景图像。
21.如权利要求15所述的装置，其特征在于，该运动物体提取单元针对该前景图像的前景掩码进行连通性分析，根据连通区域构建运动物体。
22.如权利要求15或21所述的装置，其特征在于，该运动物体序列提取单元进一步包括一匹配判断单元，将从当前获取的图像中提取出的运动物体与已有的运动物体的集合中的运动物体进行匹配判断，如果匹配，将该从当前获取的图像中提取出的运动物体加入该集合，如果不匹配，认为当前已有的运动物体的集合形成了该运动物体序列。
23.如权利要求15所述的装置，其特征在于，该装置还包括浓缩视频缓存空间，该浓缩视频缓存空间包括一级浓缩视频缓存空间和二级浓缩视频缓存空间，两级浓缩视频缓存空间的容量均为η帧，该运动物体序列的每一帧依次被填充至该浓缩视频缓存空间；开始播放时间确定单元，计算该运动物体序列的每个运动物体与处于同一帧的每个该一级浓缩视频缓存空间中已存在的运动物体序列的运动物体的遮挡率，从计算得到的所有遮挡率中选择一小于一阈值的遮挡率，以该遮挡率所对应的一级浓缩视频缓存空间中的位置作为该运动物体序列在该拼接步骤中拼接的起点。
24.如权利要求23所述的装置，其特征在于，该开始播放时间确定单元将所有遮挡率依大小进行排列，从最小的前特定数量或前特定百分比个遮挡率中选择一个，判断其是否小于该阈值，如果是，将其作为被选择的遮挡率，如果否，将该运动物体序列作为等待数据。
25.如权利要求M所述的装置，其特征在于，该拼接单元在该等待数据的数量超过一预设值时，将该主背景序列与该运动物体序列进行无缝拼接。
26.如权利要求M所述的装置，其特征在于，该装置还包括一初始化单元，用于在该拼接单元将该主背景序列与该运动物体序列进行拼接后，清空该一级浓缩视频缓存空间，交换该一级浓缩视频缓存空间与该二级浓缩视频缓存空间中的内容，将该等待数据填充至该一级浓缩视频缓存空间，清空该主背景序列。
27.如权利要求23所述的方法，其特征在于，该遮挡率Rate2为&^其中，该遮挡率的分母为运动物体0BJ2沿着时间轴累加自身的边框面积总和，
28.一种在线视频浓缩系统，其特征在于，包括 一图像获取装置，用于实时的获取图像；如权利要求15-26中任一所述的在线视频浓缩装置。
29.如权利要求观所述的系统，其特征在于，该系统还包括 显示装置，用于对拼接后的浓缩视频进行显示；存储装置，用于对拼接后的浓缩视频进行存储；或者检索装置，用于对拼接后的浓缩视频进行检索。
全文摘要
本发明公开了一种在线视频浓缩装置、系统及方法。该方法针对每一帧当前获取的图像依次实时执行，该方法包括分割步骤，分割图像的背景图像和前景图像；提取步骤，从该前景图像中提取运动物体；运动物体序列提取步骤，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取步骤，从多帧该图像的背景图像中，提取特定(n)帧背景图像作为主背景序列；拼接步骤，将该主背景序列与该运动物体序列进行拼接。本发明利用在线视频浓缩方式，缩短了浓缩视频长度，尽量保留视频中的运动物体信息。实现快速便捷的视频浏览查阅，具有较好的视觉效果。降低硬件需求和算法复杂度。
文档编号G06F17/30GK102375816SQ20101024974
公开日2012年3月14日 申请日期2010年8月10日 优先权日2010年8月10日
发明者冯仕堃, 李子青, 王睿, 陈水仙 申请人:中国科学院自动化研究所, 北京数字奥森科技有限公司