一种视频摘要的生成方法及系统的制作方法
【专利摘要】一种视频摘要的生成方法及系统，包括以下步骤：分割原始视频中的目标和背景；将发生过遮挡或粘连的目标划分为一组，其他目标各自为一组；根据原始视频确定待生成视频摘要的总时长；根据原始视频确定各个组在待生成视频摘要中的持续时长；根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定各个组在待生成视频摘要中的开始时刻；生成视频摘要。解决了针对目标的视频摘要生成方法中发生过遮挡或粘连的目标在视频摘要中会出现轨迹不完整、闪烁现象的技术问题。根据本发明的技术方案生成的视频摘要中，发生过遮挡或粘连的目标不仅各自具有完整的轨迹，还保持了其在原始视频中与其他目标的遮挡或粘连关系。
【专利说明】一种视频摘要的生成方法及系统
【技术领域】
[0001] 本发明涉及图像智能分析【技术领域】。具体地说，涉及一种视频摘要的生成方法及 系统。
【背景技术】
[0002] 在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重 要组成部分。然而视频录像存在存储数据量大、存储时间长等特点，通过录像寻找线索、获 取证据的传统做法要耗费大量人力、物力以及时间，效率极其低下，有可能导致错过最佳破 案时机。因此在视频监控系统中，需要对原始视频进行浓缩，使得可以快速浏览视频并快速 锁定检索对象，以满足公安、网监、刑侦的各种需求及应用。
[0003] 视频摘要又称视频浓缩，是对视频内容的一个简单概括，以自动或半自动的方式， 先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标 拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基 于内容的视频检索中扮演着重要角色。
[0004] 现有技术中，有一种基于目标的视频摘要生成方法，这种方法打乱了不同目标在 原始视频中的时间连续性，让原始视频不同时间出现的目标一同出现在视频摘要中，这种 方法的优点在于能够全局地计算目标在视频摘要中的最佳出现时间，提高视频摘要的压缩 率。但是当原始视频中的目标在某一刻发生粘连或遮挡等行为，且两个目标分割不开变成 同一个目标时，跟踪只能延续其中的一个目标，在遮挡或粘连结束后，才能继续跟踪另一个 目标，那么在视频摘要中，如果以目标为单位进行压缩，会导致其中一个目标的轨迹不完 整，出现闪烁的现象。
【发明内容】
[0005] 为此，本发明所要解决的技术问题在于当原始视频中目标发生遮挡或粘连时，利 用现有的视频摘要生成方法仅能跟踪其中一个目标，而另一个目标在发生遮挡或粘连的这 段时间的轨迹会缺失，视频摘要中会出现闪烁现象，从而提出一种能够完整展现发生过遮 挡或粘连的目标的轨迹的视频摘要生成方法。
[0006] 为解决上述技术问题，本发明提供了如下技术方案：
[0007] -种视频摘要的生成方法，包括以下步骤：
[0008] 分割原始视频中的目标和背景；
[0009] 将发生过遮挡或粘连的目标划分为一组，其他没有发生过粘连或遮挡的目标各自 为一组；
[0010] 根据原始视频确定待生成视频摘要的总时长；
[0011] 根据原始视频确定各个组在待生成视频摘要中的持续时长，各个组内部各个目标 的时空关系与原始视频中的一致；
[0012] 根据待生成视频摘要的总时长以及各个组在待生成视频摘要中的持续时长，确定 各个组在待生成视频摘要中的开始时刻；
[0013] 根据各个组在待生成视频摘要中的持续时长以及各个组的开始时刻，生成视频摘 要。
[0014] 作为优化，利用背景建模方法来分割原始视频中的目标和背景。
[0015] 作为优化，在分割原始视频中的目标和背景的步骤与将发生过遮挡或粘连的目标 划分为一组、其他没有发生过粘连或遮挡的目标各自为一组的步骤之间还包括：在原始视 频中，以目标为单位进行跟踪，判断目标之间是否发生过遮挡或粘连。
[0016] 作为优化，通过以下公式来判断目标之间是否发生过遮挡或粘连：
[0017]
【权利要求】
1. 一种视频摘要的生成方法，其特征在于包括以下步骤： 分割原始视频中的目标和背景； 将发生过遮挡或粘连的所述目标划分为一组，其他没有发生过粘连或遮挡的所述目标 各自为一组； 根据所述原始视频确定待生成视频摘要的总时长； 根据所述原始视频确定各个组在所述待生成视频摘要中的持续时长，所述各个组内部 各个目标的时空关系与所述原始视频中的一致； 根据所述待生成视频摘要的总时长以及各个组在所述待生成视频摘要中的持续时长， 确定各个组在所述待生成视频摘要中的开始时刻； 根据各个组在所述待生成视频摘要中的持续时长以及所述各个组的开始时刻，生成所 述视频摘要。
2. 如权利要求1所述的视频摘要的生成方法，其特征在于，利用背景建模方法来分割 所述原始视频中的目标和背景。
3. 如权利要求1所述的视频摘要的生成方法，其特征在于，在所述分割原始视频中的 目标和背景的步骤与所述将发生过遮挡或粘连的所述目标划分为一组、其他没有发生过粘 连或遮挡的所述目标各自为一组的步骤之间还包括：在所述原始视频中，以所述目标为单 位进行跟踪，判断所述目标之间是否发生过遮挡或粘连。
4. 如权利要求3所述的视频摘要的生成方法，其特征在于，通过以下公式来判断所述 目标之间是否发生过遮挡或粘连：
(1) 其中，Objl为在所述原始视频检测到的一个目标，Obj2为在所述原始视频中检测到的 另一个目标，Ij1t表示在t时刻检测到的〇bjl，4表示在t时刻检测到的0bj2，b^+1表示在 t+Ι时刻才检测到的另一目标，CouArea > 0表示時+1与b〖的重叠面积大于0， Cover (Ob jl，Ob j2)值为 true 时，则表示 Objl 与 Ob j2 发生遮挡或粘连；Cover (Ob jl，Objl) 值为false时，则表示Objl与Obj2没有发生遮挡或粘连。
5. 如权利要求1所述的视频摘要的生成方法，其特征在于，所述待生成视频摘要的总 时长的确定是根据所有目标在所述原始视频中的空间分布以及所述原始视频的持续时长 来确定的。
6. 如权利要求5所述的视频摘要的生成方法，其特征在于，所述待生成视频摘要的总 时长由以下公式计算得到：
(2) 其中，M表示所述待生成视频摘要的总时长，s表示所有目标在所述原始视频图像范围 内的分布总面积，T表示所述原始视频的持续时长，I表示在所述原始视频中t时刻检测到 的目标总个数，bi表示在所述原始视频中t时刻检测到的第i个目标的面积。
7. 如权利要求1所述的视频摘要的生成方法，其特征在于，所述确定各个组在所述待 生成视频摘要中的开始时刻的过程包括： 将每个组都初始化到所述待生成视频摘要的最开始时刻； 多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值，所述代价值为将 所述原始视频转换为所述视频摘要时其相关信息的损失度； 根据所述代价值最小的移动方案确定每个组在所述待生成视频摘要中的开始时刻。
8. 如权利要求7所述的视频摘要的生成方法，其特征在于，所述代价值包括在所述待 生成视频摘要中移动后的组与背景之间的一致性损失度、移动后的两组在所述待生成视频 摘要中的空间位置的重叠面积、组在所述待生成视频摘要中的活跃性损失度、移动后的两 组在所述待生成视频摘要中的时间连续性损失度中的至少一个。
9. 如权利要求8所述的视频摘要的生成方法，其特征在于，所述将所述原始视频转换 为所述视频摘要时的代价值通过以下公式计算所得：
其中，E(M)表示所述代价值，M表示所述待生成视频摘要的总时长，G表示所有的组，g 为其中一个组在所述原始视频中的标号、f为其在所述待生成视频摘要中的标号，g'表示 另一个组在所述原始视频中的编号、p表示其在所述待生成视频摘要中的编号，^EnCf)表 示组#在所述待生成视频摘要中的活跃性损失度，￡；(#)表示在所述待生成视频摘要中移 动后的组#与背景之间的一致性损失度表示移动后的组#和f在所述待生成 视频摘要中的时间连续性损失度，￡；(!：,?表示移动后的组f和^在所述待生成视频摘 要中的空间位置上的重叠面积，α、β、Y、是常量系数。
10. 如权利要求9所述的视频摘要的生成方法，其特征在于，所述组在所述待生成视频 摘要中的活跃性损失度￡?(#)为〇。
11. 如权利要求9所述的视频摘要的生成方法，其特征在于，所述在所述待生成视频摘 要中移动后的组与背景之间的一致性损失度.?!)通过以下公式计算所得： 嗔)=Ki)- '誦 ⑷ 其中，表示组#在所述原始视频中对应的背景的亮度均值，表示组#在所 述待生成视频摘要中对应的背景的亮度均值。
12. 如权利要求9所述的视频摘要的生成方法，其特征在于，所述移动后的两组在所述 待生成视频摘要中的时间连续性损失度过以下公式计算所得：
(5)
其中，^:和^，分别表示组g和y在所述原始视频中的开始时间，t|和t|·,分别表示 组g和f在所述待生成视频摘要中的开始时间，d(g，g')表示组g和g'在所述待生成 视频摘要中不能保持所述原始视频中的时间相对性时的时间连续性损失系数，％和$?分 别表示#和^?在所述待生成视频摘要中所在的时间段，d(g，g'，t)表示组g和g'在时刻 t的最小欧式距离，表示组#在所述待生成视频摘要中的结束时间，表示所述待 生成视频摘要中当组#:和P所在的时间段没有重合且组f的开始时刻在组P的前面时将 组P的开始时间减去组#的结束时间，〇sp_、Otinre为常量系数。
13. 如权利要求9所述的视频摘要的生成方法，其特征在于，所述移动后的两组在所述 待生成视频摘要中的空间位置的重叠面积通过以下公式计算所得：
(7) 其中，爲、?分别表示在所述待生成视频摘要中组#和^在时刻t时的位置。
14. 一种视频摘要的生成系统，其特征在于包括： 分割模块：用于分割所述原始视频中的目标和背景； 组划分模块：用于将发生过遮挡或粘连的所述目标划分为一组，其他没有发生过粘连 或遮挡的所述目标各自为一组； 第一确定模块：用于根据所述原始视频确定所述待生成视频摘要的总时长； 第二确定模块：用于确定各个组在所述待生成视频摘要中的持续时长； 第三确定模块：用于根据所述待生成视频摘要的总时长以及各个组在所述待生成视频 摘要中的持续时长，确定各个组在所述待生成视频摘要中的开始时刻； 视频摘要生成模块：用于根据各个组在所述待生成视频摘要中的持续时长以及所述各 个组的开始时刻，生成所述视频摘要。
15. 如权利要求14所述的视频摘要的生成系统，其特征在于，还包括判断模块：在所述 原始视频中分割出目标和背景后，以所述目标为单位进行跟踪，来判断所述目标之间是否 发生过遮挡或粘连。
16. 如权利要求14所述的视频摘要的生成系统，其特征在于，所述第一确定模块根据 所有目标在所述原始视频中的空间分布以及所述原始视频的持续时长来计算所述待生成 视频摘要的总时长。
17. 如权利要求14所述的视频摘要的生成系统，其特征在于，所述第三确定模块包括： 初始化单元：用于将每个组都初始化到所述待生成视频摘要的最开始时刻； 代价值计算单元：多次移动其中至少一个组的开始时刻，并计算每次移动后的代价值， 所述代价值为将所述原始视频转换为所述视频摘要时其相关信息的损失度； 生成单元：用于根据所述代价值最小的移动方案确定每个组在所述待生成视频摘要中 的开始时刻。
【文档编号】H04N21/8549GK104394488SQ201410709377
【公开日】2015年3月4日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】许芳, 赵波, 王立军, 陈建冲, 晋兆龙, 陈卫东 申请人:苏州科达科技股份有限公司