基于物体尺寸自适应的视频浓缩方法
【技术领域】
[0001] 本发明设及一种视频浓缩方法，特别是设及一种基于物体尺寸自适应的视频浓缩 方法。
【背景技术】
[0002] 文献"Y.Pritch,A.Rav-Acha,andS.化leg,None虹onologicalVideoSynopsis andIndexing.IEEETransactionsonPatternAnalysisandMachineIntelligen ce，30 (11) : 1971-1987, 2008"提出了一种基于物体的视频浓缩方法。该方法首先通过背景 减除算法把活动的物体从背景中识别并提取出来，然后通过在一小段时间内同时展现多个 活动物体来压缩原视频的长度。同时，为了使浓缩后的视频不会出现一些不合理的情况，该 方法设计了特定的能量函数来限制各个活动物体在浓缩视频的时间轴上的位置。此能量函 数主要包括=个惩罚项，而每个惩罚项对应着浓缩视频中一种不合理的情况。该=种不合 理的情况分别是活动物体信息的丢失、物体间的相互碰撞遮挡现象和物体间相对时间关系 的损坏。通过最小化能量函数的函数值，该方法能够将浓缩视频中的不合理情况降到最低。 然而，当原视频的浓缩率较大时，要同时展现出多个活动物体，就会不可避免地产生物体相 互碰撞遮挡的现象。
【发明内容】
[0003] 为了克服现有视频浓缩方法容易出现活动物体相互碰撞遮挡的不足，本发明提供 一种基于物体尺寸自适应的视频浓缩方法。该方法采用聚合通道特征检测算法和背景减除 算法对原视频中的活动物体进行检测和提取，可W有效降低前景、背景分离时产生的噪声， 从而得到更精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩 视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外， 还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，W避免活动物体因尺寸过度缩小而变 得难W辨识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算 出的时间位置和物体尺寸无缝地融合进背景视频中。本发明方法可W有效地减少浓缩视频 中活动物体相互碰撞遮挡的情况。
[0004] 本发明解决其技术问题所采用的技术方案是；一种基于物体尺寸自适应的视频浓 缩方法，其特点是采用W下步骤：
[0005] 步骤一、对于输入视频数据的每一帖合成对应的背景图像，背景图像合成公式为
[0006]
[0007] 式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帖，n表示所选取 的视频序列的总帖数。
[000引步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将 每个活动物体标出。使用背景减除算法将每一帖视频与其对应的合成背景相减，根据差值 对活动物体进行提取
[0009] Diff(x,y,t) = 11 (x,y,t)-B(x,y,t) (2)
[0010] 式中，x，y分别是图像像素的横、纵坐标，t是当前帖的帖序号，Diff(x，y，t)表示 当前帖中位于坐标（x，y)处的像素与对应背景像素之差的绝对值。若绝对值大于阔值T， 则认为当前像素为前景像素，T取值为20。
[0011] 步骤=、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函 数确定，能量函数为
[0012] E(M) =Ea(M) +E。(M) ?Er(M)+Et(M) 0)
[0013] 式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量 函数由四个惩罚项组成。各个惩罚项的具体如下：
[0014] ①Eg(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的 程度，其具体定义为
[0015]
(4)
[0016] 式中，0表示所有活动物体的集合，0表示其中的一个活动物体，〇""表示物体0在 浓缩视频中的映射，0'表示属于物体0而没有被包含进浓缩视频的观测序列，Dif(o')表 示当前物体与背景之间的差异。
[0017] ②Et(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的 总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为
[0018]
灼
[0019] 式中，a是一个参数，用于调节该惩罚项在整个能量函数中的重要性，P表示不同 于物体0的另一活动物体，pt表示物体P在浓缩视频中的映射，boxO表示一个指定物体的 边界框，A0表示一块指定区域的面积。
[0020] ⑨Ef(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为
[0021]
(6)
[002引式中，X是所有活动物体缩小系数的集合，X。是物体0所对应的一个缩小系数，A。是物体0的原始面积，物体0缩小后的尺寸A。是与而2的乘积，n是一参数，用于调节活动物 体的原始面积对整个尺寸缩小惩罚项的影响。
[0023] ④Et(M)是物体间相对时间关系损坏惩罚项，用于在浓缩视频中保护活动物体间 的相对时间关系，其具体定义为
[0024]
(7)
[0025] Et(M)包括S个子项，每个子项对应着一种特定的情况。在第一子项的条件中，t。 和tp分别表示物体o和p在原视频中活动的时间段，t"ntp声d)表示两者的活动时间有 交集，D(0,P)是衡量物体0和P相对空间关系的函数，其定义为
[0026]
巧）
[0027] 式中，d(o,P,t)表示物体o和p在时间t时的欧氏距离，minW表示一个集合中的 最小值，《为一参数，用于调节距离衡量尺度。T(o，p)是衡量物体o和p在浓缩视频中时 间关系损坏程度的函数，其定义为
[002引
巧）
[0029] 式中，心S和分别表示物体0和P在原视频中的出现时间，0和0分别表示物体0 和P的映射cAP巧浓缩视频中的出现时间。
[0030] 在第②子项的条件中，t"ntp=d)表示物体o和p的活动时间没有有交集，T'（o，p)用来衡量在该种情况下，物体o和p的时间关系是否遭到了破坏，其定义为
[0031] ;
yo)
[003引只有当r(o，p)〉0时才表示两者的相对时间关系得W保留。
[0033] 在第⑨子项中，当两活动物体的活动时间段既没有交集，并且两者的相对时间关 系又遭到破坏时，使用下式对该种情况进行惩罚
[0034]
[00巧]式中，0为一参数，用于调节第⑨子项在整个活动物体尺寸缩小惩罚项中的重要 性。
[0036] 步骤四、生成浓缩视频。
[0037] 首先，根据用户自定义的浓缩视频的长度，对步骤一中合成的背景图像中有物体 活动的子集进行均匀降采样，将降采样得到的背景图像按照时间顺序拼接起来得到浓缩视 频的背景视频。然后，使用泊松图像编辑方法，按照步骤=求解的映射结果，将各个活动物 体融合进背景视频中，得到浓缩视频。
[003引本发明的有益效果是：该方法采用聚合通道特征检测算法和背景减除算法对原视 频中的活动物体进行检测和提取，可W有效降低前景、背景分离时产生的噪声，从而得到更 精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩视频中的 时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物 体尺寸的缩小操作加入了尺寸缩小惩罚项，W避免活动物体因尺寸过度缩小而变得难W辨 识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间 位置和物体尺寸无缝地融合进背景视频中。本发明方法可W有效地减少浓缩视频中活动物 体相互碰撞遮挡的情况。
[0039] 下面结合附图和【具体实施方式】对本发明作详细说明。
【附图说明】
[0040] 图1是本发明基于物体尺寸自适应的视频浓缩方法的流程图。
【具体实施方式】
[0041] 参照图1。本发明基于物体尺寸自适应的视频浓缩方法具体步骤如下：
[0042] 1.合成背景图像。
[0043] 对于输入的视频数据的每一帖，为其合成对应的背景图像。具体地，对先于当前帖 30秒和晚于当前帖30秒的视频序列取均值，使用均值图像作为当前帖所对应的背景。对 于原视频起始位置的帖，没有先于其的帖，则只使用晚于其的视频序列；对于原视频末尾的 帖，则只使用先于其的视频序列。背景图像合成公式为
[0044]
y)
[0045] 式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帖，n表示所选取 的视频序列的总帖数。
[0046] 2.活动物体的检测与提取。
[0047] 使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动 物体标出。使用背景减除算法将每一帖视频与其对应的合成背景相减，根据差值对活动物 体进行提取
[0048]Diff(x,y,t) = 11 (x,y,t)-B(x,y,t) (2)
[0049] 式中，X，y分别是图像像素的横、纵坐标，t是当前帖的帖序号，Diff(X，y，t)表示 当前帖中位于坐标（x，y)处的像素与对应背景像素之差的绝对值。若差值的绝对值大于本 发明方法定义的阔值T，则认为当前像素为前景像素，T在本发明中的取值为20。本发明 方法认为超出活动物体边界框的前景像素为噪声，将其忽略，而边界框W内的所有前景像 素被提取出来。
[0化0] 3.定义能量函数。
[0051] 各活动物体在浓缩视频中的时间位置和缩小尺寸需要通过求解特定的能量函数 来确定，本发明方法定义的能量函数为
[005引E(M)=Ea(M)+Ec(M)?Er(M)+Et(M)做
[0化3] 式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，它指示各 个活动物体在浓缩视频中的时间位置及物体尺寸。该能量函数由四个惩罚项组成。各个惩 罚项的具体介绍如下：
[0054] ⑥Eg(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的 程度，其具体定义为
[0055]
(4)
[0化6] 式中，0表示所有活动物体的集合，0表示其中的一个活动物体，表示物体0在 浓缩视频中的映射，0'表示属于物体