一种视频摘要中事件与背景的融合方法
【技术领域】
[0001] 本发明属于计算机智能监控视频处理技术领域，更具体地，设及一种视频摘要中 事件与背景的融合方法。
【背景技术】
[0002] 视频监控系统已经广泛应用于加强公共安全建设、防范违法犯罪活动W及安全事 故预警等方面。虽然视频监控领域的技术在不断发展，但是回查视频监控录像仍是一项非 常耗费人力、物力资源的工作，而且非常不被重视，往往是在事发之后，需要临时组织一个 庞大的团队来对视频监控录像进行查看和分析。
[0003] 因此，迫切需要一种方法能够方便对视频监控录像进行查询。建立一个视频摘要 系统是一个很好的方法。通俗的讲，视频摘要是原始视频的浓缩视频。它旨在有效地使用 视频监控录像，对海量视频监控录像进行处理和分析，提高监控录像的倒查效率，实现对视 频数据进行结构化的存储和查询，可W将较长的视频浓缩成短短几分钟的视频。点击任何 事件即可查看该事件在原始视频中从出现到结束期间的情况。
[0004] 目前生成视频摘要系统的方法主要有基于关键帖和基于对象的方法，其中基于关 键帖的方法是指通过提取一系列的关键帖组成相应的语义单元，概括整个视频的内容，W 供快速检索，该方法重点考虑视频的关键帖；基于对象的方法是由能够表达原始视频内容 的事件加W编辑而成，在保持了视频内容能够随时间动态变化的基础上很大程度减少了时 间一空间冗余，因此其表现的内容要比基于关键帖的视频摘要丰富的多，也是实际应用中 较流行的方法。
[0005] 但是，该方法的一个难点问题是事件与背景怎样能更好的融合，生成高质量的新 视频。具体问题是；（1)如何将提取出的目标"无缝"、"自然"的融合到相应的背景中；（2) 如何尽可能的减少目标间的遮挡。目前融合事件与背景的方法有基于al地amatte的方 法和泊松图像编辑的方法，al地amatte的方法功能强大，但实现复杂；泊松图像编辑的方 法在融合对象和场景的颜色没有突变时能消除拼缝，取得较好的结果，但因使用的是L2范 数，不能很好的估计图像颜色的连续性，对于存在较大颜色突变的场景无法取得较好的结 果，因而如何降低目标与背景的颜色差异保证泊松图像编辑的方法取得较好的效果是一个 问题。同时，在减少目标间的遮挡方面，除了在事件重组过程中通过事件的疏密程度来控制 当前摘要帖上的事件数目外，并没有很好的通过融合来减少目标间遮挡的方法。
【发明内容】
[0006] 本发明的目的在于提出一种视频摘要中事件与背景的融合方法。该方法能够无 缝、自然的将事件融合到对应的背景中，有效的避免事件与事件之间的遮挡，形成高质量的 新视频图像场景。
[0007] 为了实现上述目的，本发明提供了一种视频摘要中事件与背景的融合方法，包 括：
[000引 （1)通过运动目标的检测和跟踪，得到原始视频序列中所有的事件和最后形成摘 要视频所需的背景帖序列；记录每一个事件的所有发生时刻所对应的图像块的宽高及图像 块内所有像素位置的二值前景值、每一个事件发生的起始帖号和结束帖号、W及每一个事 件摘要视频中出现时的起始帖号；
[0009] (2)根据每一个事件发生的起始帖号和结束帖号，W及每一个事件在摘要视频中 发生时的起始帖号，从原始视频序列的所有事件中，找出当前摘要帖上需要出现的所有事 件及其对应时刻的图像块；
[0010] (3)对步骤（2)所述摘要帖上所有事件的相应时刻的图像块进行预处理，包括对 各事件所对应图像块按照面积从大到小排序，所述各图像块的面积根据步骤（1)中得到的 各图像块的宽高得到，然后根据步骤（1)中得到的各图像块内所有像素位置的二值前景值 调整对应图像块的局部亮度；
[0011] (4)利用步骤（2)所述摘要帖上的所有事件对步骤（1)中得到的背景帖进行投票， 得票最高的背景帖即为当前摘要帖所需的背景帖，所述利用事件对背景帖进行投票是根据 相应时刻的图像块在原始视频中所在的帖号与步骤（1)中获取背景帖时的周期相比，根据 比值判断对步骤（1)中得到的背景帖中的哪一帖进行投票；
[0012] (5)对步骤（3)所述预处理后的图像块和步骤（4)所述背景帖进行融合得到摘要 帖，所述融合是根据步骤（1)中得到的各图像块内所有像素位置的二值前景值与背景帖上 当前像素位置的融合状态选择加权融合与泊松图像编辑中的某一种方法进行融合。
[0013] 在本发明的一个实施例中，所述步骤（1)中生成摘要视频所需背景帖序列的具体 方法为；从原始视频的第一帖开始，WT为周期对T帖图像相应位置的每一个像素值进行累 加平均，得到一张均值图像，W此均值图像作为一张背景图，如此循环，直到视频帖结束，可 W得到形成摘要视频所需的背景帖序列BackGround= (b。，bi，......bj，其中t为大于0 的整数；其中第q帖均值图像上某一个像素点（X，y)处的像素值按照下面公式计算：
[0014]
【主权项】
1. 一种视频摘要中事件与背景的融合方法，其特征在于，所述方法包括以下步骤： (1) 通过运动目标的检测和跟踪，得到原始视频序列中所有的事件和最后形成摘要视 频所需的背景帧序列；记录每一个事件的所有发生时刻所对应的图像块的宽高及图像块内 所有像素位置的二值前景值、每一个事件发生的起始帧号和结束帧号、以及每一个事件摘 要视频中出现时的起始帧号； (2) 根据每一个事件发生的起始帧号和结束帧号，以及每一个事件在摘要视频中发生 时的起始帧号，从原始视频序列的所有事件中，找出当前摘要帧上需要出现的所有事件及 其对应时刻的图像块； (3) 对步骤（2)所述摘要帧上所有事件的相应时刻的图像块进行预处理，包括对各事 件所对应图像块按照面积从大到小排序，所述各图像块的面积根据步骤（1)中得到的各图 像块的宽高得到，然后根据步骤（1)中得到的各图像块内所有像素位置的二值前景值调整 对应图像块的局部亮度； (4) 利用步骤（2)所述摘要帧上的所有事件对步骤（1)中得到的背景帧进行投票，得票 最高的背景帧即为当前摘要帧所需的背景帧，所述利用