一种带有徘徊异常提示的分层视频摘要方法
【技术领域】
[0001] 本发明属于计算机视频处理技术领域，具体为一种带有徘徊异常提示的分层视频 摘要方法，适合于视频监控场景下的海量视频快速浏览。
【背景技术】
[0002] 随着社会的不断发展，视频数据正在以爆炸性的方式增长，这使得快速了解视频 内容变得越来越困难。特别是在监控视频场景下，海量的监控视频数据被摄像头每天24小 时不间断地记录下来。此外，异常事件的发生都带有不频繁和时间短的特点，这使得从海量 视频数据中找出感兴趣的视频或事件变得更加困难。目前，计算机视觉技术在智能视频监 控中发挥着越来越重要的作用。在海量视频快速浏览方面，视频摘要技术能将每段视频的 内容进行浓缩概括，从而极大地节省浏览者的时间，提高工作效率。
[0003] 目前在视频监控领域，视频摘要方法主要分为基于视频整体内容和基于个人 信息两大类。基于视频整体内容的方法仅仅将原视频中重要的信息浓缩成一段时间很 短的视频，这使得浏览者能够快速知道原始视频的主要信息（参见：Yael Pritch，Alex Rav-Acha, and Shmuel Peleg, "Nonchronological Video Synopsis and Indexing, ''IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.30,no, 11, pp. 1971-1984, 2008)，但是这类方法面临如下两个问题：1)无法快速知道视频中感兴趣 对象的详细信息2)对于视频中的异常事件例如徘徊行为并没有做出提示。基于个人活 动信息的方法（Fu，Wei and Wang, Jinqiao and Zhao, Chaoyang and Lu, Hanqing and Ma, Songde, "Object-centered narratives for video surveiIlance^in International Conference on Image Processing(ICIP) ,2012, pp. 29-32)只能提取出感兴趣行人的信 息，一方面提取的信息并没有包含对异常的提示例如徘徊行为，另一方面对于视频的主要 内容并没有进行概括。
【发明内容】
[0004] 本发明的目的在于克服上述现有技术的不足之处，提出了一种新的视频摘要方 法---带有徘徊异常提示的分层次视频摘要方法，不仅可以快速地了解原始视频的内容， 而且还能查看感兴趣行人的各种具体信息。
[0005] 本发明是通过以下技术方案实现的，本发明将视频摘要分为视频层次和行人层次 两个层次，而且行人层次的视频摘要具有徘徊异常提示的功能。视频层次的摘要浓缩概括 了原始视频的主要内容，行人层次的摘要反映了行人的多种信息，包括运行轨迹、运动方 向、行为变化及是否有徘徊行为等。浏览者不仅可以快速地了解原始视频的内容，而且还能 查看感兴趣行人的各种具体信息，从而不仅可以快速地了解原始视频的内容，而且还能查 看感兴趣行人的各种具体信息。
[0006] 具体地，所述方法包括以下步骤：
[0007] 第一步：对视频数据进行预处理，得到背景图像和对视频中每个行人跟踪的数据 集。
[0008] 第二步：针对第一步得到的行人跟踪数据集进行特征提取，包括人脸检测、亮度计 算和视觉注意力计算，用于生成视频层次的能量函数；
[0009] 第三步：最小化第二步生成的能量函数，在第一步每个行人数据集中筛选出一个 最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要；
[0010] 第四步：根据第一步的行人跟踪的数据集，进行运动轨迹的拟合及运动方向的判 断，用于生成行人层次的摘要信息；
[0011] 第五步：根据第一步的行人跟踪的数据集判断是否有徘徊行为发生；
[0012] 第六步：根据第一步的行人跟踪的数据集进行特征提取，包括空间分布、行人外表 变化、图像亮度及碰撞程度，生成行人层次的能量函数，然后对其进行最小化，目的是从第 一步的行人跟踪数据集中筛选出最具信息量的图片集合，用于生成行人层次的摘要信息；
[0013] 第七步：将第四到第六这三步获得的多种行人信息融合到背景图像上，生成行人 层次的摘要。
[0014] 与现有技术相比，本发明具有如下的有益效果：
[0015] 1)本发明提出了一种分层次视频摘要框架，浏览者可以快速地从宏观和微观两个 层面了解原始视频的信息；2)视频摘要带有徘徊行为提示功能，浏览者可以很方便地知道 原视频中是否有徘徊异常发生。本发明不仅可以快速地了解原始视频的内容，而且还能查 看感兴趣行人的各种具体信息，极大地节省浏览者的时间，提高工作效率。
【附图说明】
[0016] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0017] 图1为本发明带有徘徊异常提示的分层视频摘要方法总流程框图。
[0018] 图2为本发明一实施例中视频层次的特征提取示意图；
[0019] 图3为本发明一实施例中视频层次的视频摘要示意图；
[0020] 图4(a)、图4(b)、图4(c)分别是为本发明一实施例中运动轨迹拟合、徘徊检测和 有信息量图片的示意图；
[0021] 图5为本发明一实施例中行人层次的视频摘要示意图。
【具体实施方式】
[0022] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0023] 实施例
[0024] 本实施例采用的图像帧来自数据库PETS2006中的行人监控视频。
[0025] 本实施例涉及的带有徘徊异常提示的分层次视频摘要方法，包括如下具体步骤：
[0026] 第一步：如图1中预处理部分所示，对数据进行预处理，得到每个行人的跟踪数据 集。
[0027] 第二步：如图2所示，针对行人跟踪数据集进行特征提取，具体包括：人脸检测、亮 度计算和视觉注意力计算。
[0028] 让T = It1, . . .，tM}表示M个行人的跟踪数据集，其中匕=. . . 表示行 人X1的跟踪数据集；
[0029] 让视觉注意力A(Jj)代表图像的重要性或吸引力：
[0030]
[0031] 其中D(IK，I1)表示像素点、和I 1在Lab颜色空间的距离，表示图像# 的面积，；S/代表视频中第i个行人的第j个跟踪结果；
[0032] 让焉〇^)代表图像的明暗程度：
[0033]
[0034] 其中仁表示图像W的灰度图；
[0035] 让&^^)代表图像中是否有正脸检测到：
[0036] Q
[0037] 第三步：如图3所示，最小化视频层次的能量函数，在每个行人数据集中筛选出一 个最具代表性的图像，融合到背景图像上，形成视频层次的视频摘要。
[0038] 具体步骤为：
[0039] 1.将图像特征总能量表示为
[0040]
[0041] 其中J = K…表示从第一步每个行人跟踪集合中挑选一张代表性图片 的集合，表示第i个行人跟踪集合中第^张图像被选中，M表示输入视频中的行人数量， 表示图像视觉注意力，私($)表示图像亮度，士(<)表示图像中是否有正脸检测 到，
[0042] 0< α，β，γ <1，α+β + γ =1。
[0043] 2.将图像间重叠程度表示为
[0044] CN 105138689 A m ~P 4/5 页
[0045] 其中X1 n X j表示两幅图像之间重叠的区域。
表示从第一步每个 行人跟踪集合中挑选一张代表性图片的集合，表示第i个行人跟踪集合中第^张图像 被选中，M表示输入视频中的行人数量。
[0046] 3.视频层次的能量函数表示为
[0047] E(L) = Εδ (L) +λ Εω (L)
[0048] 其中：ΕΛ (L)表示图像特征总能量，ΕΩ (L)表示图详见重叠程度， 表示从第一步每个行人跟踪集合中挑选一张代表性图片的集合，表示第i个行人跟踪 集合中第^张图像被选中，M表示输入视频中的行人数量，λ > 〇用于衡量E Λ (L)与ΕΩ (L) 之间的重要程度。
[0049] 4.利用启发式算法最小化能量函数筛选出有信息量的图片。
[0050] 第四步：如图4(a)所示，根据第一步的行人跟踪的数据集，进行运动轨迹的拟合 及运动方向的判断，用于生成行人层次的摘要信息；
[0051] 第五步：如图4(b)所示，判断是否有徘徊行为发生。
[0052] 所述判断是否有徘徊行为发生，具体步骤为：
[0053] ①将行人运动点的集合表示为尸=_ 力)]^，η表示运动点的数量。
[0054] ②将点Pi= (X i, Yi)投影到X或y轴上，由最小二乘法决定投影到X轴还是y轴。 若投影到X轴则表示为Hiapx(P i) = Xi。
[0055]