一种视频异常事件检测方法及装置制造方法
【专利摘要】本发明提供一种视频异常事件检测方法和装置，所述方法包括：提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含所述待检测视频流的时空信息；通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数；根据所述重构系数计算重构代价值；当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件；当所述重构代价值小于或等于预设阈值时，确定所述待检测视频流中不存在异常事件。本发明提供的方法特征表达能力强，能够很好的描述异常事件，提高视频异常事件检测的效率和准确性。
【专利说明】一种视频异常事件检测方法及装置
【技术领域】
[0001] 本发明涉及视频分析领域，尤其涉及一种视频异常事件检测方法及装置。
【背景技术】
[0002] 随着视频监控设备的日益普及和人们对安防工作的日益重视，对于监控视频的分 析，尤其是对视频中异常事件的自动检测的需求越来越迫切。现有技术中主要通过以下两 种方法进行视频异常事件的检测：
[0003] 基于目标轨迹的检测方法：需要先进行目标的检测和跟踪，获取目标的运动轨迹， 然后将目标的运动轨迹和预定义的异常事件类型进行匹配，判断目标是否异常。
[0004] 基于局部的低层次表示的检测方法：该方法中，不需要进行目标的检测和跟踪，需 要预定义一些表示正常的低层次表示（low-level representation),和表示异常的低层次 表示。该低层次表示例如边缘、角、点，一般为根据经验手工设计的特征。用该这些预定义 的低层次表示进行事件的描述以便于进行异常事件检测。例如提取待检测视频中的低层次 表示信息，然后用预定义的低层次表示描述该信息，当用表示异常的低层次表示描述该信 息时则确定检测出异常事件。
[0005] 然而，上述基于目标轨迹的检测方法具有很大的局限性：该方法进行异常检测的 结果很大程度上依赖于跟踪获得的运动轨迹，但轨迹跟踪技术仍然不够成熟，不能提供可 靠准确的运动轨迹信息；另外，需要根据目标的特征检测出目标，而目标的特征对噪声和遮 掩十分敏感，若在拥挤场景下，这一方法因目标受遮掩，而影响准确和快速的确定目标；因 此，该方法进行异常事件检测的效率和准确性较低。
[0006] 基于局部的低层次表示的检测方法虽然适用于拥挤场景下的异常事件检测，因其 预定义的低层次表示需要手工设计，造成特征描述存在着精度不够、表达能力不够强等问 题，因此该方法难以很好地描述视频中的异常事件，导致异常事件检测的效率和准确性较 低。
【发明内容】
[0007] 本发明的目的是提供一种视频异常事件检测方法和装置，以克服相关技术中视频 异常事件检测的效率和准确性较低的问题。
[0008] 本发明提供一种视频异常事件检测方法，包括：
[0009] 提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表 示（high-level representation)信息中包含所述待检测视频流的时空信息 (spatial-temporal information)，所述时空信息表示所述待检测视频流中的每巾贞图像的 纹理特征信息以及所述纹理特征信息之间的时序关系；
[0010] 通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高 层次表示信息时的重构系数，所述字典根据以下方式建立并不断更新：将不存在异常事件 的视频流作为训练样本，对所述训练样本的每帧图像进行卷积编码，提取每帧图像的纹理 特征，然后基于所述训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获 取所述训练样本的高层次表示信息，其中，所述训练样本的高层次表示信息中包含所述训 练样本的所有的正常特征，去除所述训练样本的高层次表示信息中的冗余的正常特征后生 成字典，其中，所述字典中的每一个正常特征为一个基；
[0011] 根据所述重构系数计算重构代价值；
[0012] 当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件。
[0013] 所述去除所述训练样本的高层次表示信息中的冗余的正常特征后生成字典包 括：
[0014] 由训练样本的高层次表示信息构成一个特征池，对所述特征池进行优化，获得基 的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
[0015] 本发明实施例中经过字典优化，可以获得一个能够表达训练样本的最小尺寸的字 典。
[0016] 所述字典中的每一个基对应一个权重系数，其中，根据权重公式确定所述权重系 数的初始值，所述权重公式为：
[0017]
【权利要求】
1. 一种视频异常事件检测方法，其特征在于，所述方法包括： 提取包含多帧图像的待检测视频流的高层次表示信息，该高层次表示信息中包含所述 待检测视频流的时空信息，所述时空信息表示所述待检测视频流中的每帧图像的纹理特征 信息以及所述纹理特征信息之间的时序关系； 通过预置的字典，计算用所述字典中的最少数目的基表征所述待检测视频流的高层次 表示信息时的重构系数，所述字典根据以下方式建立并不断更新：将不存在异常事件的视 频流作为训练样本，对所述训练样本的每帧图像进行卷积编码，提取每帧图像的纹理特征， 然后基于所述训练样本中每帧图像的时序关系，对提取的纹理特征进行时空建模，获取所 述训练样本的高层次表示信息，其中，所述训练样本的高层次表示信息中包含所述训练样 本的所有的正常特征，去除所述训练样本的高层次表示信息中的冗余的正常特征后生成字 典，其中，所述字典中的每一个正常特征为一个基； 根据所述重构系数计算重构代价值； 当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异常事件。
2. 根据权利要求1所述的方法，其特征在于，所述去除所述训练样本的高层次表示信 息中的冗余的正常特征后生成字典包括： 由训练样本的高层次表示信息构成一个特征池，对所述特征池进行优化，获得基的数 量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
3. 根据权利要求1或2所述的方法，其特征在于，所述字典中的每一个基对应一个权重 系数，其中，根据权重公式确定所述权重系数的初始值，所述权重公式为：
其中，所述4表示字典中第i基的初始权重系数；所述式表示所述字典中每个基对应 系数的累加和；所述Xitl表示初始选择向量的第i维；所述P°表示由摩组成的矩阵；所述II3 01I；!表示取Ll范数;所述IIXi01 12表示取L2范数。
4. 根据权利要求3所述的方法，其特征在于，所述通过预置的字典，计算用所述字典中 的最少数目的基表征所述待检测视频流的高层次表示信息时的重构系数，包括： 通过预置的字典，根据重构系数求解公式计算用所述字典中的最少数目的基，表征所 述待检测视频流的高层次表示信息时的重构系数； 其中，所述重构系数求解公式为：
其中，？表示重构系数；y表示所述待检测视频流的包含时空信息描述的高层次表示； 所述〇表示所述字典；所述W表示所述权重系数构成的矩阵，X表示权重向量；A表示惩 罚系数。
5. 根据权利要求3所述的方法，其特征在于，所述方法还包括： 当确定所述待检测视频流中不存在异常事件时，根据所述待检测视频流的重构系数和 权重系数更新公式更新目标基的权重系数，其中，所述目标基为按照从大到小的顺序排列， 排列靠前的前K个权重系数对应的基； 其中权重系数更新公式为：
其中，所述14f表示第i个基第t+1次迭代后的权重系数；所述 < 表示用所述字典表征 所述待检测视频流时，第i个基对应的重构系数值；所述t表示第t次迭代；所述t+1表示 第t+1次迭代，所述0t+1表示由處+1构成的矩阵；所述X表示选择向量；所述Xi表示选择向 量X中的第i个选择向量。
6. -种视频异常事件检测装置，其特征在于，所述装置包括： 高层次表示提取模块，用于提取包含多帧图像的待检测视频流的高层次表示信息，该 高层次表示信息中包含所述待检测视频流的时空信息，所述时空信息表示所述待检测视频 流中的每帧图像的纹理特征信息以及所述纹理特征信息之间的时序关系； 重构系数计算模块，用于通过预置的字典，计算用所述字典中的最少数目的基表征所 述待检测视频流的高层次表示信息时的重构系数，所述字典根据以下方式建立并不断更 新：将不存在异常事件的视频流作为训练样本，对所述训练样本的每帧图像进行卷积编码， 提取每帧图像的纹理特征，然后基于所述训练样本中每帧图像的时序关系，对提取的纹理 特征进行时空建模，获取所述训练样本的高层次表示信息，其中，所述训练样本的高层次表 示信息中包含所述训练样本的所有的正常特征，去除所述训练样本的高层次表示信息中的 冗余的正常特征后生成字典，其中，所述字典中的每一个正常特征为一个基； 重构代价值计算模块，用于根据所述重构系数计算重构代价值； 判定模块，用于当所述重构代价值大于预设阈值时，确定所述待检测视频流中存在异 常事件。
7. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 字典优化模块，用于由训练样本的高层次表示信息构成一个特征池，对所述特征池进 行优化，获得基的数量小于第一预设阈值，且重构误差小于第二预设阈值的字典。
8. 根据权利要求6或7所述的装置，其特征在于，所述字典中的每一个基对应一个权重 系数，其中，根据权重公式确定所述权重系数的初始值，所述权重公式为：
其中，所述Mf表示字典中第i基的初始权重系数；所述#表示所述字典中每个基对应 系数的累加和；所述Xitl表示初始选择向量的第i维；所述P°表示由，组成的矩阵；所述II3 01I；!表示取Ll范数;所述IIXi01 12表示取L2范数。
9. 根据权利要求8所述的装置，其特征在于，所述重构系数计算模块用于通过预置的 字典，根据重构系数求解公式计算用所述字典中的最少数目的基，表征所述待检测视频流 的高层次表示信息时的重构系数； 其中，所述重构系数求解公式为：
其中，？表示重构系数；y表示所述待检测视频流的包含时空信息描述的高层次表示； 所述〇表示所述字典；所述W表示所述权重系数构成的矩阵，X表示权重向量；A表示惩 罚系数。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括： 更新模块，用于当确定所述待检测视频流中不存在异常事件时，根据所述待检测视频 流的重构系数和权重系数更新公式更新目标基的权重系数，其中，所述目标基为按照从大 到小的顺序排列，排列靠前的前K个权重系数对应的基； 其中权重系数更新公式为：
其中，所述Mf1表示第i个基第t+1次迭代后的权重系数；所述表示用所述字典表 征所述待检测视频流时，第i个基对应的重构系数值；所述t表示第t次迭代；所述t+1表 示第t+1次迭代，所述Pt+1表示由處+1构成的矩阵；所述X表示选择向量；所述Xi表示选 择向量X中的第i个选择向量。
【文档编号】G06K9/66GK104268594SQ201410493959
【公开日】2015年1月7日 申请日期:2014年9月24日 优先权日:2014年9月24日
【发明者】田永鸿, 陈峥莹, 王耀威, 黄铁军 申请人:中安消技术有限公司, 北京大学