一种基于黎曼流形特征和LSTM网络相结合的交通异常事件检测方法

本发明涉及视频监控领域，首次将黎曼流形应用于交通异常事件检测领域。

背景技术：

交通异常事件检测的主要目的是自动的在交通监控视频中检测当前监控的图像中是否存在如逆行、违规变道、闯红灯等行为，并可以定位其发生的具体位置。交通异常检测技术能够帮助我们更好的实施交通监控，及时有效的通知相关人员进行突发情况的处理，省去了传统监控人员的大量人工操作，可以大幅提升监控效率。此外，通过对事故多发路段进行监控和分析，还可以推断其事故易发的原因，从而通过城市规划手段进行优化处理，减少有关路段的事故发生频率。

由于交通异常事件涉及大量的运动异常和外观异常，这些异常不仅反映在外观、运动的变化上，还体现在其变化率上，传统的特征提取方法，sf(socialforce，社会力)、dt(densetrajectory，稠密轨迹)等更加关注于单纯的外观或运动，而不能很好的反映外观、运动的变化率。为此，选择交通视频监控领域作为研究重点，针对大量交通监控视频构建大规模有标注数据库，利用流形学与深度学习算法相结合表征外观、运动的变化率，进一步完成交通异常事件检测，具有深远的研究意义。

技术实现要素：

本发明的目的是为了传统交通场景监控中，人工监控效率低下，检测费时费力的问题。

本发明是这样实现的，一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法，所述方法包括以下步骤：

将正常交通监控视频帧划分为多个不重叠的子区域，每个子区域将作为后续的异常检测模型的训练样本；

使用hog和hof对历史监控图像帧内的各个子区域进行特征提取，构成特征时间序列，其中hog将作为外观特征，而hof将作为运动特征；

使用isomap与黎曼流形相结合的方法对特征序列进行表示，反映对象的外观和运动变化规律；

使用lstm网络，作为特征预测网络，对当前时刻的hog和hof特征进行预测，从而捕捉正常事件特征的时序变化规律；

再次使用isomap与黎曼流形相结合的方法对加入预测后的特征进行表示，得到当前时刻的预测流形特征，致使流形特征可以表征外观和运动变化率；

针对测试视频，同样将视频帧划分为多个不重叠的子区域，提取其hog、hof特征，并使用训练好的lstm网络对当前时刻的特征进行预测，同时得到包含预测特征的流形表示；

设计了一个异常得分计算方法，考虑了预测特征和实际特征之间的区别，并考虑了预测流形和实际流形之间的差异，根据设计好的异常得分计算异常得分，最终那些异常得分超过阈值的子区域将被视为异常区域，而异常得分则表示了当前子区域的异常程度。

附图说明

图1，本发明的模型整体框架图；

图2，本发明的特征提取与流形表示方法流程图；

图3，本发明的流形表示方法实施细节的流程图；

图4，本发明使用的用于特征预测的单向单层lstm网络结构图；

图5，本发明提供的交通异常事件检测系统的原理框图；

图6，本发明使用的装置系统、存储介质和电子设备的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出的基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法使用正常监控视频作为训练集，将视频帧划分为若干不重叠的子区域，对相同位置不同时刻的每个子区域提取hog和hof特征，这些特征将分别构成两个流形，用于反映外观变化和运动变化。同时及将每个时刻的特征作为lstm的每个时间步的输入，以当前时刻的特征作为期望输出，同时得到预测的流形。在后续的测试阶段，同样将测试视频划分为若干个不重叠的子区域，使用训练好的lstm网络进行特征预测，并根据设计好的异常得分来判断当前区域是否存在异常事件。

图1示出了本发明第一实施例提供的基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法的流程，包括以下步骤：

s1:对于正常交通视频的帧图像，划分为若干个不重叠的子区域，并对每个子区域提取hog作为外观特征，提取hof作为运动特征，对于同一位置处连续20帧的子区域特征使用isomap得到特征的流形表示。

进一步地，如图2所示，步骤s1又包括：

步骤s11：对正常的交通监控视频进行子区域划分，每个子区域互不重叠，且大小为16×16，不满16个像素的边缘使用“镜像补全”的方式进行补充。

步骤s12：对于每个子区域提取hog特征，作为该区域的外观特征。

为了计算hog特征，首先计算当前子区域每个像素的梯度大小和方向，然后根据每个像素的梯度方向划分到若干个统计窗口内，在本方法中划分为16个统计窗口内。

步骤s13：对于每个子区域提取hof特征，作为该区域的运动特征。

为了计算hof特征，建立光流估计方程，计算光流矢量与横轴的夹角，根据角度值将其投影到若干个统计窗口内，在本方法中划分为16个统计窗口内。

步骤s14：为了进一步得到能够反映外观变化、运动变化的特征，本发明使用黎曼流形对先前提取到的hog和hof特征进行进一步特征表示，具体流程如图3所示。

步骤s1401：取同一位置连续n时刻(本发明中取n＝20)的子区域所提取的特征组成矩阵l∈r^k×n。假定n个特征之间的距离在原始流形中的距离矩阵为d∈r^n×n，期望可以找到一个低维矩阵z∈r^m×n表示特征矩阵l。

步骤s1402：对特征矩阵l执行去中心化。

步骤s1403：使用迪杰斯特拉算法得到距离矩阵d，假设第i个特征和第j个特征在原始流形中的距离为dist[i,j]，而在z中为||zi-zj||，其中zi为z中的第i行的元素。为保证降维后特征点之间的相对位置不发生变化，有：

dist[i,j]＝||zi-zj||

令b＝z^tz，则可得：

可得：

以及：

还有：

最后可得：

对b进行奇异值分解，并取前q个特征值和特征向量得：b^*＝v^*λ^*1/2λ^*1/2v^*t＝z^*z^*t

步骤s1404：得到降维后的的z^*＝λ^*1/2v^*t，z^*中的每一列就对应了一个时刻某个补丁的hog特征或者hof特征在低维空间上的映射。

s2：对训练视频进行子区域划分，并完成hog、hof特征提取后，将相同位置不同时刻的区域的特征作为lstm不同的时间步的输入，训练一个能够以当前时刻该子区域特征为输出的lstm特征预测网络。

其中本发明所使用的lstm网络是一个单向单层的lstm网络，其网络结构如图4所示，其各时间步输入为相同位置处不同时刻的hog特征和hof特征所拼接起来的向量，其大小为1×32，并以最后一个时间步的隐藏层输出ht作为当前时刻该区域的hog和hof的预测输出。

为保证在训练时能够使lstm网络具有较好的特征预测效果，选用实际特征和预测特征之间的均方误差(mse)损失以及实际流形和预测特征的流形表示之间的峰值信噪比(psnr)作为网络的损失函数，同时选用adam算法进行网络迭代优化，其中损失函数为：

为实际的hog特征，为预测的hog特征，为实际的hof特征，为预测的hof特征，为实际hog组成的流形，为预测hog组成的流形，为实际hof组成的流形，为预测hof组成的流形，λ1～λ4为超参数。

更进一步的，峰值信噪比(psnr)的计算方法为：zmax为一个较大的固定值。

s3：完成了lstm特征预测网络训练之后，在测试阶段的异常检测中，同样使用特征预测的方法，并使用设计的异常得分对当前子区域进行异常评估。

进一步的，如图5所示，步骤s3具体包括如下步骤：

s31：首先仍然将测试视频划分为若干个子区域，每个子区域互不重叠，且大小为16×16，不满16个像素的边缘使用“镜像补全”的方式进行补充。

s32:对于每个子区域提取hog特征，作为该区域的外观特征。

s33:对于每个子区域提取hof特征，作为该区域的运动特征。

s34：将连续20个历史时刻的相同位置处子区域的hog和hof特征拼接起来，作为训练好的lstm网络各时间步的输入，以当前时刻该位置处的特征作为输出。

s35：将预测到的特征与历史特征按照步骤s14的方法构建可以反映包括预测特征变化率在内的黎曼流形。

s36：同样计算预测特征和实际特征的均方误差(mse)，以及预测流形和实际流形的峰值信噪比(psnr)来完成异常得分计算。具体而言：

外观异常得分为，为实际hog特征，为预测hog特征；

运动异常得分为，为实际hof特征，为预测hof特征；

外观流形异常得分为，为实际hog组成的黎曼流形在低维空间的表示，为预测hog组成的黎曼流形在低维空间的表示；

运动流形异常得分为，为实际hof组成的黎曼流形在低维空间的表示，为预测hof组成的黎曼流形在低维空间的表示；

更进一步的，峰值信噪比(psnr)的计算方法为：zmax为一个较大的固定值。

最终整体的异常得分为：

其中λ1～λ4为超参数，在本发明中建议取λ1＝λ2＝0.4，λ3＝λ4＝0.1。

s37：在计算完子区域的异常得分后，将使用预设的阈值对当前子区域进行判断，决定当前区域内是否存在异常事件，进一步的，阈值判断方法如下：

当前子区域：

综上所述，本发明所提出的一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法在训练阶段是将正常视频划分为多个不重叠的子区域，并对每个子区域进行hog和hof特征提取，求解相同位置不同时刻的特征组成的流形表示。同时相同位置处不同时刻的特征将用于训练一个单层单方向的lstm网络，用于预测当前时刻该区域的特征。同时，预测的特征也将使用同种方法得到预测特征的流形表示，lstm网络的训练目标为使得预测的hog、hof特征以及特征的流形表示与实际的hog、hof特征以及特征的流形表示足够接近。在测试阶段，将测试视频按同样的方式划分为不重叠的子区域，同样提取测试样本的hog和hof特征，求解相同位置不同历史时刻特征组成的流形表示。并将历史时刻同一位置不同时刻的特征送入训练好的lstm网络的各个时间步中，预测当前时刻该区域的特征，并构成预测特征的流形表示，最终对当前区域计算异常得分，判断当前区域是否包括异常事件。

参考图6，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。