复杂环境下基于深度学习的异常检测方法与流程

本发明涉及一种复杂环境下基于深度学习的异常检测方法。

背景技术：

一般来说，异常检测是指检测环境中的异常行为或者不符合预期行为的数据。随着深度学习在人工智能领域的推广，使得在诸如地铁、体育场、机场等复杂环境中的异常检测得到了计算机视觉技术的广泛应用，然而这类高密度环境给异常检测带来了巨大的挑战。面对大量物体不断的无规则运动，如何解决物体相互间的干扰问题，如何在多物体运动轨迹相互影响的情况下检测异常，已成为目前异常检测研究中所面临的一个重要问题。

异常可以是罕见的外形或者动作，在已有的研究成果中，通过机器学习获得一个正常视频帧区域，并把这个区域作为参考模型，参考模型包含正常事件或者正常训练数据集。在测试阶段，研究人员把不同于参考模型的区域视作异常。然而这种非标准的参考模型往往很难准确的定义，因为存在具有特殊属性的正常事件，此外，很难准备涵盖不同领域的大量数据集进行训练。

目前在复杂环境中进行异常检测的方法主要有以下两种：1)基于轨迹法：如果一个物体没有按照正常轨迹运动或者它出现的频率更低，则被称作异常；2)基于动作法：跟正常运动物体相比较，异常物体有明显不同的动作模式。

复杂环境中的异常检测问题可以归结为构建深度学习模型进行异常检测问题，其研究难点在于如何设计带有静态数据、序列数据和空间数据的学习模型，如何将数据有效的应用到学习模型中。尤其是现有技术主要负责检测单个物体的时空特征，并未考虑复杂环境下相邻个体运动轨迹存在互相干扰的情况，使得异常检测效果不理想。因此，设计一种深度学习模型在复杂环境中进行异常检测的方法具有重要的理论意义和应用价值。但是，现有技术中尚无相关描述。

技术实现要素：

本发明的目的是提供一种复杂环境下基于深度学习的异常检测方法，能够在相邻个体运动存在相互影响的情况下，降低对图像的误检率，尤其在拥挤环境中进行异常检测具有更良好的表现，为解决复杂环境中的异常检测问题提供了一种新的思路，解决现有技术中存在的未考虑复杂环境下相邻个体运动轨迹存在互相干扰的情况，使得异常检测效果不理想的问题。

本发明的技术解决方案是：

一种复杂环境下基于深度学习的异常检测方法，通过长短期记忆模型进行多物体轨迹追踪，之后捕捉相邻个体间的非线性时空动作并预测它们未来的运动轨迹，根据个体未来运动轨迹的异常概率来完成异常检测，具体包括以下步骤：

步骤1、将卷积神经网络回归法提取的物体时空特征输入lstm模型，追踪复杂环境中多物体的运动轨迹；

步骤2、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹；

步骤3、根据个体未来运动轨迹的异常概率来完成异常检测。

进一步地，步骤1具体为：

步骤11、将卷积神经网络回归法提取的物体时空特征输入lstm模型；引入yolo将物体检测作为回归问题求解，完成从原始图像的输入到图像中所有物体的位置和其所属类别及相应的置信概率的输出，将通过yolo得到的特征向量作为lstm模型的输入帧；输入帧函数为其中，ф(xt)表示lstm模型的输入帧函数，xt为在时间t时的原始图像输入帧，convθc(.)为参数是θc的卷积神经网络，表示在前一帧xt-1预测的物体位置；

步骤12、追踪复杂环境中多物体的运动轨迹；lstm模型是深度递归网络，用于回归物体边界框的像素亮度和位置，将它们作为原始输入帧进行逐帧检测和追踪，全程轨迹追踪概率的数学表达式为其中，bt和xt分别是在最大时间t时物体位置和输入帧，bt则是表示在时间t物体的位置，且1≤t≤t，b<t是在时间t之前所有的位置，x≤t是到时间t为止所有的输入帧。

进一步地，步骤2具体为：

步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，具体为：

步骤211、判断两个相邻物体在时空域的两条运动轨迹是否相干，具体是如果两个动态物体的运动轨迹在时空域相干，即当相邻物体相对速度保持不变时，则它们具有相似的隐态；

步骤212、对于每一个物体的运动轨迹，lstm模型将创建并追踪物体的一系列非线性时空动作，通过相干正则化整合自身物体和相邻物体状态，从而更新lstm模型存储单元状态，相干正则化表达式为：其中，ct代表存储单元状态信息累加器，ft为遗忘门，用来重置存储单元状态，如果遗忘门被激活，那么上一时间的存储单元状态ct-1将被忘记，⊙代表数组操作；it为输入门，在当前时间输入xt和上一时间的隐藏层ht-1被激活；w为权矩阵，wxc为递归存储单元态输入矩阵，whc递归隐态输入矩阵，bc为偏差向量；η代表相邻物体的轨迹和时空特征，λj(t)是物体间的依赖权值，f^jt和c^jt-1分别是lstm模型相干物体的当前遗忘门状态和上一时间存储单元状态；

步骤22、评估相邻个体间运动轨迹的依赖性，具体包括以下步骤：

步骤221、通过lstm模型的隐态信息获得相邻个体运动的时变特性；

步骤222、使用成对速度相关性评估相邻个体间运动轨迹的依赖性，相邻个体间运动轨迹依赖性的权值λj(t)的表达式为：

其中，i和j表示相邻个体的运动轨迹，vi(t)和vj(t)表示相邻物体各自的速度，σ为归一化常数，两个速度值相乘并且通过归一化常数进行归一化运算，γi用于求得依赖性权值，当相邻个体的运动轨迹i和j偏差越大时，λj(t)的值越趋近于0，当相邻个体运动轨迹i和j相似度越高时，λj(t)的值越趋近于1；

步骤23、采用编码-解码框架训练lstm模型预测物体未来的运动轨迹。

进一步地，步骤23具体为：

步骤231、通过学习训练，基于lstm模型的编码器将运动轨迹的输入映射到一个定长向量，在编码阶段的隐式向量用表达式描述为：ht＝lstme(zt,ht-1)，ht为当前时间隐式向量，lstme表示基于lstm模型的编码器将物体运动轨迹的输入zt映射到上一时间隐式向量ht-1；

步骤232、在学习训练中，基于lstm模型的解码器利用定长隐式向量预测物体未来的运动轨迹，隐式向量表达式为：lstmd表示基于lstm模型的解码器利用上一时间隐式向量ht-1获得当前时间隐式向量ht之后，通过当前时间物体运动轨迹输入zt预测作为输出的下一时间物体运动轨迹

本发明的有益效果是：该种复杂环境下基于深度学习的异常检测方法，与现有技术相比，其显著优点为：

一、现有技术误检率较高，本发明所述的将卷积神经网络回归法提取的物体时空特征输入lstm模型，通过引入yolo将物体检测作为回归问题求解，从而降低对于图像的误检率。

二、现有技术主要是检测单个物体的时空特征，并未考虑复杂环境下相邻个体运动轨迹存在相互干扰的情况，本发明所述的lstm模型，通过评估相干个体间的依赖性，使用编码解码框架预测物体未来运动轨迹，从而优化了异常检测系统的时空鲁棒性，能够在对多物体运动进行异常检测时获得更精确的结果。

附图说明

图1是物体运动轨迹追踪过程概述图。

图2是lstm模型中相邻个体间的关系图。

图3是lstm模型的编码-解码框架图。

图4是卷积神经网络在拥挤街道上追踪不可见序列轨迹图。

图5是实施例复杂环境下基于深度学习的异常检测方法的时间鲁棒性tre(temporalrobustnessevaluation)评估图。

图6是实施例复杂环境下基于深度学习的异常检测方法的空间鲁棒性sre(spatialrobustnessevaluations)评估图。

图7是实施例复杂环境下基于深度学习的异常检测方法的异常检测准确率图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例的一种复杂环境下基于深度学习的异常检测方法，通过长短期记忆模型进行多物体轨迹追踪和捕捉相邻个体的非线性时空动作并预测它们未来的运动轨迹两个部分。在通过长短期记忆模型(lstm)进行多物体轨迹追踪中，通过引入yolo(只需看一眼youonlylookonce-一种实时快速目标检测技术)检测，将卷积神经网络回归法提取的物体时空特征输入lstm模型，追踪复杂环境中多物体的运动轨迹；在捕捉相邻个体间的非线性时空动作并预测它们未来的运动轨迹中，在多物体无规则运动的情况下，评估相邻个体间运动轨迹的依赖性，预测物体未来的运动轨迹，根据个体未来运动轨迹的异常概率来完成异常检测。本发明提出的异常检测方法可以在相邻个体运动存在相互影响的情况下，降低对图像的误检率，尤其在拥挤环境中进行异常检测具有更良好的表现，为解决复杂环境中的异常检测问题提供了一种新的思路。

实施例

一种复杂环境下基于深度学习的异常检测方法，首先通过长短期记忆模型(lstm)进行多物体轨迹追踪，通过引入yolo训练和检测，收集物体的时空特征以及对物体运行轨迹初步推断，将卷积神经网络回归法提取的物体时空特征输入lstm模型，追踪复杂环境中多物体的运动轨迹；之后捕捉相邻个体间的非线性时空动作，在多物体无规则运动的情况下，评估相邻个体间运动轨迹的依赖性，预测物体未来的运动轨迹，从而根据个体未来运动轨迹的异常概率完成异常检测。具体包括以下步骤：

步骤1、将卷积神经网络回归法提取的物体时空特征输入lstm模型，追踪复杂环境中多物体的运动轨迹，图1为物体运动轨迹追踪过程的概述图。

步骤11、将卷积神经网络回归法提取的物体时空特征输入lstm模型；引入yolo将物体检测作为回归问题求解，完成从原始图像的输入到图像中所有物体的位置和其所属类别及相应的置信概率的输出，将通过yolo得到的特征向量作为lstm模型的输入帧；输入帧函数为其中，ф(xt)表示lstm模型的输入帧函数，xt为在时间t时的原始图像输入帧，convθc(.)为参数是θc的卷积神经网络，表示在前一帧xt-1预测的物体位置；

步骤12、追踪复杂环境中多物体的运动轨迹；lstm模型是深度递归网络，用于回归物体边界框的像素亮度和位置，将它们作为原始输入帧进行逐帧检测和追踪，全程轨迹追踪概率的数学表达式为其中，bt和xt分别是在最大时间t时物体位置和输入帧，bt则是表示在时间t物体的位置，且1≤t≤t，b<t是在时间t之前所有的位置，x≤t是到时间t为止所有的输入帧。

步骤2、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹。

步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作。

步骤211、判断两个相邻物体在时空域的两条运动轨迹是否相干，具体是如果两个动态物体的运动轨迹在时空域相干，即当相邻物体相对速度保持不变时，则它们具有相似的隐态。

步骤212、对于每一个物体的运动轨迹，lstm模型将创建并追踪物体的一系列非线性时空动作，通过相干正则化整合自身物体和相邻物体状态，从而更新lstm模型存储单元状态，相干正则化表达式为：其中，ct代表存储单元状态信息累加器，ft为遗忘门，用来重置存储单元状态，如果遗忘门被激活，那么上一时间的存储单元状态ct-1将被忘记，⊙代表数组操作；it为输入门，在当前时间输入xt和上一时间的隐藏层ht-1被激活；w为权矩阵，wxc为递归存储单元态输入矩阵，whc递归隐态输入矩阵，bc为偏差向量；η代表相邻物体的轨迹和时空特征，λj(t)是物体间的依赖权值，f^jt和c^jt-1分别是lstm模型相干物体的当前遗忘门状态和上一时间存储单元状态；

步骤22、评估相邻个体间运动轨迹的依赖性，图2描述的是lstm模型中相邻个体间的关系。

步骤221、通过lstm模型的隐态信息获得相邻个体运动的时变特性；

步骤222、使用成对速度相关性评估相邻个体间运动轨迹的依赖性，相邻个体间运动轨迹依赖性的权值λj(t)的表达式为：

其中，i和j表示相邻个体的运动轨迹，vi(t)和vj(t)表示相邻物体各自的速度，σ为归一化常数，两个速度值相乘并且通过归一化常数进行归一化运算，γi用于求得依赖性权值，当相邻个体的运动轨迹i和j偏差越大时，λj(t)的值越趋近于0，当相邻个体运动轨迹i和j相似度越高时，λj(t)的值越趋近于1；

步骤23、如图3所示，采用编码-解码框架训练lstm模型预测物体未来的运动轨迹。

步骤231、通过学习训练，基于lstm模型的编码器将运动轨迹的输入映射到一个定长向量，在编码阶段的隐式向量用表达式描述为：ht＝lstme(zt,ht-1)，ht为当前时间隐式向量，lstme表示基于lstm模型的编码器将物体运动轨迹的输入zt映射到上一时间隐式向量ht-1。

步骤232、在学习训练中，基于lstm模型的解码器利用定长隐式向量预测物体未来的运动轨迹，隐式向量表达式为：lstmd表示基于lstm模型的解码器利用上一时间隐式向量ht-1获得当前时间隐式向量ht之后，通过当前时间物体运动轨迹输入zt预测作为输出的下一时间物体运动轨迹

步骤3、由步骤2得到的个体未来运动轨迹得出个体未来运动轨迹的异常概率,根据个体未来运动轨迹的异常概率来完成异常检测。

实验验证分析如下：

使用人工智能学习系统tensorflow运行不同的数据集检测、追踪和识别异常物体，在yolo检测和lstm模型进行训练的画面分别是20fps(framespersecond)和60fps。根据步骤1追踪复杂环境中多物体的运动轨迹，为了避免过拟合问题，深度学习结构要求对大量的数据集进行训练，所以提前把卷积神经网络放在目前世界上图像识别最大的数据库imagenet中进行数据训练，然后使用lstm模型在一个更小的数据集pascalvoc2012上进行微调(fine-tuning)，数据集pascalvoc2012可以检测20个不同类别的物体。图4为通过卷积神经网络在拥挤街道上追踪不可见序列轨迹图。

步骤2在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作，评估相邻个体间运动轨迹的依赖性，预测它们未来的运动轨迹的具体步骤如下：

步骤21、在多物体无规则运动的情况下捕捉相邻个体的非线性时空动作。

lstm模型在otb-30数据集中进行训练和测试。80％的数据用在训练阶段，剩余的20％用在实验测试阶段，为了得到更好的实验结果，对模型进行了逐项训练。实验结果如图5和图6所示。由图5和图6可知，在时间和空间鲁棒性评估上，提出的方法都优于其他轨迹追踪方法。

步骤22、评估相邻个体间运动轨迹的依赖性，步骤23、采用编码-解码框架训练lstm模型预测物体未来的运动轨迹，实验用到步长(stepsize)的概念，步长表示基于lstm模型的编码-解码框架对未来轨迹进行预测时考虑的之前所有帧的数量，实验结果如图7所示。图7表示在步长变化的情况下，提出的方法依据检测评价函数intersection-over-union(iou)画出的异常检测准确率图。

由上可知，实施例方法无论是在时空鲁棒性还是误检率上，相较其他算法都具有优势，尤其在多物体运动轨迹相互影响的复杂环境下，优势更为明显，从而验证了实施例方法的有效性。