异常行为检测方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种异常行为检测方法及装置。

背景技术：

人体异常行为检测，是计算机视觉领域中最活跃的研究课题之一，目前在超市、银行、运输中心以及医院的安保和预警的智能化方面有着广泛的应用前景。

现有技术中，人体异常行为检测方法，首先对自定义的正常行为和异常行为分别进行分析与建模，然后根据目标行为与正常行为和异常行为两者的相似程度来为目标行为进行分类，从而判断目标行为是否异常。其中，正常行为主要指日常生活中经常出现的表现正常的行为，如走路、小跑、拍手鼓掌等行为；而异常行为主要是与正常行为相反，其表现过于激烈的行为，如快跑、挥拳、挥手求救等行为。

但是，现有技术中的人体异常行为检测方法存在着效率和准确率低下的问题。

技术实现要素：

本发明实施例解决的技术问题是如何提高异常行为的效率和准确性。

为解决上述问题，本发明实施例提供了一种异常行为检测方法，所述方法包括：

获取待检测的n帧图像，n≥1且为整数；

分别提取n帧图像中的时空特征点；

基于所提取的时空特征点的信息，确定所述n帧图像中存在的人体异常行为。

可选地，所述分别提取n帧图像中的时空特征点，包括：

分别计算n帧图像中每帧图像中的像素点的hessian矩阵响应值；

当确定像素点的hessian矩阵响应值大于预设的响应值阈值且为局部极值点时，则将所述像素点作为时空特征点。

可选地，所述基于所提取的时空特征点的信息，确定所述n帧图像中存在的人体异常行为，包括：

基于从n帧图像所提取的时空特征点的信息，构建对应的时空特征点描述符向量；

基于所构建的时空特征点描述符向量，构建对应的关键词编码向量；

计算所构建的关键词编码向量与预设的异常行为关键词编码向量表中的异常行为关键词编码向量之间的距离；

当确定所构建的关键词编码向量与所述异常行为关键词编码向量表中任一异常行为关键词编码向量之间的距离大于预设的距离阈值时，确定对应行为为异常行为。

可选地，所述基于从n帧图像所提取的时空特征点的信息，构建对应的时空特征点描述符，包括：

以所提取的时空特征点为中心选取对应的时空立方体；

计算所述时空立方体中各个像素点的多维时空harr特征；

对所述时空立方体中各个像素点的多维时空harr特征进行求和，得到所述时空特征点对应的时空特征点描述符。

可选地，所述基于所构建的时空特征点描述符，构建对应的关键词编码向量，包括：

采用最大期望值法和高斯混合模型从所得到的时空特征点描述符提取对应的关键词编码向量。

本发明实施例还提供了一种异常行为检测装置，所述装置包括：

获取单元，适于获取待检测的n帧图像，n≥1且为整数；

提取单元，适于分别提取n帧图像中的时空特征点；

检测单元，适于基于所提取的时空特征点的信息，确定所述n帧图像中存在的人体异常行为。

可选地，所述提取单元，适于分别计算n帧图像中每帧图像中的像素点的hessian矩阵响应值；当确定像素点的hessian矩阵响应值大于预设的响应值阈值且为局部极值点时，则将所述像素点作为时空特征点。

可选地，所述检测单元，适于基于从n帧图像所提取的时空特征点的信息，构建对应的时空特征点描述符向量；基于所构建的时空特征点描述符向量，构建对应的关键词编码向量；计算所构建的关键词编码向量与预设的异常行为关键词编码向量表中的异常行为关键词编码向量之间的距离；当确定所构建的关键词编码向量与所述异常行为关键词编码向量表中任一异常行为关键词编码向量之间的距离大于预设的距离阈值时，确定对应行为为异常行为。

可选地，所述检测单元，适于以所提取的时空特征点为中心选取对应的时空立方体；计算所述时空立方体中各个像素点的多维时空harr特征；对所述时空立方体中各个像素点的多维时空harr特征进行求和，得到所述时空特征点对应的时空特征点描述符。

可选地，所述检测单元，适于采用最大期望值法和高斯混合模型从所得到的时空特征点描述符提取对应的关键词编码向量。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，通过待检测的n帧图像中的时空特征点进行提取，并基于所提取的时空特征点确定n帧图像中存在的异常行为，可以有效减少检测的数据量，且时空特征点可以有效克服了光照、遮挡、较小的视角变化等因素对于异常行为识别的影响，故可以提高异常行为检测的准确性和速度。

附图说明

图1是本发明实施例中的一种异常行为检测方法的流程图；

图2是本发明实施例中另一种异常行为检测方法的流程图；

图3是本发明实施例中的一种异常行为检测装置的结构示意图。

具体实施方式

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过待检测的n帧图像中的时空特征点进行提取，并基于所提取的时空特征点确定n帧图像中存在的异常行为，可以有效减少检测的数据量，且时空特征点可以有效克服了光照、遮挡、较小的视角变化等因素对于异常行为识别的影响，故可以提高异常行为检测的准确性和速度。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1示出了本发明实施例中的一种异常行为检测方法的流程图。如图1所示的异常行为检测方法，适于对视频流中存在的人体异常行为进行检测，具体可以包括如下的操作：

步骤s101：获取待检测的n帧图像。

在具体实施中，n为正整数，且可以根据实际的需要进行设置。

步骤s102：分别提取n帧图像中的时空特征点。

在具体实施中，时空特征点为视频中具有时空特性的兴趣点(stips)，其为连续时间段内的图像集i(x,y,t)中，在空间x方向、y方向和时间t方向上像素值均存在强烈变化的像素点。

步骤s103：基于所提取的时空特征点的信息，确定所述n帧图像中存在的人体异常行为。

在具体实施中，通过待检测的n帧图像中的时空特征点进行提取，并基于所提取的时空特征点确定n帧图像中存在的异常行为，可以有效减少检测的数据量，且时空特征点可以有效克服了光照、遮挡、较小的视角变化等因素对于异常行为识别的影响，故可以提高异常行为检测的准确性和速度。

下面将结合图2对本发明实施例中的异常行为检测方法进行进一步详细的介绍。

参见图2，本发明实施例中的一种异常行为检测方法，适于对视频流中存在的人体异常行为进行检测，具体可以采用如下的操作实现：

步骤s201：获取待检测的n帧图像。

步骤s202：分别提取n帧图像中的时空特征点；

在本发明一实施例中，为了寻找n帧图像中的时空特征点，可以首先分别计算n帧图像中各个像素点的hessian矩阵响应值，并将计算得到的各个像素点的hessian矩阵响应值与预设的响应值阈值进行比较；当确定像素点的hessian矩阵响应值大于预设的响应阈值，且为hessian矩阵响应函数的局部极值点时，确定所述像素点为时空特征点。其中，在计算像素点的hessian矩阵响应值时，可以采用如下的公式进行：

s＝|det(h)|(1)

其中，s表示像素点的hessian矩阵响应值，h表示对应像素点的hessian矩阵。

步骤s203：基于从n帧图像所提取的时空特征点的信息，构建对应的时空特征点描述符向量。

在具体实施中，在从n帧图像所提取的时空特征点的信息时，可以首先以所提取的时空特征点为中心选取对应的时空立方体。其中，所选取的时空立方体为所述时空特征点周期的m*m*n范围内像素点构成。

当选取时空特征点对应的时空立方体时，可以计算所选取的时空立方体中各个像素点的时空harr特征。在本发明一实施例中，为了更加准确、丰富的描述时空特征点的时空信息，采用由(lx,ly,lt,lyt,lxt,lxy,lxyt)构成的7种时空haar特征，并将所选取的时空立方体中各个像素点的7维时空haar特征向量进行直接求和操作，则得到对应的7维的描述符向量d为：

d＝[∑lx,∑ly,∑lt,∑lyt,∑lxt,∑lxy,∑lxyt](2)

在本发明一实施例中，为了使描述符适应不同的尺度、光照等，对计算得到的各维时空haar特征值进行最大最小值归一化，得到描述符的各维di最终为：

di＝di/normi(3)

且：

normi＝max(di)-min(di)，i＝1,2…7(4)

步骤s204：基于所构建的时空特征点描述符向量，构建对应的关键词编码向量。

在本发明一实施例中，当计算得到各个时空特征点对应的时空特征点描述符时，可以采用最大期望值法(em)和高斯混合模型从时空特征点描述符中的各维时空harr特征中提取对应的关键词，从而得到对应的关键词编码向量。

具体而言，可以采用如下的公式从时空特征点描述符中的各维时空harr特征中提取对应的关键词：

且：

其中，θ^t表示第t次迭代中的极大似然函数值，α表示一次迭代的结果，为某一观察值归属于第k类的概率，μ表示第k类的均值，n为样本容量，xi表示第i个观察量。

在每次迭代操作结束，得到该次迭代的结果，即均值、方差、归属类别的先验概率，再分别执行下一次迭代计算，直到样本集合不引起各个类别的似然函数值的明显变化为止，表明已经收敛或满足结束条件，可以结束迭代操作，从而得到n帧图像对应的关键词编码向量。

步骤s205：计算所构建的关键词编码向量与预设的异常行为关键词编码向量表中的异常行为关键词编码向量之间的距离。

在具体实施中，异常行为关键词编码向量表为采用异常行为训练集进行训练得到，其中包括不同的异常行为对应的关键词编码向量。换言之，异常行为关键词编码向量表中的关键词编码向量与异常行为一一对应。其中，异常行为关键词编码向量表的获取过程与上述n帧图像的关键词编码向量的过程类似，在此不再赘述。

在具体实施中，当计算得到n帧图像中的时空特征点对应的关键词编码向量时，可以将计算得到的关键词编码向量与所述异常行为关键词编码向量表中的各个关键词编码向量进行匹配，也即分别计算n帧图像中的时空特征点对应的关键词编码向量与异常行为关键词编码向量表中的各个异常行为关键词编码向量之间的距离。

其中，在计算n帧图像中的时空特征点对应的关键词编码向量与异常行为关键词编码向量表中的各个异常行为关键词编码向量之间的距离时，可以采用欧式距离、卡方测度、标量乘积、相对熵(kullback–leiblerdivergence，kl散度)等距离度量方法进行计算。在本发明一实施例中，采用欧式距离度量方法计算计算n帧图像中的时空特征点对应的关键词编码向量与异常行为关键词编码向量表中的各个异常行为关键词编码向量之间的距离。

步骤s206：判断计算得到的距离中是否存在大于预设的距离阈值的距离；当判断结果为是时，可以执行步骤s207；反之，则可以执行步骤s208。

在具体实施中，预设的距离阈值可以采用先验经验进行确定。

步骤s207：确定对应的行为为异常行为。

在本发明一实施例中，当采用欧氏距离度量方法计算所构建的关键词编码向量与所述异常行为关键词编码向量表中任一异常行为关键词编码向量之间的距离大于预设的距离阈值时，异常行为检测判决式可以描述为：

argmin(d(d,d'))>threshold(8)

其中，d(d,d')为n帧图像的关键词编码向量d和异常行为关键词编码向量表中的关键词编码向量d’之间的欧氏距离，threshold为预设的距离阈值。

因此，n帧图像的关键词编码向量d和异常行为关键词编码向量表中的关键词编码向量d’之间的欧氏距离满足判决式条件，即满足公式(8)时，认为该行为为异常行为。

在具体实施中，当确定对应的行为为异常行为时，可以根据异常行为关键词编码向量表对应的关键词编码向量对应的语义，确定对应的行为为何种异常行为，从而可以采取对应的措施对所确定的异常行为进行控制。

步骤s208：确定对应的行为为正常行为。

在具体实施中，当n帧图像的关键词编码向量d和异常行为关键词编码向量表中的关键词编码向量d’之间的欧氏距离不满足判决条件时，则认为该行为为正常行为。

上述对本发明实施例中的方法进行了详细的描述，下面将对上述的方法对应的装置进行介绍。

图3示出了本发明实施例中的一种异常行为检测装置的结构示意图。如图3所示，本发明实施例中的一种异常行为检测装置可以包括获取单元301、提取单元302和检测单元303，其中：

获取单元301，适于获取待检测的n帧图像，n≥1且为整数。

提取单元302，适于分别提取n帧图像中的时空特征点。

检测单元303，适于基于所提取的时空特征点的信息，确定所述n帧图像中存在的人体异常行为。

在本发明一实施例中，所述提取单元302，适于分别计算n帧图像中每帧图像中的像素点的hessian矩阵响应值；当确定像素点的hessian矩阵响应值大于预设的响应值阈值且为局部极值点时，则将所述像素点作为时空特征点。

在本发明一实施例中，所述检测单元303，适于基于从n帧图像所提取的时空特征点的信息，构建对应的时空特征点描述符向量；基于所构建的时空特征点描述符向量，构建对应的关键词编码向量；计算所构建的关键词编码向量与预设的异常行为关键词编码向量表中的异常行为关键词编码向量之间的距离；当确定所构建的关键词编码向量与所述异常行为关键词编码向量表中任一异常行为关键词编码向量之间的距离大于预设的距离阈值时，确定对应行为为异常行为。

在本发明一实施例中，所述检测单元303，适于以所提取的时空特征点为中心选取对应的时空立方体；计算所述时空立方体中各个像素点的多维时空harr特征；对所述时空立方体中各个像素点的多维时空harr特征进行求和，得到所述时空特征点对应的时空特征点描述符。

在本发明一实施例中，所述检测单元303，适于采用最大期望值法和高斯混合模型从所得到的时空特征点描述符提取对应的关键词编码向量。

采用本发明实施例中的上述方案，通过待检测的n帧图像中的时空特征点进行提取，并基于所提取的时空特征点确定n帧图像中存在的异常行为，可以有效减少检测的数据量，且时空特征点可以有效克服了光照、遮挡、较小的视角变化等因素对于异常行为识别的影响，故可以提高异常行为检测的准确性和速度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：rom、ram、磁盘或光盘等。

以上对本发明实施例的方法及系统做了详细的介绍，本发明并不限于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。