一种基于视频的打架斗殴行为检测方法、装置与流程

本发明涉及计算机生物识别技术领域，特别涉及一种基于视频的打架斗殴行为检测方法、装置。

背景技术：

随着经济的发展和科技的进步，智能监控技术也不断提高。然而，在广场、宾馆、道路等公共场所的打架斗殴行为检测作为智能监控领域的重要问题之一，具有广泛的应用需求。但现有的检测方法多是针对简单场景，甚至假定打架行为的模式，但打架事件发生的场景往往是复杂的，打架行为的模式也是难以用少量规则描述的，所以这类方法难以保证大范围的有效性。例如：现有技术中可以通过采用帧差法捕获运动人体轮廓，检测时空兴趣点；判断第二步检测到的时空兴趣点个数；提取有效时空兴趣点集；计算有效时空点集的质心和所有点的平均离心距离；计算质心位移量；计算相邻若干帧的质心平均位移；若质心平均位移大于阈值，打架等级增1，否则，打架等级减1；根据打架等级判断是否发生打架行为。

然而，在发明人实现打架斗殴行为检测的过程中，发现现有技术中至少存在如下问题：

现有技术中仅凭时空兴趣点的数目和密集程度以及质心位移来判断是否发生打架行为，很难有效区分真实的打架和其它较为复杂的运动行为，使得打架斗殴检测的准确率不高。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种基于视频的打架斗殴行为检测方法，包括：

获取视频当前帧图像以及邻近的至少两帧图像；

根据所述视频当前帧图像以及邻近的至少两帧图像，获取至少两个尺度上的所述当前帧图像对应的时空兴趣点；

将所述至少两个尺度上的所述当前帧图像对应的时空兴趣点添加到兴趣点的动态池；

获取所述动态池内所有时空兴趣点特征，特征词典及打架分类器；

根据所述特征词典，获取所述动态池内所有时空兴趣点特征的特征词直方图；

根据所述打架分类器，获取所述当前特征词直方图所属类别；

根据所述当前特征词直方图所属类别，确定所述当前帧图像是否为打架事件。

优选地，获取所述动态池内所有时空兴趣点特征的步骤，具体包括：

预设定时器的时间；

判断所述动态池中时空兴趣点与所述当前帧图像对应的时空兴趣点之间的时间维度是否超出所述定时器的时间；如果超时，则删除所述动态池中对应的时空兴趣点；如果未超时，则继续判断所述动态池内时空兴趣点的个数是否小于预设值；如果所述时空兴趣点的个数小于预设值，则将类别标志清0；如果所述时空兴趣点的个数不小于预设值，则提取所述动态池内所有时空兴趣点特征。

优选地，该方法还包括：

如果所述当前帧图像为打架事件，则将类别标志置1，否则将所述类别标志清0；

将所述类别标志加入类别标志动态队列；

设置动态队列的有效时间；

根据所述有效时间，判断所述类别标志动态队列中的类别标志是否有效；

如果所述类别标志动态队列中的类别标志超过了有效时间，则将其删除；否则统计所述类别标志动态队列中所述类别标志为1的个数，如果所述类别标志为1的个数超过所述类别标志动态队列长度的80％，则判定当前发生打架事件，并发出警报；如果所述类别标志为1的个数小于队列长度的20％， 则判定打架事件结束，并取消警报。

优选地，该方法还包括：

获取所述特征词典的训练视频集；所述特征词典的训练视频集包括：至少两段训练视频段；所述训练视频段中包括：场景变化和动态内容；其中：所述动态内容中打架视频内容占比在20％－30％之间；

在至少两个尺度上检测训练视频集中各个训练视频段中时空兴趣点，并提取相应的特征，存入所述兴趣点的动态池；

获取所述特征词典。

优选地，该方法还包括：

获取所述打架分类器的训练视频集；所述打架分类器的训练视频集包括：至少两段训练视频段；所述训练视频段中带有打架或非打架类别标记；

在至少两个尺度上检测训练视频集中各个训练视频段中时空兴趣点，并提取相应的特征以及其对应类别标记，获取所述打架分类器。

另一方面，本发明提供了一种基于视频的打架斗殴行为检测装置，包括：

图像获取单元，用于获取视频当前帧图像以及邻近的至少两帧图像；

兴趣点获取单元，用于根据所述视频当前帧图像以及邻近的至少两帧图像，获取至少两个尺度上的所述当前帧图像对应的时空兴趣点；

添加单元，用于将所述至少两个尺度上的所述当前帧图像对应的时空兴趣点添加到兴趣点的动态池；

信息获取单元，用于获取所述动态池内所有时空兴趣点特征，特征词典及打架分类器；

直方图获取单元，用于根据所述特征词典，获取所述动态池内所有时空兴趣点特征的特征词直方图；

类别获取单元，用于根据所述打架分类器，获取所述当前特征词直方图所属类别；

事件确定单元，用于根据所述当前特征词直方图所属类别，确定所述当前帧图像是否为打架事件。

本发明技术方案通过获取视频当前帧图像以及邻近的至少两帧图像；根 据所述视频当前帧图像以及邻近的至少两帧图像，获取至少两个尺度上的所述当前帧图像对应的时空兴趣点；将所述至少两个尺度上的所述当前帧图像对应的时空兴趣点添加到兴趣点的动态池；获取所述动态池内所有时空兴趣点特征，特征词典及打架分类器；根据所述特征词典，获取所述动态池内所有时空兴趣点特征的特征词直方图；根据所述打架分类器，获取所述当前特征词直方图所属类别；根据所述当前特征词直方图所属类别，确定所述当前帧图像是否为打架事件，提高了打架斗殴行为的检测准确率。

附图说明

图1为本发明实施例提供的一种基于视频的打架斗殴行为检测方法流程图；

图2为本发明实施例提供的一种基于视频的打架斗殴行为检测方法中特征词典训练流程图；

图3为本发明实施例提供的一种基于视频的打架斗殴行为检测方法中打架分类器训练流程图；

图4为本发明实施例提供的一种基于视频的打架斗殴行为检测装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1为所示为本发明实施例提供的一种基于视频的打架斗殴行为检测方法；该方法包括：

101：获取视频当前帧图像以及邻近的至少两帧图像；

102：根据所述视频当前帧图像以及邻近的至少两帧图像，获取至少两个尺度上的所述当前帧图像对应的时空兴趣点；

103：将所述至少两个尺度上的所述当前帧图像对应的时空兴趣点添加到兴趣点的动态池；

104：获取所述动态池内所有时空兴趣点特征，特征词典及打架分类器；

105：根据所述特征词典，获取所述动态池内所有时空兴趣点特征的特征词直方图；

106：根据所述打架分类器，获取所述当前特征词直方图所属类别；

107：根据所述当前特征词直方图所属类别，确定所述当前帧图像是否为打架事件。

需要说明的是，所述获取所述动态池内所有时空兴趣点特征的步骤，具体包括：

预设定时器的时间；

判断所述动态池中时空兴趣点与所述当前帧图像对应的时空兴趣点之间的时间维度是否超出所述定时器的时间；如果超时，则删除所述动态池中对应的时空兴趣点；如果未超时，则继续判断所述动态池内时空兴趣点的个数是否小于预设值；如果所述时空兴趣点的个数小于预设值，则将类别标志清0；如果所述时空兴趣点的个数不小于预设值，则提取所述动态池内所有时空兴趣点特征。

基于以上实施例，如图2所示，为本发明实施例提供的一种基于视频的打架斗殴行为检测方法中特征词典训练流程图；所述特征词典训练流程如下：

201：获取所述特征词典的训练视频集；所述特征词典的训练视频集包括：至少两段训练视频段；所述训练视频段中包括：场景变化和动态内容；其中：所述动态内容中打架视频内容占比在20％－30％之间；

202：在至少两个尺度上检测训练视频集中各个训练视频段中时空兴趣点，并提取相应的特征，存入所述兴趣点的动态池，获取所述特征词典。

基于以上实施例，如图3所示，为本发明实施例提供的一种基于视频的打架斗殴行为检测方法中打架分类器训练流程图；所述打架分类器训练流程如下：

301：获取所述打架分类器的训练视频集；所述打架分类器的训练视频集包括：至少两段训练视频段；所述训练视频段中带有打架或非打架类别标记；

302：在至少两个尺度上检测训练视频集中各个训练视频段中时空兴趣点，并提取相应的特征以及其对应类别标记，获取所述打架分类器。

基于以上实施例，以下对基于视频的打架斗殴行为检测方法流程进行详细说明：

第一步：获取视频当前帧以及邻近若干帧图像；

第二步：对当前帧图像以及邻近若干帧图像在多个尺度上，获取时空兴趣点，所述时空兴趣点应该是在时间维和空间维上都出现剧烈变化的点，多尺度检测可以保证系统的尺度不变性；例如：时间尺度可以设置为1，2；空间尺度可以设置为1，2，4，8，16；所述时间尺度与所述空间尺度相乘后共计为10个尺度的时空兴趣点；所述时空兴趣点检测过程具体可以如下：

对原始图像序列进行时空高斯卷积；

定义时间和空间独立的高斯卷积核；如下式(1)

其中σl，τl分别是高斯卷积核在空间维和时间维的方差；x，y表示空间维度参数；t表示时间维度参数；

对原始图像序列进行时空高斯卷积l；如下式(2)

f(x,y,t)表示图像序列；

计算second－moment矩阵；如下式(3)

定义差分函数；如下式(4)

计算时空域harris角点响应函数，并取得具有局部正极大值的点，即时 空感兴趣点h；如下式(5)

h＝det(μ)-ktrace³(μ)＝λ1λ2λ3-k(λ1+λ2+λ3)³(5)

λ1，λ2，λ3分别是second－moment矩阵的特征值，当k是一个充分大的正数(如k＝0.005)时，h的局部极大值点即代表在空间和时间三个维度上变化都很大的点。

第三步将当前帧及邻近帧获取到的时空兴趣点加入时空兴趣点动态池，并删除动态池中已经超时的时空兴趣点，超时是指时空兴趣点所在帧与当前帧在时间维上距离较远；例如：一般情况下10s以前的点可视作超时，即可以删除；

第四步提取新近加入动态池的时空感兴趣点的特征，具体方法为：以时空感兴趣点为中心，取得特定时间和空间尺寸的长方体作为该兴趣点的局部描述域，进一步对长方体邻域网格化，计算每一个网格内的梯度或光流等的直方图，然后将所有直方图连接起来；

第五步如果动态池中时空兴趣点的数目小于设定值，则跳转到第九步，并直接将类别标志清0，否则，进入下一步；

第六步判断特征词典是否训练好，如果是，进入下一步，否则，训练特征词典。

特征词典是时空兴趣点特征空间的聚类中心的集合，可通过对训练集中抽取的时空兴趣点特征应用聚类算法或随机抽取得到。本发明技术特征词典的构建可以采用k－means聚类算法，聚类中心数设置为2000，距离度量采用欧氏距离。

第七步计算动态池中所有时空兴趣点特征的特征词直方图。具体方法为：首先计算待识别视频的每个时空特征与所有特征词的距离，将时空特征分配给离其最近的特征词，然后统计属于每个特征词的时空特征的个数，得到特征词直方图，并将直方图归一化得到该视频片段的表示。

第八步判断打架分类器是否训练好，如果是，进入下一步，否则，训练打架分类器。

打架分类器工作在特征词直方图空间上，用于区分打架事件和其它事件，svm、随机树等分类算法都可胜任。本专利采用了高斯核svm，对普通安防场景下的打架事件和其他日常运动的分类准确率达到95％。

第九步调用打架分类器判断当前特征词直方图所属类别，如果是打架事件将类别标志置1，否则将类别标志清0；

第十步将类别标志加入类别标志动态队列，超时类别标志将从动态队列中清除。

第十一步统计类别标志动态队列中1的个数，如果1的个数超过队列长度的80％，则判定当前发生打架事件，并发出警报，如果1的个数小于队列长度的20％，则判定打架事件结束，并取消警报。

如图4所示，为本发明实施例提供的一种基于视频的打架斗殴行为检测装置结构示意图；该装置包括：

图像获取单元401，用于获取视频当前帧图像以及邻近的至少两帧图像；

兴趣点获取单元402，用于根据所述视频当前帧图像以及邻近的至少两帧图像，获取至少两个尺度上的所述当前帧图像对应的时空兴趣点；

添加单元403，用于将所述至少两个尺度上的所述当前帧图像对应的时空兴趣点添加到兴趣点的动态池；

信息获取单元404，用于获取所述动态池内所有时空兴趣点特征，特征词典及打架分类器；

直方图获取单元405，用于根据所述特征词典，获取所述动态池内所有时空兴趣点特征的特征词直方图；

类别获取单元406，用于根据所述打架分类器，获取所述当前特征词直方图所属类别；

事件确定单元407，用于根据所述当前特征词直方图所属类别，确定所述当前帧图像是否为打架事件。

需要说明的是，所述信息获取单元具体包括：

定时单元，用于预设定时器的时间；

判断单元，用于判断所述动态池中时空兴趣点与所述当前帧图像对应的时 空兴趣点之间的时间维度是否超出所述定时器的时间；如果超时，则删除所述动态池中对应的时空兴趣点；如果未超时，则继续判断所述动态池内时空兴趣点的个数是否小于预设值；如果所述时空兴趣点的个数小于预设值，则将类别标志清0；如果所述时空兴趣点的个数不小于预设值，则提取所述动态池内所有时空兴趣点特征。

还需要说明的是，该装置还包括：

置位单元，用于如果所述当前帧图像为打架事件，则将类别标志置1，否则将所述类别标志清0；

标志添加单元，用于将所述类别标志加入类别标志动态队列；

时间设置单元，用于设置动态队列的有效时间；

标志判断单元，用于根据所述有效时间，判断所述类别标志动态队列中的类别标志是否有效；

处理单元，用于如果所述类别标志动态队列中的类别标志超过了有效时间，则将其删除；否则统计所述类别标志动态队列中所述类别标志为1的个数，如果所述类别标志为1的个数超过所述类别标志动态队列长度的80％，则判定当前发生打架事件，并发出警报；如果所述类别标志为1的个数小于队列长度的20％，则判定打架事件结束，并取消警报。

还需要说明的是，该方法还包括：

视频集信息获取单元，用于获取所述特征词典的训练视频集；所述特征词典的训练视频集包括：至少两段训练视频段；所述训练视频段中包括：场景变化和动态内容；其中：所述动态内容中打架视频内容占比在20％－30％之间；

特征词典训练单元，用于在至少两个尺度上检测训练视频集中各个训练视频段中时空兴趣点，并提取相应的特征，存入所述兴趣点的动态池，获取所述特征词典。

还需要说明的是，该装置还包括：

视频集获取单元，用于获取所述打架分类器的训练视频集；所述打架分类器的训练视频集包括：至少两段训练视频段；所述训练视频段中带有打架 或非打架类别标记；

打架分类器训练单元，用于在至少两个尺度上检测训练视频集中各个训练视频段中时空兴趣点，并提取相应的特征以及其对应类别标记，获取所述打架分类器。

本发明技术方案通过获取视频当前帧图像以及邻近的至少两帧图像；根据所述视频当前帧图像以及邻近的至少两帧图像，获取至少两个尺度上的所述当前帧图像对应的时空兴趣点；将所述至少两个尺度上的所述当前帧图像对应的时空兴趣点添加到兴趣点的动态池；获取所述动态池内所有时空兴趣点特征，特征词典及打架分类器；根据所述特征词典，获取所述动态池内所有时空兴趣点特征的特征词直方图；根据所述打架分类器，获取所述当前特征词直方图所属类别；根据所述当前特征词直方图所属类别，确定所述当前帧图像是否为打架事件，提高了打架斗殴行为的检测准确率，对普通安防场景下的打架事件和其他日常运动的分类准确率达到95％。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。