专利名称：一种基于立体视觉运动场分析的打架斗殴检测方法
技术领域：
本发明属于视频智能监控技术领域，涉及一种基于立体视觉运动场分析的打架斗殴检测方法。
背景技术：
利用二维图像配准方法，计算视频相邻帧的像素运动矢量，对人体的运动矢量进行统计分析或者转换成能量的形式，提取出运动方向混乱以及快速运动的像素点，这些像素的集合作为剧烈运动区域，作为多人打架斗殴的基本特征。通过对剧烈运动区域的时空分布分析，建立基于运动场的打架斗殴规则，判断剧烈运动区域是否产生于打架斗殴事件，实现对此类人体异常行为的检测。基于此类技术的专利有《一种人群剧烈运动的检测方法及装置-200910242555. 6》以及《音视频联合分析的打架斗殴检测系统-200920291779. I》。此类技术的缺陷对视频邻近帧的运动矢量计算都采用了基于灰度特征的微分光流方法，得到的是一个二维图像上像素位置偏移量。而基于灰度特征的光流方法有很多缺陷都限制了此类技术的推广，例如它受光照环境的变化影响很大，场景的光照变化会导致目标真实运动场计算错误；无法计算目标遮挡时的运动场；由于三维场景下目标距离相机远近不同时其反应在二维平面上的运动矢量不同，因此传统方法对剧烈运动的判定不够鲁棒。
发明内容
本发明主要针对现有打架斗殴检测方法的缺陷，采用立体视觉与运动场提取结合的方法，减少与过滤光照变化、目标运动混乱与交错遮挡导致的光流计算错误，提升人体打架斗殴行为检测在复杂环境下的鲁棒性。本发明的主要构思，基于双目视觉的立体匹配算法得到场景中目标的深度信息，提取图像灰度和梯度特征，结合微分光流算法得到鲁棒的目标运动矢量场。根据目标的运动矢量场和深度图，可以提取出感兴趣的目标人体，并且过滤掉受到光照变化和遮挡引起光流计算错误的运动矢量场。以运动矢量场为主要特征，基于块统计累积运动矢量方向直方图，计算一段时间内累积直方图的熵，用来评价此块运动的复杂程度。统计块内平均运动矢量强度，根据目标的深度信息，制定运动剧烈程度评价策略。最后，结合块的混乱和剧烈程度评价分数，得到此块发生打架斗殴行为的概率，经过一段时间和空间的累积，当打架斗殴行为的概率持续大于一定阈值时，则确认打架斗殴行为发生。本发明解决技术问题所采取的技术方案为
第一步获取双目视频图像，并对其灰度化处理。第二步对双目视频灰度化的同步帧做立体匹配，得到视差和深度置信图，将视差并转化为深度图。第三步对双目视频中的一路视频，提取灰度与梯度特征，计算多分辨率下的微分光流，得到运动矢量场；并根据深度置信图对运动矢量过滤。
第四步根据深度图，建立远近不同目标速度模型(运动矢量模型)。第五步对第三步中的该路视频的灰度图像中的8*8像素单位小块，做运动矢量方向直方图统计。第六步累积邻近时间每个块的运动矢量方向直方图，计算累积后直方图的熵作为混乱程度评价，对熵值高的块标记为混乱块。第七步统计混乱块运动矢量强度均值，根据第四步建立的速度模型判定其是否为剧烈运动块；如果混乱块判定为剧烈运动块，则执行第八步，否则返回第一步，做下一帧双目视频图像处理。第八步对剧烈运动块，统计其在一定时间与一定空间范围内的出现次数，生成概率图。对于概率较大的块，经过时空累积之后，满足持续时间和面积阈值之后，则确认打架斗殴行为产生，输出这些概率较大的块，标识为打架斗殴行为发生的区域。本发明有益效果本发明可以过滤监控环境下的场景光照变化、目标交错遮挡引起运动矢量计算错误，克服这些不利条件的影响。根据场景深度信息对剧烈程度判定更为合理，通过建立打架斗殴概率模型，对其时空分布分析之后得到鲁棒的检测结果。
图I为本发明方法流程 图2为双目成像系统平面示意 图3为运动矢量计算流程 图4为混乱与剧烈报警块检测流程 图5为打架斗殴行为判定规则流程图。
具体实施例方式以下结合附图对本发明作进一步说明。如图I所示，本发明方法包括以下步骤
第一步获取双目视频图像，并对其灰度化处理。第二步对双目视频灰度化的同步帧立体匹配，得到视差和深度置信图，将视差并转化为深度图。双目视觉从人的双目产生立体感中获得启示，研究如何从左右两个摄像机所得的两幅图像中获取场景中物体的深度(距离)信息。图2给出了双目成像系统平面示意图，图中L和R为主光轴平行的左右两架摄像机，O1O2为目标物体，L和Ir为其在左右两个成像平面上形成的像。在目标O1O2上的每一个参考点在L和Ik上有不同的位置，这一位置的差别被称之为视差。视差与目标的深度成反比，由以下公式表示为
&= ￥，其中Z为目标深度即目标离相机的距离，P为相机距离，为对应匹配点的视
aP ω
差，/为相机焦距。视差计算由立体匹配算法得到，对于基于像素的匹配算法，通过比较两幅图之间像素点的灰度相关性得到所有点的匹配关系。其中局部窗口匹配算法，选取以匹配点为中心的窗口，然后在两幅图的相应窗口之间进行灰度相关性计算，评价对应匹配之间的相似程度，选取使匹配代价最小视差作为最终视差。在匹配过程中，通过反向匹配验证策略，可以得到匹配的置信度评价，从而对场景中的光照、目标遮挡、弱纹理区域有大致的定位，这样对后续的光流过滤有指导意义。第三步如图3。本步骤采用微分光流算法获取时间上连续两帧图像上各点的运动矢量。本方法结合两大经典微分光流算法LK(Bruce D. Lucas, Takeo Kanade.An Iterative Image Registartion Technique with an Application to stereovision)与 HS(B. K. P. Horn, B. G. Schunck. Artificial Intelligence Laboratory,Massachusetts Institute of Technology)。LK与HS结合，主要是结合二者抗噪声和高密度的优点，修改能量函数，修改后能量函数第一项为LK中基于窗口的统计图像梯度方法(体现灰度不变假设)，第二项为基于窗口的统计图像拉氏算子方法(图像二阶导的协方差矩阵，体现梯度不变假设)，第三项为增加了权重的速度平滑假设，分别如下式
灰度不变约束= IO +a, J +v) -1 (x,y) - !^ + IyV+ 4 ,其中G-为灰度差能量函数，T ( Z )为图像中(Xj)坐标的灰度，(u，V )为(X，' )坐标点的运动矢量；梯度不变约束= (4 + V+ 4) + ++ /_),其中S她为梯度差能量函数，4，^，4 ，，hy，&均为灰度的二阶梯度；速度平滑约
束€_=(‘+<) + (ν/+ν/),其中S1ssaift为速度差异能量函数，K，士，，Vjs，'为运动矢量的水平和竖直分量一阶倒数。结合这三个约束，就可以得到能量函数
f 二++,其中X和α为梯度差能量函数与速度差异能
量函数的权重。对能量函数，求其极值得到，运动矢量(U，V )的迭代求解公式为
=( -
A1B2 - A2B1
^ = η-
. 、;4^2-4
其中
A^l\ + a , A=1 Jy +!yy) , Cl = !Jt +Yi1 M+!yt)
巧=仏+邓為.)，4=/；+k/9,+/w,)2+ ，q=v,+r(/ +y，
0< 2为迭代收敛系数， -1, Vred为n+1次迭代之后得到的运动矢量在水平和竖直方向的分量。结合深度图中立体匹配错误的点，即深度置信图，可以认为发生遮挡或者光照变化，标记其光流为零，过滤光流计算错误的运动矢量。第四步由于目标的深度不同，投影到图像平面上，造成目标离成像系统远近不同导致其图像平面的运动矢量不同，因此得到深度信息之后，对处于不同深度的目标建立多个速度模型，可以有效标识出此深度下正常的运动矢量。如图4，本方法采用在线求平均值策略，结合深度与运动矢量，建立正常行为的速度模型；
第五步如图4，按8*8像素将双目中的一路视频的灰度图像分成若干小块，将每个小块的运动矢量离散化为16个方向，建立方向直方图。
第六步如图4，累积邻近30帧内小块的方向直方图，计算其熵，用来表征方向的不确定性，即混乱特性。公式为·. H(f) = HW1為,...,Pn),其中为直方图的
2-1^ \Γ)
熵值，Pi为直方图每个方向的概率，Ig为取10为底的对数。对于熵绝对值大于O. 25的块，标记为混乱块。第七步如图4，计算混乱块的平均运动矢量模，V = -^uf+V^ ’其中，和
^ 2^I Vi
为块内第i点运动矢量的水平和竖直分量；与速度模型比较，大于同深度正常速度的块为剧烈运动块。第八步如图5，根据剧烈运动块在时间和空间的出现次数，统计其在邻近30帧出现的概率。对每个块按照阈值O. 6 二值化，标记高概率块为1，低概率块为O ;然后做连通域搜索，去除孤立与面积较小的连通域；计算连通域内报警块的平均概率，对大于O. 8的连通域标记为有效打架区域，则打架行为持续时间计数加1，打架行为报警块累积面积累加上当前连通域面积。当打架持续时间超过100 (经验阈值)帧，报警块累积面积超过300 (经验阈值)块时，确认打架行为发生，输出最后一帧的连通区域，作为报警时的打架区域；
连通区域搜索方法本方法以区域生长来搜索连通区域，实施步骤为1)从上向下，从左至右，扫描图像，若遇到未标记目标点时，则可认为该目标点是新的连通域的种子，将该目标点作为种子压入堆栈；2)从堆栈中取出一个种子，以该种子为起点向左搜索其左边界目标点；从左边界点向右扫描并标记目标点，在标记的过程中，查找与该游程连通的上行和下行的游程，并取新游程中的一个目标点作为游程种子压入堆栈；3)重复从堆栈中取出种子，按步骤2)标记目标点，直至堆栈为空；4)堆栈空时，则连通域标记完成，继续扫描图像，直到结束。游程编码是用一个符号值代替具有相同值的连续符号。以游程为种子单位，能有效地减少算法存取种子的次数；同时线标记游程内的连续目标点，可减少目标点的邻域搜索次数。以上为本方法一个实施例，按照此方法，可以在光照变化环境下与多人交叉遮挡时，检测多人打架斗殴行为。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。
权利要求
1.一种基于立体视觉运动场分析的打架斗殴检测方法，其特征在于该方法包括以下步骤 第一步获取双目视频图像，并对其灰度化处理； 第二步对双目视频灰度化的同步帧做立体匹配，得到视差和深度置信图，将视差并转化为深度图； 第三步对双目视频中的一路视频，提取灰度与梯度特征，计算多分辨率下的微分光流，得到运动矢量场；并根据深度置信图对运动矢量过滤； 第四步根据深度图，建立远近不同目标速度模型； 第五步对第三步中的该路视频的灰度图像中的8*8像素单位小块，做运动矢量方向直方图统计； 第六步累积邻近时间每个块的运动矢量方向直方图，计算累积后直方图的熵作为混乱程度评价，对熵值高的块标记为混乱块； 第七步统计混乱块运动矢量强度均值，根据第四步建立的速度模型判定其是否为剧烈运动块；如果混乱块判定为剧烈运动块，则执行第八步，否则返回第一步，做下一帧双目视频图像处理； 第八步对剧烈运动块，统计其在一定时间与一定空间范围内的出现次数，生成概率图；对于概率较大的块，经过时空累积之后，满足持续时间和面积阈值之后，则确认打架斗殴行为产生，输出这些概率较大的块，标识为打架斗殴行为发生的区域。
2.根据权利要求I所述的一种基于立体视觉运动场分析的打架斗殴检测方法，其特征在于所述的视差由立体匹配算法计算得到，对于基于像素的立体匹配算法，通过比较两幅图之间像素点的灰度相关性得到所有点的匹配关系。
3.根据权利要求I所述的一种基于立体视觉运动场分析的打架斗殴检测方法，其特征在于所述的计算多分辨率下的微分光流采用结合两大经典微分光流算法LK与HS ;深度置信图表征了立体匹配错误的点，可以认为这些点发生了遮挡或者光照变化，标记其光流为零，过滤这些点的运动矢量。
4.根据权利要求I所述的一种基于立体视觉运动场分析的打架斗殴检测方法，其特征在于根据第四步深度图中的深度信息，对处于不同深度的目标建立多个速度模型，有效标识出此深度下正常的运动矢量大小。
5.根据权利要求I所述的一种基于立体视觉运动场分析的打架斗殴检测方法，其特征在于第六步中方向直方图的熵，用来表征方向的不确定性，即混乱特性。
6.根据权利要求I所述的一种基于立体视觉运动场分析的打架斗殴检测方法，其特征在于剧烈运动块的判定准则为计算混乱块的平均运动矢量模
全文摘要
本发明涉及一种基于立体视觉运动场分析的打架斗殴检测方法。本发明根据目标的运动矢量场和深度图，提取出目标人体。以运动矢量场为主要特征，基于块统计累积运动矢量方向直方图，计算一段时间内累积直方图的熵。统计块内平均运动矢量强度，根据目标的深度信息，制定运动剧烈程度评价策略。最后结合块的混乱和剧烈程度评价分数，得到此块发生打架斗殴行为的概率，经过时间和空间累积，当打架斗殴行为的概率持续大于一定阈值时，则确认打架斗殴行为发生。本发明可以过滤监控环境下的场景光照变化、目标交错遮挡引起运动矢量计算错误。根据场景深度信息对剧烈程度判定更为合理，通过建立打架斗殴概率模型，对其时空分布分析之后得到鲁棒的检测结果。
文档编号G06F7/20GK102880444SQ20121030408
公开日2013年1月16日 申请日期2012年8月24日 优先权日2012年8月24日
发明者尚凌辉, 刘家佳, 王弘玥, 鲍迪钧, 高勇 申请人:浙江捷尚视觉科技有限公司