专利名称：音视频联合分析的打架斗殴检测系统的制作方法
技术领域：
本实用新型涉及一种打架斗殴检测系统，特别是涉及一种音视频联合分析的打架 斗殴检测系统。
背景技术：
打架斗殴事件是社会所不容的违法乱纪行为，对社会稳定及人民生活带来负面的 影响。而对于打架事件的处理，目前基本以事后通知报警为主，公安机关很难在第一时间获 得报警信息，同时也很难做到第一时间取证，为后续查处带来困难。对于监控系统的打架分 析，因为仅仅利用了视频的信息，所以对于打架很难做到准确的判断，如对于快速奔跑、嬉 戏打闹、运动做操等较为剧烈的活动很难通过视频的方式与打架加以区分，会产生较多的 虚警。
实用新型内容本实用新型所要解决的技术问题是提供一种音视频联合分析的打架斗殴检测系 统，其通过对监控场景中人群的行为进行分析、识别和定位，可以准确的诊断出视频图像中 出现的人员的聚众、打架等异常行为并加以报警。本实用新型是通过下述技术方案来解决上述技术问题的一种音视频联合分析的 打架斗殴检测系统，其特征在于，其包括视频获取模块、音频获取模块、算法检测模块和管 理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采 集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信 号到计算机内存，算法检测模块根据对目标区人员打架斗殴的判断及同步音频的判断来检 测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。优选地，所述算法检测模块还对出现的人员打架行为做出判断并及时报警。优选地，所述音频获取模块采集和视频同步的音频，满足音频分析算法的要求。本实用新型的积极进步效果在于本实用新型在任何环境下都能高效的自动检测 出打架斗殴事件的发生并及时报警，对人员吵闹高叫的声音检测、人员快速运动检测、场景 混乱度检测、音视频联合逻辑判断，整套系统保持长期稳定和高效的运行。本实用新型除了 视频信息以外增加了音频信息的分析，对打架斗殴事件做整体判断，有效的提高了打架斗 殴检测系统的精确性。
图1为本实用新型音视频联合分析的打架斗殴检测系统的原理示意图。图2为本实用新型音视频联合分析的打架斗殴检测系统的检测方法的流程图。
具体实施方式
以下结合附图给出本实用新型较佳实施例，以详细说明本实用新型的技术方案。如图1所示，本实用新型音视频联合分析的打架斗殴检测系统包括视频获取模 块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、 采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获 取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块根据对目标区人员打架斗殴的判断及同步音频的判断来检测目标区人员混乱的打架行为，并加以识别、定位、 输出结果到管理模块。其中，视频获取模块的监控对象是视频区域中的人员群体，一般直接 采集的视频源信息可以满足算法分析的要求。音频获取模块采集和视频同步的音频，满足 音频分析算法的要求。算法检测模块对目标区人员聚众、打架行为检测，目标区人员快速混 乱运动、高声叫喊、打架行为检测，主要通过音视频算法处理来检测实时音视频流中出现的 打架斗殴现象，及时抓取、报警和保存关键帧图片，此模块是整个系统的核心模块，算法的 准确性决定了系统整体运行的效率。算法检测模块还对出现的人员打架行为做出判断，并 及时报警，将结果输出到管理模块。本实用新型音视频联合分析的打架斗殴检测系统一方面针对各个监控场景中人 员的快速混乱运动情况来做判断，同时对与视频同步的音频的吵闹情况和高声叫喊做检测 判断，对于报警来说可采用三种模式，即音频报警、视频报警以及音视频联合报警。对不同 的应用环境可灵活选择不同的报警模式。音视频联合分析的打架斗殴检测系统中吵闹、高 声叫喊的检测及人员快速混乱运动的实时检测技术是最为关键的技术之一，决定了检测系 统能否实时判断打架事件的发生与否。如图2所示，本实用新型音视频联合分析的打架斗 殴检测系统的检测方法包括音频包信息检测和视频帧信息检测，视频帧信息检测包括镜头 检测和场景混乱检测。音频包信息检测后进行音频报警，视频帧信息检测后进行视频报警， 本实用新型音视频联合分析的打架斗殴检测系统对报警逻辑判断，上述各判据，可按照三 种模式分别处理报警，即音频报警、视频报警以及音视频联合报警。对于音频报警和视频报 警，可由各自的判据分别处理。对于音视频联合报警，分别记录音频报警与视频报警的时间 戳，当报警点的时间差绝对值小于设定的阈值的时候，可给出音视频联合报警。系统方案 具有可选择性，采用模块化结构，每一个都是独立的模块，相互之间通过消息的方式传递。 可以根据具体的要求和环境条件配置功能上或经济上最优的系统，也是本系统最大优点之
ο音频包信息检测的过程如下人员打架斗殴的行为同步产生的声音，一般分为打 架之前可能存在的吵闹、打架时发出的声音以及打架后周围的人的吵杂声音，声音检测的 目的是在正常的环境声音中，检测出突然变化的声音。因为监控场景的声音普遍包含较多 的背景噪声，对于期望检测的打架时的高声叫喊的声音来说，周围的日常声音都可作为背 景噪声处理。对于音频检测描述来说，本实用新型选取倒谱系数作为特征参数。通过拾音 器获取的原始音频流，按照视频一帧的时长分包，以15秒的音频包缓冲做背景声音，利用 缓冲区的倒谱系数的平均作为背景声音的倒谱系数的估计值。计算音频包倒谱系数与背景 声音倒谱系数估计值的倒谱距离，由倒谱距离得到倒谱距离轨迹，利用近似能量方法中门 限判决的方法检测打架的声音与背景声音的差别，如果有差别，则进行音频报警。镜头检测的过程如下帧间运动分析，帧间纹理分析，帧间结构分析，快速运动判 据融合。具体是对监控场景内的人员，当出现打架行为的时候，必然伴随着剧烈快速的运动 变化，对于连续的场景来说，这种突然出现的快速运动属于镜头边缘的范畴，可通过镜头边 缘检测的方法对人员快速运动予以检测。镜头产生跳变伴随着图像颜色分布和结构分布的 急剧变化。对于图像颜色分布来说，统计前后帧图像的灰度分布获得图像直方图分别为Hl 和H2，采用归一化直方图差作为帧间部相似性的测度。以公式(2. 2. 1)计算直方图相似度， 其中，d(Hl，H2)为直方图相似度，Hl和H2分别为前后帧的图像直方图，i为帧序 列号，选取适当的第一阈值Tl，当d(Hl，H2)超过第一阈值Tl的时候，满足快速运动颜色分 布变化。对于结构分布来说，采用结构相似法更能反映出镜头的细节信息变化。前后帧图 像结构的剧烈变化可表示为后帧图像在前帧图像向量上添加变化向量。前后帧图像相似度 测量函数如公式(2. 2. 2)S(x, y) = f(l(x, y), c(x, y), s(x, y))..............................公式(2· 2. 2)其中，S(x，y)为相似度测量函数；l(x，y)为亮度比较函数，如公式(2.2.3) ；c(x, y)为对比度比较函数，如公式(2.2.4) ；s(x,y)为结构比较函数，如公式(2.2.5)，f为整合 函数；(x，y)为图像像素点坐标。
其中，μ χ和μ y为亮度估计，σ xy、σ x和σ y为对比度估计，Cl和C2分别为第一 常数和第二常数。选取适当的第二阈值T2，当相似度度量值低于第二阈值T2的时候，满足 快速运动结构分布变化。当同时满足颜色分布变化与结构分布变化的条件时，系统判定为 场景内具有快速运动的镜头变化。场景混乱检测的过程如下光流计算，目标光流场分析和光流场混乱度判定。具体 是镜头快速变化可能是打架的快速剧烈运动产生，也可能是由于光线剧烈变化或有高速运 动的目标产生，如开关灯或人员奔跑。作为打架事件，除了具有剧烈的运动外，同时还伴随 着场景的混乱无规则的运动。本实用新型以光流的混乱程度描述场景的混乱程度，光流是 图像中模式运动的速度，光流场是一种二维(2D)瞬时速度场，其中的二维(2D)速度场矢量 是景物中可见点的三维(3D)速度矢量在成像表面的投影。本实用新型采用微分法来计算 光流场，其公式(2. 3. 1)如下f(x, t) = f(g(x, t), t0)......................................................公式(2.3.1)其中，f(x, t)指相对于前面的、时刻变化的运动物体的光流场，t时刻在空间位 置X的强度与、时刻在位置X' =g(X，t)强度相同。f(X，t)在由g(X，t) =C所定义的 (x，t)时间曲线簇上是常数。速度U= [u，￥]工是局部平滑的，1!和￥光流矢量在X和y方 向上的两个分量，即待计算的U、ν随着点的改变而缓慢变化，它成为一个约束条件，U为局部平滑的约束条件，可以将运动估计表示为最优化问题，即极小化下面的公式(2.3.2) 上面公式(2. 3. 2)可以用下面两式之一代替之C2 = (U-Uavg) + (V-Vavg)..........................................公式(2. 3. 3)C3 = (U-Uavg)2+ (V-Vavg)2.......................................公式(2. 3. 4)其中，Uavg和Vavg为、时刻光流矢量在χ和y方向上的分量。对光流约束方程的极小化为以下公式(2. 3. 5), 其中，M为极小值。希望总误差最小，则有以下公式(2. 3. 6) :E为极小化约束函数和λ表示对数据集 约束的信度。
‘dE
根据上述公式(2. 3. 2)、(2. 3. 3)、(2. 3. 4)、(2. 3. 5)、(2. 3. 6)联合求解，并采用迭 代算法，可以解出光流速度场如下公式(2. 3. 7)和(2. 3. 8)uavg = (u (x+1，y) +u (x_l，y) +u (x, y+1) +u (χ, y-1) +u (χ, y)) /5 公式(2· 3. 7)vavg = (ν (χ+1，y) +ν (χ_1，y) +ν (χ, y+1) +ν (χ, y-1) +ν (χ, y)) /5 公式(2· 3. 8)本实用新型系统将目标运动方向在直角坐标系四个象限做了划分，当超过阈值的 光流在四个象限中都有较多的分布，可看作视频运动具有较大的混乱度，以此作为打架斗 殴的判据之一。虽然以上描述了本实用新型的具体实施方式
，但是本领域的技术人员应当理解， 这些仅是举例说明，在不背离本实用新型的原理和实质的前提下，可以对这些实施方式做 出多种变更或修改。因此，本实用新型的保护范围由所附权利要求书限定。
权利要求一种音视频联合分析的打架斗殴检测系统，其特征在于，其包括视频获取模块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块根据对目标区人员打架斗殴的判断及同步音频的判断来检测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。
专利摘要本实用新型公开了一种音视频联合分析的打架斗殴检测系统，该音视频联合分析的打架斗殴检测系统包括视频获取模块、音频获取模块、算法检测模块和管理模块，视频获取模块和音频获取模块采用摄像机、采集卡和计算机，视频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，音频获取模块通过采集卡采集摄像机的模拟信号到计算机内存，算法检测模块根据对目标区人员打架斗殴的判断及同步音频的判断来检测目标区人员混乱的打架行为，并加以识别、定位、输出结果到管理模块。本实用新型通过对监控场景中人群的行为进行分析、识别和定位，可以准确的诊断出视频图像中出现的人员的聚众、打架等异常行为并加以报警。
文档编号H04N5/225GK201629817SQ200920291779
公开日2010年11月10日 申请日期2009年12月11日 优先权日2009年12月11日
发明者潘今一, 谢晨 申请人:上海弘视通信技术有限公司