专利名称：利用视频检测打架行为的方法和装置的制作方法
技术领域：
本发明属于视频监控技术领域，尤其涉及一种利用视频检测打架行为的方法和装置。
背景技术：
打架行为一直以来都被认为是危害社会安全的行为，是法律所禁止的。打架行为除了会对斗殴者带来人身伤害以外，也会对社会的和谐稳定 造成极大的影响。比如在取款机前抢劫而引发的肢体上的打斗，盗贼闯入独居老人家中而发生争斗，这些打架行为是非常危险的。随着科学技术的发展，硬件设备的集成度已经很高，摄像头被安装在很多公共场所。面对大量的摄像头，依靠安保人员肉眼监控已经是不可能的了，这就驱动着监控技术的发展，使计算机自动监控危险行为并发出警报成为了可能。传统的打架行为视频检测系统只是将运动前景作为一个整体进行处理，没能更好的反应多个物体之间的交互运动，容易对单人的某些行为，比如跳舞、运动等，产生误报。也有些监控系统通过融合音频和视频两种信息的方法。这种方法可以有效的利用打架过程中可能出现的一场声响，但也存在缺陷。比如大多数监控摄像头所涵盖的场景会比较大，摄像头的位置会离打架事件发生的地点很远，这就限制了音频的获取。因此，这种方法的通用性不强，而且在嘈杂环境下也可能出现误报。
发明内容
(一 )要解决的技术问题本发明所要解决的技术问题是现有的打架行为视频检测系统存在由于不能反应多个物体之间的交互运动而导致的误报率高、通用性不强的缺陷。( 二 )技术方案为解决上述技术问题，本发明提出一种利用视频检测打架行为的方法，所述视频由多个视频帧组成该方法包括依次执行的如下步骤从所述视频中获取多个连续视频帧；从所述多个连续视频帧中提取运动前景；从所述运动前景中检测运动对象；判断所述多个连续视频帧中是否存在至少两个运动对象，如果存在，则继续执行下面的步骤，如果不存在，则判断未发生打架行为；计算所述多个连续视频帧中各运动对象相互之间的距离，如果该距离小于一个指定阈值，则继续执行下面的步骤，如果该距离不小于该指定阈值，则判断未发生打架行为；计算所述多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度，当该面积变化强度大于一个指定阈值，则判断发生打架行为，否则判断未发生打架行为；其中，所述面积变化强度是表示面积连续变化时的变化速率的一个参量。根据本发明的优选实施方式，所述计算多个连续视频帧中各运动对象相互之间的距离是指计算多个连续视频帧中至少一个比例视频帧的各运动对象相互之间的距离。根据本发明的优选实施方式，该比例为85% 95%。根据本发明的优选实施方式，计算所述多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度的步骤包括首先，根据所述面积计算所述多个连续视频帧中覆盖该至少两个运动对象的最小矩形框的面积的面积变化值；然后，根据所述面积变化值计算所述多个连续视频帧中覆盖该至少两个运动对象的最小矩形框的面积的面积变化率；最后，根据所述面积变化率计算所述面积变化强度。根据本发明的优 选实施方式，所述面积变化强度为多个视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率的平方和。根据本发明的优选实施方式，所述面积变化强度为多个视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率的绝对值的总和。本发明还提出一种利用视频检测打架行为的装置，包括从外部视频源中获取多个连续视频帧的视频帧获取模块，还包括视频帧处理模块，其连接所述视频帧获取模块，用于从所述多个连续视频帧中提取运动前景，并且，从所述运动前景中检测运动对象；打架行为判断模块，其连接所述视频帧处理模块，用于根据所检测的运动对象的属性信息来判断所述多个连续频帧中是否发生打架行为。(三)有益效果本发明通过判断多个连续视频帧中是否存在至少两个运动对象，去除了单个运动对象对打架行为判断的误导，降低了打架行为判断的误报率。本发明通过检测多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度来判断打架行为是否发生，很好地反应了打架行为中存在的多个物体的交互运动的状态，提高了打架行为判断的准确性和通用性。
图I是两个人打架的视频图像示意图；图2是按照本发明第一实施例的利用视频检测打架行为的方法的流程图；图3为图I中的右图的视频中，覆盖两个人中的每个人的最小矩形框示意图；图4是按照本发明第二实施例的利用视频检测打架行为的装置的示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。图I是两个人打架的视频图像示意图。如图I所示，打架行为是多个物体之间的交互行为。图I中的两个人为视频图像中的前景目标，当我们确定前景目标的位置以后，可以用两者重心之间的距离来描述两个人之间的交互。由于人的高度相对统一，人的重心之间的距离与覆盖两者前景区域的最小矩形的面积成正比。如图I所示，左图中，当两个人相距较远时，覆盖两个人的最小矩形的面积较小，右图中，当两个人相距较近时，覆盖两个人的最小矩形的面积较大。因此，我们可用此矩形的面积大小来描述两者之间的距离。当面积变化从大到小再由小到大往复变化时，对应着两个前景物体之间距离的伸缩往复变化，符合打架时物体的交互特征。因此，我们用面积的变化强度来表征打架行为发生的可能性。<第一实施例>现在参考图2，其示出了按照本发明第一实施例的检测打架行为的方法的流程图。所述视频例如来自监控摄像装置，其由多个视频帧组成。本发明的第一实施例是利用视频检测打架行为的方法的基本方法，也就是说，我们可以在已有的视频中通过本发明来自动检测该视频的全部或部分中是否有打架行为的发生，也可以直接应用于实时视频中以实时检测打架行为。如图2所示，首先，从所述视频中获取多个连续视频帧。视频帧的提取可以根据视频的制式、视频压缩编解码标准进行。所提取的多个视频帧作为本发明的方法的原始数据。所述多个连续视频帧的个数可以根据视频的属性和视频监控环境等进行选择，如果视频帧的数量太少，可能影响本发明的检测效果，但是，如果视频帧太多，也有可能增加处理资源，降低检测效率。在本发明中，优选为提取100至300个连续视频巾贞，例如200个。多个连续视频帧的获取可以是人工干 预选择，也可以是通过设定而自动选择。接着，从所述多个连续视频帧中提取运动前景。这里，可以采用多种已知技术来提取运动前景，例如利用混合高斯模型方法或单高斯模型方法来提取运动前景。由于采用混合高斯模型方法或单高斯模型方法来提取运动前景是本领域的公知技术，因此，在此不再赘述。然后，从所述运动前景中检测运动对象。检测运动对象的过程也可以根据现有技术完成，在本实施例中，我们通过对所提取的运动前景进行分割来获得运动对象。例如运动对象为两个人，则两个人有一定距离的时候，前景信息是分开的。由此，可以任取一个前景像素点为中心，建立一个2X2像素的矩形框,然后以5个像素为单位向周围搜索像素点。如果在某一方向出现前景像素点，则将矩形框向该方向扩展。重复以上操作，直到矩形框不再发生变化，由此确定一个运动对象。然后再在运动前景的其它区域搜索运动对象。图3为图I中的右图的视频中，覆盖两个人中的每个人的最小矩形框示意图。为了消除一些干扰，可以计算矩形框的面积，当矩形框面积小于适当阈值时，不认为是所关注的运动对象，不参与以后的处理。接着，判断所述多个连续视频帧中是否存在至少两个运动对象。如果判断结果为肯定，则进行以下步骤，否则认为未发生打架行为，本发明的方法结束。通常来说，所述多个连续视频帧中，每一个视频帧中都存在两个至少两个运动对象的情况比较少见。因此，根据本发明的优选实施方式，判断多个连续视频帧中至少一个比例视频帧是否存在两个运动对象，该比例优选为85% 95%，例如90%。当上述判断结果为至少一个比例的视频帧中存在至少两个运动对象时，则对于这些视频帧计算各运动对象相互之间的距离。该距离即为运动对象所对应的矩形框的中心之间的距离。判断各视频帧中各运动对象相互之间的距离是否小于一个指定阈值。如果上述视频帧中的至少两个运动对象之间的距离之一小于该指定阈值，则进行以下步骤，否则认为未发生打架行为，本发明的方法结束。如果上述判断结果为肯定，则计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积。接着，计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积的面积变化率。这里，可以按照如下方法来计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率首先，计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化值，然后，计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率。其中，所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化值是视频帧中覆盖该至少两个运动对象的最小矩形框的面积与该视频帧的前一个具有至少两个运动对象的视频帧中覆盖该至少两个运动对象的最小矩形框的面积之差；所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率是视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化与视频帧的前一个具有至少两个运动对象的视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化之差。接着，根据所述的面积变化率计算面积变化强度。所述面积变化强度是表示面积连续变化时的变化速率的一个参量，在本发明中能反映两个运动对象之间距离变化的快慢。如前所述，两个运动对象的距离变化快慢可以作为反映打架行为是否发生的一个指标。在本发明的一个实施例中，我们定义面积变化强度为所述视频帧的覆盖该至少两个运动对象的最小矩形框的面积变化率的平方和。例如，假设覆盖该至少两个运动对象的视频帧的最小矩形框的面积变化率分别是Ki、K2、K3、…、K2tll，则该面积变化强度值等于K2JK22+!^+-+K 201。 在本发明的其它实施例中，也可以将面积变化强度定义为多个视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率的绝对值的总和。最后，根据所述面积变化强度值判断该多个连续视频帧组成的视频中是否发生打架行为。在本发明的一个实施例中，判断所述面积变化强度值是否大于一个预定阈值，如果步骤判断结果为肯定，则确定打架行为发生。<第二实施例>现在参考图4描述按照本发明第二实施例的利用视频检测打架行为的装置的示意图。如图4所示，本发明的装置10包括视频帧获取模块12、视频帧处理模块14、打架行为判断模块16和判断结果输出模块18。其中这四个模块依次电性相连。视频帧获取模块12用于连接外部视频源，并且从所述外部视频源中获取多个连续视频帧，并将这些视频帧传送给视频帧处理模块14。在该实施例中，所述获取多个连续视频帧的方法与前面所述的第一实施例相同，在此不再详细说明。视频帧处理模块14连接所述视频帧获取模块12，用于从所述多个连续视频帧中提取运动前景，并且，从所述运动前景中检测运动对象。并将所检测的每一帧的运动对象的属性信息传送给打架行为判断模块16。所述运动对象的属性信息包括运动对象的个数、每个运动对象的编号、覆盖运动对象的最小矩形框的位置和面积。如前所述该提取运动前景和检测运动对象的方法均可按照现有技术进行，此处不再详细描述。打架行为判断模块16连接所述视频帧处理模块14，用于根据所述运动对象的属性信息来判断所述多个连续频帧中是否发生打架行为。具体来说，所述判断步骤包括判断多个连续视频帧中至少一个比例视频帧是否存在两个运动对象，该比例优选为85% 95%，例如90%。如果判断结果为肯定，则进行以下步骤，否则认为未发生打架行为，本发明的方法结束。当上述判断结果为至少一个比例的视频帧中存在至少两个运动对象时，则对于所述视频帧计算位于同一视频帧中的各运动对象相互之间的距离。判断所述视频帧中各运动对象相互之间的距离是否小于一个指定阈值。如果上述视频帧中的至少两个运动对象之间的距离之一小于该指定阈值，则进行以下步骤，否则认为未发生打架行为，本发明的方法结束。如果上述判断结果为肯定，则计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积。接着，计算所述视频帧中覆盖该至少两个运动对象的最小矩形框的面积的面积变化率。接着，根据所述的面积变化率计算面积变化强度。最后，根据所述面积变化强度值判断该多个连续视频帧组成的视频中是否发生打架行为，并将判断结果发送给判断结果输出t旲块18。以上的具体判断步骤在第一实施例中已有详细描述，在此不再展开说明。根据本发明的该实施例的装置还可以包括判断结果输出模块18，其用于根据接收来自所述打架行为判断模块16的判断结果，并将该判断结果向外部输出。例如，当接收到的判断结果为发生打架行为时，该判断结果输出模块18向外部警报装置发出警报指令。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。
权利要求
1.一种利用视频检测打架行为的方法，所述视频由多个视频帧组成，其特征在于，该方法包括依次执行的如下步骤 从所述视频中获取多个连续视频帧； 从所述多个连续视频帧中提取运动前景； 从所述运动前景中检测运动对象； 判断所述多个连续视频帧中是否存在至少两个运动对象，如果存在，则继续执行下面的步骤，如果不存在，则判断未发生打架行为； 计算所述多个连续视频帧中各运动对象相互之间的距离，如果该距离小于一个指定阈值，则继续执行下面的步骤，如果该距离不小于该指定阈值，则判断未发生打架行为； 计算所述多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度，当该面积变化强度大于一个指定阈值，则判断发生打架行为，否则判断未发生打架行为； 其中，所述面积变化强度是表示面积连续变化时的变化速率的一个参量。
2.如权利要求I所述的利用视频检测打架行为的方法，其特征在于，所述计算多个连续视频帧中各运动对象相互之间的距离是指计算多个视频帧中至少一个比例的视频帧的各运动对象相互之间的距离。
3.如权利要求2所述的利用视频检测打架行为的方法，其特征在于，该比例为85% .95%。
4.如权利要求I所述的利用视频检测打架行为的方法，其特征在于，计算所述多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度的步骤包括 首先，根据所述面积计算所述多个连续视频帧中覆盖该至少两个运动对象的最小矩形框的面积的面积变化值； 然后，根据所述面积变化值计算所述多个连续视频帧中覆盖该至少两个运动对象的最小矩形框的面积的面积变化率； 最后，根据所述面积变化率计算所述面积变化强度。
5.如权利要求I所述的利用视频检测打架行为的方法，其特征在于，所述面积变化强度为多个视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率的平方和。
6.如权利要求I所述的利用视频检测打架行为的方法，其特征在于，所述面积变化强度为多个视频帧中覆盖该至少两个运动对象的最小矩形框的面积变化率的绝对值的总和。
7.一种利用视频检测打架行为的装置，包括从外部视频源中获取多个连续视频帧的视频帧获取模块，其特征在于，还包括 视频帧处理模块，其连接所述视频帧获取模块，用于从所述多个连续视频帧中提取运动前景，并且，从所述运动前景中检测运动对象； 打架行为判断模块，其连接所述视频帧处理模块，用于根据所检测的运动对象的属性信息来判断所述多个连续频帧中是否发生打架行为。
8.如权利要求7所述的利用视频检测打架行为的装置，其特征在于，所述属性信息为所述多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度，该面积变化强度是表示面积连续变化时的变化速率的一个参量。
9.如权利要求7所述的利用视频检测打架行为的装置，其特征在于，所述面积变化强度为多个视频帧中覆盖至少两个运动对象的最小矩形框的面积变化率的平方和。
10.如权利要求7所述的利用视频检测打架行为的方法，其特征在于，所述面积变化强度为多个视频帧中覆盖至少两个运动对象的最小矩形框的面积变化率的绝对值的总和。·
全文摘要
本发明涉及一种利用视频检测打架行为的方法和装置，所述方法包括如下步骤从所述视频中获取多个连续视频帧；从多个连续视频帧中提取运动前景；从运动前景中检测运动对象；判断多个连续视频帧中是否存在至少两个运动对象，如果存在，则继续执行下面的步骤，如果不存在，则判断未发生打架行为；计算多个连续视频帧中各运动对象相互之间的距离，如果该距离小于一个指定阈值，则继续执行下面的步骤，如果该距离不小于该指定阈值，则判断未发生打架行为；计算多个连续视频帧中覆盖至少两个运动对象的最小矩形框的面积的面积变化强度的大小来判断是否发生打架行为；其中，所述面积变化强度是表示面积连续变化时的变化速率的一个参量。本发明能够有效减少打架行为检测的误报率。
文档编号G06T7/20GK102750709SQ201210176959
公开日2012年10月24日 申请日期2012年5月31日 优先权日2012年5月31日
发明者单言虎, 吴娜, 张俊格, 金永哲, 黄凯奇 申请人:中国科学院自动化研究所, 爱思开电讯投资(中国)有限公司