基于视频摘要的突发事件智能识别系统的制作方法
【专利摘要】本发明公开一种基于视频摘要的突发事件智能识别系统，包括有计算机以及多个摄像头，该计算机内设置有视频摘要子系统、烟火检测子系统、色情检测子系统、敏感信息检测子系统以及横幅识别子系统，该多个摄像头均连接计算机。通过配合利用视频摘要子系统、烟火检测子系统、色情检测子系统、敏感信息检测子系统以及横幅识别子系统，如此，视频摘要技术和视频事件分析技术并不需要知道视频事件的具体特征，可以很快的将整个视频的摘要事件提取出来并采用视频事件分析技术对其进行分析，判定它们分别属于什么类型的事件，达到视频监控自动化，快速化，高效化的效果。
【专利说明】基于视频摘要的突发事件智能识别系统
【技术领域】
[0001]本发明涉及视频监控领域技术，尤其是指一种基于视频摘要的突发事件智能识别系统。
【背景技术】
[0002]近年来，随着社会的迅速进步和国力的不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但实际的监控任务仍需要较多的人工完成，而且现有的视频监控系统通常只是录制视频图像，提供的信息是没有经过解释的视频图像，只能用作事后取证，没有充分发挥监控的实时性和主动性。为了能实时分析、跟踪、判别监控对象，并在异常事件发生时提示、上报，为政府部门、安全领域及时决策、正确行动提供支持，视频监控的“智能化”就显得尤为重要。
[0003]在现在的视频监控领域中，往往一个监控视频就有几十个小时，而且监控摄像头也数不胜数，一般来说很难有这么多人力资源来监控或者查看这么庞大的视频资源，因此将视频监控自动化，智能提取视频的感兴趣部分以及智能识别视频事件的类别能大大减少人力资源的占用。这对提高监控效率以及安全防护等起着很大的作用。
[0004]当前智能视频处理软件比较主流的归类有:
(I)物体识别
能区分出移动物体的类别，是轿车，还是摩托车、还是人、还是飞机等等，这是其他识别的基础。
[0005](2)越界识别
在视频画面上人为的画一道线或曲线，可以识别出物体穿越此界限的行为。比如视野是个马路上，画一条线把道路分成两端，假设定义了从左到右是合法，从右到左为非法，一旦车辆行驶跨越了这个界线，设备判断其是否非法，非法则产生报警。
[0006](3)轨迹跟踪
识别处移动物体之后，能在移动的元素后面画出其运动经过场所的轨迹。如广场、车站等公众场所，人流穿梭，设备能显示并记录下每个人的走动轨迹，如果一个人长时间在视野中徘徊游荡，超过一定时间，则设备自动报警提示发现可疑行为人物。
[0007](4)遗留或丢失物体识别
设备能识别出视野场景中的物体多出一个或者少了一个，适合仓库、车站、展厅、安检等场所，如果有背包长时间丢失在某处无人拾取，超过设定的时间，系统将产生报警，或者像展厅这些场所，如果展示品缺少一件，设备也能发现并报警。
[0008](5)车牌识别
如果视频场景是个道路口或者小区出入口 ；只要车牌区域在视频中出现过，设备能自动识别出车牌号码；并以文字的方式提示用户。可以用于违规车辆稽查，比如某牌照车辆在事故后逃逸不知去处，如果市内各要道口都有智能识视频服务器，系统只有通过网络一次性把一个或几个需要稽查的车牌号码设置到系统中的各个智能设备中，一旦此牌照的车辆在视野中出现过，就能立即告警。节省许多警力资源。
[0009](6)车速测量
比如高速路上有200M的速度提示区，时时提醒驾驶员不要超速行驶，然而超速行驶还是屡屡发生；试想如果在高速路上安装一个智能视频服务器，我们只要在视野中画两道线，如果确知这两道线的实际距离是100M，输入到设备中，设备就能自动计算出每个进过车辆的速度，并且超速时立即报警。
[0010](7)流量统计
智能设备能识别出过往的行人和车辆，同时能统计出过往的人或车的数量；试想在一个十字路口或者一个会展中心的门口，安装这样一个智能设备，就能统计处过往车流量或人流量。为公交调度提供更多更及时的信息。
[0011](8)逆行告警
比如单行道，或者车站、机场的出口或入口，车流人流都是单方向的，一旦有人逆行，系统会自动识别出，并产生报警。
[0012](9)涂鸦行为识别
原本洁净的墙面，被人乱贴小广告、电话或者乱涂乱画等，有碍市容。有了智能监控系统设备，就能及时发现这样的涂鸦行为，并及时告警。
[0013](10)打架等反常行为视频
公园、广场、车站等公众场合，人流众多，任何突发的危害人身安全的行为都可能造成重大损失和负面影响。智能识别系统，能及时发现人或车辆的异常行为，突然奔跑、摔倒，追打等行为，系统都会及时发现并提醒管理者。
[0014]以上这些只能识别软件所要检测的视频事件或者物体都带有确定性，有一定的颜色、形状等特征，现在的主要问题是，如果你并不知道某一物体的具体特征的时候，就要以人工的方式去将一个监控视频从头到尾查看一次，这样非常耗费人力资源和时间资源。
【发明内容】
[0015]有鉴于此，本发明针对现有技术存在之缺失，其主要目的是提供一种基于视频摘要的突发事件智能识别系统，其能有效解决现有之视频监控耗费人力资源和时间资源的问题。
[0016]为实现上述目的，本发明采用如下之技术方案:
一种基于视频摘要的突发事件智能识别系统，包括有计算机以及多个摄像头，该计算机内设置有视频摘要子系统、烟火检测子系统、色情检测子系统、敏感信息检测子系统以及横幅识别子系统，该多个摄像头均连接计算机。
[0017]优选的，所述视频摘要子系统可同时处理的视频摘要事件为至少150个，所生成的所有摘要事件视频长度在2分钟内。
[0018]优选的，所述视频摘要子系统在视频摘要提取过程中，提取时间要小于整个视频长度的五分之一。
[0019]优选的，所述烟火检测子系统在实时监控视频当碰到疑似烟雾标识和疑似火焰标识的时候在I秒内发出警报，并且返回在实时监控中出现疑似火警出现的时间。
[0020]优选的，所述色情检测子系统区分泳装、男性上半身裸露、大面积非色情的皮肤图片和婴儿裸体。
[0021]优选的，所述横幅识别子系统在实时监控视频当碰到疑似横幅事件时候能在I秒内发出警报，并且返回在实时监控中出现疑似横幅出现的时间。
[0022]优选的，所述多个摄像头均为高清防爆摄像头。
[0023]本发明与现有技术相比具有明显的优点和有益效果，具体而言，由上述技术方案可知:
通过配合利用视频摘要子系统、烟火检测子系统、色情检测子系统、敏感信息检测子系统以及横幅识别子系统，视频摘要技术和视频事件分析技术并不需要知道视频事件的具体特征，可以很快的将整个视频的摘要事件提取出来并采用视频事件分析技术对其进行分析，判定它们分别属于什么类型的事件，达到视频监控自动化，快速化，高效化的效果，本发明利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象。
[0024]为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明。
【专利附图】
【附图说明】
[0025]图1是本发明之较佳实施例的整体结构示意图；
图2是本发明之较佳实施例中视频摘要子系统的主界面；
图3是本发明之较佳实施例中视频摘要子系统提取的流程图；
图4是本发明之较佳实施例中烟火检测流程图；
图5是本发明之较佳实施例中色情图片识别的流程图；
图6是本发明之较佳实施例中视频信息的处理流程图；
图7是本发明之较佳实施例中横幅检测流程图。
[0026]附图标识说明:
10、计算机11、视频摘要子系统
12、烟火检测子系统13、色情检测子系统
14、敏感信息检测子系统 15、横幅识别子系统 20、摄像头
【具体实施方式】
[0027]请参照图1至图7所示，其显示出了本发明之较佳实施例的具体结构，包括有计算机10以及多个摄像头20。
[0028]其中，该计算机10内设置有视频摘要子系统11、烟火检测子系统12、色情检测子系统13、敏感信息检测子系统14以及横幅识别子系统15，该多个摄像头20均连接计算机10，在本实施例中，该多个摄像头20均为高清防爆摄像头。[0029]该视频摘要子系统11可同时处理的视频摘要事件为至少150个，所生成的所有摘要事件视频长度在2分钟内。该视频摘要子系统11在视频摘要提取过程中，提取时间要小于整个视频长度的五分之一。该烟火检测子系统12在实时监控视频当碰到疑似烟雾标识和疑似火焰标识的时候在I秒内发出警报，并且返回在实时监控中出现疑似火警出现的时间。该色情检测子系统13区分泳装、男性上半身裸露、大面积非色情的皮肤图片和婴儿裸体。该横幅识别子系统15在实时监控视频当碰到疑似横幅事件时候能在I秒内发出警报，并且返回在实时监控中出现疑似横幅出现的时间。
[0030]具体而言，如图2所示，为视频摘要子系统11的主界面。
[0031]①“选择视频文件”按钮:选择一个本地视频文件。
[0032]②“选择文件夹”按钮:选择一个包含多个视频的本地文件夹。
[0033]③显示所选择的文件路径。
[0034]④“分析视频”按钮:点击此按钮进行视频分析。
[0035]⑤显示分析视频的进度条。
[0036]⑥显示分析结果。
[0037]⑦“播放选中事件”按钮:播放从列表中选中的事件。
[0038]⑧“播放所有事件”按钮:播放所有事件。
[0039]⑨显示视频摘要事件的列表框。
[0040]视频摘要子系统11能将视频中的运动事件作为视频的摘要提取出来并可以供用户查看摘要事件。智能视频摘要软件主要分为2个大功能:视频摘要提取(视频分析)和视频摘要的播放，如图3所示，为视频摘要子系统11提取的流程图。
[0041]如图4所示，为烟火检测流程图，对烟火的识别主要是基于烟雾和火焰图像的基本特性来实现的。火灾是一种失去控制的燃烧，初期火灾的烟雾和火焰是从无到有，是非定常的，不同时刻的火焰形状、面积、辐射强度都在发生变化，烟雾也是逐渐扩散不断变大。抓住火灾火焰和烟雾的这些特点可以为烟火识别提供很好的特征依据。
[0042]烟雾图像的基本特征主要表现在如下几个方面:
①烟雾出现的有无。在初期检测时对于烟雾来说可以从视频图像中检测有无烟雾的出现来判断。
[0043]②烟雾的动态性。烟雾的动态性是由于无规则的扩散形成。它包括形状的不规则性和扩散性。我们把不规则性和扩散性结合起来检测烟雾。对提取出来的烟雾颜色区域进行检测，判断是否具有不规则性和扩散性。这样可以将假烟雾(具有烟雾颜色，但不是烟雾)区域滤除。动态特征的检测将极大地提高准确报警率。
[0044]③烟雾的颜色特征。烟雾的颜色都是在一定范围内变化的，可以根据RGB颜色空间中烟雾颜色范围来判定某个区域是否为烟雾颜色。
[0045]同时，火焰图像的基本特性主要表现为如下几个方面:
①面积的变化。火灾发生后其火焰在不断的发展着，随着火势的增大，火焰也不断增强。因而从火焰的图像特性来说，火焰面积呈连续扩展性增加的趋势；
②边缘的变化。火灾火焰的边缘变化与其他的高温物体和灯光及稳定火焰的边缘变化也有一定的区别。可以利用火焰边缘的变化来进行火灾判别。火焰边缘抖动是火灾火焰的特性,而其他高温物体、灯光和稳定火焰边缘比较稳定； ③火焰的颜色特征。火焰颜色都是在一定的范围内变化的，可以根据RGB颜色空间中火焰颜色范围来判定某个区域是否为火焰颜色。
[0046]如图5所示，为色情图片识别的流程图，对于色情图片有如下几个特征:(1)颜色特征，在色情图片里面，人体的裸露皮肤面积会非常大，通过提取人体肤色在整个图像中所占的比例，形状等特征可以作为识别色情图片的依据；(2)敏感部位的形状、纹理特征，判断一副图片是否为色情图片最关键的还是是否裸露了人体敏感部位，在肤色区域检测的基础上，对这个区域进行轮廓检测以及局部纹理特征提取，是识别色情图片的第二个依据。
[0047]对色情图片的识别采用svm分类器分类的方法，先对足够多的样本进行颜色、形状、纹理等特征进行提取，然后反复训练这些样本的特征，得出一个合理的sm分类器。再用训练完毕的分类器对其他图片进行分类，将色情图片跟正常图片分离出来。
[0048]如图6所示，敏感信息检测子系统14采用以下技术路线:
(I)建立整体结构，即信息的分类存储，信息的录入，信息模板存储，敏感信息关联视频信息等。采用数据库(MySQL/SQL server)对数据进行持久化保存。
[0049](2)由于在检测携带敏感信息的logo时，需要预先对模板logo进行处理，存储和建立索引，因此无论在视频处理阶段还是作为目标进行搜索视频，都需要进行一定的处理如提取颜色直方图，计算它的hu矩，取得模板的轮廓等一些图像特征。
[0050](3) UI 效果图
可以手工添加新的敏感信息。
[0051](4)首先，大量视频或图片由摄像机拍摄注入到系统当中，或者直接和外界视频源建立联系。并在数据库中保存相关信息。然后系统将通过系统编写的细粒度分解软件对视频进行分析，通过OpenCV的图像处理技术库对交通视频的内容的特征值进行提取。接着创建多媒体副本，并根据提取的特征值对多媒体副本进行分割和压缩。该操作便于日后提高搜索的速度。与此同时，机器将原多媒体与处理过的多媒体按照一定的规则进行存档分类统一保存管理并建立索引。当用户提交一些搜索的请求时，则通过数据库所保存的信息对数据经行访问控制。
[0052]如图7所示，为横幅检测流程图，横幅的有如下几个特征:(I)背景为纯色(纯红色，纯白色，纯黄色等)，然后横幅上面是一些标语或者字段，我们可以根据它的背景色将整个横幅的轮廓提取出来；(2)横幅的整体轮廓为矩形或者类矩形轮廓，而且长宽比很悬殊，可以在提取了横幅的矩形轮廓之后再用其长宽相比，如果大于5:1的话则可以判定为横幅；(3)横幅只有背景色是纯色，但是整个横幅并不是纯色，因为有文字，这样就可以过滤掉一些伪横幅(伪横幅的全部颜色都是一样的)。
[0053]本发明的设计重点是:通过配合利用视频摘要子系统、烟火检测子系统、色情检测子系统、敏感信息检测子系统以及横幅识别子系统，视频摘要技术和视频事件分析技术并不需要知道视频事件的具体特征，可以很快的将整个视频的摘要事件提取出来并采用视频事件分析技术对其进行分析，判定它们分别属于什么类型的事件，达到视频监控自动化，快速化，高效化的效果，本发明利用计算机视觉技术对视频信号进行处理、分析和理解，在不需要人为干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象。[0054]上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它【具体实施方式】，这些方式都将落入本发明的保护范围之内。
【权利要求】
1.一种基于视频摘要的突发事件智能识别系统，其特征在于:包括有计算机以及多个摄像头，该计算机内设置有视频摘要子系统、烟火检测子系统、色情检测子系统、敏感信息检测子系统以及横幅识别子系统，该多个摄像头均连接计算机。
2.如权利要求1所述的基于视频摘要的突发事件智能识别系统，其特征在于:所述视频摘要子系统可同时处理的视频摘要事件为至少150个，所生成的所有摘要事件视频长度在2分钟内。
3.如权利要求1所述的基于视频摘要的突发事件智能识别系统，其特征在于:所述视频摘要子系统在视频摘要提取过程中，提取时间要小于整个视频长度的五分之一。
4.如权利要求1所述的基于视频摘要的突发事件智能识别系统，其特征在于:所述烟火检测子系统在实时监控视频当碰到疑似烟雾标识和疑似火焰标识的时候在I秒内发出警报，并且返回在实时监控中出现疑似火警出现的时间。
5.如权利要求1所述的基于视频摘要的突发事件智能识别系统，其特征在于:所述色情检测子系统区分泳装、男性上半身裸露、大面积非色情的皮肤图片和婴儿裸体。
6.如权利要求1所述的基于视频摘要的突发事件智能识别系统，其特征在于:所述横幅识别子系统在实时监控视频当碰到疑似横幅事件时候能在I秒内发出警报，并且返回在实时监控中出现疑似横幅出现的时间。
7.如权利要求1所述的基于视频摘要的突发事件智能识别系统，其特征在于:所述多个摄像头均为高清防爆摄像头。
【文档编号】G06K9/00GK103605956SQ201310536952
【公开日】2014年2月26日 申请日期:2013年11月4日 优先权日:2013年11月4日
【发明者】魏文红 申请人:魏文红