专利名称：具有异常事件发掘功能的智能视频监控方法及系统的制作方法
技术领域：
本发明涉及视频监控领域，尤其是一种视频监控方法及系统。
背景技术：
随着社会经济和电子技术的发展以及人们安全意识的增长，视频监控技术得到快速发展，视频监控系统的智能化是监控技术发展的必然需求。目前，传统的人工视频监控方式被广泛采用，但它并非那么可靠。对于大多数人来说，盯着监控屏幕看仅仅20分钟以后，注意力的集中程度就不足以发现录像中发生的细节了。不仅如此，监控录像中绝大多数时间没有我们所关注的事件发生，即使监控人员能长时间集中注意力，也会造成人力资源严重浪费。而传统的无人监管录像方式，则不仅在需要时必须人工完成查找任务，而且只能在事件发生以后作为法律证据协助调查，失去了帮助我们采取实时措施、阻止恶性事件发生的作用。由此可见，在视频监控中自动发现和分析异常事件(即异常事件发掘)，及时发出报警和处理信号，是十分迫切需要解决的问题。
发明内容
为了克服已有视频监控方式的不具有自动发现和分析异常事件功能、智能化程度低、报警的实时性较差的不足，本发明提供一种具有自动发现和分析异常事件功能、智能化程度高、及时发出警报和进行信息处理的具有异常事件发掘功能的智能视频监控方法及系统。本发明解决其技术问题所采用的技术方案是—种具有异常事件发掘功能的智能视频监控处理方法，该方法包括以下步骤步骤1，被动式摄像机监控该摄像机周围异常情况，采集监控场景中的视频数据；步骤2，检测并跟踪监控场景中出现的运动目标，标定运动目标，并将运动目标的位置和大小参数传至主动式摄像机；步骤3，主动式摄像机根据得到的位置和大小参数后，根据设定的参数，判断是否有必要调动主动式摄像机获取目标局部特写；如果达到调动主动式摄像机的要求，则调整主动式摄像机的参数及姿态，自适应地给出监控场景中出现的运动目标的近景特写；同样根据设定的调动条件，判断是否需要停止调动；如果依然满足调动条件，则返回继续调整主动式摄像机的参数及姿态；如果达到停止调动主动式摄像机的条件，则主动式摄像机返回到初始设置，与被动式摄像机以同一焦距监控同一场景；步骤4，对检测到的运动目标进行正确分类判别目标是行人还是进入监控场景的其他物体，根据跟踪过程中得到的目标边缘轮廓信息及其变化特征作为主要的分类依据；步骤5，对分类后的运动目标进行行为理解，提取运动人体目标本身的行为特征， 比对所训练好的行为样本，对其行为进行识别并判断是否为异常行为；
步骤6，设定异常行为标准，根据所设定的标准，判断是否发生异常事件，若无异常事件发生，则返回继续采集视频数据；若发生了异常事件，则马上触发警报设置。进一步，所述步骤6中，若发生了异常事件，将异常状况录像存储，以备工作人员日后查看取证。再进一步，所述步骤4中，判别目标是行人后，再区别出进入的是单人还是一起运动的多人。更进一步，步骤6中，对于不同的应用场景应该具有不同的异常行为定义。一种具有异常事件发掘功能的智能视频监控处理系统，所述系统包括视频采集模块，用于对监控区域视频的采集，采用一对主从摄像机协同工作的方式来监控场景中的异常事件；智能检测模块，用于对监控区域运动目标的检测和跟踪，获取运动目标的实时位置及大小参数；异常事件发掘模块，用于对分类后的运动目标进行行为理解，提取运动人体目标本身的行为特征，比对所训练好的行为样本，对其行为进行识别并判断是否为异常行为，根据所设定的异常行为标准，判断是否发生异常事件，若无异常事件发生，则返回继续采集视频数据；若发生了异常事件，则马上触发警报设置。进一步，所述系统还包括人机交互模块，用于警报的触发条件，警报的方式和关键视频的存储及回放。再进一步，所述视频采集模块中，被动式摄像机用于获取固定监控场景中的视频数据，作为需要处理的数据来源，主动式摄像机根据得到的运动目标位置及大小参数动态调整摄像机的姿态和参数，自适应地给出运动目标的近景特写镜头。更进一步，所述的异常事件发掘模块中，根据运动目标的速度，加速度，位置，形状特征来识别运动物体和人体。所述的异常事件发掘模块中，在运动目标轮廓内部进行人脸识别，进行对单人和多人的辨别。所述的异常事件发掘模块中，通过使用Hu矩和R变换等特征描述方法提取运动人体的行为特征，然后使用隐马尔可夫模型计算与训练样本的相似度，识别出人体的具体行为，最后发掘出场景中的异常事件。再更进一步，所述人机交互模块中，如果异常行为达到所设定的异常参数，则系统马上触发异常事件警报，警报方式包括系统产生警报信息，给相关负责人发送手机短信和邮件。所述人机交互模块中，当异常事件警报被触发时系统将自动对当前异常状况进行录像保存以用于用户事后查看；用户也可以随时录制感兴趣的场景并保存。本发明的有益效果主要表现在采用主从式摄像机协同工作的方式，被动式摄像机采集视频数据并分析，主动式摄像机自适应地给出重要区域近景特写，能够更加清晰地观察到运动目标的局部特写；通过获取运动目标精确的边缘轮廓信息，提取其行为特征，根据已建立好的行为数据库发掘出监控场景中出现的异常事件。
图1为本发明的具有异常事件发掘功能的智能视频监控系统的功能结构框图；图2为本发明的基于停车场场景的具有异常事件发掘功能的智能视频监控系统的处理流程图。
具体实施例方式下面结合附图对本发明作进一步描述。实施例1参照图1和图2，一种具有异常事件发掘功能的智能视频监控处理方法，该方法包括以下步骤步骤1，被动式摄像机监控该摄像机周围异常情况，采集监控场景中的视频数据；步骤2，检测并跟踪监控场景中出现的运动目标，标定运动目标，并将运动目标的位置和大小参数传至主动式摄像机；步骤3，主动式摄像机根据得到的位置和大小参数后，根据设定的参数，判断是否有必要调动主动式摄像机获取目标局部特写；如果达到调动主动式摄像机的要求，则调整主动式摄像机的参数及姿态，自适应地给出监控场景中出现的运动目标的近景特写；同样根据设定的调动条件，判断是否需要停止调动；如果依然满足调动条件，则返回继续调整主动式摄像机的参数及姿态；如果达到停止调动主动式摄像机的条件，则主动式摄像机返回到初始设置，与被动式摄像机以同一焦距监控同一场景；步骤4，对检测到的运动目标进行正确分类判别目标是行人还是进入监控场景的其他物体，根据跟踪过程中得到的目标边缘轮廓信息及其变化特征作为主要的分类依据；步骤5，对分类后的运动目标进行行为理解，提取运动人体目标本身的行为特征， 比对所训练好的行为样本，对其行为进行识别并判断是否为异常行为；步骤6，设定异常行为标准，根据所设定的标准，判断是否发生异常事件，若无异常事件发生，则返回继续采集视频数据；若发生了异常事件，则马上触发警报设置。所述步骤6中，若发生了异常事件，将异常状况录像存储，以备工作人员日后查看取证。所述步骤4中，判别目标是行人后，再区别出进入的是单人还是一起运动的多人。步骤6中，对于不同的应用场景应该具有不同的异常行为定义。下面以停车场监控为例，进一步阐述本发明的具有异常事件发掘功能的智能视频监控系统处理方法。图2为本发明的基于停车场场景的具有异常事件发掘功能的智能视频监控系统的处理流程图。在停车场中安装好主动式摄像机和被动式摄像机后，将两类摄像机显示画面调至以同一焦距监控同一场景。步骤210，被动式摄像机采集监控场景中的视频数据，作为需要处理的数据来源。步骤220，检测并跟踪停车场中出现的运动目标，标定运动目标，并将目标的位置， 大小等参数传至主动式摄像机。步骤230，主动式摄像机根据得到的位置和大小等目标参数后，根据设定的参数， 如运动目标是否在监控场景中心位置，运动目标是否偏小等，判断是否有必要调动主动式摄像机获取目标局部特写。步骤231，如果达到调动主动式摄像机的要求，则调整主动式摄像机的参数及姿态，自适应地给出停车场中出现的运动目标的近景特写。步骤232，同样根据设定的调动条件，判断是否需要停止调动。如果依然满足调动条件，则返回继续调整主动式摄像机的参数及姿态。步骤233，如果达到停止调动主动式摄像机的条件，则主动式摄像机返回到初始设置，与被动式摄像机以同一焦距监控同一场景。步骤M0，对检测到的运动目标进行分类，判别目标是行人还是进入停车场的车辆，如果是人，则应该区别出进入的是单人还是多人。步骤250，提取运动人体目标本身的行为特征，比对所训练好的行为样本，识别人体的具体行为。步骤沈0，设定异常行为标准，这里定义正常行走，小跑等属于正常行为，而跳跃， 长时间滞留在某车旁等为异常行为。根据所设定的标准，判断是否为异常行为，若无异常行为发生，则返回继续采集视频数据。步骤270，若发生了异常行为，则马上触发警报设置，并将异常状况录像存储，以备工作人员日后查看取证。实施例2参照图1和图2，一种具有异常事件发掘功能的智能视频监控处理系统，所述系统包括视频采集模块，用于对监控区域视频的采集，采用一对主从摄像机协同工作的方式来监控场景中的异常事件；智能检测模块，用于对监控区域运动目标的检测和跟踪，获取运动目标的实时位置及大小参数；异常事件发掘模块，用于对分类后的运动目标进行行为理解，提取运动人体目标本身的行为特征，比对所训练好的行为样本，对其行为进行识别并判断是否为异常行为，根据所设定的异常行为标准，判断是否发生异常事件，若无异常事件发生，则返回继续采集视频数据；若发生了异常事件，则马上触发警报设置。所述系统还包括人机交互模块，用于警报的触发条件，警报的方式和关键视频的存储及回放。所述视频采集模块中，被动式摄像机用于获取固定监控场景中的视频数据，作为需要处理的数据来源，主动式摄像机根据得到的运动目标位置及大小参数动态调整摄像机的姿态和参数，自适应地给出运动目标的近景特写镜头。所述的异常事件发掘模块中，根据运动目标的速度，加速度，位置，形状特征来识别运动物体和人体。所述的异常事件发掘模块中，在运动目标轮廓内部进行人脸识别，进行对单人和多人的辨别。所述的异常事件发掘模块中，通过使用Hu矩和R变换等特征描述方法提取运动人体的行为特征，然后使用隐马尔可夫模型计算与训练样本的相似度，识别出人体的具体行为，最后发掘出场景中的异常事件。
所述人机交互模块中，如果异常行为达到所设定的异常参数，则系统马上触发异常事件警报，警报方式包括系统产生警报信息，给相关负责人发送手机短信和邮件。所述人机交互模块中，当异常事件警报被触发时系统将自动对当前异常状况进行录像保存以用于用户事后查看；用户也可以随时录制感兴趣的场景并保存。图1为本发明的具有异常事件发掘功能的智能视频监控系统的功能结构框图。该系统主要包括视频采集模块110，智能检测模块120，异常事件发掘模块130和人机交互模块 140。视频采集模块110主要用于对监控区域视频的采集，其特征在于采用一对主从摄像机协同工作。包括被动式摄像机模块111和主动式摄像机模块112。被动式摄像机模块111用于获取固定监控场景中的视频数据，作为需要处理的数据来源。主动式摄像机模块112根据得到的运动目标位置及大小参数动态调整摄像机的姿态和参数，自适应地给出运动目标的近景特写镜头。智能检测模块120主要用于对监控区域运动目标的检测和跟踪，获取运动目标的实时位置及大小参数。包括运动目标检测模块121和运动目标跟踪模块122。运动目标检测模块121用于对采集到的视频数据进行运动目标检测，标定检测到的运动目标。因为本智能视频监控系统主要对一些复杂场景进行监控，所以码书是一种合适的运动目标检测方法，其基本思想是采用量化聚类的方法，从长时间的观察序列中建立背景模型，在检测时同时度量测试像素和背景像素在颜色和强度上的距离，以此区分前景和背景，估计的背景模型随着时间的推移进行更新。运动目标跟踪模块122用于对检测到的运动目标进行准确跟踪，获取运动目标位置及大小参数。目标跟踪首先涉及到预测问题，本发明使用粒子滤波技术解决这里的预测问题，并采用根据周围情况选取主要特征的方法提高鲁棒性，把目标的灰度、色度、纹理和尺度等信息与其所在的一定范围的景物相比较，找出差距最大的特征作为目标的主要特征。这样，在多目标出现复杂或长时间交叠、遮挡或交错时就不易产生跟踪错误。异常事件发掘模块130主要用于对监控场景中运动目标的分类，人体行为的理解分析以及异常行为的定义等，包括目标分类模块131，行为理解模块132和异常行为定义模块 133。目标分类模块131用于对运动物体和运动人体的分类，以及对单人和多人的辨别，使用主动式摄像机得到的特写图像以增大分辨能力，与跟踪过程中得到的边缘及轮廓信息相结合作为分类依据，根据运动目标的速度，加速度，位置，形状等特征来识别运动物体和人体。在运动目标轮廓内部进行人脸识别，进行对单人和多人的辨别。行为理解模块132主要用于运动目标行为的理解，利用目标本身的性质以及多个目标之间的位置关系、运动相关性等提取运动目标行为特征，对不同的状态分类标准，需要采用不同的特征组合，判断是否是异常行为。通常通过使用Hu矩，R变换等特征提取方法提取运动人体的行为特征，然后使用隐马尔可夫模型(HMM)计算与训练样本的相似度，识别出人体的具体行为，最后发掘出场景中的异常事件。异常行为定义模块133主要用于异常行为的定义，不同的行为对于不同的应用场景应该有不同的异常行为定义，如跑这个动作在某些场可以是正常的，但在某些场合可以定义为异常行为。人机交互模块140主要用于人机交互，包括警报的定义条件及触发，警报的方式和关键视频的存储和回放等，包括实时报警模块141和视频存储及回放模块142。实时报警模块141包括异常行为参数的设定和发出异常事件警报，如果异常行为达到所设定的异常参数，则系统马上触发异常事件警报。警报方式包括系统产生警报信息， 给相关负责人发送短信和邮件等。视频存储及回放模块142用于录制异常行为视频及回放。一方面，当异常事件警报被触发时系统将自动对当前异常状况进行录像保存以用于用户事后查看；另一方面，用户也可以随时录制感兴趣的场景并保存。本发明的具有异常事件发掘功能的智能视频监控方法及系统能够应用到各种情况的智能监控环境中，如大型停车场，博物馆等。本发明的方法及系统能够很大程度的减轻此类场景中监控人员的工作量，并能有效增大其安全性，减少不必要的损失。显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。
权利要求
1.一种具有异常事件发掘功能的智能视频监控处理方法，其特征在于 该方法包括以下步骤步骤1，被动式摄像机监控该摄像机周围异常情况，采集监控场景中的视频数据； 步骤2，检测并跟踪监控场景中出现的运动目标，标定运动目标，并将运动目标的位置和大小参数传至主动式摄像机；步骤3，主动式摄像机根据得到的位置和大小参数后，根据设定的参数，判断是否有必要调动主动式摄像机获取目标局部特写；如果达到调动主动式摄像机的要求，则调整主动式摄像机的参数及姿态，自适应地给出监控场景中出现的运动目标的近景特写；同样根据设定的调动条件，判断是否需要停止调动；如果依然满足调动条件，则返回继续调整主动式摄像机的参数及姿态；如果达到停止调动主动式摄像机的条件，则主动式摄像机返回到初始设置，与被动式摄像机以同一焦距监控同一场景；步骤4，对检测到的运动目标进行正确分类判别目标是行人还是进入监控场景的其他物体，根据跟踪过程中得到的目标边缘轮廓信息及其变化特征作为主要的分类依据；步骤5，对分类后的运动目标进行行为理解，提取运动人体目标本身的行为特征，比对所训练好的行为样本，对其行为进行识别并判断是否为异常行为；步骤6，设定异常行为标准，根据所设定的标准，判断是否发生异常事件，若无异常事件发生，则返回继续采集视频数据；若发生了异常事件，则马上触发警报设置。
2.如权利要求1所述的具有异常事件发掘功能的智能视频监控处理方法，其特征在于所述步骤6中，若发生了异常事件，将异常状况录像存储，以备工作人员日后查看取证。
3.如权利要求1或2所述的具有异常事件发掘功能的智能视频监控处理方法，其特征在于所述步骤4中，判别目标是行人后，再区别出进入的是单人还是一起运动的多人。
4.如权利要求1或2所述的具有异常事件发掘功能的智能视频监控处理方法，其特征在于步骤6中，对于不同的应用场景应该具有不同的异常事件定义。
5.一种用于实现所述具有异常事件发掘功能的智能视频监控处理方法的系统，其特征在于所述系统包括视频采集模块，用于对监控区域视频的采集，采用一对主从摄像机协同工作的方式来监控场景中的异常事件；智能检测模块，用于对监控区域运动目标的检测和跟踪，获取运动目标的实时位置及大小参数；异常事件发掘模块，用于对分类后的运动目标进行行为理解，提取运动人体目标本身的行为特征，比对所训练好的行为样本，对其行为进行识别并判断是否为异常行为，根据所设定的异常行为标准，判断是否发生异常事件，若无异常行事件发生，则返回继续采集视频数据；若发生了异常事件，则马上触发警报设置。
6.如权利要求5所述的系统，其特征在于所述系统还包括人机交互模块，用于警报的触发条件，警报的方式和关键视频的存储及回放。
7.如权利要求5或6所述的系统，其特征在于所述视频采集模块中，被动式摄像机用于获取固定监控场景中的视频数据，作为需要处理的数据来源，主动式摄像机根据得到的运动目标位置及大小参数动态调整摄像机的姿态和参数，自适应地给出运动目标的近景特写镜头。
8.如权利要求5或6所述的系统，其特征在于所述的异常事件发掘模块中，根据运动目标的速度，加速度，位置，形状特征来识别运动物体和人体。
9.如权利要求8所述的系统，其特征在于所述的异常事件发掘模块中，在运动目标轮廓内部进行人脸识别，进行对单人和多人的辨别。
10.如权利要求5或6所述的系统，其特征在于所述的异常事件发掘模块中，通过使用Hu矩和R变换等特征描述方法提取运动人体的行为特征，然后使用隐马尔可夫模型计算与训练样本的相似度，识别出人体的具体行为，最后发掘出场景中的异常事件。
全文摘要
一种具有异常事件发掘功能的智能视频监控处理方法，包括以下步骤步骤1，被动式摄像机监控该摄像机周围异常情况，采集监控场景中的视频数据；步骤2，检测并跟踪监控场景中出现的运动目标，标定运动目标，并将运动目标的位置和大小参数传至主动式摄像机；步骤3，主动式摄像机根据得到的参数，自适应地给出运动目标的近景特写；步骤4，对检测到的运动目标进行正确分类；步骤5，对分类后的运动目标进行行为理解；步骤6，根据所设定的标准，判断是否发生异常事件，若发生了异常事件，则马上触发警报设置。以及提供一种实现所述方法的系统。本发明具有自动发现和分析异常事件的功能、智能化程度高、能及时发出警报和进行信息处理。
文档编号G06K9/62GK102164270SQ20111002553
公开日2011年8月24日 申请日期2011年1月24日 优先权日2011年1月24日
发明者唐晓梅, 宦若虹, 王浙沪, 陈庆章 申请人:浙江工业大学