专利名称：一种基于空间转换的人员异常行为识别方法
技术领域：
本发明属于视频图像处理技术领域，特别是指一种基于空间转换的人员异常行为 识别方法。
背景技术：
目前，人体行为识别是计算机视觉领域中最活跃的研究主题之一，其核心是利用 图象处理、计算机视觉、模式识别等技术从图象序列中检测、识别、跟踪人并对其行为进行 理解与描述，它在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的图象存储与 检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了国内外广大科研工作者及 相关商家的浓厚兴趣。在国外欧洲和日本已经开展了大量相关项目的研究。国内也有很多 厂家生产出了具有自动报警功能的监控系统，许多科研机构对该领域作了大量的研究，在 人运动的视觉分析、交通行为事件分析、交通场景视觉监控和智能轮椅视觉导航等领域取 得了许多科研成果。目前已经有一些行为识别的算法被提出，主要分为两种基于模板匹配的行为识 别方法和基于概率网络的行为识别方法。基于模板匹配的行为识别方法，又可以分为帧对帧匹配方法和融合匹配方法。帧对帧匹配方法，是指直接用测试集的行为特征序列与参考集的行为特征序列逐 帧匹配。这种算法常用动态时间规划来解决时间配准问题，是基于两个长度不同的模板之 间的相似程度来进行计算的。融合匹配方法，是指先将整个行为过程融合为一个整体模板或者若干个固定数目 的模板，然后再利用这有限个模板进行匹配来识别这些固定帧数的行为。基于概率网络的行为识别方法，又称为状态空间法，是目前使用较多的人体行为 识别方法。它将人体的每个静态姿势定义为一个状态，状态之间通过转移概率来切换，一个 行为序列就是这些状态之间的一次遍历。进行识别时，计算各个遍历的联合概率，据此对行 为序列进行分类。基于概率网络的方法对行为序列在时间和空间上的微小变化具有较好 的鲁棒性，这是它获得广泛应用的原因，缺点是计算复杂度高。目前人体行为识别中使用 的概率网络方法主要有隐马尔可夫模型(HiddenMarkovModels，HMMs)和动态贝叶斯网络 (Dynamic BayesianNet works, DBNs)。
发明内容
本发明的目的在于提供一种基于空间转换的人员异常行为识别方法。在正常的视频获取过程中，设置在前端的摄像机把监控的空间画面变成一幅幅平 面画面传送到后台的计算机显示屏上。当监控的空间出现异常情况，如有人员进入画面标 定的区域时，普通的监控手段是自动启动现场设置的多元防侵入探头报警；继而联动DVR
录像等。本发明提供的技术方案是针对从外部图像设备捕获的图象输入到计算机后，在计算机内应用本发明提供的技术方案中的步骤和方法对该图象序列中进行检测、识别、跟踪人并对其行为进行处理，进而对发生的事件提供适时的描述和准确的理解，实现在计算机 显示的视频上识别人员异常行为的目的。本发明的技术方案是一种基于空间转换的人员异常行为识别方法，它包括背景建模；前景提取；三维 空间标定；前景行为识别，其方法步骤是步骤一背景建模，用来得到一个稳定的且能自适应环境的背景；采用一种有时 间隔的帧抽取法来建立这个模型；通过视频帧积累，并采用中值滤波方法得到背景帧；首先确定一个时间间隔(FR)，用来抽取随机帧；然后确定一个总抽取帧数FT贮存 模型所需要的帧信息；根据积累帧，将对应位置的像素点进行大小排列，从中选取出中值点 作为背景帧图像，传递给下面的模块；随着视频帧的不断更新，以上计算过程重复进行，以 保证每隔时间间隔(FR)都会产生一个背景帧；步骤二 前景提取，用来提取前景信息；利用背景建模得到的背景帧做为背景，用 当前帧和其做比较，根据阈值的设定，得到相应的前景二值化图像；步骤三三维空间标定，用来将二维平面转换为三维高度空间；首先进行在二维平面的人员高度标定，在图像平面内选择三个不同地方，对同一 个人员进行高度标定；然后进行高度平面计算，连接任意两个标定高度的相应底点和顶点， 认为这两点之间的高度变化为线性的，这样两个标定高度之间就形成了一个高度面；相同 的计算应用到其它两个标定位置，就形成了三个高度平面；然后再计算由这三个高度面包 围形成的一个高度三维空间，这个三维高度空间是介于三个标定位置三个顶点形成的平面 和其三个底点形成的平面之间的空间，即以其中一个高度面为基准，固定一个标定位置，然 后将这个高度面进行旋转，由第二个标定位置旋转到第三个标定位置，所旋转出来的所有 高度面即为三维高度空间的一部分；再将所得到的每一个高度面进行延伸，即可得到视频 范围内的有效的三维高度空间；相同的计算应用到其它两个标定位置，就形成了一个由三 个高度面旋转形成的三维高度空间；步骤四前景行为识别，用来判别前景信息的行为异常性；通过三维空间标定，在一个二维平面图像中已经形成了一个具有实际高度的三维 立体空间，再结合之前得到的二值化前景图像，以其底部的中心点为基准，将二值化前景图 像的高度与在此位置计算得到的三维空间高度做比较，如果两个高度相符，证明此时前景 人员的行为正常，一旦这两个高度相差较大时，则有可能属于异常行为。本发明采用背景建模有如下优点1.算法复杂度低，运算量小，易于DSP上的优 化和移植；2.算法占用的内存空间小；3.算法不需要学习背景模型就可以快速适应图像的 变化。针对以上3点与目前其他背景建模方法比较，如高斯建模，贝叶斯建模等，首先这些 建模方法都是基于概率统计的方法，它们都会有大量的浮点运算，对于DSP上的优化的移 植会非常困难；其次，它们都需要大量的内存空间用于储存数据，少则几百帧，多则上千帧， 而本算法最多只用到10帧内存空间的大小，甚至更小；再有，为了适应背景的变化，其它背 景建模方法需要不断的通过之前的统计计算结果学习背景信息，而本发明可根据背景的变 化，即时更新，不需要学习，大大降低了算法运行的复杂度。本发明的方法符合背景建模的 逻辑要求，即保证在短时间内的稳定和自动适应能力；同时又充分考虑到了算法在DSP上的优化和移植效率问题，相比较其它方法具有很大的优势。由于本发明采用了背景建模、前景提取、三维空间标定和行为特征判别四个步骤 构成的基于空间转换的视频智能分析技术解决方案，从而达到在计算机视频上识别人员异 常行为的目的，可以做到不需要学习背景模型就可以快速适应图像的变化，并具有更少的 运算量和更快的运行时间。特别是在三维立体空间中进行识别分析，因此具有很高的抗干 扰性和识别准确率；同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更 快的运行时间。由于本发明的技术方案具有的抗干扰性强的特征，针对目前市面上大量使用的低 成本摄像头，采用本发明的技术方案，可有效地去除摄像头的工程噪音，保证探测质量；针 对目前对于智能功能配套高级摄像头的要求，可在不进行摄像头升级的基础上完成智能功 能，从而大幅度降低了使用成本。
图1为本发明的工作流程示意图。图2为本发明所述的背景建模示意图。图3为本发明所述的视频帧积累示意图。图4为本发明所述的时间中值滤波示意图。图5为本发明所述的物体高度标定示意图。图6为本发明所述的高度平面计算示意图。图7为本发明所述的高度平面计算示意图。图8为本发明所述的高度平面旋转示意图。图9为本发明所述的高度平面延伸示意图。图10为本发明所述的三维高度空间示意图。图11为本发明所述的前景行为判别示意图。
具体实施例方式下面就结合说明书附图及对本发明作进一步的说明。本发明是一种基于空间转换的人员异常行为识别方法，该方法的工作流程图，如 图1所示。步骤一背景建模，背景模型要适应在短时间内保持一个稳定的状态，而且又要根 据外部环境的变化自动调节。算法采用一种有时间隔的帧抽取法来建立这个模型，如图2 所示。通过视频帧积累，并采用中值滤波方法得到背景帧。首先要确定一个时间间隔 (FR)，用来抽取随机帧，然后确定一个总抽取帧数FT贮存模型所需要的帧信息；根据这些 积累帧，把对应位置的像素点进行大小排列，从中选取出中值点作为背景帧图像，传递给下 面的模块；随着视频帧的不断更新，以上计算过程重复进行，以保证每隔时间间隔(FR)都 会产生一个背景帧，算法中取FR= 10，FT= 10，如图3所示。为了提取一个固定的背景信息，而且在短时间内不受物体移动的影响，对上一步 中提取出来的随机帧进行相应像素点的一个时间中值滤波，如图4所示。
用公式表示为
<formula>formula see original document page 6</formula>其中，Ibackgroung(i, j)为背景帧图像点，Iselect"(i, j)为第η个被选取的视频帧图像
点O步骤二 前景提取，是利用上面模块传递进来的背景帧做背景，用当前帧和其做比 较，得到前景二值化图像，用公式表示为
<formula>formula see original document page 6</formula>其中，F(i，j)为前景二值图像点，Ifrant (i，j)为当前帧图像点，Iba。kgr_g(i，j)为 背景帧图像点，T为二值化阈值，算法中取值为10。步骤三三维空间标定，其作用是将现有的二维平面转换为一个三维空间，它主要 包括三个部分人员高度标定，高度平面计算和三维空间计算。下面分别详细说明。a.人员高度标定，在进行二维平面转换到三维空间的过程中，首先要进行在二维 平面的人员高度标定，即在图像平面内选择三个不同地方，对同一个人员进行高度标定。如 图5所示。为了计算能够更加准确和合理，标定所选定的位置一定要有远近之分，且三个标 定位置不能在一条直线上，最好相互之间有一定距离，成一个能尽量大的覆盖视频区域的 三角形为最佳。b.高度平面计算，进行完人员高度标定之后，要进行高度平面计算，即三个标定高 度中的任何两个标定高度可以形成一个高度面，计算方法为连接任意两个标定高度的相 应底点和顶点，认为这两点之间的高度变化为线性的，这样两个标定高度之间就形成了一 个高度面，如图6所示。相同的计算应用到其它两个标定位置，就形成了三个高度平面，如 图7所示。c.三维空间计算，在得到三个高度面以后，下一个步骤就是计算由这三个高度面 包围形成的一个高度三维空间，这个三维高度空间是介于三个标定位置三个顶点形成的平 面和其三个底点形成的平面之间的空间，计算的方法为以其中一个高度面为基准，固定一 个标定位置，然后将这个高度面进行旋转，由第二个标定位置旋转到第三个标定位置，所旋 转出来的所有高度面即为三维高度空间的一部分。举例来讲，选取位置1和位置3所形成 的高度面，以位置1为轴，将高度面从位置3旋转至位置2，如图8所示。再将所得到的每一 个高度面进行延伸，即可得到视频范围内的有效的三维高度空间，如图9所示。相同的计算 应用到其它两个标定位置，就形成了一个由三个高度面旋转形成的三维高度空间，如图10 所示。三维空间标定的思想是根据在二维平面空间得到的不同位置上的同一物体的实 际高度，计算出来在其它位置上此物体的相应实际高度，这样就把原始的二维平面图像转 换到了一个有实际高度的三维空间，完全符合物体在视频镜头内由于远近产生的高度变化 的原理。步骤四前景行为识别，通过三维空间标定法，在一个二维平面图像中已经形成了 一个具有实际高度的三维立体空间，这时再结合之前得到的二值化前景图像，可进行前景 图像的行为识别。识别的方法是针对得到的二值化前景图像，以其底部的中心点为基准，将二值化前景图像的高度与在此位置计算得到的人员实际高度做比较，如果两个高度相 符，证明此时前景人员的行为正常，一旦这两个高度相差较大时，则有可能属于异常行为。 算法中，将计算得到的三维高度进行分割，以这个高度的三分之二和三分之一作为判断标 准，如果二值化前景图像的高度小于此位置的三维高度的二分之二且大于位置的三维高度 的三分之一时，认为前景人员为下蹲情况。如果二值化前景图像的高度小于此位置的三维 高度的三分之一时，认为前景人员为躺卧情况。如图11所示。用公式表示为<formula>formula see original document page 7</formula>其中，ASignal表示报警信号类型，1为下蹲报警，2为躺卧报警；Hft。nt表示前景二 值化图像高度；H3d表示相应位置的三维空间高度。本发明公开的技术方案中具有背景建模法，前景提取法，三维立体空间标定法，前 景行为分析法的综合应用，背景建模法用来形成一个稳定且自适应的背景，前景提取法用 来将视频中的前景信息提取出来，三维空间标定法用来将二维平面图像转换为三维立体空 间，前景行为分析法用来识别前景信息的异常性，实现了更好的识别效果。以本发明公开的技术方案在TI最近推出的达芬奇产品线的两款新数字信号处理 器-TMS320DM647和TMS320DM648应用为例，大大提升了 DSP智能视频能力，在它的支持下， 基于这些DSP的NVR与DVR等高级摄像头系统可实现视频内容分析功能，允许在整体网络 视频监控系统中集成更高的灵活性、可升级性以及智能性。由于本发明的技术方案具有的 对视频处理实时性高的优势，即对每帧的消耗时间能控制在4ms/帧，可以很好的实现在一 颗主频720M的DM647芯片上进行8路实时视频智能功能的任务，降低了 DVR的BOM成本， 并使DVR设计方案更便于实现简约化。
权利要求
一种基于空间转换的人员异常行为识别方法，其特征在于该方法步骤包括步骤一背景建模，用来得到一个稳定的且能自适应环境的背景；采用一种有时间隔的帧抽取法来建立这个模型；通过视频帧积累，并采用中值滤波方法得到背景帧；步骤二前景提取，用来提取前景信息；步骤三三维空间标定，用来将二维平面转换为三维高度空间；步骤四前景行为识别，用来判别前景信息的行为异常性。
2.根据权利要求1所述的基于空间转换的人员异常行为识别方法，其特征在于所述 的步骤一中背景建模是，首先确定一个时间间隔(FR)，用来抽取随机帧；然后确定一个总 抽取帧数FT贮存模型所需要的帧信息；根据积累帧，将对应位置的像素点进行大小排列， 从中选取出中值点作为背景帧图像，传递给下面的模块；随着视频帧的不断更新，以上计算 过程重复进行，以保证每隔时间间隔(FR)都会产生一个背景帧。
3.根据权利要求1所述的基于空间转换的人员异常行为识别方法，其特征在于所述 的步骤二中前景提取是，利用背景建模得到的背景帧做为背景，用当前帧和其做比较，根据 阈值的设定，得到相应的前景二值化图像；
4.根据权利要求1所述的基于空间转换的人员异常行为识别方法，其特征在于所述 的步骤三中三维空间标定是，首先进行在二维平面的人员高度标定，在图像平面内选择三 个不同地方，对同一个人员进行高度标定；然后进行高度平面计算，连接任意两个标定高度 的相应底点和顶点，认为这两点之间的高度变化为线性的，这样两个标定高度之间就形成 了一个高度面；相同的计算应用到其它两个标定位置，就形成了三个高度平面；然后再计 算由这三个高度面包围形成的一个高度三维空间，这个三维高度空间是介于三个标定位置 三个顶点形成的平面和其三个底点形成的平面之间的空间，即以其中一个高度面为基准， 固定一个标定位置，然后将这个高度面进行旋转，由第二个标定位置旋转到第三个标定位 置，所旋转出来的所有高度面即为三维高度空间的一部分；再将所得到的每一个高度面进 行延伸，即可得到视频范围内的有效的三维高度空间；相同的计算应用到其它两个标定位 置，就形成了一个由三个高度面旋转形成的三维高度空间；
5.根据权利要求1所述的基于空间转换的人员异常行为识别方法，其特征在于所述 的步骤四中前景行为识别是，通过三维空间标定，在一个二维平面图像中已经形成了一个 具有实际高度的三维立体空间，再结合之前得到的二值化前景图像，以其底部的中心点为 基准，将二值化前景图像的高度与在此位置计算得到的三维空间高度做比较，如果两个高 度相符，证明此时前景人员的行为正常，一旦这两个高度相差较大时，则有可能属于异常行 为。
全文摘要
本发明属于视频图像处理技术领域，特别是指一种基于空间转换的人员异常行为识别方法。其方法步骤是背景建模，用来得到一个稳定的且能自适应环境的背景；前景提取，用来提取前景信息；利用背景建模得到的背景帧做为背景，用当前帧和其做比较，根据阈值的设定，得到相应的前景二值化图像；三维空间标定，用来将二维平面转换为三维高度空间；前景行为识别，用来判别前景信息的行为异常性。本发明具有很高的抗干扰性和识别准确率；同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更快的运行时间。本发明可大幅度降低了成本。
文档编号G06K9/68GK101819627SQ20101013799
公开日2010年9月1日 申请日期2010年3月30日 优先权日2010年3月30日
发明者吕楠, 贺才广, 赵雄 申请人:北京蓝色星河软件技术发展有限公司