一种基于监控视频的实时摔倒事件检测方法
【专利摘要】本申请公开了一种基于监控视频的实时摔倒事件检测方法，在检测场景中安装有朝向同一目标区域、拍摄角度不同的多个摄像机，多个摄像机连续拍摄目标区域，包括以下步骤：多个摄像机同时拍摄目标区域的一段视频；从多个摄像机各自拍摄的同一时段的多个视频中，分别提取出每一帧画面的代表目标的前景图像；提取同一时刻同一目标的前景图像在由多个摄像机拍摄的画面中的各自的形状和位置特征，并使用RVM分类器，确定每一帧画面对应的时刻的目标姿态类别；将所得到的每一帧画面的目标姿态类别作为目标姿态值序列输入到HMM评估器，得到目标姿态类别变化的后验概率，目标姿态类别变化代表目标摔倒事件发生；如果后验概率大于预定阈值，则确定摔倒发生。
【专利说明】一种基于监控视频的实时摔倒事件检测方法
【技术领域】
[0001]本发明涉及图像模式识别领域，更具体地，涉及基于RVM和HMM的实时摔倒检测方法。
【背景技术】
[0002]由于摔倒检测的研究具有较高的理论意义和实用价值，国内外已有相关的研究成果和产品问世。根据摔倒检测所采用的方法，检测技术可以分为三类:佩戴式仪器检测方法、环境装置检测方法、监控视频检测方法，其中前两种技术为基于传感器的方法，后一种技术为基于图像处理的方法。
[0003]在佩戴仪器式检测中，使用者需要随身佩戴一些装有传感器或其他设备装置的仪器来帮助系统获取使用者的动作信息及身体的运动信息，系统通过对采集信息分类来检测摔倒事件，文献[I]中通过使用速度和加速度传感器来判断人体动作的突然静止以达到检测摔倒的目的。
[0004]佩戴式仪器检测方法简单易施，但存在的主要问题是:由于传感器相关参数阈值是根据仪器与佩戴者之间的精确相对位置关系设定的，一旦这种关系被破坏(事实上经常发生)，如剧烈运动或穿脱衣服，则会产生大量的误检；此外，由于需要使用者佩戴仪器，将会为使用者带来较大的不适和不便。
[0005]环境监测仪器方法主要通过多种安置在环境中的传感器来采集与使用者相关的人体各项数据，通过数据分析来判断是否有摔倒事件发生。Alwan等人在文献[2]中使用装置在地板上的震动感受器来判断摔倒！Technical Solutions Australia系统[3]通过“下床”报警器、地板脚垫报警器等来收集使用者施加的压力信息，并通过分析采集的数据对使用者的姿态进行判别。
[0006]与佩戴式仪器检测方法相同，此种方法也容易受到环境中的其他干扰而产生误检；虽然免除了使用者佩戴仪器的麻烦，但由于增加了大量的传感器，系统的复杂性有所上升。
[0007]监控视频检测，即计算机视觉检测，通过实时分析监控环境内的视频数据以判断是否有摔倒事件发生。此种方法又可进一步细分为三种:(I)静止检测。通常摔倒后的人会静止地躺在地面上一段时间，基于这一假设，Nait-Charif和McKenna[4]使用架设在使用者头顶上方的广角镜头来获取使用者的运动轨迹，以检测摔倒时轨迹的突然终止。(2)身体形状变化检测。在摔倒过程中，摔倒者的人体形状通常会发生明显的变化，如从站立转变为平躺。基于这一原理，Ganapathy等人[5]使用人体外接矩形宽高比、外接矩形倾角作为姿态特征，并通过分析特征值的变化来判断人体形状的变化，继而检测是否有摔倒事件发生。
(3)头部运动/位置检测。在此方法中，研究者通过检测人体头部，并跟踪头部的运动轨迹或定位头部与地面的相对距离来检测摔倒事件的发生。Shoaib等人[6]则通过椭圆拟合来检测人体头部，并利用模拟高斯分布的场景地面信息来计算头部相对于地面的距离并判断是否发生摔倒。[0008]在监控视频检测方法中，大部分的研究仅采用单一的运动特征或姿态特征，因此容易造成大量误检。另一方面，相关文献没有考虑处理沿着摄像机照射方向的摔倒事件，此类情况中，摔倒者的形状与站立者的形状类似，紧靠单纯的外观特征很难将两种姿态相区分。
[0009]上面提及的参考文献列表
[0010][I]Almeida, 0.，M.Zhang, and J.C.Liu.Dynamic fall detection and pacemeasurement in walking sticks.1EEE Joint Workshop on High ConfidenceMedical Devices,Software, and Systems and Medical Device Plug-and-PlayInteroperability，2007.[0011][2] Alwanj M., et al.A smart and passive f loor-vibrat ion basedfall detector for elderly.1EEE2nd Conf.0n Information and CommunicationTechnologies, 2006.[0012][3]http://www.tecsol.com.au/
[0013][4]Nait-Charif, H.and S.J.McKenna.Activity summarisation and falldetection in a supportive home environment.1EEE17th Conf.0n PatternRecognition, 2004.[0014][5] V.Vaidehi et al.Video based automatic fall detection in indoorenvironment.1EEE International Conference on Recent Trends in InformationTechnology, 2011.[0015][6] Shoaibj Muhammad, Dragon, R., Ostermannj J.View-1nvariant fall detectionfor elderly in real home environment.4th Pacific-Rim Symposium on Image andVideo Technology,2010.
【发明内容】
[0016]本申请的发明人考虑到现有技术的上述情况而作出了本发明。本发明提出了一种基于多角度摄像头的摔倒检测方法，能够检测出不同空间方向的摔倒事件，并具有实时处理能力，具备较高实用性。例如，在室内居家环境中，能够及时检测出独处老人、病人等(观察对象)可能发生的摔倒事件，在很大程度上减轻摔倒事件带来的伤害。
[0017]通常，在摔倒时，摔倒者的姿态会发生较大幅度的变化，基于此原理，本发明将摔倒过程中的不同姿态划分为四类，通过两个不同角度的摄像机视频图像提取目标的外观、场景特征并利用相关向量机(RVM)来对运动目标进行快速姿态识别。利用隐马尔科夫模型(HMM)来对摔倒过程中的姿态变化进行建模，并用该模型去评估监控视频中的每一段运动过程，从而判断是否有摔倒事件发生。
[0018]根据本发明的实施例，提供了一种基于监控视频的实时摔倒事件检测方法，其中，在检测场景中安装有朝向同一目标区域、拍摄角度不同的多个摄像机，所述多个摄像机连续拍摄目标区域，所述方法包括以下步骤:步骤1、所述多个摄像机同时拍摄目标区域的一段视频；步骤2、从所述多个摄像机各自拍摄的同一时段的多个视频中，分别提取出视频的每一帧画面的代表目标的前景区域；步骤3、提取同一时刻同一目标的所述前景区域在由所述多个摄像机拍摄的画面中的各自的形状和位置特征，并使用RVM分类器，确定每一帧画面对应的时刻的目标姿态类别；步骤4、将所得到的每一帧画面的目标姿态类别作为目标姿态值序列输入到HMM评估-，得到目标姿态类别变化的后验概率，其中，所述目标姿态类别变化过程指示目标摔倒事件的发生；以及步骤5、如果所述后验概率大于预定阈值，则确定目标摔倒事件的发生。
[0019]本发明创新性地采用了 RVM和HMM结合的方式来进行视频画面模式识别，不但能够从视频中识别出任意时刻的观测对象姿态，还能够识别任一段时间内的姿态变化过程，这样，对于像摔倒这样的在一段时间内发生姿态变化的情况，能够实时检测出来。
[0020]本发明主要应用于居家监控视频场景中，用于对监控视频中可能出现的摔倒(非正常卧倒)事件进行监测并及时报警，从而有效地保障被监控者的人身安全。有益效果主要有:(1)对独居的空巢老人进行全天候实时监测，对老年人的行为和状态进行分析，自动滤除掉无用信息，并对可能出现的老人摔倒事件做出快速判断并报警，以进行及时救助，从根本上保障独居老人安全。(2)对需要监管的病人进行身体状态的分析，在发生摔倒时，可以自动向值班人员报警，提示医护人员及时处理。一方面可以降低医护人员的工作负担，另一方面也为病人的及时救护提供了宝贵的时间。
【专利附图】
【附图说明】
[0021]图1是示出根据本发明的实施例的两个相互垂直的摄像方向上的人体外接椭圆偏角的夹角差的示意图；
[0022]图2是示出根据本发明的实施例的人体所在背景的场景信息的示意图；
[0023]图3是示出根据本发明的实施例的训练出的3个RVM分类器的结构示意图；
[0024]图4为示出根据本发明的实施例的一段视频中训练模型下姿态序列的对数后验概率log (P (O I λ))随帧数变化的图。
【具体实施方式】
[0025]下面，结合附图对技术方案的实施作进一步的详细描述。
[0026]首先，简述本发明的原理。
[0027]根据本发明的实施例，基于HMM和RVM的实时摔倒检测方法在模型训练阶段主要包括以下步骤:1)特征提取，用来在两个不同角度的摄像机的训练视频帧中提取反映人体的姿态变化的多个特征；2)姿态分类，利用提取的上述特征训练出分类器，并通过分类器得到每个训练视频帧的姿态类别；3)利用隐马尔科夫模型(HMM)来对摔倒过程中的姿态变化进行建模(生成HMM模型)。
[0028]根据本发明的实施例，基于RVM和HMM的实时摔倒检测方法在事件检测阶段主要包括以下步骤:1)特征提取，用来在两个不同角度的摄像机的测试视频帧中提取反映人体的姿态变化的多个特征；2)姿态分类，利用所训练出的分类器得到每个测试视频帧的姿态类别；3)利用在上述训练阶段生成的HMM模型，评估监控视频中的每一段运动过程(姿态类别发生变化的过程)，从而判断是否有摔倒事件发生。
[0029]下面，按照上面的顺序分别说明本发明的基于RVM和HMM的实时摔倒检测方法的具体实现过程。本领域的技术人员能够理解，以下有些步骤/操作同时存在于训练阶段和测试阶段，为了简明起见，不进行重复说明。[0030]1.特征提取
[0031]将摔倒的过程进行分解，人体的姿态变化过程可归结为站立-倾斜-躺(到地面)。基于此，采用人体几何外观、场景信息组成的特征作为RVM分类器的输入，进行姿态的判断，可将居家视频中人体的姿态大致分为4类:
[0032]I)站立；
[0033]2)倾斜；
[0034]3)躺(仅限地面)；
[0035]4)其他，包括坐、蹲、躺床上等。
[0036]上述分类仅为示例，本领域的技术人员能够理解，还可根据实际需要，将人体姿态分为与上述4类不同的任意数目的类别。
[0037]采用的人体几何外观特征有:
[0038]I)人体外接矩形的宽高比。针对站姿，这一比值较小，针对倾斜姿态，其外接矩形形状接近正方形，宽高比接近于I ;
[0039]2)两个摄像方向上的人体外接椭圆偏角的夹角差。为了从多个摄像角度分析人体姿态，需要考虑椭圆拟合的夹角。由于摄像机的透视变换，当三维场景映射到二维图像中存在一定的信息丢失，使得许多姿态不易区分，如站立、顺着摄像机方向的躺等。可采用两个视线等高且相互垂直的摄像机，能够有效地进行信息互补。针对站立姿势，由于目标垂直于地平面，故在两个摄像机画面中，人体外接椭圆的长轴与水平轴夹角均约为90°，因此两个角度的差约为0° ;对于倾斜姿态，目标与地平面呈一定夹角，两个摄像方向上的夹角角度的差(绝对值)约在0°?90°范围内，一般显著高于站姿下的该角度差(约0° );对于躺姿(仅限地面)，由于目标平行于地平面，故两个垂直摄像方向上的夹角(考虑正负)的角度差(绝对值)约为90°。上述原理可通过图1解释(从上至下依次为站立、倾斜、躺；第一列为实际场景示意图，第二三列分别为两个摄像机拍摄画面)。上述两个视线等高且垂直的摄像机摆位仅为示例，本领域的技术人员能够理解，实际上两个摄像机的摆位还可以有其它方式，只要上述夹角在不同姿态下的变化能够呈现某种规律即可。当然，也可以使用更多的摄像机，从而得到更准确、精细的分类结果。
[0040]采用的场景信息特征有:
[0041]I)人体所在背景的场景信息直方图。根据居家视频特性，预先人工将场景区域进行人为标记，主要标记为床/沙发/椅子区域、墙、地面，如图2所示(其中灰色代表墙，黑色代表床/沙发/椅子，白色代表地面)。将三个区域以不同的值表示，统计人体所在区域的场景信息，计算三种灰度值所占比例，组成一个3bin的场景信息直方图。
[0042]针对原始视频，利用前景分割算法提取出运动区域(可参见文献[7])，对于以上三种特征，均从上述两个摄像画面中同时提取，这样共组成了一个2X1+1+3X2=9维特征向量。即，对于监控视频的每个视频帧对应的时刻，都提取出上述9维特征向量。
[0043]2.姿态分类
[0044]接下来，可进行姿态分类。姿态分类器采用RVM (例如，可使用在文献[8]中公开的RVM，因其测试速度较快)。由于RVM主要用于2分类的情况，因此需要训练多个2分类器，以便进行逐层分类。分析所提取的上述场景信息特征和人体外观特征，由于此两类特征不同，故采用决策树的分类结构将这两类特征分开考虑，每次选取部分特征作分类，逐层判断。依次选取场景直方图、外接矩形宽高比和外接椭圆角度差三种特征，训练出3个2分类器，得到的分类结构如下图3所示。具体地，例如，第一个分类器RVMl可用来区分上述第4类姿态与其它3类姿态，第二个分类器RVM2用来区分上述第3类姿态与第1、2类姿态，第三个分类器RVM3用来区分上述第2类姿态与第I类姿态。
[0045]这样，对于两个摄像机各自拍摄的每一帧中提取的上述9维特征，均依次送入这3个分类器中，得到姿态分类的结果。根据每帧中人员的姿态，得到相应的姿态类型编号，从而产生姿态序列,此即为下面的HMM评估中用到的HMM模型中的观测序列，其中状态数N即为4，即有上述4种可能的输出状态。
[0046]RVM分类器的预测分类过程可以概述如下(具体可参考文献[8]):
[0047]I)已知参与训练的特征矩阵X e Rnxm、测试样本中得到的新特征向量X* e Rixn以及训练得到的RVM模型向量P e RmX1，其中η是特征维数，m为参与训练的样本个数；
[0048]2)利用x*和X计算基向量b e Rixm;
[0049]3)将基向量与模型相乘得到数值y = b*p，gy > 0.5，则预测为正类，反之预测为负类。
[0050]所述RVM分类器的训练过程包括:
[0051]I)选择适当的核函数，将特征向量映射到高维空间。常用的几种核函数包括RBF核函数，Laplace核函数，多项式核函数等，在本发明中采用RBF核；
[0052]2 )初始化RVM参数；
[0053]3)从四种姿态(站、躺地、倾斜、其他)的训练样本提取姿态特征，所有样本的特征组成特征矩阵X，所有样本对应的姿态标号组成向量Y ;
[0054]4)根据贝叶斯准则，用训练特征和标号迭代求解训练样本最优的权重分布和分布参数；
[0055]5)输出RVM参数，即训练得到的模型。
[0056]3.HMM 评估
[0057]在每一帧中，记录目标的姿态类别，为了利用HMM，将目标姿态用离散值表示，即(0、1、2、3)，这样在连续的一段时间中，得到一组长度为T (对应于视频的帧数)的目标姿态值序列，即观测序列O1O2...0T。在训练阶段，根据HMM学习问题，利用摔倒过程中提取到的观测序列O1O2...0t进行学习，找到一组模型参数λ = {>，Α，Β}使得Ρ(0| λ)最大，此即HMM摔倒模型的参数。
[0058]所述HMM模型的训练过程包括:
[0059]I)收集多段不同摔倒者不同方向的摔倒视频；
[0060]2)提取每段摔倒视频中的特征，并利用RVM进行姿态分类，在一个时间滑窗内，将每一巾贞输出的姿态编号作为HMM观测序列；
[0061 ] 3 )利用基于多观测序列的Baum-Welch训练算法训练HMM模型λ，传统的Baum-Welch算法步骤如下(可参见文献[9]):
[0062]3-1为模型参数赋一个初值入。；
[0063]3-2利用前向后向方法(可参见文献[10])，计算在该模型下观测序列O的后验概率，即ρ(0入。)；
[0064]3-3基于观测序列O和当前模型参数，更新模型参数λ，其更新公式为:
【权利要求】
1.一种基于监控视频的实时摔倒事件检测方法，其中，在检测场景中安装有朝向同一目标区域、拍摄角度不同的多个摄像机，所述多个摄像机连续拍摄目标区域，所述方法包括以下步骤: 步骤1、所述多个摄像机同时拍摄目标区域的一段视频； 步骤2、从所述多个摄像机各自拍摄的同一时段的多个视频中，分别提取出视频的每一帧画面的代表目标的前景区域；步骤3、提取同一时刻同一目标的所述前景区域在由所述多个摄像机拍摄的画面中的各自的形状和位置特征，并使用RVM分类器，确定每一帧画面对应的时刻的目标姿态类别；步骤4、将所得到的每一帧画面的目标姿态类别作为目标姿态值序列输入到HMM评估_，得到目标姿态类别变化的后验概率，其中，所述目标姿态类别变化过程指示目标摔倒事件的发生；以及 步骤5、如果所述后验概率大于预定阈值，则确定目标摔倒事件的发生。
2.根据权利要求1所述的实时摔倒事件检测方法，其中， 所述目标姿态类别包括以下四个类别:1)站立；2)倾斜；3)躺在地面；4)其他， 所述目标姿态类别变化表示以下变化:站立一倾斜一躺在地面， 其中，所述多个摄像机为拍摄视角相互垂直的两个摄像机，并且，事先在每个摄像机拍摄的目标区域中标记出多类子区域， 所述形状和位置特征包括以下3个特征:1)目标的外接矩形的宽高比；2)两个摄像机各自的拍摄方向上的目标的外接椭圆的长轴与水平线之间的夹角之差；3)目标的位置处于哪类子区域。
3.根据权利要求2所述的实时摔倒事件检测方法，其中，所述RVM分类器包括3个2分类器，其中，第一个2分类器区分所述四个类别中的前三个类别与第四个类别，第二个2分类器区分所述四个类别中的前二个类别与第三个类别，第三个2分类器区分所述四个类别中的第二个类别与第一个类别。
4.根据权利要求3所述的实时摔倒事件检测方法，其中，所述RVM分类器的训练过程包括以下步骤: 步骤11、从分别属于所述四个类别的训练样本视频中提取所述形状和位置特征，组成特征矩阵X，所有训练样本视频对应的所述目标姿态类别组成向量Y ； 步骤12、采用RBF核函数，将所述特征矩阵X映射到高维空间； 步骤13、根据贝叶斯准则，求解最优的权重分布和分布参数，作为RVM参数。
5.根据权利要求4所述的实时摔倒事件检测方法，其中，所述HMM模型的训练过程包括以下步骤: 步骤21、输入K段包含摔倒事件的摔倒样本视频； 步骤22、从每段摔倒样本视频的每一帧画面提取所述形状和位置特征，并使用RVM分类器，确定每一帧画面对应的时刻的目标姿态类别，将目标姿态类别编号组成HMM观测序列集合 O = {0(1),0(2),…O?}； 步骤23、利用基于多观测序列的Baum-Welch训练算法训练得到HMM模型。
6.根据权利要求5所述的实时摔倒事件检测方法，其中，所述步骤23包括以下步骤: 步骤23-1、为当前模型参数λ赋予初值λ ^，其中λ = {Ji, A, B}；步骤23-2、利用前向后向方法，计算在当前模型参数的初值λ 0下的观测序列集合O的后验概率Ρ(0| λ0)； 步骤23-3、基于以下公式，更新模型参数λ:
【文档编号】G06K9/66GK103955699SQ201410125985
【公开日】2014年7月30日 申请日期:2014年3月31日 优先权日:2014年3月31日
【发明者】赵衍运, 姜媚, 庄伯金, 苏菲, 赵志诚 申请人:北京邮电大学