一种养老院老人危险行为监测方法
【专利摘要】本发明公开了一种养老院老人危险行为监测方法，旨在克服现有技术中存在的对老人跟踪准确率低、行为分析效果差、行为识别算法调用频繁、系统负载大以及监控效果过分依赖设备性能等问题，本方法的特征在于使用监控摄像机、视频采集卡、个人PC机、显示器、报警音箱结合个人PC机中的轮廓检测程序模块、跟踪程序模块、行为识别程序模块，基于目标跟踪与行为识别相结合的方法对养老院老人日常生活中的活动状态进行监测并对老人的危险和异常行为进行报警。本方法监测效率高、对老人行为识别度高、运行成本低廉，具有较好的实用性和推广前景。
【专利说明】一种养老院老人危险行为监测方法
【技术领域】
[0001]本发明涉及一种计算机视觉【技术领域】的方法，具体涉及一种养老院老人危险行为的监测方法。
【背景技术】
[0002]通过查询和检索，得到与本发明【技术领域】相近的现有技术及其存在的问题如下:
[0003]1.中国专利公布号为CN 102547216A，公布日为2012年7月4日，发明名称为一种用于重大危险源的视频图像监控系统，该发明中谈到一种将监控系统应用于重大危险源的视频图像检测系统。该专利通过将不同种类的摄像机有机的组合起来，构成了一个复杂有效的系统。但该系统有着两个缺点，使得该系统无法有效的应用到养老院的老人危险行为监控中:(1)该系统的投资过大，数量过多的高性能摄像机虽然能够全方位多角度的监控，但是在养老院资金有限的情况下，普通监控摄像机才是最佳选择。(2)全人工监控，心理学的研究表明，当员工长时间从事单调工作时，员工的注意力下降，反应速度也跟随下降，直接导致了员工忽略屏幕上发生的可疑事件，从而使安保系统失效，丧失了第一时间阻止犯罪的机会，同时也会对员工的身心健康产生极为不利的影响，另外，养老院出于成本原因，监控设备一般由值班护士代为监管，护士在忙于本职工作的时候，很容易忽略监控画面，使监控系统失效。
[0004]2.中国专利公布号为CN 102764131A，公布日为2012年11月7日，发明名称为一种远程老人生活监控照料系统和方法，该发明中谈到一种综合通过各种设备，包括:监控设备、医疗体征设备等一系列设备构成远程监控老人生活的系统，该系统有着无需在老人身上安装检测设备的优点，对老人生活无干扰，并且能够根据老人的不同个体设置或自学习设置不同的报警阈值，使该系统更加智能。该系统侧重于监控老人身体情况，例如心率、血压、血糖、血氧等身体信息，以及起床时间，吃药时间等生活规律信息，及时发现身体异常，提早诊断。但该系统的实时性不高，过多的依赖于身体特征信息，容易忽略老人突发的疾病，投资成本过高。
[0005]3.中国专利公布号为CN 101727570A，公布日为2010年6月9日，发明名称为跟踪方法、检测跟踪处理设备和监控系统，该发明中谈到一种利用跟踪方法进行监控的系统，该发明通过预测目标的可能位置，并确定连通区域，将所得特征参数与原有特征参数进行比较来判断目标的位置，并对目标特征进行更新。该发明能够较好的解决对目标进行跟踪过程中的目标特征变化问题，该发明能够有效的应用到监控系统中，提高目标跟踪的准确性。但该发明仅能够通过目标的运动轨迹来进行监控，而无法区分目标在同一运动轨迹下的不同行为。
【发明内容】
[0006]本发明为了克服对老人跟踪准确率低、行为分析效果差、行为识别算法调用频繁、系统负载大以及监控效果过分依赖设备性能等方面的缺点，提出一种基于目标跟踪与行为识别相结合的养老院的老人危险行为监测方法。
[0007]为了克服上述问题本发明是采用如下技术方案实现的:所述的一种养老院老人危险行为监测方法的步骤如下:
[0008]步骤一、使用监控摄像机、视频采集卡、个人PC机获取进入监控区域的老人的视频图像；
[0009]步骤二、使用个人PC机中的轮廓检测模块对步骤一中获取的视频图像进行轮廓检测，使用帧差法计算所得的老人轮廓区域的像素个数变化来判断老人当前所处的状态。使用帧差法，对进入监控区域的老人进行轮廓检测，将连续两帧监控图片Xp X2依据其对应的灰度值相减，即X1Q, j)-X2(i，j)≥δ的区域为老人的轮廓，X1Q, j)-x2(i，j) < δ为老人的背景区域，计算轮廓所对应的连通区域内像素点的个数，像素点的个数由少变多时，为老人进入监控区域，此时不需要把轮廓信息传递给跟踪模块；当像素点的个数不再继续增多时，可判断老人已经进入了监控区域，此时将老人的轮廓信息传递给跟踪模块，该模块每隔I秒钟运行一次。
[0010]步骤三、个人PC机中的跟踪模块对得到的老人的轮廓信息进行跟踪，依据老人的轮廓信息所围成的矩形边框作为跟踪框，并提取跟踪框内的ORB特征即旋转不变性的局部特征描述子特征，以及ORB特征数即旋转不变性的局部特征描述子特征数，将连续几帧的中心点位置坐标输入到跟踪模块里的拟合函数中，通过拟合函数得出的结果对老人下一帧所在位置进行预测；具体过程如下:
[0011]依据老人的轮廓信息所围成的矩形边框作为跟踪框，并提取跟踪框内的ORB特征(英文全称:0riented FAST and Rotated BRIEF,旋转不变性的局部特征描述子特征)及ORB特征数(旋转不变性的局部特征描述子特征数)，所述的提取当前帧跟踪框内的ORB特征的具体过程如下:
[0012]首先对当前帧进行分块:将当前跟踪框内的图像单独提取出来，以I表示该图片，设图像为一个mXn维的矩阵，将图像分若干个kXk像素的小块，这样，整个图片一共被分为(m/k) X (n/k)个小块,取每个小块的像素点的平均值为该小块的像素值,I (x, y)表示为第X列第I行所对应小块的平均灰度值。
[0013]然后选择当前帧的ORB特征点:根据mM = Σ x；yxpypI (x, y)，其中p, q分别取值为O和 1，X e [I,..., m/k], y e [I,..., n/k]得到特征点的梯度 Θ = argtan(m01,m10).将所有特征点按照Θ值由大到小排列，从(m/k) X (n/k)个坐标点中选取Θ最大的8个作为选中的特征点。
[0014]最后计算当前帧的ORB特征数:将选中的8个特征点依照下边公式进行计算:
【权利要求】
1.一种养老院老人危险行为监测方法，其特征在于，所述的一种养老院老人危险行为监测方法的步骤如下: 步骤一、监控摄像机(I)采集监控区域内老人的监控图像并将采集的监控图像传递给视频采集卡(2 )，视频采集卡(2 )将监控图像压缩后传输给在个人PC机(3 )处理； 步骤二、个人PC机(3)中的轮廓检测模块对采集的监控图像进行轮廓检测，使用帧差法计算老人轮廓区域的像素个数变化来判断老人所处的状态； 步骤三、个人PC机(3)中的跟踪模块对得到的老人的轮廓信息进行跟踪，依据老人的轮廓信息所围成的矩形边框作为跟踪框，并提取跟踪框内的ORB特征即旋转不变性的局部特征描述子特征，以及ORB特征数即旋转不变性的局部特征描述子特征数，将连续几帧的中心点位置坐标输入到跟踪程序里的拟合函数中，通过拟合函数得出的结果对老人下一帧所在位置进行预测； 步骤四、个人PC机(3)中的跟踪模块，依据所预测老人在下一帧的位置对目标老人进行跟踪； 步骤五、个人PC机(3)中的行为识别模块对跟踪模块跟踪的老人的行为进行识别，若识别出的行为分类结果为正常行为，则不需要报警，若为识别出的行为分类结果为异常行为，需要将当前识别结果传递给显示器(4)及报警音箱(5)进行报警，并根据识别出的异常行为分类结果的不同，向显示器(4)及报警音箱(5)提供不同的信号； 步骤六、显示器(4)上实时显示当前监控的画面，当接收到老人的异常行为分类结果报告时，显示器(4)依据行为识别模块所提供的行为分类结果对应的信号，在老人的周围显示不同的颜色框并闪烁，同时报警音箱(5)发出相对应的报警音报警。
2.根据权利要求1所述的养老院老人危险行为监测方法，其特征在于步骤二中所述的判断老人当前所处状态的具体过程为:使用帧差法，对进入监控区域的老人进行轮廓检测，将连续两帧监控图片Xp X2依据其对应的灰度值相减，即X1Q, j)-X2 (i，j) < δ的区域为老人的轮廓，X1Q, j)_X2(i，j) < δ为老人的背景区域，计算轮廓所对应的连通区域内像素点的个数，像素点的个数由少变多时，为老人进入监控区域，此时不需要把轮廓信息传递给跟踪模块；当像素点的个数不再继续增多时，可判断老人已经进入了监控区域，此时将老人的轮廓信息传递给跟踪模块，该模块每隔I秒钟运行一次。
3.根据权利要求1所述的养老院老人危险行为监测方法，其特征在于步骤三中所述的预测老人下一帧所在位置的过程为: 依据老人的轮廓信息所围成的矩形边框作为跟踪框，并提取跟踪框内的ORB特征及ORB特征数，提取当前帧跟踪框内的ORB特征及ORB特征数的具体过程如下: 首先对当前帧进行分块:将当前跟踪框内的图像单独提取出来，以I表示该图片，设图像为一个mXn维的矩阵，将图像分若干个kXk像素的小块，这样，整个图片一共被分为(m/k) X (n/k)个小块, 取每个小块的像素点的平均值为该小块的像素值,I (X，y)表示为第x列第I行所对应小块的平均灰度值。 然后选择当前帧的ORB特征点:根据mM = Σ X；yxpypl (x, y)，其中P, q分别取值为O和.1，X e [I,...，m/k], y e [I,..., n/k]得到特征点的梯度 Θ = argtan(Iii01, m10).将所有特征点按照Θ值由大到小排列，从(m/k)X(n/k)个坐标点中选取Θ最大的8个作为选中的特征点。最后计算当前帧的ORB特征数:将选中的8个特征点依照下边公式进行计算:
4.根据权利要求1所述的养老院老人危险行为监测方法，其特征在于步骤四中所述的依据所预测的老人在下一帧的位置对目标老人进行跟踪的具体过程为，使用个人PC机(3)中的跟踪程序，根据上述预测到的老人在下一帧的位置对目标老人进行跟踪，跟踪的具体过程为个人PC机(3)中的跟踪程序计算出上一帧跟踪框的ORB特征及ORB特征数，以及当前帧下跟踪框在预测所得的位置的ORB特征及ORB特征数，并对二者特征数中同一位置上的元素是否相同进行比较，若相同的个数大于等于阈值，表明跟踪到目标，保留当前的ORB特征及ORB特征数，继续处理下一帧；如果相同的个数小于阈值，表明目标未命中，则需要根据所述的拟合方法重新取得下一个可能位置并重新计算对应位置ORB特征数，并比较与当前的ORB特征数做对比，直至拟合命中，继续处理下一帧；或者所有可能的拟合坐标全部未命中，则本步骤返回跟踪丢失。 如果上述的跟踪过程能够连续10帧跟踪到老人，则进行跳帧操作，即隔三帧再执行目标跟踪算法，这样可以大大提高跟踪效率；如果上述的跟踪过程返回跟踪丢失，则需要回到三帧前，重新使用上述的跟踪过程进行处理，如果跟踪成功则继续下一帧；如果跟踪失败，返回跟踪丢失。 如果返回跟踪丢失，则退回到上一帧，对当前要跟踪的老人周围进行360度采样，并找到匹配度最大的跟踪框，若该跟踪框的匹配度大于阈值，表明跟踪目标在丢失后重新找到且老人的路径发生巨大的改变，则调用行为识别算法对老人的当前情况进行识别；若该跟踪框的匹配度小于阈值，表明老人跟踪丢失，则删除当前跟踪框，并调用帧差法重新检测监控区域内的老人运动情况。
5.根据权利要求1所述的养老院老人危险行为监测方法，其特征在于步骤五中所述的使用个人PC机(3)中的行为识别程序对跟踪程序跟踪到的老人的行为进行识别的过程包括初次使用本方法时的初始参数确定过程和每次使用本方法时的行为比较识别过程； 所述的初次使用本方法时的初始参数确定过程为:首先选取有标签的样本X ={ X I, X2，…，xj.其中X i为一段标有标签的视频，标签内容为该段视频所记录的老人在日常生活中的行为，例如C1为行走标签，C2为站立标签，C3为跌倒标签，C4为过分弯腰标签等，将这些视频作为训练样本，每个标签需要在不同环境下采取数个训练样本，每个训练样本的视频有三个维度，图像横轴、图像纵轴、时间轴，即输入数据X i为三阶张量，然后采用基于递增的判别张量与典型相关分析算法对这些训练样本进行学习，从而得到三个转换矩阵=UuWU3,再对每一个样本计算降维后的三阶张量=Yi = X ^1U1X2U2X3U3，将分别属于行走、站立、跌倒、过分弯腰等N种行为定义为C1, (^…(^类，每一类的分类中心为:y =1 /' Σ1Oe C，其中L为属于Q类样本x j中所有降维后的张量，?力属于Q类元素的个数。将得到的三个转换矩阵和每一类行为的分类中心输入个人PC机(3)中的行为识别程序作为行为比较识别的参数； 所述的基于张量的主成分分析法的步骤如下: a.对于输入的视频片段，可以理解为一个三维矩阵，该矩阵有三个维度，即横轴X，纵轴1，时间轴t，设每个视频片段为Xi,则将所有输入的视频片段构成一个四位矩阵X =[X1, X2,…，Xn].随机初始化矩阵U1, U2, U3 b.计算矩阵D1= XX2U2X3U3，对矩阵D1XD11求其特征值Xi以及特征向量Vi，选择特征值λ i > O所对应的特征向量所构成的集合，将该集合的值赋值给U1，计算矩阵D2 =XX AX3U3，对矩阵D2XD/求其特征值λ i以及特征向量Vi，选择特征值λ i > O所对应的特征向量所构成的集合，将该集合的值赋值给U2,计算矩阵D3 = XX1U1X2U2,对矩阵D3XD/求其特征值λ i以及特征向量Vi,选择特征值λ i > O所对应的特征向量所构成的集合，将该集合的值赋值给U3，其中，XXiUi为张量的乘法，其含义为将高维向量X，保留其第i维，将其他所有维度依次展开，形成一个二维矩阵Xi,并计算UiXXi,所得矩阵再按照展开的顺序进行逆变换，所得的高维矩阵即为XXiUi的值。 C.计算连续两次迭代，所得矩阵Uil ,Ui1, U[与Ui1, U^1，U[+i之差:U;+1- U;， -0和CTf1 -，所得的三个矩阵，将所有元素平方相加，所得的和为两次迭代的变化量，如果变化量小于阈值，则迭代终止，当前M，Ui2, M即为算法所得的结果，否则重复前面所述的b过程。 所述的每次使用本方法时的行为比较识别过程为:首先将视频图像中自跟踪算法发现的异常行为作为行为比较识别样本的开始时间点，以当前跟踪框区域的中心点为中心以当前跟踪框最长边为边长，从而得到一个正方形区域，将当前区域内的视频图像，读取3秒钟的监控视频，作为待分类样本X，通过公式Y = X X Λ X2U2 X3U3，其中U1, U2，U3为初始参数确定过程所得的转换矩阵，XiQ = 1，2，3)为张量相乘的运算符号，得到该样本降维后的三阶张量Y，将Y与上述每个类的分类中心\ e在三维空间上计算其欧氏距离，选择距离最近的一类作为其分类结果，从而完成分类，依据当前行为通过分类所得的结果即为识别结果，若识别结果为行走、站立等正常行为，则不需要向显示器(4)和报警音箱(5)传递信号，若识别结果为跌倒、过分弯腰等异常行为，需要将当前识别结果对应的信号传递给显示器(4)和报警音箱(5)。`
【文档编号】G06K9/66GK103517042SQ201310489096
【公开日】2014年1月15日 申请日期:2013年10月17日 优先权日:2013年10月17日
【发明者】于哲舟, 刘小华, 李斌, 刘昱昊, 逄淑超, 郑恒, 刘继健, 吴朝霞, 章杰, 于祥春 申请人:吉林大学