一种基于视频的多阶段摔倒检测算法的制作方法
本发明涉及图像模式识别，具体涉及一种基于视频的多阶段摔倒检测算法。
背景技术：
意外摔倒是威胁老年人健康生活的重要因素之一，由于近年来人口老龄化趋势的增大使得意外摔倒的及时预防与处理这一问题受到诸多研究者的关注。目前在摔倒识别领域主要有三大技术方案，即可穿戴传感器设备，环境传感器设备，与计算机视觉设备。其中可穿戴传感器设备是将传感器穿戴于测试者身上以采集运动过程中的信息，通过一定的算法判断该运动是否属于摔倒；环境传感器则是在墙壁，天花板等环境中安装音频传感器来采集空间内目标的声波信息来检测摔倒；计算机视觉设备则是从环境中采集视频源，依据图像处理的方法识别出场景中的目标，并使用一定的算法来判断目标是否发生摔倒。随着近年来图像处理、机器学习等领域的相关技术逐渐发展成熟，越来越多的研究者们热衷于计算机视觉的摔倒检测这一方法。
在基于计算机视觉的摔倒检测方法中，中国发明专利cn103903281a公开了一种提取宽高比，中心距离，面积比三类特征并进行阈值法判决的视频摔倒检测算法。该方法融合多种特征，因此对于摔倒事件的描述更为充分，然而阈值法作为一种摔倒判别算法，其单一的阈值不足以充分适应目标处于遮挡或没有遮挡等不同的环境。在中国发明专利cn103186902a中提出一种自适应的摔倒检测方法，其无需人为设定阈值而从场景采集的信息中不断更新阈值，具有更好的环境适应性，然而在特征提取方面其主要采集重心下移量不足以充分说明摔倒行为，且对于视频摔倒检测方法而言未分析由于环境物体遮挡对于摔倒检测的判决效果的影响。因此需要一种摔倒检测算法其能够适应有遮挡和无遮挡等不同的环境。
技术实现要素：
鉴于已有技术存在的缺陷，本发明公开了一种基于视频的多阶段摔倒检测算法，其具有依据场景中目标被遮挡的面积大小不同判断出目标处于未遮挡、遮挡或过遮挡状态，并对未遮挡或遮挡两种状态执行不同的摔倒判决算法以判断目标是否摔倒，对于过遮挡状态则发出场景无目标的报警信号。
为实现上述目的，本发明的技术方案：
一种基于视频的多阶段摔倒检测算法，包括以下步骤：(1)运动目标分离：通过运动目标分离方法将摄像头采集的视频帧序列图像中的运动目标用白像素点表示，背景用黑像素点表示得到二值化图像；(2)图像优化处理：对步骤(1)中得到的所述二值化图像进行形态学处理和矩形框优化处理得到目标二值化图像；(3)图像特征提取：对步骤(2)中得到的所述目标二值化图像进行特征提取，获得所述目标二值化图像的特征值；(4)摔倒判断：根据步骤(3)中获得的所述特征值执行摔倒判决算法以判断所述目标的运动状态，所述摔倒判决算法包括以下步骤：1)根据所述特征值进行遮挡发生判别，获得遮挡发生判别结果；2)根据所述遮挡发生判别结果，执行相应的有遮挡摔倒判决算法或无遮挡摔倒判决算法，得到所述目标的运动状态；
进一步地，所述矩形框优化处理具体方法如下：对所述形态学处理后的图像进行扫描，获取所述图像中的多个运动目标及所述多个运动目标的最小外接矩形框，对所述多个运动目标的最小外接矩形框的面积进行比较，将面积最大者确定为主要目标矩形框，提取所述主要目标矩形框中的图像获得目标二值化图像；
进一步地，所述图像特征提取包括宽高比α、垂直中心y0、地平线比y1以及遮挡率mro；
所述宽高比α采用公式(1)进行计算：
其中，αt为第t帧所述目标二值化图像的宽高比，ht为第t帧所述目标二值化图像的高度值，wt为第t帧所述目标二值化图像的宽度值；
所述垂直中心y0采用公式(2)进行计算：
其中，y0_t为第t帧所述目标二值化图像的垂直中心，ymax_t与ymin_t为第t帧所述目标二值化图像的纵坐标最大、最小值；
所述地平线比y1采用公式(3)进行计算：
其中，y1_t为第t帧所述目标二值化图像的地平线比，n1为第t帧所述目标二值化图像中从ymax_t到基准地平线y＝yh间目标像素个数，n2为第t帧所述目标二值化图像中从基准地平线y＝yh到ymin_t间目标像素个数，所述yh为所述目标二值化图像垂直高度的
所述遮挡率mro定义如公式(4)所示：
其中n为当前帧所述目标二值化图像中的目标白点个数，n0为其前一帧所述目标二值化图像中目标白点个数；
进一步地，根据所述遮挡率mro值与设定的阈值关系进行所述遮挡发生判别，所述设定的阈值包括遮挡阈值和过遮挡阈值；当mro值大于等于0且小于遮挡阈值时，判断为未遮挡；当mro值大于等于遮挡阈值且小于过遮挡阈值时，判断为发生遮挡；当mro值大于等于过遮挡阈值时，判断为过遮挡；其中，所述遮挡阈值的设定过程具体如下：1)分析引起mro产生的事件，所述产生mro的事件包括身体面积重叠、gmm模型背景更新以及静物遮挡；2)通过实验采集所述事件的y0、y1和mro值；3)根据所述采集的y0、y1和mro值绘制相应事件的时间-幅值变化曲线；4)比较所述遮挡事件与所述身体面积重叠、gmm模型背景更新事件的时间-幅值变化曲线中的mro值以确定遮挡阈值；所述过遮挡阈值根据所述图像中运动目标的最小外接矩形框面积进行设定；
进一步地，所述遮挡阈值为0.4，所述过遮挡阈值为0.8；
进一步地，所述无遮挡摔倒判决算法包括状态阈值判决、运动阈值判决和svm分类器判决三个阶段的判决过程；在所述状态阈值判决过程中，若α≥2.5且y0≥1.5时，判断为非摔倒状态，否则执行运动状态阈值判决；在所述运动状态阈值判决中，定义了运动状态阈值th如公式(5)所示：
th＝δα×δy0+δα×δy1+δy0×δy1(5)
其中，δα，δy0，δy1分别为当前帧所述目标二值化图像的宽高比α、垂直中心y0以及地平线比y1相对于其k帧前的所述目标二值化图像相应参数的变化量，并根据运动状态阈值th值进行摔倒判决，若所述th值小于设定阈值则判别为非摔倒状态，否则进入svm分类器判决；所述svm分类器判决如下：svm分类器训练集的正样本为摔倒，负样本由坐、弯腰、蹲按3:1:1的比例构成，正负样本比例近似1:1，并通过交叉验证方法获得svm分类器的最优参数，并在所述最优参数下用所述svm分类器进行摔倒判决；
进一步地，所述有遮挡摔倒判决算法是通过对垂直中心y0和地平线比y1进行阈值判断以判断目标是否摔倒，当y0≤1且y1≤0.8时判定为遮挡摔倒，否则判断为遮挡非摔倒状态。
本发明具有以下有益效果：1)本发明的摔倒判决算法可以实现有遮挡摔倒和无遮挡摔倒两种环境的摔倒判断；2)本发明的图像优化处理包括形态学处理和矩形框优化，通过形态学处理可以得到消除了噪点、平滑了目标图像边缘以及填充了目标中小空洞的清晰图像，通过矩形框优化可以排除场景中的干扰目标，得到稳定的处理目标；3)对图像进行宽高比α、垂直中心y0以及地平线比y1等特征参数提取，可以更精确的描述目标的运动状态；4)无遮挡摔倒判决算法包括运算高效的状态阈值判决、运动阈值判决和准确率高的svm分类器判决三个阶段的判决过程，可以快速且准确的判断目标的运动状态。
附图说明
图1是本发明的摔倒检测算法总流程图；
图2是本发明的摔倒检测算法具体过程流程图；
图3是本发明的基准地平线的定义示意图；
图4是本发明的摔倒判决算法的一个实施例的流程图；
图5中(a)、(b)、(c)和(d)分别是运动目标处于蹲、弯腰、消隐和行走中发生遮挡时对y0、y1和mro进行实验数据采集并根据实验数据绘制幅度与时间曲线图；
图6是本发明的实施例中摔倒过程中α、y0、y1的状态变化曲线图；
图7中(a)、(b)、(c)分别是本发明的实施例中摔倒过程中k取1～3下α、y0、y1的变化率曲线；
图8是本发明的实施例中三次摔倒中对α取5级db4小波分解；
图9是本发明的实施例中对α做2级重建后k取1～4的变化率曲线；
图10是本发明的实施例中对th取值的实验曲线图，其中，(a)为3次摔倒行为下th值变化曲线；(b)为5次坐行为下th值变化曲线；(c)为5次弯腰行为下th值变化曲线；(d)为5次蹲行为下th值变化曲线。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述。
如图1所示为执行本发明的摔倒检测算法的总流程，其包括用于输入摄像头采集的视频图像的输入视频帧序列过程和用于对输入的视频图像执行摔倒检测算法以判断目标的运动状态的过程，摔倒检测算法包括运动目标分离、图形优化处理、图像特征提取、摔倒判断等步骤，摔倒检测算法总流程还包括根据是否摔倒执行摔倒报警提示或返回输入视频帧序列以进行下一次的摔倒检测等过程，如果根据摔倒检测算法判断目标摔倒则执行摔倒警报提示，如果未摔倒则返回输入视频帧序列以进行下一次摔倒检测。
其中，如图2所示，摔倒检测算法具体过程如下：
步骤1：首先采用运动目标分离方法(背景减除法、帧间差法、gmm或光流法等)将输入的原始视频帧序列图像中的运动目标(图像中可能既包括要进行监视的运动目标，也可能包括宠物等其它干扰运动目标)用白像素点表示、背景用黑像素点表示以生成二值化图像使得目标与背景分离。优选地，运动目标分离方法采用gmm方法，其适用于背景相对变化较少的环境，且具有一定的背景更新速率，适用于室内居住环境。
步骤2：对运动目标分离后的二值化图像进行图像优化处理，图像优化处理包括形态学处理和矩形框优化。形态学处理是通过腐蚀、膨胀等方法将步骤1中生成的二值化图像中的前景图像(前景图像就是二值化图像中的白像素点所形成的图像，表示场景中运动物体所形成的图像，是相对于静止环境的背景图像而言的)中的噪点滤除、平滑目标图像边缘和填充目标图像中的小空洞，以生成清晰的图像源用于后续处理。矩形框优化用于消除图像中的运动干扰目标，其具体过程如下：对二值化图像从左至右按列扫描当出现白像素点时记录此时纵坐标为矩形框左边界起点，而后依序扫描后面各列直到某列没有白像素点时记录该列为矩形框右边界终点。然后在左右边界内由上至下按行扫描并记录出现白像素点所在行数的最大值与最小值作为矩形框的上下边界，获取目标的最小外接矩形框。将此矩形框设为目标矩形1，随后从目标矩形1的右边界的下一列开始重复上述扫描过程得到目标矩形2，比较两个矩形面积大小将面积较大者赋值给目标矩形1，随后从目标矩形2右边界的下一列开始重复上述过程，直到扫描至图像最后一列结束。这样遍历一幅图可以扫描出图像中的所有运动目标，并通过对所有运动目标的最小外接矩形进行面积比较可获得外接矩形面积最大的运动目标，并将该运动目标作为后续处理的目标，提取面积最大的矩形框中的图像获得目标二值化图像，其它目标则视为干扰目标不予处理。在该矩形框优化过程中，先按列后按行扫描是因为正常情况下人站立或坐下时竖直方向扫描到白像素点的可能性大，使矩形框更稳定。其扫描过程也可以先按行后按列，但效果不如前面所述的扫描方法。
步骤3：对步骤2中的目标二值化图像进行特征提取，特征提取包括宽高比α、垂直中心y0、地平线比y1以及遮挡率mro；
所述宽高比α采用公式(1)进行计算：
其中，αt为第t帧所述目标二值化图像的宽高比，ht为第t帧所述目标二值化图像的高度值，wt为第t帧所述目标二值化图像的宽度值；
所述垂直中心y0采用公式(2)进行计算：
其中，y0_t为第t帧所述目标二值化图像的垂直中心，ymax_t与ymin_t为第t帧所述目标二值化图像的纵坐标最大、最小值；
如图3所示，在图像中设定了一条y＝yh的基准水平线，一般取图像高度的
所述地平线比y1采用公式(3)进行计算：
其中，y1_t为第t帧所述目标二值化图像的地平线比，n1为第t帧所述目标二值化图像中从ymax_t到基准地平线y＝yh间目标像素个数，n2为第t帧所述目标二值化图像中从基准地平线y＝yh到ymin_t间目标像素个数；地平线比y1可用于描述目标接近地面的程度，当目标站立行走(如图3所示)时仅腿部图像位于地平线之下，则y1的取值往往大于1，而摔倒时，身体躺在地面上，地平线以上的目标像素很少，使y1小于1且接近于0。因此该特征可描述目标接近于地面的程度，值越小说明目标越靠近地面。
所述遮挡率mro定义如公式(4)所示：
其中n为当前帧所述目标二值化图像中的目标白点个数，n0为其前一帧所述目标二值化图像中目标白点个数。
步骤4：执行摔倒判断，如图2流程图中的摔倒判决算法部分所示，在摔倒判断步骤中首先执行遮挡发生判别，根据步骤3中得到的遮挡率mro进行判断，其具体判断过程如下：将遮挡率mro值与设定的阈值进行比较，设定的阈值包括遮挡阈值和过遮挡阈值；当mro值大于等于0且小于遮挡阈值时，判断为未遮挡；当mro值大于等于遮挡阈值且小于过遮挡阈值时，判断为发生遮挡；当mro值大于等于过遮挡阈值时，判断为过遮挡，其中，所述遮挡阈值的设定过程具体如下：1)分析引起mro产生的事件，所述产生mro的事件包括身体面积重叠、gmm模型背景更新以及静物遮挡；2)通过实验采集所述事件的y0、y1和mro值；3)根据所述采集的y0、y1和mro值绘制相应事件的时间-幅值变化曲线；4)比较所述遮挡事件与所述身体面积重叠、gmm模型背景更新事件的时间-幅值变化曲线中的mro值以确定遮挡阈值；所述过遮挡阈值根据所述图像中运动目标的最小外接矩形框面积进行设定。实验中发现引起mro变化的主要因素包括三个方面：(1)在身体面积重叠的行为(如蹲、弯腰等过程)中躯干部分图像被腿部而非环境物体所遮挡，这引起mro产生；(2)由于gmm模型背景更新特性，当人体不动时会逐渐消隐成为背景，即使未被遮挡也有mro产生；(3)由于静物遮挡而使mro产生，此类为实际中的遮挡情况。单独使用mro可能把上述三类情况皆判别为遮挡，而真实的遮挡只有第三类情况，因此需要设置一个遮挡阈值以排除前面两种情况的干扰。在文献[1]中，其使用mro判决摔倒时定义0.5以下摔倒检测有效，0.5以上摔倒检测无效，本发明对其进行改进，如图5中(a)、(b)、(c)和(d)所示分别是根据实验采集的运动目标处于蹲、弯腰、消隐和行走中发生遮挡过程中y0、y1和mro的数据，并根据采集的数据绘制的时间与幅度曲线图，从图5中可以看出无论是弯腰下蹲等身体折叠，还是消隐mro基本维持在0.4以下，即图中纵坐标为2虚线以下。而行走中发生遮挡时，mro主要因遮挡面积的大小而改变，行走中被静物遮挡时除mro会有值之外，y0和y1都显著增大，而其他行为中很少有y0和y1显著增大的情况，据此可以判断正常行走时发生遮挡，并根据图5可以看出因遮挡发生mro对应的值将大于0.4，因此根据实验结果将0.4设为遮挡阈值。过遮挡阈值设置为0.8也是实验结果，因为扫描运动目标最小矩形框时的条件是运动目标最小矩形框面积大小介于图像尺寸的1/100与2/3之间。例如图像尺寸为640×480，若矩形框面积小于640×480/100＝3072，则认为目标图像信息过小，无法判决摔倒。实验结果表明当mro>0.8时矩形框的面积都小于3072，因此确定0.8为有遮挡和过遮挡区分的阈值。因此如图4所示，当mro<0.4时判断为无遮挡；当0.4≤mro<0.8时判断为有遮挡，当0.8≤mro≤1时则判断过遮挡(场景中目标消失)。
然后，根据遮挡发生判别的结果执行相应的摔倒判决算法,在本实施例中，当mro<0.4时执行无遮挡判决算法，无遮挡摔倒判决算法包括状态阈值判决、运动阈值判决和svm分类器判决三个阶段的判决过程。其中，状态阈值判决是通过宽高比α和垂直中心y0的值对目标状态进行判断(宽高比α和垂直中心y0的阈值确定是根据根据大量实验数据所得)，本实施例中选取宽高比α的阈值为2.5、垂直中心y0的阈值为1.5，当α≥2.5且y0≥1.5，可确定目标处于站立行走状态，将其判断为非摔倒状态状态，否则，进入运动阈值判决。运动状态阈值th判决的计算公式如(5)所示：
th＝δα×δy0+δα×δy1+δy0×δy1(5)
其中，δα，δy0，δy1分别为当前帧目标二值化图像中的宽高比α、垂直中心y0以及地平线比y1相对于前k帧目标二值化图像相应参数的变化量(本实施例选取k＝3)，若th<3则判别为非摔倒状态，否则执行svm分类器判决。通过运动阈值判决可以将运动变化不明显的坐，弯腰，蹲，躺等动作判定为非摔倒状态。
在本实施例中，帧间隔k取3的实验数据选取过程如下：
图6为一段时间内发生三次摔倒行为中α、y0、y1的状态变化，图中纵向虚线对应于三次摔倒时刻。图7(a)、(b)、(c)分别为这三次摔倒过程中k取1～3求得的特征变化率曲线，纵向虚线仍对应于三次摔倒时刻。由图7可见随着k值增大，摔倒时刻的运动特征曲线的尖峰越明显，但由于曲线数据源是目标运动过程的随机信号，非摔倒时刻的曲线波动也可能很剧烈。因此需要通过数学方法来分析得到合理的k值。在帧率为5fps的条件下采用小波变换来对不同k值下摔倒行为的变化率进行研究。在此以α为例对输入序列进行离散小波分解，取小波函数为4阶daubechies函数，分解级数为5，图8为三次摔倒中对α取5级db4小波分解的各级近似系数结果，s表示α的原始信号，其三次负尖峰表示三次摔倒，a1～a5则是5级小波分解每一级的输出波形。可见随着级数的增加波形的高频分量越少且延时越大，3～5级近似波形与原信号比延时大且包络信息不完整，1级近似波形又掺杂少量冗余的高频分量，因此2级近似能更好反映原信号的摔倒特性且有效滤除干扰。图9是分解后的函数进行2级重建后取k为1～4得到输出波形，以此确定不同k值的变化率。可见，当k≥3时摔倒变化明显且k越大越显著，但延时也越大，同时k增加会占用更多的内存，因此本算法中取k＝3。
在确定3帧间隔的运动阈值后对摔倒与其他行为进行实验来绘制运动阈值th曲线，结果如图10，其中(a)3次摔倒行为下th值变化曲线、(b)5次坐行为下th值变化曲线、(c)5次弯腰行为下th值变化曲线以及(d)5次蹲行为下th值变化曲线所示：从图中可以看出，将运动阈值th设置为3可将部分运动变化幅度不明显的行为(图中方框标记)判决为未摔倒，而对于摔倒而言实际测试的th明显大于3，不会被误判，因此设定3是为了将运动变化小的行为判决为未摔倒进一步减少了svm分类器的输入数据。
svm分类器判决选用具有径向基核函数的svm分类器对状态特征进行分类判决，svm分类器的训练集包括两类数据，即由摔倒组成的正样本和由坐、弯腰、蹲按3:1:1的比例纳入的负样本，正负样本比例近似1:1。以此训练集使用交叉验证的方法来获得svm分类器的最优参数，并在此参数下用该分类器对测试集中的目标二值化图像进行摔倒判决。通过状态阈值判决、运动阈值判决和svm分类器判决三个阶段的判决过程对目标二值图像进行摔倒判决，既可以迅速的将站立和运动变化不明显的坐、弯腰、蹲和躺判断为非摔倒状态以减少计算量，又可以将运动状态类似于摔倒的坐、弯腰、蹲和躺等动作精确的判别为非摔倒状态以提高判别精度。
当0.4≤mro<0.8时判断为有遮挡状态，执行遮挡摔倒判决算法，遮挡摔倒判决算法中考虑了垂直中心y0以及地平线比y1两个特征，而忽略掉宽高比α，因为遮挡发生使得α这一特征受遮挡面积大小的影响而不可靠。在遮挡摔倒判决算法中，综合考虑各类行为的状态特征均值与实验测试效果，本实施例中确定当y0≤1且y1≤0.8时判定为遮挡摔倒，否则系统给出遮挡非摔倒状态的结果。
如图1所示，本发明的摔倒检测算法是总流程还包括根据摔倒判断的结果执行相应的操作，如果根据摔倒判决算法得出摔倒结论则进行报警提示，如果根据摔倒判决算法得出非摔倒状态结论则重新进行上述各步骤以进行下一帧图像的判断。
文献[1]:h.rajabi，m.nahvi.anintelligentvideosurveillancesystemforfallandanesthesiadetectionforelderlyandpatients[c].patternrecognitionandimageanalysis(ipria)，20152ndinternationalconferenceon，rasht，2015:1-6。
- 还没有人留言评论。精彩留言会获得点赞！