一种适用于家居内的人体摔倒检测方法与流程

本发明涉及采用不涉及无线电波、声波或其它波的反射或再辐射方法对人体运动的辨识鉴定，特别是涉及一种适用于家居内的人体摔倒检测方法。

背景技术：

人体摔倒是危害老龄人群健康的重要原因之一。现有实时高精度检测人体摔倒的技术主要分为两类，一类是基于辅助设备的技术，另一类是基于计算机视觉的技术。基于辅助设备的技术运用可穿戴设备和传感器设备跟踪并记录人体运动参数，例如中国专利CN 105046882 B授权公告的一种摔倒检测方法以及装置，它改善了的现有的摔倒检测方法不仅只适用于起居室和看护病房等特定场所，而且检测结果的准确度不高的问题，然而，它必须将加速度传感器放在特定的位置，而且利用加速度传感器收集环境信息的鲁棒性很差，加速度信号幅度向量值容易受到外界噪声的干扰，尤其是携带这种可携带的检测装置，会对被检测人的正常生活造成不便和不适；基于计算机视觉的技术利用计算机设备和先进的智能算法完成，对一些诸如躺在沙发上的类摔倒行为和诸如摔倒在沙发上的特殊摔倒行为还无法进行有效的检测和识别。

技术实现要素：

本发明所要解决的技术问题是弥补上述现有技术的缺陷，提供一种基于场景分析和多特征融合的适用于家居内的人体摔倒检测方法。

本发明的技术问题通过以下技术方案予以解决。

这种适用于家居内的人体摔倒检测方法的特点是：包括如下步骤：

1)场景分析；

2)对多特征进行提取：

3)对行为进行分类。

本发明的技术问题通过以下进一步的技术方案予以解决。

所述步骤1)场景分析是，利用视频摄取装置拍摄视频图像，基于候选区域的更快速的卷积神经网络(Faster Region-based Convolutional Neutral Network，缩略词为Faster R-CNN)算法，包括如下分步骤：

1.1)生成候选框；

1.2)基于候选区域的快速的卷积神经网络(Fast Region-based Convolutional Neutral Network，缩略词为Fast R-CNN)算法直接对全图进行卷积，获得特征图；

1.3)将候选框的位置映射到特征图中，得到每个候选框所对应的特征。

相比于基于候选区域的卷积神经网络(Region-based Convolutional Neutral Network，缩略词为R-CNN)、Fast R-CNN和其他一些方法，Faster R-CNN在目标检测上拥有更高的精度和更快的速度，Faster R-CNN针对Fast R-CNN的局限进行了改进，主要是生成候选框。Faster R-CNN的多目标检测加入提取候选框边缘的神经网络，找到候选框的工作交给叫做区域生成网络(Region Proposal Network，RPN)的神经网络做，解决了Fast R-CNN利用选择性搜索框找出所有候选框十分耗时的问题。基于Faster R-CNN的多目标检测框架如图2所示，Faster R-CNN可以视为带有全卷积神经网络的Fast R-CNN。

所述步骤2)对多特征进行提取是,结合人体形态比(R)、形态比变化率(σ)、人体质心高(Hh)及其变化率(Hhv)、人体运动速度(Hv)共同表示人体的活动特征，所述活动特征通过下列公式进行提取：

其中，

V：给定的视频；

N：给定视频总帧数，且N(n|n∈Z)；

人的中心为宽为Hw，高为Hh，位置信息为；

物体的中心为宽为(Ow)，高为(Oh)，位置信息为

所述步骤3)对行为进行分类是，采用自动判定引擎算法对摔倒行为和日常行为进行分类，如果场景中有n个人，定义p＝{p1,p2,p3,…,pn}为收集的样本，每一个样本中有m个特征pi＝{pi1,pi2,pi3,…,pim}，其中pij：第i个样本的第j 个特征，n个样本被分为k个类，定义为C＝{c1,c2,c3,…,ck}，k个分类结果的最小均方误差被定义为其中，x：ci的均值向量，μi：类内均值向量，E越小，类间相似度越大。

本发明的技术问题通过以下再进一步的技术方案予以解决。

所述步骤1)还包括感兴趣区域的池化层(Region of Interest Poling，缩略词为ROI Pooling)，采用所述感兴趣区域的池化层对特征维数归一化，再用这些特征训练若干个线性支持向量机(Linear Support Vector Machine，缩略词为linear SVM)做判别。

所述步骤1)还包括提取候选框边缘的神经网络，所述神经网络为区域生成网络。

所述步骤3)输入总样本：p＝{p1,p2,p3,…,pn}；输出分类结果：C＝{c1,c2, c3,…,ck}，具体算法包括以下分步骤：

3.1)从C中随机选取K个样本，初始化p’＝{p′1,p′2,…,p′k},其中μ‘’＝ {μ1,μ2,…,μk}；

3.2)不断重复；

3.3)

3.4)j＝1,2,…,m；

3.5)计算pj和p′i之间的相关系数：

3.6)计算pj和μi之间的距离：dji＝||pj-μi||2；

3.7)计算判决因子：ψji:

3.8)计算pj和p′i之间的相关系数：

3.9)计算pj和μi之间的距离：dji＝||pj-μi||2；

3.10)计算判决因子：ψji:

3.11)生成pj的分类标签：λj＝argmini∈{1,2,…,k}ψji；

3.12)将pj加到相关类中:

3.13)for i＝1,2,…,k do；

3.14)计算最新的均值向量:

3.15)如果μ′i≠μi，更新μi＝μ′i；否则，不更新μi；

3.16)直到所有的均值向量不再更新。

本发明与现有技术相比的的有益效果是：

本发明采用新特征结合已有行为特征的多特征融合作为家居内摔倒检测的自动判定引擎，可以对日常行为进行有效的分类，且将Faster R-CNN算法运用于场景分析进行家居内摔倒检测，对一些类摔倒行为和特殊摔倒行为的区分能力强，可以显著提高家居内的人体摔倒检测的准确率。

附图说明

图1是本发明的整体结构示意图；

图2是本发明的场景分析结构图；

图3是本发明的场景分析结果演示图；

图4是本发明的特征提取结构图；

图5是本发明的自动判定引擎算法流程图；

图6是本发明在自收集数据集上的测试图；

图7是本发明在标准数据集上的测试图；

图8是本发明在自收集数据集上的ROC曲线；

图9是本发明在自标准数据集上的ROC曲线。

具体实施方式

下面结合实施例并对照附图对本发明进行说明。

一种基于场景分析和多特征融合的家居内摔倒检测方法，包括如下步骤：

步骤1)场景分析：利用视频摄取装置拍摄视频图像，基于Faster R-CNN算法，包括如下分步骤：

1.1)生成候选框；

1.2)基于Fast R-CNN直接对全图进行卷积，获得特征图；

1.3)将候选框的位置映射到特征图中，得到每个候选框所对应的特征。

相比于R-CNN、Fast R-CNN和其他一些方法，Faster R-CNN在目标检测上拥有更高的精度和更快的速度，Faster R-CNN针对Fast R-CNN的局限进行了改进，主要是生成候选框。Faster R-CNN的多目标检测加入提取边缘的神经网络，找到候选框的工作交给RPN神经网络做，解决了Fast R-CNN利用选择性搜索框找出所有候选框十分耗时的问题。基于Faster R-CNN的多目标检测框架如图2 所示，Faster R-CNN可以视为带有全卷积神经网络的Fast R-CNN。

图1示出了场景分析、特征提取、摔倒行为分类三大模块，其中场景分析模块的多目标检测单元与设置有沙发、椅子等生活用品的场景进行通讯连接，各种生活用品模拟了家居内摔倒的真实环境。

图2是场景分析的结构图。通过视频拍摄单元抓取，输入视频帧，通过卷积层对全图进行卷积，获得特征图，在区域生成网络中，再将每一个候选框的位置映射到特征图中从而得到每个候选框所对应的特征，感兴趣区域的池化层对特征维数归一化，再用这些特征训练若干个线性支持向量机做判别，判别后的结果通过分类器进行分类和回归，输出多目标检测结果。

步骤2)对多特征进行提取：结合人体形态比(R)、形态比变化率(σ)、人体质心高(Hh)及其变化率(Hhv)、人体运动速度(Hv)来共同表示人体的活动特征，所述特征通过下列公式进行提取：

其中，

V：给定的视频；

N：给定视频总帧数且有N(n|n∈Z)；

人的中心为宽为Hw，高为Hh，位置信息为；

物体的中心为宽为(Ow)，高为(Oh)，位置信息为

图4示出了多特征提取的逻辑结构。

步骤3)对行为进行分类：采用自动判定引擎算法来分类摔倒行为和日常行为，如图5所示：假设场景中有n个人，定义p＝{p1,p2,p3,…,pn}为收集的样本，每一个样本中有m个特征pi＝{pi1,pi2,pi3,…,pim}，其中pij：第i个样本的第j 个特征。n个样本被分为k个类，定义为C＝{c1,c2,c3,…,ck}，k个分类结果的最小均方误差被定义为其中，x：ci的均值向量，μi：类内均值向量，E越小，类间相似度越大。

输入总样本：p＝{p1,p2,p3,…,pn}；输出分类结果：C＝{c1,c2,c3,…,ck}，具体算法包括以下分步骤：

3.1)从C中随机选取K个样本，初始化p’＝{p′1,p′2,…,p′k},其中μ‘’＝ {μ1,μ2,…,μk}；

3.2)不断重复；

3.3)

3.4)j＝1,2,…,m；

3.5)计算pj和p′i之间的相关系数：

3.6)计算pj和μi之间的距离：dji＝||pj-μi||2；

3.7)计算判决因子：ψji:

3.8)计算pj和p′i之间的相关系数：

3.9)计算pj和μi之间的距离：dji＝||pj-μi||2；

3.10)计算判决因子：ψji:

3.11)生成pj的分类标签：λj＝argmini∈{1,2,…,k}ψji；

3.12)将pj加到相关类中:

3.13)for i＝1,2,…,k do；

3.14)计算最新的均值向量

3.15)如果μ′i≠μi，更新μi＝μ′i；否则，不更新μi；

3.16)直到所有的均值向量不再更新；

在主频3.6GHz、内存8G、显卡m4000的英特尔酷睿i7-4790PC处理器上搭建Ubuntu 16.04lts+tensorflow 1.0.0+Opencv2.4.9环境下采用标准的摔倒数据集测试系统对本具体实施方式的可行性和准确性进行如下验证：

UR摔倒测试集的数据集包含70个视频序列，其中30个是摔倒视频，70个是日常行为活动视频。此外，由于现存的数据集不能完全满足家居环境下对摔倒检测的需求，还通过海康威视ds-2d3304iw-d4摄像头收集了视频数据。摄像头固定在距离地面高度为1.6米处，相机与物体距离约为4米，目标人物与家居环境都包含在视频样本中。

自收集数据集主要包括行走、摔倒、摔倒在沙发、椅子、坐、卧等家具上的七种动作。在不同的场景中收集了200个视频，每个视频包含400～800帧，每个视频的时长是20～30秒，总共有100个摔倒视频，其中50个是摔倒在地上的视频，50个是摔倒在家具上的视频，还有100个无摔倒视频，其中25个行走的视频，25个坐在椅子上的视频，25个坐在沙发上以及25个躺在沙发上的视频。为了安全和现实的性能考虑，本具体实施方式被测试者在厚度5厘米的垫子上进行摔倒实验。

一)定性分析：定性实验主要在自收集的数据集上完成。在自收集数据集上的检测结果如图6所示，由图6(a)和(b)可知本具体实施方式在分类躺在沙发上和摔倒在沙发上具有很好的效果，而传统的基于形态比和基于高度的摔倒检测算法都无法有效的进行区分这两类行为。对于图6(c)和(d)表明本具体实施方式能够有效的完成对坐在椅子上和摔倒在椅子上。在标准数据集上的实验结果如图7所示。针对发生在家居环境下的摔倒，本具体实施方式不仅具有很好的效果，而且能够很好的解决类摔倒，比如躺在沙发上和坐在椅子上和特殊摔倒行为，比如摔倒在沙发上和摔倒在椅子上的检测，而传统的方法对于一些类摔倒和特殊摔倒行为会产生经常行的错检和漏检。

二)定量分析：表1记录了本具体实施方式在不同的行为中正确分类的数目，在自收集的主要包括其中日常类摔倒和特殊的摔倒行为，实验数据表明本具体实施方式对于发生在室内家居环境下的摔倒行为具有很好的性能，能够有效的区分一些类摔倒和特殊的摔倒行为。表1中TN(True Negative)：摔倒样本被检测为摔倒，TPN(True Positive)：未摔倒样本被检测为未摔倒，FP(False Positive)：摔倒样本被检测为摔倒，FN(False Negative)：摔倒样本被检测为未摔倒。查准率查全率准确率

表1：在自收集数据集上的检测结果

将本具体实施方式的检测方法与基于形态比的检测方法、基于高度的检测方法、基于形态比变化率的检测方法和基于高度变化率的检测方法进行比较，主要采用受试者工作特性曲线(Receiver Operating Characteristic，缩略词为ROC)和 ROC曲线下的面积(Area Under ROC Curve，缩略词为AUC)衡量检测方法的性能。图8和图9展示了本具体实施方式在自收集数据集和标准数据集与上述四种检测方法进行比较的结果，可以看到本具体实施方式的ROC曲线几乎包含上述四种检测方法的ROC曲线。因此本具体实施方式在整体性能上优于上述四种检测方法。另一方面ROC曲线下的面积也能判定检测方法的性能，检测方法的性能越好，ROC曲线下所包围的面积越大。图8和图9的AUC值如表2所示，可见本具体实施方式不论是在自收集数据集还是标准数据集都优于上述四种检测方法。

表2不同检测方法的AUC值

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。