一种基于头部分割和卷积神经网络的摔倒检测方法与流程

本发明涉及姿态估计领域，尤其涉及一种基于头部分割和卷积神经网络的摔倒检测方法。

背景技术：

随着计算机视觉的发展，室内摔倒检测越来越流行。此方法仅需要在室内安装一些摄像机，这些摄像机将自动定位和跟踪对象并通过分析其运动来检测摔倒。

现有技术中，通常使用边界框来表示人的形状，然而它无法区分某些高度相似的活动。因为当行人在正常行走过程中突然伸出手臂时，边界框会发生很大的形状变化，这可能会导致错误判断。尽管椭圆拟合可以有效地减少此问题，并且还可以去除由行人携带的细长物体。但是行人一些特殊的活动，例如迅猛地坐下或蹲下，很容易被误认为是摔倒。此外，人体不同部位的运动规则也不同。因此，对于某些高度相似的活动，使用一种传统的全局几何形状来代表人类的整体形状并不准确。

技术实现要素：

为了克服现有技术的缺陷，本发明所要解决的技术问题在于提出一种基于头部分割和卷积神经网络的摔倒检测方法，具有更高的检测率，而且可以有效地区分一些类似的活动。

为达此目的，本发明采用以下技术方案：

本发明提供的一种基于头部分割和卷积神经网络的摔倒检测方法，包括如下步骤：

步骤a，采集目标对象的视频图像信息；步骤b，将收集到的图像进行处理，并使用两个不同的椭圆分别表示头部与躯干；步骤c，从每帧中的两个椭圆分别提取长短轴比率、方向角以及垂直速度三个特征，并基于时间序列融合为运动特征；步骤d，进行摔倒检测，找出头部和躯干轮廓特征之间的相关性，实现摔倒检测和区分类似活动的目的；步骤e，分析实验结果；

优选地，步骤b中所述的图像处理包括以下步骤b1、步骤b2、步骤b3：步骤b1，在训练背景后，区分背景和前景并提取前景，并抑制阴影；步骤b2，在头部预定位后，对头部进行分割，选择使相似度函数最大化的候选模型，获得目标模型的平均位移矢量；步骤b3，将多边形的每一边与它们的中点相连，并重复偶数次，使躯干轮廓的形状趋于椭圆形，最后使用椭圆拟合来拟合躯干；

优选地，利用膨胀和腐蚀等形态操作解决步骤b1中所产生的空洞和噪声问题；

优选地，在步骤b1中通过高斯混合模型区分背景和前景；

优选地，在步骤b2中采用均值漂移跟踪方法对头部进行分割；

优选地，在步骤b3中，先对躯干轮廓进行多边形拟合后，将多边形的每一边与它们的中点相连，并重复偶数次，使躯干轮廓的形状趋于椭圆形；

优选地，步骤d中采用浅层cnn架构进行摔倒检测分析；

优选地，步骤e中将本实验方法与边界框比率分析法，椭圆形状分析法和chua's方法所得到的摔倒检测率与误报率进行比对。

本发明的有益效果为：

1、利用头部和身体分割的方法，以提取头部和躯干的几何特征，用于解决基于几何特征的传统方法的不稳定性；

2、引入多通道浅层cnn不仅可以提高精度，而且可以保证实时性能；

3、利用训练的浅层cnn架构可以找出两个椭圆形轮廓特征之间的相关性，以检测室内摔倒并区分一些类似的活动。

附图说明

图1是本发明具体实施方式中头部预定位方法示意图；

图2是本发明具体实施方式中跟踪头的显示结果，其中图(a)至图(f)表示它们是在不同角度和不同人下的跟踪结果；

图3是本发明具体实施方式中传统的椭圆拟合方法，图(a)和图(c)是采用传统方法的整个人体椭圆拟合。图(b)和图(d)分别是传统方法的躯干椭圆拟合；

图4是本发明具体实施方式中躯干椭圆提取图；

图5是本发明具体实施方式中椭圆拟合的结果，图(a)和图(c)是传统方法的椭圆拟合，图(b)和图(d)是我们方法的椭圆拟合；

图6是本发明具体实施方式中头部和躯干椭圆拟合场景，图(a-d)显示了不同的活动方案；

图7是本发明具体实施方式中特征提取图。a红色椭圆是全身椭圆拟合；蓝色椭圆是头部椭圆拟合；绿色椭圆是躯干椭圆拟合。b描述摔倒特征的示意图；

图8是本发明具体实施方式中基于时间序列的运动特征；

图9是本发明具体实施方式中浅层cnn的体系结构；

图10是本发明具体实施方式中自收集数据集上的不同活动。图(a)坐下；图(b-c)趴下；图(d)步行；图(e)蹲下；图(f-h)不同摔倒；

图11是本发明具体实施方式中自收集数据集上实验数据的详细说明；

图12是本发明具体实施方式中本发明方法中检测率与误报率的实验数据的说明；

图13是本发明具体实施方式中侧向摔倒和蹲下的结果分析，图(a)侧向摔倒，图(b)头部和躯干特征分别基于时间序列，图(c)蹲下。图(d)头部和躯干特征分别基于时间序列；

图14是本发明具体实施方式中后趴和坐下活动的结果分析，图(a)后趴，图(b)头部和躯干特征分别基于时间序列，图(c)坐下，图(d)头部和躯干特征分别基于时间序列；

图15是本发明具体实施方式中与一些经典方法进行比较所得数据。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本实施例中提供的一种基于头部分割和卷积神经网络的摔倒检测方法，包括如下步骤：

步骤a，采集目标对象的视频图像信息。

步骤b，将收集到的图像进行处理，并使用两个不同的椭圆分别表示头部与躯干；

步骤b1：在训练背景后，然后使用混合的高斯模型来模拟每帧中的每个像素，如果像素与背景的高斯模型匹配，则为背景，否则为前景，提取前景，应用阴影抑制来抑制阴影，针对图像中可能会出现空洞和噪声，因此采用膨胀和腐蚀等形态操作来解决此问题；

步骤b2：由于传统的椭圆形来适应人体的整体轮廓，但它不能有效地反映某些相似活动之间的差异。容易导致错误判断。因此，为了提高类似活动的可分辨性，本发明使用两个不同的椭圆分别适合人类的头部和躯干来分割头部，如图1所示。为了避免人工操作并实现智能监控，在头部跟踪之前先对头部进行预定位，头部预定位后，采用均值漂移跟踪方法对头部进行分割。该算法具有较少的计算量，并且可以在目标区域已知时进行实时跟踪。它还对边缘遮挡，目标旋转，变形和背景运动不敏感。基于均值漂移的目标跟踪算法通过分别计算目标区域和候选区域中像素的特征值概率来获得目标模型和候选模型的描述。然后，使用相似度函数来测量初始帧目标模型与当前帧的候选模板之间的相似度，并选择使相似度函数最大化的候选模型。获得目标模型的平均位移矢量，该平均位移矢量是目标从初始位置移动到正确位置的矢量。由于均值漂移算法的快速收敛性，该算法将收敛到目标的真实位置，并通过迭代计算均值漂移矢量来达到跟踪的目的，通过头部预定位找出头部的大致位置。然后，通过均值平移方法跟踪头部。跟踪头的结果如图2所示；

步骤b3，跟踪人的头部后，我们使用两个椭圆分别适合人的头部和躯干。但是传统的椭圆拟合方法不能有效地反映整个人体与人体躯干之间的差异，如图3所示。因此，本发明修改了躯干轮廓，以得到不同于整个人体椭圆轮廓的紧凑的躯干椭圆轮廓。首先对躯干轮廓进行多边形拟合，其次我们将多边形的每一边与它们的中点相连，并重复偶数次，此时躯干轮廓的形状趋于椭圆形。最后，我们使用椭圆拟合来拟合躯干，以获得更紧凑的椭圆表示形式。在图4中描述了躯干椭圆提取图。通过这种方法，获得了良好的结果。躯干椭圆拟合的结果如图5所示。该方法也用于头部拟合。在图6中，它显示了头部和躯干椭圆拟合的结果，从结果上可以看出，与传统方法相比，本发明所采用的方法获得了紧凑的躯干椭圆。因此，本文提出的躯干的椭圆表示可以有效地与整个人体的轮廓的最小外部椭圆区分开。

步骤c，在使用两个椭圆来适应人的头部和躯干之后，提取一个适当的特征表示来表示人类的动作。在使用几何特征检测摔倒的传统方法中，椭圆特征比边界框更能代表人的动作。因此，本发明从头部椭圆和躯干椭圆提取了三个椭圆特征，分别代表了人类的动作。提取的特征是轮廓特征和速度特征。轮廓特征是椭圆θ的倾斜角度和椭圆的长轴与短轴之比ρ＝/。当人们的动作发生变化时，角度θ和比率ρ也会分别发生变化。一旦发生摔倒，垂直方向的速度将迅速变化，椭圆质心垂直方向的速度特征提取为公式一。

其中νυ代表垂直方向的速度；(xn-1,yn-1)是第n-1帧中心的坐标；(xn,yn)是第n帧中心的坐标；fps代表每秒的帧数；sinθ代表椭圆倾斜角的正弦值。然后，特征提取图如图7所示，其中在图(b)中，a和b分别代表椭圆的长轴和短轴；θ代表椭圆的倾斜角；vυ代表椭圆形轮廓中心垂直方向的速度。然后，我们将这六个提取的特征集成到基于时间序列的运动特征中。运动特征如图8所示。

步骤d，为了找出头部椭圆和躯干椭圆之间的相关性以检测摔倒，本发明使用深度学习来学习它们的相关性。这些更深层次的体系结构在理论上可以学习更多的抽象特征，但是它常常导致数据过拟合和高计算复杂性。因此，为了保持它们之间的平衡，本发明使用浅层cnn架构从提取的运动特征中学习两个椭圆之间的相关性。浅层cnn架构不需要大量的训练样本，也很简单，可以产生准确的分类结果，

cnn的主要组成如下：

卷积层：将输入的原始图像通过与多个可训练的滤波器(或称作卷积核)和可加偏置向量进行卷积运算得到多个映射特征图。

池化层：通常在卷积层后面，用来进行向下采样，降低特征的维数。最传统的两个池化方法是最大池化和均值池化。

全连接层：在原始图像经过多个卷积层和池化层处理后，输出特征被压缩为一维向量并用于分类。在这一层中，可以将其他特征添加到此一维向量。

在本发明中，使用浅层cnn架构来检测摔倒。此架构如图9所示，cnn用于根据时间序列训练和学习运动特征。具体来说，首先，使用196个大小为1x12的过滤器学习基于卷积层中时间序列的三个划分的特征图，以获得丰富的数据特征表示。卷积层中只有一层。然后，在将relu激活功能应用于196个特征图之后，使用大小为1x4的最大池化层将维数减少四倍。池化层输出的特征图进行压平再加上一些统计特征(例如均值)放在一起通过全连接层得到1024个特征。最后将全连接层得到的特征通过soft-max函数进行最后的分类计算。训练该模型以最小化交叉熵损失函数，该函数通过cnn权重的l2-范数正则化得到增强。反向传播算法用于计算梯度，并使用改进的随机梯度下降方法优化网络参数。

步骤e，本文的实验平台是在具有1.9ghzinter(r)i5-4300ucpu和4gbram的笔记本电脑上。为了测试本发明中的cnn架构，模拟了摔倒和正常的日常活动，以收集大量视频样本来训练和测试cnn架构。多个单筒摄像机用于从不同的视角和高度拍摄102个短视频。其中，有74个训练视频和28个测试视频。该视频包括正常活动，例如趴下，走路，蹲下和坐下；在测试数据集中，它包含30个模拟摔倒活动和28个正常活动。在图10中，它显示了不同的正常活动和不同的模拟摔倒场景。

从自我收集的数据集中收集了足够的训练样本和测试样本，图12中显示了详细的实验样本收集说明。将六个特征数据融合到一个运动特征上，该运动特征基于如图8所示的时间序列，将其输入到cnn中进行训练和测试。图12中显示了我们提出的方法使用的自收集数据集的测试结果，如图11所示，训练数据集中有14284帧正样本图像和18614帧负样本图像，在测试数据集中，有4247帧正样本图像和5530帧负样本图像；如图12所示，本方法实现了90.5％的检测精度和10.0％的误报率。列出了这两个类似的活动，以分析通过图13和图14中所示的方法进行检测的原理。

如图13所示，图(a)和图(c)是侧向摔倒和蹲下。两项活动非常相似。如果仅使用一种全局几何表示法来检测摔倒，则很容易导致错误判断。当使用两个椭圆分别表示头部和躯干时，可以从图(b)和图(d)有效地区分这两个相似的活动，它们分别描述了两个活动的头部和躯干特征的变化。因此，经过cnn训练后，它可以了解两次类似活动之间的相关性，从而有效地检测到摔倒。

为了进一步证明该方法的有效性，本发明进行了更广泛的实验以与一些经典方法进行比较。本文实现了三种比较实验的经典算法，分别是边界框比率分析法，椭圆形状分析法和chua's方法。如图15所示，显示了我们自行收集的数据集上方法的结果。chua's方法使用三个点代表人体，从三个点中提取特征以检测摔倒。边界框比率分析方法使用人体边界框的长宽比来检测摔倒。椭圆形状分析方法融合了椭圆特征和运动历史图像来检测摔倒。在收集的数据集下，本方法已达到90.5％的检测准确度和10.0％的误报率，与其他传统几何特征方法相比，本方法具有较高的准确率和较低的误报率。