基于类别不平衡信号的跌倒检测方法及系统

1.本发明涉及行为识别技术领域，尤其涉及一种基于类别不平衡信号的跌倒检测方法及系统。


背景技术：

2.众所周知，跌倒可能会导致瘫痪、骨折、头部伤害等严重后果，特别是老年人。老年人常患的心脑血管疾病和步态失调都有可能导致跌倒，使病人出现意识丧失而昏倒。跌倒已经成为威胁老年人生命安全的最大隐患。除此之外，在世界范围内人口老龄化的情况日益严峻，老年人的数量和独居的比例在逐年增长，独居老人一旦发生跌倒很难自救，在这种情况下对老人的跌倒检测有重要的应用意义。
3.目前，跌倒检测可以根据数据的来源分为以下三类：基于视频图像的跌倒检测、基于环境传感器的跌倒检测和基于可穿戴设备的跌倒检测。基于视频图像的跌倒检测受限于摄像头的覆盖范围，而且要求被检测人不能够被其他物体遮挡；基于环境传感器的跌倒检测也需要提前进行设备的布置，只能在固定范围进行检测；基于可穿戴设备的跌倒检测的设备体积小便于携带，直接获取运动时的数据进行特征提取并进行分类。
4.但是，基于可穿戴设备的跌倒检测的传统算法包括阈值法和机器学习法，阈值法的计算简单并且容易部署，但是阈值法在不同用户之间的泛化性不强；机器学习法需要预先手动设定数据的特征，特征的选择是一个比较困难的问题。此外，传统的检测算法大多在理想情况下的数据集中进行模型训练，理想情况的数据集中日常活动数据与跌倒事件数据的类别均衡，而真实生活中，跌倒事件是偶发事件，传感器采集到的日常生活数据是远远多于跌倒事件数据的，属于类别不平衡的检测问题，传统算法很难从大量的日常活动中准确地识别出跌倒事件信号。
5.因此，现有技术中缺少一种适用于类别不平衡数据的跌倒检测方法及系统。


技术实现要素：

6.鉴于上述的分析，本发明实施例旨在提供一种基于类别不平衡信号的跌倒检测方法及系统，用以解决现有因跌倒检测类别不平衡，很难从大量的日常活动中准确地识别出跌倒事件信号的问题。
7.一方面，本发明实施例提供了一种基于类别不平衡信号的跌倒检测方法，包括：
8.实时获取智能可穿戴设备采集的使用者的动作测试数据；所述动作测试数据，包括：加速度数据和角速度值；
9.将所述动作测试数据输入最优深度学习模型，进行所述动作测试数据的动作类别识别，获取各动作类别概率值；
10.将所述各动作类别概率值与最佳阈值进行比较，预测所述动作测试数据对应的动作类别；
11.其中，所述最佳阈值用于根据深度学习模型训练时使用的样本数据集的不平衡率
使预测结果向发生概率低的动作类别偏移。
12.进一步地，所述最优深度学习模型，包括：
13.残差连接模块，用于对动作测试数据进行特征提取；
14.全连接softmax层，用于对所述动作测试数据特征进行分类，输出动作测试数据对应各动作类别概率值；
15.阈值移动算法层，用于调整分类阈值，获取最佳阈值，并根据所述各动作类别的概率值与所述最佳阈值的关系判断所述动作测试数据的动作类别。
16.进一步地，所述调整分类阈值，获取最佳阈值，包括：
17.获取样本数据集，将所述样本数据集中数据划分为日常活动样本数据和跌倒样本数据，并统计所述日常活动样本数据数量和跌倒样本数据数量；
18.根据所述日常生活样本数据数量和跌倒样本数据数量的比值，计算所述样本不平衡率；
19.根据所述样本不平衡率对分类阈值进行调整，确定所述最佳阈值，所述最佳阈值为跌倒动作阈值λ
*
。
20.进一步地，所述最佳阈值λ
*
，表达为：
21.λ
*
＝k
×
e-ρ/a+b
[0022][0023]
其中，λ
*
为最佳阈值，k为分类器的默认阈值，ρ为样本数据集的不平衡率，a和b为常数，n
max
为样本数据集中日常生活数据的数量，n
min
为样本数据集中跌倒样本数据的数量。
[0024]
进一步地，所述动作类别包括跌倒动作和日常活动动作；根据所述各动作类别的概率值与所述最佳阈值的关系判断所述动作测试数据的动作类别，包括：
[0025]
当某一动作测试数据输出的跌倒概率值p与最佳阈值λ
*
进行比较，若p≥λ
*
，则所述最优深度学习模型预测所述动作测试数据为跌倒动作；
[0026]
当某一动作测试数据输出的日常活动概率值q与最佳阈值λ
*
进行比较，若q≤1-λ
*
，则所述最优深度学习模型预测所述动作测试数据为跌倒动作。
[0027]
进一步地，所述残差连接模块，包括：
[0028]
卷积层，用于提取原始数据中的特征信息；
[0029]
批归一化层，用于对特征信息进行归一化处理，之后进行激活函数的非线性计算；
[0030]
残差连接计算单元，用于将提取后的特征信息与原始数据进行线性叠加。
[0031]
进一步地，所述卷积层包括：第一卷积层、第二卷积层；
[0032]
批归一化层包括：第一批归一化层和第二批归一化层；
[0033]
所述残差连接模块包括四个顺序连接的第一～第四残差连接单元，第一～第四残差连接单元均包括依次设置的：第一卷积层、第一批归一化层、第二卷积层、第二批归一化层和残差连接计算子单元；
[0034]
所述第一残差连接单元中第一卷积层和第二卷积层均包括64个卷积核；
[0035]
所述第二残差连接单元中第一卷积层和第二卷积层均包括128个卷积核；
[0036]
所述第三残差连接单元中第一卷积层和第二卷积层均包括256个卷积核；
[0037]
所述第四残差连接单元中第一卷积层和第二卷积层均包括512个卷积核；
[0038]
所述第一～第四残差连接单元中所有卷积核均为1x3卷积核。
[0039]
进一步地，对深度学习模型进行模型训练的过程中，通过交叉熵损失函数计算模型训练过程误差，当所述误差达到稳定时所述深度学习模型为最优深度学习模型。
[0040]
另一方面，本发明实施例提供了一种基于类别不平衡信号的跌倒检测系统，包括：
[0041]
数据获取模块，用于实时获取智能可穿戴设备采集的使用者的动作测试数据；所述动作测试数据，包括：加速度数据和角速度值；
[0042]
概率计算模块，用于将所述动作测试数据输入最优深度学习模型，进行所述动作测试数据的动作类别识别，获取各动作类别概率值；
[0043]
预测模块，用于将所述各动作类别概率值与最佳阈值进行比较，预测所述动作测试数据对应的动作类别；其中，所述最佳阈值用于根据深度学习模型训练时使用的样本数据集的不平衡率使预测结果向发生概率低的动作类别偏移。
[0044]
进一步地，所述概率计算模块中的所述最优深度学习模型，包括：
[0045]
残差连接模块，用于对动作测试数据进行特征提取；
[0046]
全连接softmax层，用于对所述动作测试数据特征进行分类，输出动作测试数据对应各动作类别概率值；
[0047]
阈值移动算法层，用于调整分类阈值，获取最佳阈值，并根据所述各动作类别的概率值与所述最佳阈值的关系判断所述动作测试数据的动作类别。
[0048]
与现有技术相比，本发明至少可实现如下有益效果之一：
[0049]
1、本发明中通过算法值移动法对真实生活活动的类别不平衡情况进行优化，使最优深度学习模型的预测结果向数量少的跌倒数据类别移动，减少对多数的日常活动类别的偏移，能够保证模型从大量的日常活动数据中检测到发生概率较低的偶发跌倒事件数据，检测精度较高；
[0050]
2、本发明基于深度学习网络模型，深度学习法能够自动地从大批量的数据中识别深层次的特征并对模型的参数进行调整，相较于传统的算法模型能够更加准确地进行跌倒事件的检测和识别，通过在真实生活中采集到的类别不平衡数据，对网络模型进行训练和参数的调整，训练好的模型对发生的小概率跌倒事件具有良好的检测能力，能够从大批量的日常活动数据中识别出跌倒数据信号，减少了漏检的情况；
[0051]
3、本发明根据智能可穿戴设备中的加速度计和陀螺仪采集到的数据，进行一定预处理后建立的真实生活跌倒数据集，构建的类别不平衡跌倒检测模型在真实生活跌倒数据集上进行训练及测试，更适用于智能可穿戴设备应用在真实生活当中。
[0052]
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0053]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0054]
图1为本发明一个实施例所示的基于类别不平衡信号的跌倒检测方法流程图；
[0055]
图2为本发明一个实施例所示的深度学习模型模块示意图；
[0056]
图3为本发明一个实施例所示的原始数据预处理过程的示意图；
[0057]
图4为本发明一个实施例所示的残差连接模块示意图；
[0058]
图5为本发明一个实施例所示的实验数据拟合的阈值移动函数图像；
[0059]
图6为本发明一个实施例所示的基于类别不平衡信号的跌倒检测系统框图。
具体实施方式
[0060]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0061]
如图1所示，本发明的一个具体实施例，公开了一种基于类别不平衡信号的跌倒检测方法，包括：
[0062]
s10、实时获取智能可穿戴设备采集的使用者的动作测试数据；所述动作测试数据，包括：加速度数据和角速度值；具体地，根据使用者身上的智能可穿戴设备的加速度计和陀螺仪采集使用者在日常生活中各动作类别的加速度数据和角速度值。具体地，所述加速度计和陀螺仪是集成在智能可穿戴设备上，相对于可穿戴设备的位置是固定的，可选地，一个可穿戴设备上包括一个加速度计和一个陀螺仪，可穿戴设备固定在使用者腰部。
[0063]
s20、将所述动作测试数据输入最优深度学习模型，进行所述动作测试数据的动作类别识别，获取各动作类别概率值；具体地，所述动作类别包括跌倒动作和日常活动动作；将实时采集数据中的加速度数据和角速度值输入最优深度学习模型，所述最优深度学习模型输出实时采集数据对应的跌倒动作概率值和日常活动动作概率值。
[0064]
如图2所示，所述最优深度学习模型，包括：
[0065]
残差连接模块10，用于对动作测试数据进行特征提取；
[0066]
全连接softmax层20，用于对所述动作测试数据特征进行分类，输出动作测试数据对应各动作类别概率值；
[0067]
阈值移动算法层30，用于调整分类阈值，获取最佳阈值，并根据所述各动作类别的概率值与所述最佳阈值的关系判断所述动作测试数据的动作类别。
[0068]
s30、将所述各动作类别概率值与最佳阈值进行比较，预测所述动作测试数据对应的动作类别；其中，所述最佳阈值用于根据深度学习模型训练时使用的样本数据集的不平衡率使预测结果向发生概率低的动作类别偏移。具体地，将所述跌倒动作概率值和日常活动动作概率值与最佳阈值进行对比，以预测是否有跌倒动作发生。具体地，根据所述各动作类别的概率值与所述最佳阈值的关系判断所述动作测试数据的动作类别，包括：
[0069]
当某一动作测试数据输出的跌倒概率值p与最佳阈值λ
*
进行比较，若p≥λ
*
，则所述最优深度学习模型预测所述动作测试数据为跌倒动作；
[0070]
当某一动作测试数据输出的日常活动概率值q与最佳阈值λ
*
进行比较，若q≤1-λ
*
，则所述最优深度学习模型预测所述动作测试数据为跌倒动作。
[0071]
构建好深度学习模型后，使用训练集和验证集对模型进行训练，并确定模型中的参数，在生活应用的场景中，使用者穿戴设备实时采集加速度计和陀螺仪的数据，如图3所示，将数据的峰值前后3s内的数据标记为跌倒动作，并使用宽度为1s的滑动窗口将连续的时序数据截取成片段，对实时采集进行预处理后，将数据输入训练好的模型中进行预测是
否为跌倒事件发生。
[0072]
上述方法的重点在于最优深度学习模型的训练以及最佳阈值的确定，因此，本实施例给出了具体的最优深度学习模型的训练方法以及最佳阈值的确定方法，具体如下：
[0073]
具体地，如图2所示，所述深度学习模型，包括：
[0074]
残差连接模块10，用于对动作测试数据进行特征提取；具体地，所述残差连接模块10，包括：卷积层，用于提取原始信号中的特征信息；批归一化层，用于对特征信息进行归一化处理，之后进行激活函数的非线性计算；残差连接计算单元，用于将提取后的特征信息与原始数据进行线性叠加。具体地，所述残差连接计算单元的引入，可以接跳过一层或多层，将输入的原始数据和原始数据经非线性变化提取的特征信息进行线性叠加，一方面可以使残差连接模块10更好的拟合分类函数以获得更高的分类精度，另一方面使残差连接模块10如何解决网络在层数加深时优化训练上的难题。
[0075]
具体地，在深度学习模型训练过程中，所述残差连接模块的训练过程分为两个阶段，具体地，第一个阶段是数据由低层次向高层次传播的阶段，即前向传播的阶段，第二个阶段是当前向传播的得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的过程，即反向传播阶段。具体地，所述残差连接模块10的训练过程为：1、网络进行权值的初始化；2、输入数据经过卷积层等向前传播得到输出值；3、求出网络的输出值与目标值之间的误差；4、当误差大于0时，将误差传回网络中；5、根据求得误差进行权值更新，再重新进行前向传播计算。
[0076]
具体地，所述残差连接模块10包括四个顺序连接的第一～第四残差连接单元，具体地，如图4所示，每个残差连接单元包括：第一卷积层、第一批归一化层(batch normalization层)、第二卷积层、第二批归一化层和残差连接计算子单元；所述第一残差连接单元中第一卷积层和第二卷积层均包括64个卷积核，第二残差连接单元中第一卷积层和第二卷积层均包括128个卷积核，第三残差连接单元中第一卷积层和第二卷积层均包括256个卷积核，第四残差连接单元中第一卷积层和第二卷积层均包括512个卷积核；更具体地，第一～第四残差连接单元中所有卷积核均为1x3卷积核；四个残差连接单元的堆叠以及卷积核的数目增加是为了能够更好提取数据深层次的特征。
[0077]
具体地，根据大量使用者身上的智能可穿戴设备采集人在日常生活中的加速度计和陀螺仪的时序数据，构成人日常活动及跌倒的样本数据集；具体地，在建立数据集的过程中，采集多个使用者的日常生活数据和模拟跌倒的数据，构建一个含有大量数据的样本数据集，通过所述样本数据集在使用之前对算法模型的参数进行调整，减小模型预测的误差。
[0078]
并将样本数据集按3:1的比例随机划分成训练集和验证集；对所述原始采集到的样本数据集中数据进行预处理，具体地，所述预处理包括数据的分割和标记：首先对每一个片段的数据进行标记，0代表日常活动动作数据，1代表跌倒事件动作数据，再使用滑动窗口将原始的连续数据截取成片段。
[0079]
具体地，在残差连接模块10训练之前，对残差连接模块10的原始参数进行初始化，权重参数采用xavier初始化方式，偏置参数采用全0初始化方式；将上述训练集作为残差连接模块10的输入，对残差连接模块10进行多次训练，在多次调参和训练后，误差是随着模型反向传播计算的次数而减小的，当计算次数足够多时，模型的误差会从初始训练时的急速减小趋于稳定，获得在上述测试集表现良好的网络模型权重。可选地，本实施例中残差连接
模块10计算误差的函数使用的是交叉熵损失函数，根据实验发现我们的模型在反向传播50次计算后，误差达到稳定，故设定将模型的训练计算参数设定为50，进行50次的反向传播计算后模型训练结束。
[0080]
本实施例中全连接softmax层，首先通过上述残差连接模块10获得的权重矩阵，将输入数据转化为与类别数相同的输出，再通过softmax激活函数将输出的各类别概率转化为0-1范围内的概率，并保证所有类别的概率之和为1。将所述全连接softmax层20输出动作测试数据对应各动作类别概率值与最佳阈值进行比较，可预测得到所述动作测试数据对应的动作类别。
[0081]
在深度学习网络中，随着网络深度的增加，能够更好地提取样本数据集中的特征，模型性能越好，但是随着网络深度的增加还带来了梯度消失等问题。残差连接模块10就能够很好地解决深度学习模型的梯度消失和梯度爆炸的问题。
[0082]
具体地，所述调整分类阈值，获取最佳阈值，包括：
[0083]
s100、获取样本数据集，将所述样本数据集中数据划分为日常活动样本数据和跌倒样本数据，并统计所述日常活动样本数据数量和跌倒样本数据数量；
[0084]
s200、根据所述日常生活样本数据数量和跌倒样本数据数量的比值，计算所述样本不平衡率；
[0085]
s300、根据所述样本不平衡率对分类阈值进行调整，确定所述最佳阈值，所述最佳阈值为跌倒动作阈值λ
*
。所述最佳阈值λ
*
，表达为：
[0086]
λ
*
＝k
×
e-ρ/a+b
[0087][0088]
其中，λ
*
为最佳阈值，k为分类器的默认阈值，ρ为样本数据集的不平衡率，a和b为常数，n
max
为样本数据集中日常生活数据的数量，n
min
为样本数据集中跌倒样本数据的数量。可选地，分类器的默认阈值k＝0.5；a和b通过阈值移动函数曲线确定，所述阈值移动函数曲线根据实验数据集中不同不平衡率对应的跌倒动作测试阈值拟合得到；
[0089]
具体地，通过实验数据拟合得到的阈值移动函数曲线获取，具体包括：
[0090]
获取实验数据集，将所述实验数据集划分为训练集和测试集，使用深度学习模型中阈值移动算法层对输入的训练集进行特征提取，并输出数据对应的跌倒动作概率值p
′
和日常活动动作概率值q
′
，其中p
′
+q
′
＝1，设定跌倒动作阈值为λ
′
，则日常活动动作阈值为1-λ
′
；
[0091]
输出数据对应的跌倒动作概率值p
′
≥λ
′
时，将预测结果归为跌倒动作；日常活动动作概率值q
′
≥1-λ
′
时，将预测结果归为日常活动动作；当所述跌倒动作阈值满足公式(1)时，所述跌倒动作阈值为所述实验数据集不平衡率对应的跌倒动作测试阈值如图5所示，通过不同不平衡率与跌倒动作测试阈值拟合得到阈值移动函数曲线，图中
▲
为不同不平衡率对应的跌倒动作测试阈值点，曲线为根据跌倒动作测试阈值和不平衡率拟合得到的阈值移动函数曲线。不同不平衡率下对应的跌倒动作测试阈值表达为：
[0092]
[0093]
其中，f表示少数类数据(即跌倒动作数据)在训练集中的出现概率，f
λ
′
表示在阈值λ
′
时预测得到的少数类数据(即跌倒动作数据)在测试集中的概率。
[0094]
当采集到的原始数据的不平衡率越高，分类器的阈值越向少数类偏移。根据最佳阈值确定公式确定的最佳阈值能够提高深度学习模型对类别不平衡数据的分类精度，减少对少数类的漏检。
[0095]
与现有技术相比，本实施例提供的基于类别不平衡信号的跌倒检测方法中通过算法值移动法对真实生活活动的类别不平衡情况进行优化，使最优深度学习模型的预测结果向数量少的跌倒数据类别移动，减少对多数的日常活动类别的偏移，能够保证模型从大量的日常活动数据中检测到发生概率较低的偶发跌倒事件数据，检测精度较高；本发明基于深度学习网络模型，深度学习法能够自动地从大批量的数据中识别深层次的特征并对模型的参数进行调整，相较于传统的算法模型能够更加准确地进行跌倒事件的检测和识别，通过在真实生活中采集到的类别不平衡数据，对网络模型进行训练和参数的调整，训练好的模型对发生的小概率跌倒事件具有良好的检测能力，能够从大批量的日常活动数据中识别出跌倒数据信号，减少了漏检的情况；最后，本发明根据智能可穿戴设备中的加速度计和陀螺仪采集到的数据，进行一定预处理后建立的真实生活跌倒数据集，构建的类别不平衡跌倒检测模型在真实生活跌倒数据集上进行训练及测试，更适用于智能可穿戴设备应用在真实生活当中。
[0096]
如图6所示，本发明的一个具体实施例，公开了一种基于类别不平衡信号的跌倒检测系统，包括：
[0097]
数据获取模块10，用于实时获取智能可穿戴设备采集的使用者的动作测试数据；所述动作测试数据，包括：加速度数据和角速度值；
[0098]
概率计算模块20，用于将所述动作测试数据输入最优深度学习模型，进行所述动作测试数据的动作类别识别，获取各动作类别概率值；
[0099]
预测模块30，用于将所述各动作类别概率值与最佳阈值进行比较，预测所述动作测试数据对应的动作类别；其中，所述最佳阈值用于根据深度学习模型训练时使用的样本数据集的不平衡率使预测结果向发生概率低的动作类别偏移。
[0100]
具体地，所述概率计算模块中的所述最优深度学习模型，包括：
[0101]
残差连接模块，用于对动作测试数据进行特征提取；
[0102]
全连接softmax层，用于对所述动作测试数据特征进行分类，输出动作测试数据对应各动作类别概率值；
[0103]
阈值移动算法层，用于调整分类阈值，获取最佳阈值，并根据所述各动作类别的概率值与所述最佳阈值的关系判断所述动作测试数据的动作类别。具体地，所述阈值移动算法层，包括：
[0104]
样本数据获取单元，用于获取样本数据集，将所述样本数据集中数据划分为日常活动样本数据和跌倒样本数据，并统计所述日常活动样本数据数量和跌倒样本数据数量；
[0105]
不平衡率获取单元，用于根据所述日常生活样本数据数量和跌倒样本数据数量的比值，计算所述样本不平衡率；
[0106]
最佳阈值确认单元，用于根据所述样本不平衡率对分类阈值进行调整，确定所述最佳阈值，所述最佳阈值为跌倒动作阈值λ
*
；所述最佳阈值λ
*
，表达为：
[0107]
λ
*
＝k
×
e-ρ/a+b
[0108][0109]
其中，λ
*
为最佳阈值，k为分类器的默认阈值，ρ为样本数据集的不平衡率，a和b为常数，n
max
为样本数据集中日常生活数据的数量，n
min
为样本数据集中跌倒样本数据的数量。
[0110]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0111]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。