基于深度学习的异常步态分析方法、装置、设备及介质

1.本发明涉及步态分析技术领域，具体涉及基于深度学习的异常步态分析方法、装置、设备及介质。


背景技术：

2.现有异常步态分析方法通常使用基于量表的方法对用户的异常步态进行分析，衡量用户步态异常程度。为了实现步态异常程度的客观量化，研究人员开发了利用可穿戴设备或智能手机的步态分析系统。公开号为“cn 107137089 a”，名称为“一种穿戴式传感鞋系统及步态评估方法”的现有技术通过穿戴式鞋传感器收集运动数据，计算标准化压力峰值、跨步时间、站立时间比、步距、步速等参数，实现步态评估。公开号为“cn 110916673 a”，名称为“一种步态监测的方法及智能设备”的现有技术将智能手机固定在脊柱l3位置处，评估步频、加速度平均幅值、步伐规则性、对称性和变异性等步态参数。另外，文献[i.e.maachi,g.a.bilodeau,w.bouachir.deep 1d-convnet for accurate parkinson disease detection and severity prediction from gait.expert systems with applications,2020,143:1-7]提出一种基于一维卷积神经网络的步态评估方法，通过采集用户足底压力数据识别用户的异常步态严重程度。
[0003]
然而，传统基于量表的异常步态分析方式存在以下问题：1)分析过程耗时长，效率低；2)分析过程需要专业评定人员实时监督和指导，对评定人员熟练度要求较高；3)分析结果受评定人员主观影响大，存在主观差异；4)分析过程需要在专业环境下进行，对设备场景要求高。
[0004]
基于可穿戴设备的步态评估方法(如cn 107137089 a)需要单独设计传感器，成本较高，且设备的安装、调试过程较为繁琐，增加了用户的使用负担。基于智能手机的异常步态量化方法(如cn 110916673 a)通过手工提取传感器数据的时频域特征，此类方法的效果取决于手工提取的特征。现有基于深度学习的异常步态量化方法多只关注数据的单尺度和时域的特征，忽略了数据的多尺度特性以及频域特性。


技术实现要素：

[0005]
本发明目的在于提供基于深度学习的异常步态分析方法、装置、设备及介质，实现客观化的异常步态分析，提高步态量分析的准确性。
[0006]
本发明通过下述技术方案实现：
[0007]
第一方面，本发明提供了基于深度学习的异常步态分析方法，该方法包括：
[0008]
基于智能手机获取用户步态数据，并对用户步态数据进行预处理；
[0009]
根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；
[0010]
将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。
[0011]
进一步地，基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据；用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。
[0012]
进一步地，智能手机固定在用户l2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；
[0013]
用户在长度不少于10米的无障碍环境下进行数据获取。
[0014]
进一步地，预处理包括：
[0015]
采用阈值法，对用户步态数据进行关键序列提取，得到关键序列数据段；
[0016]
采用z规范化法，对关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。
[0017]
进一步地，构建基于多尺度时频深度特征的异常步态分析模型，包括：
[0018]
步骤a，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，多尺度时频特征u
cr,t
的表达式为：
[0019][0020]
其中，tanh()函数作为回声状态网络的储备池内部的激活函数；为回声状态网络的输入层和储备池间的连接权值；为储备池内部的连接权值；u
cr,t-cr
为尺度为cr的回声状态网络在时刻为t-cr时的储备池状态；为规范化后的惯性传感器信号，为频域系数，表示对和进行串联操作。
[0021]
步骤b，采用卷积神经网络对多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；多尺度时频深度特征表示为第一维时频深度特征d1、第二维时频深度特征d3和第三维时频深度特征d9；其中，第一维时频深度特征d1的步长为1，第二维时频深度特征d3的步长为3，第三维时频深度特征d9的步长为9；
[0022]
步骤c，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示k＝w1d1+w3d3+w9d9，其中，w1、w3、w9分别为针对三个维尺度下的特征的注意力值；
[0023]
步骤d，根据融合后的步态特征表示，得到基于多尺度时频深度特征的异常步态分析模型ri＝softmax(ki)，其中ki为融合后的用户步态数据特征表示；ri为预测的异常步态值。
[0024]
进一步地，该方法步骤c之后还包括：对融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；
[0025]
关系一致正则化约束项为：
[0026][0027]
其中，tr()表示对一个矩阵求迹；ki是第i个用户的步态数据特征表示；矩阵k＝
(k1,k2,
…
,kn)；矩阵p＝z-f，为与f关联的拉普拉斯矩阵；其中z是一个对角矩阵，其第i个对角元t表示转置；n表示用户数目；若两个用户的关键传感器序列接近，那么f
ij
较大，表示在损失lossm的权重则较大，则后续优化将重点关注如何使得ki与kj之间的距离较小，从而实现用户的步态数据特征表示接近的目的。
[0028]
进一步地，构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：
[0029][0030]
其中，是第i个用户的真实异常步态值，若该用户步态正常，那么若该用户属于异常步态，则
[0031]
第二方面，本发明又提供了基于深度学习的异常步态分析装置，该装置支持的基于深度学习的异常步态分析方法；该装置包括：
[0032]
获取单元，用于基于智能手机获取用户步态数据；
[0033]
预处理单元，用于对用户步态数据进行预处理；
[0034]
异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；
[0035]
模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；
[0036]
异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；
[0037]
输出单元，用于输出异常步态结果。
[0038]
第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的异常步态分析方法。
[0039]
第四方面，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的异常步态分析方法。
[0040]
本发明与现有技术相比，具有如下的优点和有益效果：
[0041]
本发明基于深度学习的异常步态分析方法、装置、设备及介质，利用多尺度时频回声状态网络和卷积神经网络技术，实现高精度、客观化、低成本异常步态量化；1)使用智能手机采集数据，整个过程易于实施，方便用户在家庭环境中使用，能够有效降低医疗成本；2)克服了传统量表评定方法耗时长、主观性强、环境受限等缺陷，也克服了传统机器学习方法手工提取特征的缺陷；3)回声状态网络能够通过储备池提取出序列的特征表示，且输入层和储备池不需要训练，模型训练效率高；4)回声状态网络通过多尺度结构捕获序列的多尺度时频特征，能够更全面的描述序列数据特征，克服以往基于深度学习的步态评估方法
中只能获取限于时域的单一尺度特征的不足；自适应多尺度融合机制引导模型关注对步态评分预测作用较大的尺度，关系正则化增加步态数据特征表示的辨别力，有助于提升异常步态量化准确度。
附图说明
[0042]
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：
[0043]
图1为本发明基于深度学习的异常步态分析方法流程图。
[0044]
图2为本发明基于多尺度时频深度特征的异常步态分析模型框架图。
[0045]
图3为本发明基于深度学习的异常步态分析装置结构示意图。
具体实施方式
[0046]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0047]
本发明利用智能手机采集用户步态数据并提取关键序列数据；使用多尺度时频回声状态网络对多变量时间序列进行建模，获取步态的多尺度时频特征；使用卷积神经网络提取回声状态网络储备池表示的深度特征；构建自适应多尺度融合机制，使用注意力机制对不同尺度时频特征进行加权融合，实现多尺度信息融合；通过关系正则化约束具有相似传感器数据的用户具有相似的步态数据特征表示。进而构建的基于多尺度时频深度特征的异常步态分析模型，实现客观化的异常步态分析，提高步态量分析的准确性。
[0048]
实施例1
[0049]
如图1所示，本发明基于深度学习的异常步态分析方法，该方法包括：
[0050]
步骤1，基于智能手机获取用户步态数据；基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据，采样频率20hz。用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。
[0051]
具体地，智能手机固定在用户l2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；用户在长度不少于10米的无障碍环境下进行数据测试获取。首先，用户坐在椅子上保持放松状态10秒，调整自身状态，准备测试。其次，用户起身向前直行10米，转身返回椅子处，然后坐下，保持放松状态10秒，测试过程结束。
[0052]
步骤2，对用户步态数据进行预处理；
[0053]
使用矩阵x表示智能手机采集的原始数据为：
[0054][0055]
其中，m表示采集数据包括的变量数目，b表示采集数据的序列长度,在本发明方案中共9个惯性传感器数据，因此m＝9。b的值取决于分析持续时间。x
m,t
表示在时刻t传感器m采集到的数据。x可以简化表示为x＝(x1,
…
,xb)，其中x
t
＝(x
1,t
,
…
,x
m,t
)
t
,表示手机在时刻t采集的惯性传感器数据。
[0056]
具体地，预处理包括：
[0057]
(1)采用阈值法，对用户步态数据进行关键序列提取，得到关键序列数据段；
[0058]
关键序列提取的目的是滤除原始数据中对步态评估分析无用的部分，提高处理效率。本发明方案使用阈值法提取关键序列。
[0059]
首先，计算矩阵x的一阶差分：
[0060]
x
′
＝(x
2-x1,
…
,x
b-x
b-1
)
[0061]
＝(x
′1,
…
,x
′
b-1
)
[0062]
其中x
′
t
＝x
t+1-x
t
＝(x
1,2-x
1,1
,
…
,x
m,b-x
m,b-1
)
t
，
[0063]
然后，计算x
′
每个时刻的绝对幅度：
[0064]
|x
′
|＝(||x
′1||2,
…
,||x
′
b-1
||2)
[0065]
其中，||x
′
t
||2表示x
′
t
的二范数。
[0066]
设定加速度阈值th，将智能手机佩戴在用户身上，让用户静坐30秒，取这30秒中最大的加速度作为th的值。从t＝1时刻开始向t＝b时刻依次考虑，若||x
′
t
||2》th，那么将该时刻记为开始时刻ts；然后从t＝b时刻开始向t＝1时刻依次考虑，若||x
′
t
||2》th，那么将该时刻记为结束时刻te。对异常步态量化有用的信息则为ts到te之间的序列，称为关键序列，提取的关键序列数据段表示为：
[0067][0068]
(2)采用z规范化法，对关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。
[0069]
具体地，采用z规范化法对关键序列数据中每个惯性传感器数据xm进行归一化处理。首先计算均值μm和标准差σm：
[0070][0071][0072]
其中，sqrt()为开根号操作。
[0073]
z规范化后的数据为：
[0074][0075]
规范化后的关键序列表示为：
[0076][0077]
步骤3，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；
[0078]
本发明的基于多尺度时频深度特征的异常步态分析模型构建过程为：根据预处理
后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；最后基于特征对softmax函数得到用户异常步态值，实现异常步态分析。
[0079]
构建及训练细节包括：
[0080]
步骤3.1，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征；
[0081]
回声状态网络由输入层、储备池和输出层三个部分组成。在训练阶段，输入权值和储备池层权值都是随机初始化和固定的，输出权值可通过线性回归求解。回声状态网络的更新公式为：
[0082][0083]
其中表示在时刻t储备池的状态，初始储备池状态是全为0的向量，d为储备池的大小；为回声状态网络的输入层和储备池间的连接权值；为储备池内部的连接权值；权值w
in
和w
res
随机初始化，不需要进行训练；表示规范化后的传感器信号；tanh()函数作为储备池内部的激活函数。
[0084]
为获取时间序列数据中的多尺度特性，本发明方案利用多时间尺度回声状态网络的储备池提取传感器信号的特征，如图2所示。尺度为cr的回声状态网络储备池状态更新公式为：
[0085][0086]
为同时利用时域特征和频域特征，本发明方案对规范化后的传感器信号进行频域特征提取。针对时刻t和尺度cr，构建子序列其中j是满足t-j
×
cr≥ts的最小整数。采用离散傅里叶变换得到该子序列的频域系数
[0087][0088]
其中dft()表示离散傅里叶变换。融合时域和频域特征作为回声状态网络的输入，得到尺度为cr的回声状态网络储备池状态更新公式，即多尺度时频特征u
cr,t
的表达式为：
[0089][0090]
其中，tanh()函数作为回声状态网络的储备池内部的激活函数；为回声状态网络的输入层和储备池间的连接权值；为储备池内部的连接权值；u
cr,t-cr
为尺度为cr的回声状态网络在时刻为t-cr时的储备池状态；为规范化后的惯性传感器信号，为频域系数，表示对和进行串联操作。
[0091]
该回声状态网络得到的储备池状态表示为本发明时间尺度cr分别设置为1，3和9，则对应储备池状态分别表示为u1、u3和u9。
[0092]
步骤3.2，采用卷积神经网络对多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；多尺度时频深度特征表示为第一维时频深度特征d1、第二维时频深度特征d3和第三维时频深度特征d9；其中，第一维时频深度特
征d1的步长为1，第二维时频深度特征d3的步长为3，第三维时频深度特征d9的步长为9；
[0093]
使用卷积层神经网络分别提取每个储备池状态u1、u3和u9的深度特征。本发明方案卷积神经网络包含3个卷积模块，每个卷积模块包括一个卷积阶段、一个修正线性激活阶段和一个池化阶段。三个卷积模块的卷积核数目分别为32，64，64，卷积步长为1；池化阶段采用步长为2的最大池化。在最后一个池化操作完成后，使用全局平均池化分别得到u1、u3和u9的64维深度特征向量d1、d3和d9。
[0094]
步骤3.3，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示；
[0095]
本发明使用注意力机制融合多尺度时频深度特征。定义注意力权重分别计算三个尺度的时频特征的注意力值：
[0096]
α1＝w
att
d1[0097]
α3＝w
att
d3[0098]
α9＝w
att
d9[0099][0100][0101][0102]
其中，w1、w3、w9分别为针对三个维尺度下的特征的注意力值。注意力权重w
att
通过学习得到。基于注意力值融合多尺度时频深度特征，得到如下步态特征表示即融合后的用户步态数据特征表示：
[0103]
k＝w1d1+w3d3+w9d9[0104]
步骤3.4，对融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；
[0105]
首先，计算两个样本在惯性传感器信号空间中的相似性：
[0106][0107]
其中xi和xj分别是第i个用户和第j个用户规范化后的关键传感器序列，||
·
||
frob
表示矩阵的frobenius范数，f
ij
表示第i个用户和第j个用户在传感器信号空间的相似性。使用f表示所有样本在传感器信号空间中的相似性矩阵：
[0108][0109]
其中n是用户数目。具有相似关键传感器序列的用户，其对应的步态数据特征表示也应该相似。因此，本发明方案采用的关系一致正则化约束项为：
[0110][0111]
其中，tr()表示对一个矩阵求迹；ki是第i个用户的步态数据特征表示；矩阵k＝(k1,k2,
…
,kn)；矩阵p＝z-f，为与f关联的拉普拉斯矩阵；其中z是一个对角矩阵，其第i个对角元t表示转置；若两个用户的关键传感器序列接近，那么f
ij
较大，表示在损失lossm的权重则较大，则后续优化将重点关注如何使得ki与kj之间的距离较小，从而实现用户的步态数据特征表示接近的目的。
[0112]
步骤3.5，根据融合后的步态特征表示，通过softmax层得到步态异常值；
[0113]
对于第i个用户，softmax层的输入为用户步态数据特征表示ki，输出是预测的异常步态值ri。异常步态值ri为一个范围在[0,1]，ri越接近0，表明该用户的步态越接近正常步态，ri越接近1，表明该用户的步态越有可能是异常步态。经过全连接层处理之后的输出，即基于多尺度时频深度特征的异常步态分析模型为：
[0114]ri
＝softmax(ki)
[0115]
其中，ki为融合后的用户步态数据特征表示；ri为预测的异常步态值。
[0116]
步骤3.6，模型损失函数：构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：
[0117][0118]
其中，是第i个用户的真实异常步态值，若该用户步态正常，那么若该用户属于异常步态，则
[0119]
步骤3.7，反向传播迭代训练；
[0120]
基于步骤3.6得到的模型输出得分与实际得分的误差值，使用梯度下降的误差反向传播算法实现对卷积神经网络权值参数w
conv
的迭代更新，梯度下降更新公式为：
[0121][0122]
其中表示第epo次迭代时卷积神经网络的权值参数，η是学习率。
[0123]
对于注意力权重参数w
att
的训练，梯度下降更新公式为：
[0124][0125]
其中表示第epo次迭代时，注意力权值参数。
[0126]
本发明中η设置为0.0001，经过2000次迭代后，完成模型参数训练，对网络结构和参数进行保存。
[0127]
以上，步骤3.6和步骤3.7是用于模型训练使用。
[0128]
步骤4，将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异
常步态分析模型中，进行预测分析，并输出异常步态结果。
[0129]
具体地，将待分析的用户步态数据，将其进行与步骤1和步骤2相同的数据采集、预处理，并输入到步骤3训练好的模型ri＝softmax(ki)中，自动生成用户异常步态结果。
[0130]
具体实施时，经过上述步骤1采集100名步态正常用户和100名步态异常用户的步态样本，经步骤2预处理，通过步骤3构建出基于多尺度时频深度特征的异常步态分析模型并完成训练过程得到异常步态量化模型m。对于步行功能等级未知的受试用户a，通过步骤1、2采集步行过程中的传感器数据并预处理，将预处理后数据输入至模型m，输出得到受试用户a的步态量化结果，完成异常步态量化。该量化过程可以在家庭环境中实施，整个过程无需医师的参与，过程简单、快速、客观。
[0131]
实施例2
[0132]
如图3所示，本实施例与实施例1的区别在于，本实施例又提供了基于深度学习的异常步态分析装置，该装置支持实施例1的基于深度学习的异常步态分析方法；该装置包括：
[0133]
获取单元，用于基于智能手机获取用户步态数据；
[0134]
预处理单元，用于对用户步态数据进行预处理；
[0135]
异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；
[0136]
模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；
[0137]
异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；
[0138]
输出单元，用于输出异常步态结果。
[0139]
其中，各个单元的执行过程按照实施例1所述的基于深度学习的异常步态分析方法流程步骤执行即可，此实施例中不再一一赘述。
[0140]
同时，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的异常步态分析方法。
[0141]
同时，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的异常步态分析方法。
[0142]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0143]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0144]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0145]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0146]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。