一种基于深度学习的行为识别方法与流程

本发明涉及一种基于深度学习的行为识别方法，属于行为识别领域。

背景技术：

目前，现有的基于机器学习的行为识别，往往需要手工提取大量的特征值，导致识别模型在特征值选用方面的客观性欠缺、系统能耗增加等缺点。而深度学习算法的应用可以避免人工提取特征值的过程，识别模型能够自主从输入数据中寻找特征，从而进行结果的预测，保证了系统的正确率。深度学习算法的便利性和高效性使得将其应用于行为识别领域成为研究的热点。

在利用深度学习进行为识别的方法中，在提高系统检测正确度的同时不显著增加模型复杂度是研究的重要方面。

技术实现要素：

本发明旨在解决以上现有技术中存在的技术问题，提出了一种基于深度学习的行为识别方法。

本发明方法在行为识别系统训练阶段通过加速度传感器获取合加速度值，经过stft变换提取合加速度值序列中频率和时间的关系，得到stft能量谱序列，结合每次实验对应的行为标签；采用基于lstm(longshort-termmemory，长短期记忆网络)单元的drnn网络(deeprecurrentneuralnetworks，深层循环神经网络)建立起lstm-drnn行为识别模型；使用训练集数据训练初始模型，获得相应的参数。根据识别正确率选择最佳的训练模型，应用于行为识别系统的识别阶段。识别阶段对加速度传感器的处理同训练阶段相同，识别阶段的输入仅为stft(short-timefouriertransform，短时傅里叶变换)能量谱序列，经过训练好的drnn-lstm模型处理，就可以输出预测的行为类别。

本发明具体采用以下技术方案：

本发明提供了一种基于深度学习的行为识别方法，所述方法包括如下步骤：

步骤一、采用加速度传感器采集x轴、y轴和z轴的行为数据ai(n)并对行为类型进行标记，其中i等于0、1或2，表示传感器x轴、y轴和z轴；n表示行为标记；

步骤二、对行为数据ai(n)采用滤波处理得到滤波处理后的加速度传感器数据aiτ(n)；

步骤三、对滤波处理后的加速度传感器数据aiτ(n)采用stft变换后输出复序列astft(m，ω)；取stft变换后的复序列的幅度值的平方作为该序列的谱能量pstft(m，ω)；

步骤四、把谱能量pstft(m，ω)作为lstm-drnn模型的输入建立lstm-drnn行为识别模型；

步骤五，对lstm-drnn行为识别模型训练获取模型参数得到最终的lstm-drnn行为识别模型；

步骤六、采用lstm-drnn行为识别模型识别行为获得最终的识别结果。

在以上技术方案中，步骤二具体包括以下步骤：

用截止频率为fmc的阶数为a的中值滤波器和截止频率为flc的阶数为b的低通滤波器去除ai(n)中的噪声na(n)，得到滤波处理后的加速度传感器数据aiτ(n)。

在以上技术方案中，步骤三的具体步骤如下：

根据加速度传感器数据aiw(n)计算合加速度值a(n)，其中加加速度传感器数据aiw(n)是速度传感器数据aiτ(n)采用滑动窗口法处理后的加速度传感器数据；表示传感器x轴、y轴和z轴，其中序列a(n)共有数据wfs个；然后对合加速度值a(n)进行stft变换得到频域复序列astft(m，ω)，w(n)为窗函数，astft(m，ω)有st×sf个数据，st为每个时间段里的时间点数，sf为stft得到的频率点数(st×sf＜wfs)；

取频域复序列astft(m，ω)的幅度值的平方作为该序列的谱能量pstft(m，ω)，pstft(m，ω)＝|astft(m，ω)|²，其中序列pstft(m，ω)，其中同样有st×sf个数据(st×sf＜wfs)。

进一步地，加速度传感器数据aiτ(n)采用滑动窗口法处理，即采用一个w秒重叠p％的窗口进行数据提取，得到加速度传感器数据aiw(n)。

在以上技术方案中，步骤四具体包括以下步骤：

drnn分成输入层、隐藏层和输出层，其中隐藏层的深度为3；

隐藏层均采用lstm单元取代基本rnn单元；

对加速度传感进行k次stft谱能量序列计算，得到

同时将每种行为标记与谱能量pstft相应元素对应起来，构建行为标记与stft谱能量序列之间的映射关系，建立lstm-drnn识别模型。

在以上技术方案中，步骤五的具体方法如下：

步骤5-1：选取全部k次实验得到的谱能量psftf中的特定比例用作训练集ptrain，剩下的用作测试集ptest来训练建立的lstm-drnn模型；

步骤5-2：使用正确率评估模型的训练效果；

步骤5-3：选择测试集ptest上准确度最高的迭代周期，获取该周期下的模型参数得到最终的lstm-drnn模型，得到最终的lstm-drnn模型。

在以上技术方案中，步骤六的具体方法如下：

对经过预处理的加速度传感器数据进行stft变换，得到经过stft变换后的stft序列astft(m，ω)，取stft变换后的序列的幅度值的平方作为该序列的谱能量序列pstft(m，ω)；

将谱能量序列pstft(m，ω)作为输入数据传入训练好的lstm-drnn行为识别模型当中，获得分类结果。

本发明所取得的有益技术效果：

1、本发明通过在lstm-drnn行为识别模型的训练阶段和识别阶段，对加速度传感器获取的xyz三轴的加速值进行处理，提取一维的合加速度值，经过stft变换提取合加速度值序列中频率和时间的关系，得到stft序列的能量谱，其中stft序列的能量谱序列中的数据数远少于xyz三轴加速传感器的数据数；控制能量谱序列中的数据数目少于加速度传感器获得的三轴加速度值的数目，就可以减少模型的训练时间，从而达到控制模型复杂度的目的；

2、结合每次实验对应的行为标签对建立起的lstm-drnn行为识别模型进行训练获得相应的参数。根据识别正确率选择最佳的训练模型，应用于系统的识别阶段；识别阶段的输入仅为stft序列的能量谱序列，经过训练好的drnn-lstm模型处理，就可以输出预测的行为类别。上述处理中使用的lstm-drnn深度学习模型可以充分利用数据提取特征，提高识别的正确率，同时训练模型使用的stft序列能量谱序列的数据数目远少于直接使用xyz三轴加速度传感器的原始数据数目，从而减少了训练模型的时间，控制了drnn-lstm模型的复杂度，对低能耗的终端设备具有适用性。

附图说明

图1为本发明具体实施例的整体方法流程示意图；

图2为lstm-drnn行为识别模型训练阶段的示意图。

具体实施方式

以下结合说明书附图对本发明作进一步的详细说明。下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1为本发明的整体方法流程示意图；如图1所示，本实施例提供的行为识别方法分为训练阶段和识别阶段。

训练阶段主要包括四个部分，分别为传感器数据采集和预处理，stft变换，建立lstm-drnn行为识别模型，训练获取模型参数。其具体过程如图2所示。

lstm-drnn模型的训练阶段具体包括以下步骤：

步骤一、采用加速度传感器采集x轴、y轴和z轴的行为数据ai(n)并对行为类型进行标记，其中i等于0、1或2，表示传感器x轴、y轴和z轴；n表示行为标记；

步骤二、对行为数据ai(n)采用滤波处理得到滤波处理后的加速度传感器数据aiτ(n)；

步骤三、对滤波处理后的加速度传感器数据aiτ(n)采用stft变换后输出复序列astft(m，ω)；取stft变换后的复序列的幅度值的平方作为该序列的谱能量pstft(m，ω)；

步骤四、把谱能量pstft(m，ω)作为lstm-drnn模型的输入建立lstm-drnn行为识别模型；

步骤五，对lstm-drnn行为识别模型训练获取模型参数得到最终的lstm-drnn行为识别模型；

优选地，在具体实施例中，在传感器数据采集和预处理部分，先启用智能手机加速度传感器，设置加速度传感器的采样频率为fs，分别采集诸如静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒七种常见行为的加速度传感器数据ai(n)，(i＝0，1，2，表示传感器x轴、y轴和z轴)，数据ai(n)为离散数据。同时由人工为上述行为进行标记，标签1-7对应上述行为的顺序，记为labe(l)，(l＝1，2，...，7，依次对应静坐、平躺、走路、慢跑、上楼梯和下楼梯、跌倒这七种常见行为)。然后用截止频率为fmc的阶数为a的中值滤波器和截止频率为flc的阶数为b的低通滤波器去除ai(n)中的噪声na(n)，得到滤波处理后的加速度传感器数据aiτ(n)。通过使用智能手机内置的加速度传感器获取合加速度和，处理后得到stft序列，不用额外配置检测设备；行为识别系统的训练阶段可以线下完成，将训练好的模型应用于云端或者手机应用当中，进一步降低系统的能耗要求。整个行为识别系统具有普遍适用性。需要说明的是，在其它的实施例中可以采用现有技术中的其它设备采集行为感应数据，可根据实际情况设定要采集的行为类别。

在stft变换部分，首先，加速度传感器数据aiτ(n)采用滑动窗口法处理，即采用一个w秒重叠p％的窗口进行数据提取，得到加速度传感器数据aiw(n)。然后，对得到的三维加速度传感器数据aiw(n)计算合加速度值a(n)，即xyz三轴加速度平方和的均方根值。对一维合加速度值a(n)进行stft变换，经过stft变换之后输出二维的复序列为astft(m，ω)，其表示的是输入序列之间的时间和频率之间的关系。取stft变换后的序列的幅度值的平方作为该序列的谱能量pstft(m，ω)。经过stft变换使stft序列的数据数目比原始数据数目大大减少，可以有效降低系统处理的能耗，提升系统的处理速度。凭借lstm-drnn深度学习算法模型的优势能够保证识别正确率，具有普遍适用性。

在建立lstm-drnn行为识别模型部分，先把drnn分成输入层、隐藏层和输出层，其中隐藏层的深度为3(隐藏层深度可以在[2，4]中视情况调整，一般不宜过大否则网络会过于复杂)。为了避免长时间依赖问题，隐藏层均采用lstm单元取代基本rnn单元。初始化模型参数。对加速度传感进行k次stft谱能量序列计算，得到同时将每种行为标记与集合pstft相应元素对应起来，构建行为标记与stft谱能量序列之间的映射关系，建立识别模型。

在训练获取模型参数部分，先选取全部k次实验得到的stft数据集合psftf中的70％用作训练集ptrain，剩下的30％用作测试集ptest来训练建立的lstm-drnn模型(在其它实施例中根据情况设定stft数据集合psftf中训练集和测试集的比例。)。然后使用正确率评估模型的训练效果。正确率定义为正确区分出的正负样本的数量总和与训练总样本数的比值。最后，选择测试集ptest上正确率最高的迭代周期，获取该周期下的模型参数，得到最终的lstm-drnn模型，使用这样的模型进行预测。

行为识别系统的识别阶段同样包括四个部分，分别为传感器数据采集和预处理，stft变换，输入lstm-drnn行为识别模型，获取预测结果，其中传感器数据采集和预处理，stft变换与训练阶段对应的部分一致。首先对经过预处理的加速度传感器数据进行stft变换，得到经过stft变换后的序列astft(m，ω)，取stft变换后的序列的幅度值的平方作为该序列的谱能量序列pstft(m，ω)。然后，将谱能量序列pstft(m，ω)作为输入数据传入训练好的lstm-drnn行为识别模型当中，获得分类结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。