融合加速度和音频信息的脚步检测方法与流程

本发明涉及计算机应用技术领域，具体地说，本发明涉及步态分析技术领域。

背景技术：

步态分析(gait analysis)是一种通过观察或采集行走时人体的姿态，得出并分析步态参数的技术，常见的步态参数包括空间参数(步幅、步长、步宽等)，时间参数(步频、步速等)，以及这些参数的左右脚的对称性、长期数据的稳定性等。步态分析在体育运动、医疗康复等方面发挥着非常重要的作用，并得到了广泛的应用和研究。

现有的步态分析技术大多基于视频图像、压力传感器、肌电技术等，这些设备对被测者有较大的侵入性，因此适用范围有限。王成等在中国专利申请201610519761.7中提出了一种步态参数的采集方法及设备。它是一种基于双声道的步态参数的采集方案。具体地，采集设备包含左右脚两个部分，每个都包含声音采集传感器，分别佩戴在两只脚的脚踝上。在行走过程中同时采集双脚的脚步声数据，并通过蓝牙实现两个设备的同步控制，满足了双脚数据的完整和对称性的要求。该方案首次提出了基于双声道的声音信号来获取步态参数，并给出了相应的脚步识别方案。然而，基于声音信号的脚步识别面临十分复杂的应用场景，不同类型的鞋子，不同类型的地面，不同的行走方向和负重情况都可能会影响到脚步识别的准确度。因此，当前迫切需要一种能够提高识别准确度的脚步检测解决方案。

技术实现要素：

本发明的任务是提供一种能够提高识别准确度的脚步检测解决方案。

本发明提供了一种融合加速度和音频信息的脚步检测方法，包括下列步骤：

1)检测双声道音频数据，得出脚步对应的时间区间；所述双声道音频数据包括固定在左脚的采集设备所采集的左脚声道音频数据和固定在右脚的采集设备所采集的右脚声道音频数据；

2)对于步骤1)得出的各个脚步对应的时间区间，根据该时间区间对应的加速度方差进行二次检测，根据该加速度方差是否大于预设的方差阈值判断该时间区间是否为脚步。

其中，所述步骤2)中，对于每个脚步对应的时间区间，判断该时间区间的加速度方差是否大于方差阈值，如果是，则该脚步区间通过二次检测，认定该时间区间为脚步，如果否，则去掉该脚步区间。

其中，所述步骤1)包括下列子步骤：

11)获取待检测的双声道音频数据并进行分帧处理，得到相应的音频帧；

12)提取每个音频帧的特征向量，基于脚步检测模型得出每个音频帧属于脚步的概率；其中，所述脚步检测模型是以音频帧的特征向量为输入，以音频帧属于脚步的概率为输出的机器学习模型，该机器学习模型以标注了脚跟着地声的音频帧和标注了前脚掌着地声的音频帧为正样本，以前一步的前脚掌着地声与后一步的脚跟着地声之间的多个音频帧为负样本进行训练；

13)根据所得出的各个音频帧属于脚步的概率，得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。

其中，所述步骤12)中，左脚声道的音频帧及其属于脚步的概率构成左脚声道概率曲线，右脚声道的音频帧及其属于脚步的概率构成右脚声道概率曲线；

所述步骤13)还包括：将左、右脚声道概率曲线融合成综合概率曲线，对综合概率曲线进行平滑处理，基于预设的概率阈值得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。

其中，所述步骤12)中，构成所述音频帧的特征向量的特征包括：自相关系数、子带能量特征、过零率、线性预测系数特征和梅尔倒谱系数特征。

其中，所述步骤12)中，所述机器学习模型采用SVM分类器模型，所述正样本包括已知的左脚声道音频数据中的以每个标注脚跟着地声的位置为中心的三个音频帧和以每个标注前脚掌着地声的位置为中心的三个音频帧，以及已知的右脚声道音频数据中的以每个标注脚跟着地声的位置为中心的三个音频帧和以每个标注前脚掌着地声的位置为中心的三个音频帧；所述负样本包括：左脚声道音频数据中的前一步的前脚掌着地声与后一步的脚跟着地声之间的九个音频帧，以及右脚声道音频数据中的前一步的前脚掌着地声与后一步的脚跟着地声之间的九个音频帧。

其中，所述步骤3)中，用低通滤波器对综合概率曲线进行平滑处理。

其中，所述步骤3)中，所述低通滤波器的相对截止频率不超过0.1。

其中，所述步骤3)中，所述综合概率曲线是左、右脚声道概率曲线的求和叠加。

其中，所述步骤3)中，所述综合概率曲线是对左、右脚声道概率曲线取较大值后得到的融合概率曲线。

与现有技术相比，本发明具有下列技术效果：

1、本发明依靠可穿戴即可检测出对应的脚步，使用方便，并且具有很高的精确率和召回率。

2、本发明能够适应多种不同的应用场景，通用性强。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了本发明所涉及的双声道音频数据的一个示例；

图2示出了本发明一个实施例中的分帧处理方式；

图3示出了本发明一个实施例中的双声道数据标注示例，其中，标注为脚后跟的峰(竖线)表示后脚跟着地声，为使图面整洁，本图中未直接标注前脚掌，事实上，每个标注为脚后跟的峰后方的浅色的峰可标注为前脚掌，它表示前脚掌着地声；

图4示出了本发明一个实施例中左脚声道和右脚声道各自的概率曲线；

图5示出了本发明一个实施例中左脚声道和右脚声道概率曲线求和后的综合概率曲线；

图6示出了本发明一个实施例中左脚声道和右脚声道概率取较大值后的综合概率曲线；

图7示出了求和后得到的综合概率曲线平滑后的结果；

图8示出了取较大值后得到的综合概率曲线平滑后的结果；

图9示出了本发明一个实施例的脚步检测方法的流程图；

图10示出了本发明一个实施例中的双声道音频数据和对应的加速度数据的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作详细说明。

根据本发明的一个实施例，提供了一种融合加速度和音频信息的脚步检测方法。该方法中，使用可穿戴的声传感器和加速度传感器采集步态数据，然后根据所采集的声学步态数据，基于一定的算法对数据进行处理分析，从中初步检测出脚步所属时间区间，再基于加速度数据对声学步态数据的检测结果进行二次判断，从而得出一种具有高召回率和高精确率的脚步检测结果。

本实施例中，首先基于双声道的脚步检测方法对声学步态数据进行检测。所检测的声学步态数据是双声道的音频数据，它是将两个声传感器分别部署在被测人左脚和右脚处，并在被测人行走过程中实时采集相应的声信号而得到的音频数据。而左脚处和右脚处的两个声传感器就构成所述双声道。在下文中将进一步地示例性地介绍采集双声道的音频数据的方法。

本实施例中，首先对双声道的音频数据进行分帧，然后对音频帧提特征，通过人工标注的正负样本训练分类器，再基于训练后的分类器识别某个音频帧是否属于脚步声的一部分，获取该音频帧属于脚步声的概率。对于双声道的音频数据，可以得出所有音频帧属于脚步声的概率，从而获得对应的概率曲线。进一步地，结合两道音频的判断结果并进行平滑处理后，可以分析出脚步概率较大的连续区间，从而确定脚步的区间。

具体地，参考图9，本实施例的脚步检测方法包括下列步骤：

步骤1：对双声道的音频数据进行分帧加窗，得到一系列的音频帧。图2示出了分帧加窗的一个实例。在该例子中，在8000hz的音频采样率下，每个音频帧包含200个样本，相邻帧之间的有120个样本的重叠区间，每个音频帧加汉明(hamming)窗。也就是说，在音频数据加滑动窗口，用滑动窗口取对应的音频帧作为本实施例的基本考察单元。适当选择滑动窗口的滑动步长，使得相邻音频帧具有重叠。汉明窗的窗口长度一般为10～30ms，取窗口长度的约20％～30％作为滑动步长。

步骤2：对音频帧进行特征提取，得到该音频帧的特征向量。本实施例中，特征向量包括：自相关系数、子带能量(0～4kHz)特征、过零率、线性预测系数(LPCC)特征和梅尔倒谱系数(MFCC)特征。在一个具体实例中，特征向量的具体构成为：10维子带能量特征、12维梅尔倒谱系数特征、12维线性预测系数以及过零率和自相关系数，共36维。表1示出了特征向量的各个维度。

表1

需要注意的是，上述特征向量的维度和构成特征向量的具体特征组合并不是唯一的。在其他实施例中，特征向量也可以是：自相关系数、子带能量(0～4kHz)、过零率、LPCC和MFCC这些特征中的一部分或全部的自由组合。只要这些特征组合能够较好地表征音频帧所蕴含的信息即可。

步骤3：选择训练用的正负样本。

本申请发明人分析，脚步声典型的特点是包含脚后跟和脚前掌着地的两声，且左右脚的设备均能采集到包含对应的着地声信号，但本侧脚的音频信号相对较强。因此，可以在人工标注时，在左右脚两道音频上按照左右脚依次在对应侧的音频数据上标注出每个脚步两声(脚后跟和脚前掌着地的两声)的位置(参考图3)。

本实施例中，在左右脚的两道音频上以每个标注的位置为中心，各取3帧作为正样本，这样，单声道中每个脚步对应6个正样本，双声道共12个正样本。然后在相邻两个脚步的中间位置(前一脚的第二声和后一脚的第一声中间)取连续的9帧作为负样本，这样，单声道中每两个脚步之间(即相邻的左脚着地声和右脚着地声之间或者相邻的右脚着地声和左脚着地声之间)有9个负样本，双声道中每两个脚步之间共有18个负样本。

步骤4：利于上述正负样本组成样本库，训练脚步检测分类器。脚步检测分类器可以采用SVM分类器。其输入为代表一个音频帧的特征向量，输出为该音频帧属于脚步的概率。对于正样本，该概率为1，对于负样本，该概率为0。

步骤5：利用训练后的脚步检测分类器对待检测的双声道音频数据的各个音频帧进行检测，得到各个音频帧属于脚步的概率，建立对应的概率曲线。该概率曲线是指横坐标为音频帧序号(或者音频帧所代表的时刻)纵坐标为对应音频帧属于脚步的概率的曲线。在脚步检测过程中，对待检测的双声道音频数据进行连续分帧后，每帧提取特征向量，然后利用训练后的分类器计算属于脚步声的概率，可以得出连续的音频帧属于脚步声的概率变化曲线，左右脚的两道音频数据对应两条概率曲线(参考图4)。本步骤中，待检测的双声道音频数据的音频帧根据步骤1的方法获得，然后根据步骤2的方法提取特征向量，此处不再赘述。

步骤6：对左右脚的概率曲线进行平滑处理，在平滑后的曲线中找出取值连续大于预设阈值的区间，进而得出属于脚步的区间。

在一个实施例(参考图5)，基于概率求和法将左右脚的概率曲线合并，然后为了克服概率曲线存在的较大的不稳定性和噪声点，用低通滤波器(相对截止频率为0.1)进行平滑处理，平滑后的概率曲线存在较为明显的“大概率”区间，因此可以根据预设的阈值(例如0.8或1)找出连续超出阈值的区间，将这些区间判定为属于脚步的区间。这种处理方法的原理是：在脚步声的位置，两边的概率均较大，求和后可以更加突出一个脚步的概率。图7示出了求和后得到的综合概率曲线平滑后的结果。

在另一个实施例中(参考图6)，基于双声道概率最大值法确定脚步区间。通常来说本侧声道的音频数据被判定为脚步的概率更大，所以可以更多依赖本侧声道的音频数据，而另一侧的音频数据的概率起补充作用。此时，预设的阈值可以为0.5。对于每对候选的音频帧(指代表时刻相同的左右声道的音频帧)，先选出概率较大的一个，然后用它代表综合概率曲线中该音频帧位置的概率值，这样就得出了综合左右脚音频数据的概率曲线。对上述综合概率曲线，用预设的概率阈寻找连续超出阈值的区间，将这些区间被判定为属于脚步的区间。图8示出了取较大值后得到的综合概率曲线平滑后的结果。

上述基于声音的检测方法，往往不会错过真正的脚步声，具有较高的召回率和精确率。

发明人依据以上方法进行了测试，测试数据如表2所示。

表2

测试结果：针对包括运动鞋、皮鞋、木质地面、水泥地面、不同行走方向、不同负重的测试数据，本发明的平均精确率和召回率分别是：90.89％和97.29％。

从实验结果看，单独基于声音的脚步检测已经可以达到极高的召回率，但是精确率仍有改进空间。发明人通过分析发现，这是由于脚步声或多或少会受到周围环境的噪声的影响，以及部分人走路脚步的拖地等影响，导致单独基于声音的检测结果中包含一些误报，因此，发明人提出了利用加速度信息对声音的结果进行二次判断的方案，由粗粒度到细粒度的方案，以提高整体检测的正确率。

因此，在前述步骤6之后，继续执行以下步骤：

步骤7：对于属于脚步的时间区间，获取对应时间区间的加速度信息(即被测者行走过程中所采集到的加速度曲线，图10示出了双声道音频数据和对应的加速度数据的示意图，其中虚线代表加速度数据)，利用脚着地时加速度具有较大波动的特点，根据方差的大小辨别步骤6所检测出的时间区间(即脚步区间)是否确实是一个脚步信号。

在一个实施例中，所述步骤7包括下列子步骤：

步骤71：在单独基于音频信息检测出脚步区间后，对于每个脚步区间，计算对应的加速度信号的方差。计算公式为：

D(x)＝E(x²)-[E(x)]²

在实际运行该算法时，一次遍历区间内的加速度数据即可计算出方差。本实施例中，两个加速度传感器分别穿戴在被测者的左右脚。在计算过程中，分别计算左右脚加速度信号的方差，然后取两者的较大值作为同一脚步区间的加速度方差。

步骤72：对于每个脚步区间，判断该脚步区间的加速度方差是否大于方差阈值，如果是，则认定该脚步区间通过二次检测，如果否，则认为该脚步区间是误报，去掉该脚步区间。方差阈值可以根据经验得出。加速度信号一般受到穿戴方式、行走快慢等因素的影响。在一个例子中，方差阈值的选择方法如下：首先选择一个方差阈值的初始值，然后进行对比试验，根据实验结果对初始值进行修正，最终选择出一个针对当前数据集(例如测试数据集)来讲，尽可能多的保持高的回落率和精确率的最佳值，将该最佳值作为方差阈值。

这种利用脚步声音计算方法和加速度计算方差的方法融合的方法，可以去除单独依靠脚步声音计算方法中的误报，可以有效的提高脚步检测的精确率。上述融合的检测方法，根据实验结果可知，相比较单独的依靠声音数据的脚步检测方法，对精确率有了很大的提高，有更好的效果。对于前文表1的测试集，利用加速度和声音信息融合检测的方法，加速度方差阈值取16，在应用到包含针对运动鞋、皮鞋、木质地面、水泥地面、行走方向、是否负重等条件的测试集中，平均精确率和召回率分别是：99.17％和97.02％。表3示出了单独基于脚步声检测方法与融合加速度和脚步声数据的检测方法的对比。可以看出，后者的精确率显著提高，同时还保持了极高的召回率。

表3

进一步地，下面示例性地介绍用于获取双声道音频数据的可穿戴步态数据采集装置及采集方法。示例性地，可穿戴步态数据采集装置包括能够采集声波信号的麦克风单元以及加速度传感器。该采集装置能够将采集到的数据传输至用于处理信号的智能终端。步态数据采集装置包括左脚步态数据采集节点和右脚步态数据采集节点。每个步态数据采集节点包括存储单元、微处理器(MCU)、电源单元、无线收发单元(主要用于与步态数据分析端连接并发送采集节点的数据给步态数据分析端，可以是例如蓝牙或者WIFI或者电信网络等)、加速度传感器、声信号采集器(可以是例如能够同时接收普通声波和超声波的麦克风)、信号发射器(例如带有超声发射功能的麦克风)。在采集数据时，由信号采集器(例如麦克风)采集声音信号，所采集到的信号发送到MCU进行处理。另外，MCU还用于对无线收发单元收发的数据、存储单元数据的进出等进行调度。

如前文所述，基于双声道的脚步检测需要被测人行走过程所采集的双声道音频数据。示例性地，该双声道音频数据的采集方法包括下列步骤：

步骤a：将左脚步态数据采集节点和右脚步态数据采集节点分别固定在被测人的左脚和右脚。在双足(本文中“足”和“脚”的意思相同，二者可以互相替换)上同时使用两个步态数据采集设备节点，将左右脚的数据进行分析融合，可以获得比单足测量方式更准确的信息。具体地，可以将步态数据采集节点穿戴在鞋底处的不同位置，步态数据采集节点可以在生产鞋时预装在鞋里，例如预装位置可以是鞋帮的前侧、外侧或后侧，也可以是鞋底的靠近前脚掌处、中部或者靠近脚跟处。优选地，左脚步态数据采集节点和右脚步态数据采集节点佩戴在左右脚的对称位置上。

在另一个实施例中，步态数据采集节点也可以是独立于鞋子的装置，独立的步态数据采集节点可以穿戴在双脚脚踝处。步态数据采集节点可以用松紧绷带固定在脚踝外侧、后侧或前侧。优选地，左脚步态数据采集节点和右脚步态数据采集节点佩戴在左右脚的对称位置上。双脚穿戴上步态数据采集节点后，可以根据需要调整松紧绷带，使其紧紧固定在足部，不发生移动。这种佩戴方式有利于用户穿戴的舒适度，同时也能够很好地使步态数据采集节点与足部固定，进而脚步检测的准确性。在进行步态数据采集时，将采集设备(节点)上电开机，双足节点程序启动，在被测对象开始行走后，采集被测对象的步态行走数据。

步骤b：在被测人行走过程中，左脚步态数据采集节点和右脚步态数据采集节点分别采集由于脚步行走而产生的声音信号，从而获得所需的双声道音频数据以及加速度数据。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。