基于双声道的脚步检测方法与流程

本发明涉及计算机应用技术领域，具体地说，本发明涉及步态分析技术领域。

背景技术：

步态分析(gait analysis)是一种通过观察或采集行走时人体的姿态，得出并分析步态参数的技术，常见的步态参数包括空间参数(步幅、步长、步宽等)，时间参数(步频、步速等)，以及这些参数的左右脚的对称性、长期数据的稳定性等。步态分析在体育运动、医疗康复等方面发挥着非常重要的作用，并得到了广泛的应用和研究。

现有的步态分析技术大多基于视频图像、压力传感器、肌电技术等，这些设备对被测者有较大的侵入性，因此适用范围有限。王成等在中国专利申请201610519761.7中提出了一种步态参数的采集方法及设备。它是一种基于双声道的步态参数的采集方案。具体地，采集设备包含左右脚两个部分，每个都包含声音采集传感器，分别佩戴在两只脚的脚踝上。在行走过程中同时采集双脚的脚步声数据，并通过蓝牙实现两个设备的同步控制，满足了双脚数据的完整和对称性的要求。该方案首次提出了基于双声道的声音信号来获取步态参数，并给出了相应的脚步识别方案。然而，基于声音信号的脚步识别面临十分复杂的应用场景，不同类型的鞋子，不同类型的地面，不同的行走方向和负重情况都可能会影响到脚步识别的准确度。因此，当前迫切需要一种能够提高识别准确度的双声道的脚步检测解决方案。

技术实现要素：

本发明的任务是提供一种能够提高识别准确度的双声道的脚步检测解决方案。

本发明提供了一种基于双声道的脚步检测方法，包括下列步骤：

1)获取待检测的双声道音频数据并进行分帧处理，得到相应的音频帧；所述双声道音频数据包括固定在左脚的采集设备所采集的左脚声道音频数据和固定在右脚的采集设备所采集的右脚声道音频数据；

2)提取每个音频帧的特征向量，基于脚步检测模型得出每个音频帧属于脚步的概率；其中，所述脚步检测模型是以音频帧的特征向量为输入，以音频帧属于脚步的概率为输出的机器学习模型，该机器学习模型以标注了脚跟着地声的音频帧和标注了前脚掌着地声的音频帧为正样本，以前一步的前脚掌着地声与后一步的脚跟着地声之间的多个音频帧为负样本进行训练；

3)根据所得出的各个音频帧属于脚步的概率，得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。

其中，所述步骤2)中，左脚声道的音频帧及其属于脚步的概率构成左脚声道概率曲线，右脚声道的音频帧及其属于脚步的概率构成右脚声道概率曲线；

所述步骤3)还包括：将左、右脚声道概率曲线融合成综合概率曲线，对综合概率曲线进行平滑处理，基于预设的概率阈值得出各个音频帧是否含有脚步声，进而得出脚步对应的时间区间。

其中，所述步骤1)中，采用汉明窗对双声道音频数据进行分帧处理。

其中，所述步骤1)中，所得到的所述音频帧长度为10～30ms，相邻帧的重叠部分为汉明窗窗口长度的20％～30％。

其中，所述步骤2)中，构成所述音频帧的特征向量的特征包括：自相关系数、子带能量特征、过零率、线性预测系数特征和梅尔倒谱系数特征。

其中，所述步骤2)中，所述机器学习模型采用SVM分类器模型，所述正样本包括已知的左脚声道音频数据中的以每个标注脚跟着地声的位置为中心的三个音频帧和以每个标注前脚掌着地声的位置为中心的三个音频帧，以及已知的右脚声道音频数据中的以每个标注脚跟着地声的位置为中心的三个音频帧和以每个标注前脚掌着地声的位置为中心的三个音频帧；所述负样本包括：左脚声道音频数据中的前一步的前脚掌着地声与后一步的脚跟着地声之间的九个音频帧，以及右脚声道音频数据中的前一步的前脚掌着地声与后一步的脚跟着地声之间的九个音频帧。

其中，所述步骤3)中，用低通滤波器对综合概率曲线进行平滑处理。

其中，所述步骤3)中，所述低通滤波器的相对截止频率不超过0.1。

其中，所述步骤3)中，所述综合概率曲线是左、右脚声道概率曲线的求和叠加。

其中，所述步骤3)中，所述综合概率曲线是对左、右脚声道概率曲线取较大值后得到的融合概率曲线。

与现有技术相比，本发明具有下列技术效果：

1、本发明仅依靠双声道音频即可检测出对应的脚步，并且具有很高的精确率和召回率。

2、本发明能够适应多种不同的应用场景，通用性强。

附图说明

以下，结合附图来详细说明本发明的实施例，其中：

图1示出了本发明所涉及的双声道音频数据的一个示例；

图2示出了本发明一个实施例中的分帧处理方式；

图3示出了本发明一个实施例中的双声道数据标注示例，其中，标注为脚后跟的峰(竖线)表示后脚跟着地声，为使图面整洁，本图中未直接标注前脚掌，事实上，每个标注为脚后跟的峰后方的浅色的峰可标注为前脚掌，它表示前脚掌着地声；

图4示出了本发明一个实施例中左脚声道和右脚声道各自的概率曲线；

图5示出了本发明一个实施例中左脚声道和右脚声道概率曲线求和后的综合概率曲线；

图6示出了本发明一个实施例中左脚声道和右脚声道概率取较大值后的综合概率曲线；

图7示出了求和后得到的综合概率曲线平滑后的结果；

图8示出了取较大值后得到的综合概率曲线平滑后的结果；

图9示出了本发明一个实施例的脚步检测方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作详细说明。

根据本发明的一个实施例，提供了一种基于双声道的脚步检测方法。该方法中，单独使用可穿戴的声传感器采集步态数据，然后根据所采集的声学步态数据，基于一定的算法对数据进行处理分析，从中检测出对应的脚步。

本实施例中，基于双声道的脚步检测方法的检测对象是双声道的音频数据，它是将两个声传感器分别部署在被测人左脚和右脚处，并在被测人行走过程中实时采集相应的声信号而得到的音频数据。而左脚处和右脚处的两个声传感器就构成所述双声道。在下文中将进一步地示例性地介绍采集双声道的音频数据的方法。

本实施例中，首先对双声道的音频数据进行分帧，然后对音频帧提特征，通过人工标注的正负样本训练分类器，再基于训练后的分类其识别某个音频帧是否属于脚步声的一部分，获取该音频帧属于脚步声的概率。对于双声道的音频数据，可以得出所有音频帧属于脚步声的概率，从而获得对应的概率曲线。进一步地，结合两道音频的判断结果并进行平滑处理后，可以分析出脚步概率较大的连续区间，从而确定脚步的区间。

具体地，本实施例的脚步检测方法包括下列步骤(参见图9)：

步骤1：对双声道的音频数据进行分帧加窗，得到一系列的音频帧。图2示出了分帧加窗的一个实例。在该例子中，在8000hz的音频采样率下，每个音频帧包含200个样本，相邻帧之间的有120个样本的重叠区间，每个音频帧加汉明(hamming)窗。也就是说，在音频数据加滑动窗口，用滑动窗口取对应的音频帧作为本实施例的基本考察单元。适当选择滑动窗口的滑动步长，使得相邻音频帧具有重叠。汉明窗的窗口长度一般为10～30ms，取窗口长度的约20％～30％作为滑动步长。

步骤2：对音频帧进行特征提取，得到该音频帧的特征向量。本实施例中，特征向量包括：自相关系数、子带能量(0～4kHz)特征、过零率、线性预测系数(LPCC)特征和梅尔倒谱系数(MFCC)特征。在一个具体实例中，特征向量的具体构成为：10维子带能量特征、12维梅尔倒谱系数特征、12维线性预测系数以及过零率和自相关系数，共36维。表1示出了特征向量的各个维度。

表1

需要注意的是，上述特征向量的维度和构成特征向量的具体特征组合并不是唯一的。在其他实施例中，特征向量也可以是：自相关系数、子带能量(0～4kHz)、过零率、LPCC和MFCC这些特征中的一部分或全部的自由组合。只要这些特征组合能够较好地表征音频帧所蕴含的信息即可。

步骤3：选择训练用的正负样本。

本申请发明人分析，脚步声典型的特点是包含脚后跟和脚前掌着地的两声，且左右脚的设备均能采集到包含对应的着地声信号，但本侧脚的音频信号相对较强。因此，可以在人工标注时，在左右脚两道音频上按照左右脚依次在对应侧的音频数据上标注出每个脚步两声(脚后跟和脚前掌着地的两声)的位置(参考图3)。

本实施例中，在左右脚的两道音频上以每个标注的位置为中心，各取3帧作为正样本，这样，单声道中每个脚步对应6个正样本，双声道共12个正样本。然后在相邻两个脚步的中间位置(前一脚的第二声和后一脚的第一声中间)取连续的9帧作为负样本，这样，单声道中每两个脚步之间(即相邻的左脚着地声和右脚着地声之间或者相邻的右脚着地声和左脚着地声之间)有9个负样本，双声道中每两个脚步之间共有18个负样本。

步骤4：利于上述正负样本组成样本库，训练脚步检测分类器。脚步检测分类器可以采用SVM分类器。其输入为代表一个音频帧的特征向量，输出为该音频帧属于脚步的概率。对于正样本，该概率为1，对于负样本，该概率为0。

步骤5：利用训练后的脚步检测分类器对待检测的双声道音频数据的各个音频帧进行检测，得到各个音频帧属于脚步的概率，建立对应的概率曲线。该概率曲线是指横坐标为音频帧序号(或者音频帧所代表的时刻)纵坐标为对应音频帧属于脚步的概率的曲线。在脚步检测过程中，对待检测的双声道音频数据进行连续分帧后，每帧提取特征向量，然后利用训练后的分类器计算属于脚步声的概率，可以得出连续的音频帧属于脚步声的概率变化曲线，左右脚的两道音频数据对应两条概率曲线(参考图4)。本步骤中，待检测的双声道音频数据的音频帧根据步骤1的方法获得，然后根据步骤2的方法提取特征向量，此处不再赘述。

步骤6：对左右脚的概率曲线进行平滑处理，在平滑后的曲线中找出取值连续大于预设阈值的区间，进而得出属于脚步的区间。

在一个实施例(参考图5)，基于概率求和法将左右脚的概率曲线合并，然后为了克服概率曲线存在的较大的不稳定性和噪声点，用低通滤波器(相对截止频率为0.1)进行平滑处理，平滑后的概率曲线存在较为明显的“大概率”区间，因此可以根据预设的阈值(例如0.8或1)找出连续超出阈值的区间，将这些区间判定为属于脚步的区间。这种处理方法的原理是：在脚步声的位置，两边的概率均较大，求和后可以更加突出一个脚步的概率。图7示出了求和后得到的综合概率曲线平滑后的结果。

在另一个实施例中(参考图6)，基于双声道概率最大值法确定脚步区间。通常来说本侧声道的音频数据被判定为脚步的概率更大，所以可以更多依赖本侧声道的音频数据，而另一侧的音频数据的概率起补充作用。此时，预设的阈值可以为0.5。对于每对候选的音频帧(指代表时刻相同的左右声道的音频帧)，先选出概率较大的一个，然后用它代表综合概率曲线中该音频帧位置的概率值，这样就得出了综合左右脚音频数据的概率曲线。对上述综合概率曲线，用预设的概率阈寻找连续超出阈值的区间，将这些区间被判定为属于脚步的区间。图8示出了取较大值后得到的综合概率曲线平滑后的结果。

上述基于声音的检测方法，往往不会错过真正的脚步声，具有较高的召回率和精确率。

发明人依据以上方法进行了测试，测试数据如表2所示。

表2

测试结果：针对包括运动鞋、皮鞋、木质地面、水泥地面、不同行走方向、不同负重的测试数据，本发明的平均精确率和召回率分别是：90.89％和97.29％。

进一步地，下面示例性地介绍用于获取双声道音频数据的可穿戴步态数据采集装置及采集方法。示例性地，可穿戴步态数据采集装置包括能够采集声波信号的麦克风单元。该采集装置能够将采集到的数据传输至用于处理信号的智能终端。步态数据采集装置包括左脚步态数据采集节点和右脚步态数据采集节点。每个步态数据采集节点包括存储单元、微处理器(MCU)、电源单元、无线收发单元(主要用于与步态数据分析端连接并发送采集节点的数据给步态数据分析端，可以是例如蓝牙或者WIFI或者电信网络等)、信号采集器(可以是例如能够同时接收普通声波和超声波的麦克风)、信号发射器(例如带有超声发射功能的麦克风)。在采集数据时，由信号采集器(例如麦克风)采集声音信号，所采集到的信号发送到MCU进行处理。另外，MCU还用于对无线收发单元收发的数据、存储单元数据的进出等进行调度。

如前文所述，基于双声道的脚步检测需要被测人行走过程所采集的双声道音频数据。示例性地，该双声道音频数据的采集方法包括下列步骤：

步骤a：将左脚步态数据采集节点和右脚步态数据采集节点分别固定在被测人的左脚和右脚。在双足(本文中“足”和“脚”的意思相同，二者可以互相替换)上同时使用两个步态数据采集设备节点，将左右脚的数据进行分析融合，可以获得比单足测量方式更准确的信息。具体地，可以将步态数据采集节点穿戴在鞋底处的不同位置，步态数据采集节点可以在生产鞋时预装在鞋里，例如预装位置可以是鞋帮的前侧、外侧或后侧，也可以是鞋底的靠近前脚掌处、中部或者靠近脚跟处。优选地，左脚步态数据采集节点和右脚步态数据采集节点佩戴在左右脚的对称位置上。

在另一个实施例中，步态数据采集节点也可以是独立于鞋子的装置，独立的步态数据采集节点可以穿戴在双脚脚踝处。步态数据采集节点可以用松紧绷带固定在脚踝外侧、后侧或前侧。优选地，左脚步态数据采集节点和右脚步态数据采集节点佩戴在左右脚的对称位置上。双脚穿戴上步态数据采集节点后，可以根据需要调整松紧绷带，使其紧紧固定在足部，不发生移动。这种佩戴方式有利于用户穿戴的舒适度，同时也能够很好地使步态数据采集节点与足部固定，进而脚步检测的准确性。在进行步态数据采集时，将采集设备(节点)上电开机，双足节点程序启动，在被测对象开始行走后，采集被测对象的步态行走数据。

步骤b：在被测人行走过程中，左脚步态数据采集节点和右脚步态数据采集节点分别采集由于脚步行走而产生的声音信号，从而获得所需的双声道音频数据。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其它的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。