一种基于可穿戴音频设备的行人相对位置定位方法与流程

本发明涉及一种基于可穿戴音频设备的行人相对位置定位方法，属于计算机应用领域，针对同行的多个行人间的相对位置定位问题，以行走时手臂的自然摆动为切入点，以音频信号的多普勒效应为基本原理，实现了一种基于智能可穿戴音频设备的、无须基础设施和通信支持的行人相对位置定位方法。

背景技术：

行人的相对位置定位技术具有广泛的应用场景，如行人队形检测、社会关系与社会结构分析、行人意图分析等。具体而言，行人相对位置定位技术要求系统能够快速、准确地判断行人与其同行者之间的相对位置，如同行者正走在某一行人的左侧、右侧、前方或是后方。考虑到在现实生活中，系统工作时有可能行人不在行走或正单独行走，因此还要加入一个未知类别，来表示除了明确与人同行以外的其它情况。

现有的行人相对位置定位技术基本能够分为基于全局轨迹的方法和基于接近检测的方法两种。基于全局轨迹的方法要求用户将自己的详细轨迹信息上传到一个中央服务器。中央服务器通过比对不同行人的轨迹数据，从而判断出行人之间的相对位置。轨迹信息的采集可以通过全球定位系统、无线网络信号、蜂窝网络信号等方法来实现。但是该类方法拥有的共同局限性包括：1)考虑到行人之间同行时往往非常靠近，现有的定位方法的精度无法满足精确轨迹抓取的需求；2)不同行人的数据都要求统一上传到中央服务器进行比对，因此产生额外的通信开销；3)该类系统依赖基础设施的支持，如全球定位系统卫星信号、无线网络接入点、蜂窝网络基站等，如用户在基础设施无法覆盖到的地区行走时，该类系统就无法工作。

与基于全局轨迹的方法不同，基于接近检测的方法通过感知用户所佩戴的设备之间的距离，来完成相对的定位。该类方法对设备间距离的判断往往比基于全局轨迹的方法要更精确。但是，基于接近检测的方法的一大局限性在于，即使准确判断出用户之间的距离，也无法给出结合行人行走方向的位置数据。因此，该类方法只能判断行人之间是否靠近，但不能判断行人间的相对位置是左侧、右侧、前方还是后方。

因此，本发明提出使用智能可穿戴音频设备来实现行人的相对定位，以行人在行走时手臂的自然摆动为切入点，以音频信号的多普勒效应为基本原理，实现了一种基于音频信号的行人相对定位方法。该方法具有设备简单、不依赖基础设施、设备间以及服务器间无需通信、能够给出相对行走方向的相对位置信息等优势，能够提供高效、准确、持续的相对位置信息服务，广泛支持各类相关应用。

技术实现要素：

发明目的：为了实现同行的行人之间相对位置的定位，同时克服传统方法大量依赖基础设施和数据通信，并且难以获取行人行走方向的不足，本发明公开了一种基于可穿戴音频设备的行人相对位置定位方法。该方法设备简单易获取，仅依赖已有的智能手表和智能手机为设备，不需要部署在环境中的设备支持，也不需要进行设备间或服务器间的相互通信，就能够给出参考行人行走方向的相对位置信息，能够提供高效、准确、持续的相对位置信息服务。

在行走过程中，人的手臂会自然地前后摆动，其摆动的动作和脚步的动作相反，即，左脚向前迈进的过程中，左手臂自后向前摆动，而当右脚向前迈进时，右手臂自后向前摆动。行人的手臂摆动会造成行人手腕与同行者身体之间的相对运动，具体来说：1)当同行者在行人前方时，当手腕自后向前摆动时，行人手腕和同行者身体之间作相向运动，距离缩短；2)当同行者在行人后方时，当手腕自后向前摆动时，行人手腕和同行者身体之间作反向运动，距离增加；3)当同行者在行人一侧时，当手腕自后向前摆动时，行人手腕先和同行者身体之间作相向运动，距离缩短，当手臂经过垂直线后，行人手腕和同行者身体之间作反向运动，距离增加。若在行人手腕上放置一以智能手表实现的音源，在手臂自后向前摆动时发送固定音频f₀，则在其同行者身体上某处放置的接收器，即，智能手机所接收到的声音频率f会因为多普勒效应而随他们相对位置的改变而呈现不同的模式，具体来说：1)当同行者在行人前方时，有f>f₀；2)当同行者在行人后方时，有f<f₀；3)当同行者在行人侧方时，先有f>f₀后有f<f₀。为区分同行者是在行人的左侧或右侧，我们要求行人佩戴两个智能手表，分别设置左手手腕处手表的发送频率为f_l，右手手腕处手表的发送频率为f_r，由于行人自身身体的阻挡，我们可以在判断出同行者在行人一侧的基础上，通过判断来自不同手腕处信号的强弱，来判断同行者是在行人的左侧或右侧。

在以上分析的基础上，本发明提出一种基于可穿戴音频设备的行人相对位置定位方法，实现对行人与其同行者之间相对位置的判断，即，同行者正行走在行人相对行走方向的左侧、右侧、前方、后方或未知。

技术方案：一种基于可穿戴音频设备的行人相对位置定位方法，其特征在于，在行人(基准人)手腕上佩戴的智能手表能够感知行走过程中手臂的自然挥动，并将该挥动行为编码到所发出的音频信号中，在同行者(待定位人)身上的智能手机使用麦克风作为音频信号接收器，以音频信号随手腕动作而产生的多普勒效应为基本原理，使用基于滑动窗口的数据分割和快速傅里叶变换的数据预处理方法、利用信号周期特性的挥动周期分割算法、基于信号的特征提取方法以及基于特征的位置分析方法来实现对行人的相对定位，具体包含以下步骤：

步骤一、在行人(基准人)的双手手腕处佩戴智能手表，每个手表独立依据本地陀螺仪读数，决定手臂的挥动方向，并根据挥动的方向决定是否传送音频信号，若感知到手臂挥动方向为自后向前，则左手腕处的智能手表发送一固定频率(设频率为f_l)的连续音频，右手腕处的智能手表则发送另一固定频率(设频率为f_r)的连续音频，当感知到手臂开始向后挥动时，音频传送停止；

步骤二、在同行者(待定位人)身上佩戴智能手机，该智能手机通过麦克风以不低于步骤一中智能手表最高发送频率两倍的频率采样音频信号，并按照时间顺序缓存于内存中；

步骤三、在智能手机端对内存中的数据以固定长度进行分割得到一系列数据帧，并对每一个数据帧内的数据进行快速傅里叶变换，得到数据帧对应的频域表示，并将一系列数据帧对应的频域表示按时间顺序缓存于内存中；

步骤四、在智能手机端获取当前数据帧的频域表示后，计算当前数据帧与之间隔为N_g的数据帧之间的距离，改变N_g的取值并选取平均距离取最小时对应的N_g作为手臂挥动的周期L，进而寻找与之前数据帧累计距离最大的数据帧作为当前手臂挥动周期的起始时间，最终获取当前手臂挥动的起始时间和结束时间；

步骤五、根据当前手臂挥动的起始时间和挥动时间，在智能手机端计算当前手臂挥动周期内所采集到的音频数据的高低频比值和左右比值作为刻画信号的特征；

步骤六、在智能手机端根据信号特征建立分类器，最终判断行人间的相对位置为佩戴智能手机的行人(待定位人)行走在佩戴智能手表行人(基准人)的左侧、右侧、前方、后方或未知。

2、其中，步骤一的具体过程为：

步骤1.1智能手表注册监听陀螺仪传感器事件；

步骤1.2根据陀螺仪读数判断手臂的挥动方向为自前向后挥动或自后向前挥动；

步骤1.3对陀螺仪读数进行过滤，若读数的绝对值小于历史绝对值的固定比例，则认为是有手臂的微小扰动所造成的，不属于正常挥动的范围；

步骤1.4对于左手佩戴的智能手表，若检测到手臂自后向前挥动，则发送固定频率为f_l的音频信号；对于右手佩戴的智能手表，若检测到手臂自后向前挥动，则发送固定频率为f_r的音频信号；对于任一智能手表，若检测到手臂自前向后挥动，则停止发送音频信号。

3、其中，步骤二的具体过程为：

步骤2.1智能手机通过音频编程接口接收来自麦克风的音频数据；

步骤2.2将音频采样频率设置为不低于智能手表发送音频最高频率的两倍；

步骤2.3将采样得到的音频数据缓存于内存中，该缓存保存近期获得的音频数据。

4、其中，步骤三的具体过程为：

步骤3.1使用固定长度的非重叠式滑动窗口对缓存的音频数据进行分割，得到一系列的数据帧；

步骤3.2对每一个数据帧执行快速傅里叶变换，得到该数据帧所对应的频域表示，其中第i个数据帧对应的频域表示记为frame_i。

5、其中，步骤四的具体过程为：

步骤4.1给定当前数据帧frame_c以及之前获取的数据帧frame_c-1,frame_c-2,...,frame_c-Ng,...,frame_c-max，按照公式(1)计算frame_c与frame_c-Ng，N_g＝1,2,...,max之间的距离，N_g表示间隔的数据帧个数，max为N_g的最大取值：

其中distance(c,N_g)为frame_c与frame_c-Ng之间的距离，amplitude_f，c为frame_c对应频率f的幅值，amplitude_f，c-Ng的含义类似，f_l为左手腕处发送的信号频率，f_r为右手腕处发送的信号频率，min(f_l,f_r)为取f_l与f_r的最小值，max(f_l,f_r)为取f_l与f_r的最大值，Δf为单侧有效频率范围，参考值为(max(f_l,f_r)-min(f_l,f_r))/2；

步骤4.2对应N_g＝1,2,...,max，计算所有的distance(c,N_g)，根据公式(2)计算连续max个数据帧对应间隔N_g的平均距离：

其中avg_dist(c,N_g)表示从当前帧frame_c开始，以N_g为间隔，max个帧的平均距离；对每一个N_g的可能取值，都计算avg_dist(c,N_g)，选取使得avg_dist(c,N_g)最小的N_g的取值作为当前的手臂挥动周期L；

步骤4.3针对缓存的每一个数据帧frame_i，根据公式(3)计算其针对所有N_g可能值的累计距离：

其中agg_dist(i)是针对数据帧frame_i的累计距离；从当前帧frame_c开始向前搜索，确定第一个累计距离的局部最大值对应的帧frame_max，则认为当前手臂挥动的起始时间t为frame_max对应的获取时间；

步骤4.4确定当前手臂挥动的周期为从t开始，时间跨度为L。

6、其中，步骤五的具体过程为：

步骤5.1给定当前手臂挥动的周期为从t开始，时间跨度为L，根据公式(4)计算信号的高低频比值(High-Low-Ratio,HLR)：

其中HLR(t,L)为对应起始时间为t，时间跨度为L的信号的高低频比值，amplitude_f，c，f_l，f_r与Δf的含义参考公式(1)；

步骤5.2给定当前手臂挥动的周期为从t开始，时间跨度为L，根据公式(4)计算信号的左右比值(Left-Right-Ratio,LRR)：

其中LRR(t,L)为对应起始时间为t，时间跨度为L的信号的左右比值，amplitude_f，c，f_l，f_r与Δf的含义参考公式(1)。

7、其中，步骤六的具体过程为：

步骤6.1针对每一个手臂挥动周期，提取其对应的HLR与LRR作为刻画该周期的特征；

步骤6.2采集行人相对位置分别为左侧、右侧、前方、后方或未知的带标记数据，训练一个基于支持向量机(Support Vector Machine,SVM)的分类模型；

步骤6.3当采集到新的手臂挥动周期内的数据，同样提取其对应的HLR与LRR作为特征，使用训练好的分类模型对其进行分类，从而确定数据所对应的行人相对位置为左侧、右侧、前方、后方或未知。

附图说明

图1是本发明实施例的设备穿戴方式。

图2是本发明实施例的智能手表端处理流程。

图3是本发明实施例的智能手机端处理流程。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

1、硬件环境

1)一个智能手机，搭载麦克风，能够实现以不低于44.1kHz的频率采样音频的能力；具有不低于1MB的内存；具备500MHz以上主频的CPU；2)两个智能手表，搭载陀螺仪，能够实现以不低于200Hz的频率采样转动角度数据；搭载扬声器，能够播放1kHz到22kHz之间的音频；具有不低于1MB的内存；具备500MHz以上主频的CPU；

2、应用场景

在应用本发明公开的行人相对位置定位方法时，可以以系统后台服务或应用内嵌模块的形式进行应用。由一名行人分别在其左右手腕处正常佩戴智能手表，在其同行者身上佩戴智能手机。智能手机放置在口袋中以使得其与身体保持相对静止。在智能手表和智能手机端按照本发明所公开的技术方案实现行人的相对定位。最终的定位结果是相对行人的行走方向，佩戴智能手机的行人正行走在佩戴智能手表的行人的左侧、右侧、前方、后方或未知。

本发明所涉及方法的典型应用场景包括队形检测、社会关系与社会结构分析、意图分析等。采用队形检测时，可以根据队列中每一个行人的相对位置分析结果，来辅助判断行径的队伍是否按照规定的队形行走。而通过分析多个行人在行走时的相对位置，结合其文化背景，能够判断出人之间的社会关系如上下级关系、平等朋友关系、向导与跟随者关系等。针对意图分析，则可以通过行人相对位置的变化区分共同行走的意图、摆脱与追踪的意图、偷偷接近的意图等。

3、方法描述

本方法所涉及的基于可穿戴式音频设备的行人相对位置定位方法，其设备穿戴方式如图1所示，智能手表端数据处理流程如图2所示，智能手机端数据处理流程如图3所示。

1)音频设备穿戴方式

如图1所示，对于需要定位的行人，需穿戴相应的传感器来实现定位功能。假定有两位行人同行，指定其中一个行人为基准人，指定其同行者为待定位人。在基准人的双手手腕处分别正常佩戴智能手表并启动实现本发明所公开方法的程序。待定位人将一个智能手机放置于身上某一固定位置，可以是衣服或裤子口袋中、包中，使手机的位置与待定位人的身体保持相对静止。手机放置好后，启动实现本发明所公开方法的程序并实现定位功能。若有更多的同行者需要参与定位，在保证其中某一行人佩戴有智能手表的基础上，只需要在新加入的行人身上放置新的智能手机并启动定位程序，就能够实现多个用户相对位置的定位。

2)智能手表端阶段性音频信号发送方法

如图2所示，在智能手表端，需按照行人手臂的摆动方向来进行相应的音频信号发送。为实现该功能，首先应注册监听智能手表的陀螺仪传感器并以不低于200Hz的频率进行采样，假定当智能手表作顺时针转动时陀螺仪传感器的读数为正，作逆时针转动时陀螺仪传感器读数为负。对于左手腕处佩戴的手表，当z轴的陀螺仪读数为正且绝对值不低于历史最大绝对值5％时(对应左手臂自后向前摆动且不属于微小扰动)，发送固定频率为17kHz的音频。对于右手腕处佩戴的手表，当z轴的陀螺仪读数为负且绝对值不低于历史最大绝对值5％时(对应右手臂自后向前摆动且不属于微小扰动)，发送固定频率为16kHz的音频。对于任意一个智能手表，当感知到手臂开始作自前向后挥动时，停止音频信号发送。

3)智能手机端基于非重叠式滑动窗口和快速傅里叶变换的数据预处理方法

如图3所示，在智能手机端，注册监听麦克风读数，并以44.1kHz的采样率获取音频采样数据。当接收到来自智能手表的音频信号后，其表现形式为按照时间顺序排列的一系列音频采样数据，给定采样频率为44.1kHz，每秒钟有44100个数据点。后使用一个长度为0.1s的非重叠式滑动窗口对输入音频数据流进行分割，每次分割得到一个数据帧，其中包含44100个数据点。对于每一个数据帧，对其进行8192点的快速傅里叶变换，得到数据帧对应的频域表示。将该频域表示进行缓存以备后续使用。

4)智能手机端周期划分方法

如图3所示，在智能手机端，当得一个新的数据帧的频域表示后，计算该新得到的数据帧与前期获得的数据帧之间的距离，距离的计算公式如技术方案中公式(1)所示。在得到距离后，根据技术方案中公式(2)计算连续20个数据帧对应间隔N_g的平均距离。取使得平均距离最小的N_g的取值作为手臂摆动的周期L。根据技术方案中公式(3)计算每一帧(第i帧)取不同的间隔Ng时的累计距离。选择累计距离最大的帧作为当前手臂摆动周期的起始时间t。最终确定当前手臂摆动周期的起始时间为t，终止时间为t+L。

5)智能手机端基于特征的定位方法

如图3所示，在确定了当前手臂摆动周期的起始时间t和终止时间t+L后，对该时间段内的型号提取其包括高低频比值(High-Low-Ratio,HLR)和左右比值(Left-Right-Ratio,LRR)在内的信号特征。特征的计算方法分别由技术方案中公式(4)和公式(5)给出。对信号提取特征后，则一个手臂摆动周期内的数据就抽象为特征空间中的一个实例，能够进行基于分类的定位。

在提取了信号特征后，采集一系列带有标记的训练数据，训练一个基于基于支持向量机(Support Vector Machine,SVM)或其他分类模型如C4.5决策树、朴素贝叶斯、神经网络等的分类模型。在得到新的一个手臂摆动周期的特征实例后，使用训练好的分类模型对该实例进行分类，确定最后穿戴智能手机的行人正行走在穿戴智能手表行人的左侧、右侧、前方、后方或未知。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明精神和原则之内的，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。