基于移动终端音频的驾驶员细粒度呼吸监测方法及系统与流程

本发明涉及的是一种汽车控制领域的技术，具体是一种基于智能移动终端音频装置的驾驶员细粒度呼吸监测方法及系统。

背景技术

基于移动智能终端的呼吸监测系统主要利用智能移动终端的感知能力和计算能力对呼吸过程进行感知和识别。现有的工作主要分为三类，第一类主要基于智能终端上的运动检测传感器(加速度计和陀螺仪)，这类工作将智能移动终端贴合被测者(通常是放在衣物中)，通过感知呼吸导致的胸腹腔运动来实现呼吸监测，其共性问题在于对智能移动终端的位置要求极高，必须将智能移动终端贴合被测者，在实践中带来极大的不便。第二类工作主要基于智能移动终端上的摄像头，通过对被测者的图像信息(主要是面部图像)进行分析，结合光体积描记术(ppg)，得到被测者的呼吸频率。这一类工作的共性问题是由于图像信息容易受到天气、光照条件等因素的影响，系统的鲁棒性较差，并且也需要固定智能终端的位置(使摄像头朝向被测者)，且无法得到细粒度的呼吸波形；第三类工作主要基于智能移动终端接收wi-fi信号，通过分析被测者呼吸对wi-fi信号的影响来进行监测。这一类工作的共性问题是wi-fi信号极易受到震动或其他动作干扰，系统的鲁棒性较差，且同样无法得到细粒度的呼吸波形。

技术实现要素：

本发明针对现有的基于智能移动终端的呼吸监测系统几乎都需要在相对安静的环境下(例如家庭环境下)进行监测，而不能在驾驶环境下提供稳定的监测结果；并且现有技术往往只能得到基本的呼吸频率信息，不能得到细粒度的呼吸波形，因而在反映驾驶员身体状态方面极为受限，提出一种基于移动终端音频的驾驶员细粒度呼吸监测方法及系统，利用智能移动终端上的音频装置(麦克风及扬声器)实时监测驾驶员的呼吸状况，并得到包含呼吸频率以及呼吸波形的鲁棒且细粒度的呼吸监测结果。

本发明是通过以下技术方案实现的：

本发明涉及一种基于移动终端音频的驾驶员细粒度呼吸监测方法，通过在车内以移动终端的音频装置发送和接收超声波信号，从接收信号的频率谱密度(esd)中去除背景信号以及集合经验模态分解(eemd)方法去除接收信号中的噪声及动作干扰，提取出驾驶员实时的呼吸频率，经过基于生成对抗网络(gan)的生成模型进行重构并得到实时的驾驶员细粒度呼吸波形。

所述的基于生成对抗网络的生成模型，通过以真实采集到的呼吸波形对模型进行训练得到，能够实时输出细粒度的呼吸波形。

所述的以真实采集到的呼吸波形是指：预先通过可穿戴呼吸监测传感器采集到的驾驶员的呼吸波形，作为生成对抗网络的真实样本集。

所述的基于生成对抗网络的生成模型包括：生成模型和判别模型，其中：生成模型输入瞬时呼吸频率的希尔伯特谱，输出为细粒度的呼吸波形的希尔伯特谱，目标是使得判别模型认为生成模型的输出来自真实样本集；判别模型随机接收生成模型的输出或真实样本集的希尔伯特谱，目标输出是正确判断输入来自是来自真实样本集还是生成模型的输出；生成模型和判别模型形成对抗。

所述的基于生成对抗网络的生成模型的损失函数包含内容损失函数、重构损失函数和对抗损失函数，该损失函数l＝lc+lr+lad，其中：lc为内容损失函数，代表生成的细粒度的呼吸波形对应的希尔伯特谱和对应的真实呼吸波形的希尔伯特谱之间的误差，w和h表示输入和输出的希尔伯特谱矩阵的长宽，s^a和s^r分别表示真实呼吸波形的希尔伯特谱和瞬时呼吸频率的希尔伯特谱，g(s^r)表示由生成模型生成的细粒度的呼吸波形对应的希尔伯特谱；lr为重构损失函数，代表生成的细粒度的呼吸波形和对应的真实呼吸波形之间的误差，t^a表示真实的呼吸波形，l为波形长度，h^-1表示逆希尔伯特变换，将希尔伯特谱转换为时域信号波形；lad为对抗损失函数，代表生成对抗网络网络模型训练中固有的对抗误差，lad＝log[1-d(g(s^r))]，d(g(s^r))为判别器认为生成器生成的希尔伯特谱来自于真实呼吸波形的概率。

本发明涉及一种实现上述方法的系统，包括：音频采集单元、呼吸频率提取单元、基于生成对抗网络(gan)的呼吸波形重构单元，其中：音频采集单元与呼吸频率提取单元相连并传输声波信号的能量谱密度信息，呼吸频率提取单元与基于生成对抗网络(gan)的呼吸波形重构单元相连并传输瞬时呼吸频率的希尔伯特谱信息，呼吸波形重构单元基于呼吸频率提取单元得到的瞬时呼吸频率给出呼吸波形信息。

技术效果

与现有技术相比，本发明对于智能移动终端的放置位置没有苛刻的要求，并且能够在相对嘈杂的驾驶环境下给出驾驶员细粒度呼吸特征的监测结果，包含实时的呼吸频率及呼吸波形。

附图说明

图1为感知驾驶员呼吸示意图；

图2为系统结构图；

图3为三个不同驾驶员驾驶时对应的超声波信号的esd示意图；

图4为背景噪声消除前后的esd信号示意图；

图5为esd信号的eemd分解示意图；

图6为esd信号的希尔伯特谱示意图；

图7为本发明的生成对抗网络模型示意图；

图8为本发明的生成器和判别模型示意图；

图9为不同驾驶员呼吸频率的估计误差示意图；

图10为不同驾驶员呼吸波形估计的相关系数示意图；

图11为不同智能终端放置位置下驾驶员呼吸波形估计的相关系数示意图；

图12为不同智能终端放置位置下驾驶员呼吸频率估计误差的cdf示意图；

图13为不同的交通状况和道路状况下驾驶员呼吸波形估计的相关系数示意图；

图14为不同的交通状况和道路状况下驾驶员呼吸频率估计误差的cdf示意图。

具体实施方式

如图1所示，由于驾驶员的呼吸过程会引起胸腹腔的收缩和扩张的变化，故本实施例通过捕捉这一变化过程来实现对驾驶员呼吸的监测。而为了利用智能移动终端捕捉驾驶员胸腹腔的收缩和扩张运动，本实施例使用了智能终端上的麦克风和扬声器，通过分析驾驶员胸腹腔的收缩和扩张运动对声波能量谱密度(esd)的影响，实时感知驾驶员的呼吸特征。

如图1和图2所示，为本实施例包括以下步骤：

①通过使用智能终端的扬声器发送超声波信号在车辆环境下构建声波信号场，同时使用麦克风来接收反射信号，提取接收信号的能量谱密度；

②在鲁棒呼吸特征提取过程中，先通过背景噪声去除来消除驾驶环境下静态背景物体对信号的能量谱密度的影响，之后利用集合经验模态分解(eemd)方法，将驾驶员与呼吸无关的其他动作造成的影响从能量谱密度信号中分离，并进一步在希尔伯特谱上构建呼吸特征，提取出实时的呼吸频率；

③在细粒度呼吸特征重建过程中，通过基于生成对抗网络的模型，以特殊的可穿戴呼吸监测传感器在实际驾驶环境下采集的呼吸波形进行训练，使得该模型能够将步骤②得到的实时的呼吸频率进一步转化为细粒度的呼吸特征，并从中得到细粒度呼吸波形。

所述的超声波信号是指：使用移动终端自带的扬声器发出20khz的单频超声波信号。

所述的反射信号是指：通过智能终端自带的麦克风采集超声波信号，并以44.1khz的频率对超声波进行信号采样记录，得到接收信号r(t)。

所述的能量谱密度，首先通过窗宽为2048个点的快速傅里叶变换(fft)将接收信号由时域信息转换为频域信息，然后计算其中：n＝2048。

在实际计算过程中，为了消除环境中其他声波信号造成的干扰，本实施例进一步esd的公式优化为其中r(f)＝fftn(r(t))，其中δf＝20hz以考虑超声波的多普勒效应造成的影响。图3显示了采集到的三个不同的驾驶员驾驶时对应的超声波信号的esd，可见虽然这些esd信号相对并不稳定，但仍能从中看出对应三个驾驶员周期性呼吸过程的起伏特征。

为了从esd信号中提取驾驶员的呼吸特征，本实施例首先去除驾驶环境下静态背景物体对esd信号造成的影响，即所述背景噪声去除，具体通过为静态物体建立了一个背景模型，即给定k个连续的esd信号采样{e1,e2,...,ek}，则背景模型首先被初始化为在初始化之后，背景模型依据bn＝(1-α)bn-1+αen进行更新，其中n∈{1,2,...,k}，α∈[0,1]为更新率，得到的bn即是对应于esd信号en的背景模型，然后通过esd信号en减去背景信号bn实现背景噪声的去除。

图4显示了背景噪声去除前后的esd信号的示意图，从图中可以看出背景噪声去除之后，esd信号接近零均值，且一些对应背景变化的信号低频趋势被滤除。

所述的集合经验模态分解方法是指：在背景噪声去除之后，esd信号主要包含驾驶环境中各类运动物体造成的影响，因此利用集合经验模态分解(eemd)模型，对esd信号进行进一步的分解。

具体地，本方法通过对esd实施n次经验模态分解(emd)，每次加上均值为0，标准差为σ的高斯分布白噪声，并对n次分解结果取平均得到最终结果，本实施例中n＝1000，σ取值

图5显示了对esd信号进行eemd分解后的结果，其中c4对应驾驶员的呼吸信号，因而得到保留，其余分量认为是无关动作带来的影响，从而被分离。

所述的在希尔伯特谱上构建呼吸特征是指：在去除背景噪声和无关动作的影响之后，为了得到实时的呼吸频率，本实施例对esd信号进行希尔伯特变换，并得到反映信号瞬时频率的希尔伯特谱，如图6所示。

从图6可以看出，信号中主要的频率成分对应驾驶员的呼吸，但仍然有一些其他的频率成分需要滤除。因此本实施例通过选取每个时槽内最强的频率成分来获取主导频率成分，即认为是驾驶员的呼吸的瞬时频率。

为了进一步得到驾驶员呼吸频率的预计，本实施例构建了一个窗宽为10s，划动步长为1s的滑动窗口，计算窗口内频率的均值作为实时预计的驾驶员呼吸频率。

如图7所示，所述的基于生成对抗网络(gan)的模型包括：生成模型和判别模型，其中：生成模型输入瞬时呼吸频率的希尔伯特谱，输出为细粒度的呼吸波形的希尔伯特谱，目标是使得判别模型认为生成模型的输出来自真实样本集；判别模型随机接收生成模型的输出或真实样本集的希尔伯特谱，目标输出是正确判断输入来自是来自真实样本集还是生成模型的输出；生成模型和判别模型形成对抗。

如图8所示，所述的生成模型包括七个卷积层(convlayers)，第一层为从输入的希尔伯特谱中提取特征，最后一层得到输出，中间的五个卷积层为残差神经网络块(residualblocks)。具体地，每个残差神经网络块中都包含3*3卷积核和128通道的卷积神经网络结构作为核心、一个batchnormalization(bn)层处理梯度问题和一个leakyrelu层作为激活函数。

所述的判别模型只包含四个卷积层，其结构与生成器的结构类似，但其卷积神经网络结构中的通道数由64个按2的指数逐渐增加到256个，在四个卷积层后是两个全连接层(fc)，最后以一个sigmoid层输出判别结果。

所述的生成对抗网络模型，通过损失函数l作为训练评价，损失函数l＝lc+lr+lad，其中：lc为内容损失函数，代表生成的细粒度的呼吸波形对应的希尔伯特谱和对应的真实呼吸波形的希尔伯特谱之间的误差，w和h表示输入和输出的希尔伯特谱矩阵的长宽，s^a和s^r分别表示真实呼吸波形的希尔伯特谱和瞬时呼吸频率的希尔伯特谱，g(s^r)表示由生成模型生成的细粒度的呼吸波形对应的希尔伯特谱；lr为重构损失函数，代表生成的细粒度的呼吸波形和对应的真实呼吸波形之间的误差，t^a表示真实的呼吸波形，l为波形长度，h^-1表示逆希尔伯特变换，将希尔伯特谱转换为时域信号波形；lad为对抗损失函数，代表生成对抗网络网络模型训练中固有的对抗误差，lad＝log[1-d(g(s^r))]，d(g(s^r))为判别器认为生成器生成的希尔伯特谱来自于真实呼吸波形的概率。

当判别模型的损失函数值满足l≤δ，δ为预先设定的阈值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的细粒度的呼吸波形的希尔伯特谱进行逆希尔伯特变换作为重构得到的细粒度的驾驶员呼吸波形。

本实施例中移动终端选取samsunggalaxys6，samsunggalaxys7，googlepixel，htcuultra和huaweimate8作为实现疏忽驾驶行为早期识别系统的原型机给10位不同的驾驶员进行使用并采集测试数据。对应每种手机各两位驾驶员，共计两周的测试时间。

在测试过程中，驾驶员需要身着专用的呼吸监测传感器，以此来记录其在驾驶中的真实呼吸波形，并在测试过程中，需要额外记录一些变量，如智能终端在车内的放置位置，驾驶的道路类型以及交通状况等等，以支持进一步地分析和评价。

本实施例最主要的评估指标有两个：对于驾驶员呼吸频率估计，本实施例使用估计误差作为评估指标，定义为本实施例估计的驾驶员呼吸频率re和真实的驾驶员呼吸频率ra之间差值的绝对值|re-ra|；对于驾驶员呼吸波形估计，本实施例使用相关系数作为评估指标，定义为本实施例估计的驾驶员呼吸波形we和真实的驾驶员呼吸波形wa之间的相关系数其中cov(·)和σ(·)分别计算协方差和标准差。

如图9所示，针对10名参与实验的驾驶员，显示了不同驾驶员呼吸频率的估计误差的箱型图。可以看出本实施例的驾驶员呼吸频率估计相对稳定，绝大部分驾驶员(除了驾驶员4和9)呼吸频率估计的平均误差都在0.5bpm(次每分钟)以下。驾驶员4误差略大是由于其常常将手机放置在衣物口袋中，造成了负面的干扰，而驾驶员9的误差则是由于其将实验手机的媒体音量调整得过低所致。图10显示了不同驾驶员呼吸波形估计的相关系数的箱型图，其趋势与图9类似。表明本实施例所提出的驾驶员呼吸监测系统能有效地在真实驾驶环境下得到细粒度的驾驶员呼吸特征，包含实时的呼吸频率及呼吸波形。

如图11所示，针对智能终端在车辆内的不同放置位置，显示了驾驶员呼吸波形估计的相关系数的箱型图。可以看出，呼吸波形估计相对稳定，而随着放置位置的不同略有差异。放置在车辆的操作面板附近效果最佳，放置在驾驶员的左右侧位置效果次之，放在驾驶员的衣服口袋内效果稍差。图12显示了不同智能终端放置位置下驾驶员呼吸频率估计误差的cdf图，其趋势与图11类似。表明系统对于智能终端在车内的放置位置没有严格要求，各个位置下系统均可正常工作，显示了系统的便利性和鲁棒性。

如图13所示，针对不同的交通状况和道路状况，显示了驾驶员呼吸波形估计的相关系数的箱型图。可以看出，呼吸波形估计相对稳定，而随着交通状况和道路状况的不同略有不同。具体地，在交通的高峰期相对非高峰期识别准确率略有下降；同时在普通道路相对于高速路识别率也略低。图14显示了不同的交通状况和道路状况下驾驶员呼吸频率估计误差的cdf图。其趋势与图13类似。表明系统对于不同的交通状况和道路状况有着较好的鲁棒性。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。