用于进行困倦检测和干预的系统和方法与流程

文档序号:18820123发布日期:2019-10-09 00:37阅读:254来源:国知局
用于进行困倦检测和干预的系统和方法与流程

本公开总体上涉及车载监测和干预系统,并且更具体地涉及通过自适应运动伪影消除来检测使用安全带的驾驶员的生理信号,以确定困倦状态并进行干预的系统和方法。



背景技术:

车辆的设计和制造是成熟的,已建立起完善的指引和标准以确保车辆的安全性和无瑕疵。然而,驾驶员的困倦或疲劳状态造成如此多的事故和伤亡,这是车辆的强度所无法避免的。为了防止车辆事故的发生,需要采取更多先发制人的措施,以及早发现不注意或昏昏欲睡的驾驶情况。

根据美国国家睡眠基金会(nsf)进行的“美国睡眠”调查,约有60%的成人司机承认他们在过去一年感觉昏昏欲睡时驾驶车辆,这可以表示多达1.68亿美国司机有此经历。2014年,美国国家公路交通安全管理局(nhtsa)确定了846起与昏昏欲睡的驾驶相关的死亡事故。这可能是由于驾驶员的疲劳、药物或酒精的影响以及其他意想不到的医疗状况,例如心脏病发作,中风等所导致的。这些危险情况是美国和其他国家的道路事故的一些主要原因,其对司机、其他乘客、附近车辆的占有者和行人构成重大风险和危险。

鉴于上面提出的问题,迄今为止已经使用或提出了各种监测措施来确定驾驶员的注意力。常规方法使用“转向模式(steeringpattern)”和“转向扭矩(steeringtorque)”来通过检测转向模式和车道保持行为分析驾驶员的精神状态。然而,道路的几何特征、气候条件和道路状况可能会影响转向角度并降低系统的准确性。另一种方法是基于图像的方法,其捕获驾驶员的头部姿势、面部表情或眼睛运动,以确定驾驶员是否清醒或昏昏欲睡。但是,准确性也可能受到伪影(例如,驾驶员佩戴太阳镜或者驾驶员面无表情)的影响。

在一些其他应用中,将心跳传感器嵌入到汽车座椅中以测量驾驶员的压力水平。通常,汽车座椅会通过靠背表面上的检测心脏的电脉冲的多个传感器来监测驾驶员的心跳。该系统主动地监测心率并当驾驶员可能在驾驶中入睡时报警。但是,将传感器嵌入汽车座椅会增加安装和修理的复杂性。在大多数情况下,这种系统只能在制造汽车时嵌入,并不能将这种系统添加到现有汽车中。该系统的灵活性也受到限制,可能不适合所有类型的车辆。

因此,本领域需要一种克服现有技术系统的缺点的车载监测和干预系统,其对驾驶员的困倦状态进行准确测量,并且当驾驶员处于困倦状态时作出快速响应以执行干预并警告驾驶员。



技术实现要素:

本公开的示例性实施例提供了一种用于确定车辆中的驾驶员的困倦状态的方法和车载检测和干预系统。所述方法包括:检测过程,所述检测过程可以包括测量心电图(ecg)信号和/或脉搏信号、呼吸信号和加速度信号;用于执行噪声抑制和自适应运动伪影消除的滤波过程;以及用于从所述滤波后的ecg信号和/或脉搏信号中提取一个或多个心率变异性(hrv)参数,并使用预定的困倦检测算法分析所述一个或多个hrv参数、所述滤波后的呼吸信号的幅值和所述滤波后的呼吸信号的频率以确定所述驾驶员的困倦状态的确定过程。

根据本公开的另外的方面,通过一个或多个三轴加速度计测量所述车辆的加速度信号。

根据本公开的另外的方面,为了减少基于所述加速度信号的所述ecg信号和/或脉搏信号和所述呼吸信号上的运动伪影,使用了一种或多种自适应滤波方法和一种或多种数字滤波方法。所述一种或多种自适应滤波方法包括使用一个或多个自适应滤波器,并且所述一种或多种数字滤波方法包括使用一个或多个有限脉冲响应(fir)滤波器、无限脉冲响应(iir)滤波器或卡尔曼滤波器。

根据本公开的另外的方面,为了从所述ecg信号和/或脉搏信号中提取一个或多个hrv参数以分析并确定所述驾驶员是否困倦,对所述ecg信号和/或脉搏信号的rr间期执行功率谱分析。所述一个或多个hrv参数包括从由高频(hf)指数、低频(lf)指数和lf/hf比率组成的组中选择的一个或多个参数。

根据本公开的另外的方面,所述使用预定的困倦检测算法分析所述一个或多个hrv参数和所述呼吸信号的步骤还包括以下步骤:由一个或多个处理器基于所述驾驶员的一个或多个生物统计参数确定所述lf/hf比率的概率模型和/或阈值;由所述一个或多个处理器基于所述驾驶员的一个或多个生物统计参数确定表征所述呼吸信号的概率模型和/或阈值;

以及由训练模块中的一个或多个存储元件存储所述lf/hf比率的概率模型和/或阈值、以及表征所述呼吸信号的概率模型和/或阈值。所述预定的困倦检测算法通过将所述lf/hf比率与所述lf/hf比率的概率模型和/或阈值进行比较来确定所述lf/hf比率状况;以及通过将所述滤波后的呼吸信号与所述训练模型中的固有呼吸数据集进行比较来确定呼吸状况;由此,基于所述lf/hf比率状况和所述呼吸状况确定所述驾驶员的困倦状态。

根据本公开的另外的方面,所述驾驶员的生物统计参数包括从由所述驾驶员的年龄、性别、体重指数(bmi)和种族群体组成的组中选择的一个或多个参数。

根据本公开的另外的方面,一种车载检测和干预系统包括一个或多个处理器和装置,其中,所述装置包括一个或多个ecg传感器和/或脉搏传感器、至少一个呼吸传感器和至少一个滤波器。所述装置还包括一个或多个三轴加速度计;和干预模块,其中,所述干预模块还包括用于发送车内警告或智能手机警告的传输模块。所述一个或多个处理器被配置为执行处理ecg信号、呼吸信号和加速度信号的方法以确定驾驶员的困倦状态。

根据本公开的另外的方面,所述一个或多个ecg传感器和/或脉搏传感器沿所述安全带彼此间隔预定距离。

根据本公开的另外的方面,将所述一个或多个呼吸传感器置于安全带上,以测量所述驾驶员的呼吸模式。在某些实施例中,所述装置还包括用于将所述装置作为分立硬件装置附接到所述车辆的安全带的夹子。在某些可替换的实施例中,使用缝在安全带上的多个传感器和柔性pcb将设备集成到所述车辆的安全带中。

在附图和以下详细描述中阐述了本公开的一个或多个实施方式的细节。通过说明书和附图以及权利要求书,本公开的其他特征、结构、特性和优点将显而易见。

附图说明

在附图中,相同的附图标记在各个附图中表示相同或功能类似的元件,并且附图与下面的详细描述一起并入说明书并形成说明书的一部分,附图用于说明各个实施例并根据本实施例解释各种原理和优点。

图1是概要地示出根据本公开的某些实施例的车载监测和干预系统的总体结构的框图。

图2是示出根据图1中公开的系统的某些实施例的滤波系统的框图。

图3是示出根据本公开的某些实施例的用于检测车辆中的驾驶员是否困倦的方法的流程图。

图4是示出根据图1中公开的系统的某些实施例的用于在噪声滤波之后从ecg信号中提取特征的方法的流程图。

图5是根据本公开的某些实施例的集成到安全带中的车载监测和干预装置的俯视图。

图6是根据本公开的某些实施例的作为可以附接到安全带的分立硬件设备的车载监视和干预系统的顶视图。

图7是图6的设备的侧视图。

图8是示出根据本公开的概率性警告函数与lf/hf比率之间的关系的图表。

本领域技术人员将认识到,附图中的元件,特别是概念图中的元件,是为了简单和清楚而示出的,未必按比例绘制。

具体实施方式

以下详细描述本质上仅仅是示例性的,并不意图限制本公开或其应用和/或用途。应该意识到存在大量的变化。详细描述将使得本领域普通技术人员能够在无需过度的实验的情况下实施本公开的示例性实施例,并且应理解的是,在不背离如所附权利要求中阐述的本公开的范围的情况下,可以对示例性实施例中描述的操作的方法和步骤的功能和布置中进行各种改变或修改。

本公开涉及一种车载监控和干预系统。在说明书和所附权利要求书中使用了以下术语。如本文所使用的术语“车辆”包括但不限于汽车、公共汽车、卡车、火车、缆车、轮船、轮渡、船舶、飞机、直升机等。因此,如本文所使用的“驾驶员”可以包括船长、飞行员等。

如本文所使用的术语“心电图”或“ecg”是指使用放置在驾驶员心脏附近的电极检测心脏的电活动的程序或设备,但优选地不需要与驾驶员的皮肤直接接触。

如本文所使用的术语“脉搏传感器”是指使用放置在能够测量驾驶员的脉搏的位置处以监测脉搏的程序或设备,其可以是在心脏附近的电极以检测心脏脉搏,但优选地不需要与驾驶员的皮肤直接接触,或者可以是位于手腕的可穿戴设备。

如本文所使用的术语“心率变异性”或“hrv”是心脏的自主神经系统活动的时间间隔变化的生理现象。通过从ecg信号和/或脉搏信号中提取rr间期并对其进行功率谱分析,可以将ecg信号和/或脉搏信号分为一个或多个hrv参数,包括高频(hf)指数、低频(lf)指数和甚低频(vlf)指数。除非另有说明或指出,hf的范围是从rr间期的0.15hz到0.4hz,lf的范围是从rr间期的0.04hz到0.15hz,并且vlf的范围是从rr间期的0.003hz到0.04hz。如本文所使用的术语“lf-hf比率”表示交感迷走神经平衡的测量值。

如本文所使用的术语“微控制器”或“mcu”包括中央处理单元、微处理器、微计算机、单芯片计算机、云计算系统、集成电路等,以及包含以上的系统。

如本文中所使用的术语“智能电话”包括任何移动设备,例如,移动电话、平板电脑、平板手机、智能手表或具有能够运行编程的应用程序并与本车载监视和干预系统通信的相关操作系统(ios,android等)的其他便携式设备。

如本文所使用的术语“应用程序”是术语“应用程序软件”的缩写,其表示可以在智能手机上运行的软件程序,其被设计为通过自身、结合另一个软件应用程序、和/或作为另一个软件应用程序的补充来执行特定任务或功能。

应该理解的是,在本文的整个说明书和权利要求中,当描述元件“耦合”或“连接”到另一个元件时,元件可以“直接耦合”或“直接连接”到其他元件或通过第三元件“耦合”或“连接”到另一元件。相反,应该理解的是,当描述元件“直接耦合”或“直接连接”到另一元件时,不存在中间元件。元件之间的连接可以是物理连接、逻辑连接、电连接或其任何组合。

a部分简要地介绍用于基于驾驶员的多个生理信号检测车辆中的驾驶员是否困倦的方法和车载监视和干预系统的总体结构。b部分介绍了抑制噪声和减少运动伪影的滤波系统。c部分进一步说明了如何确定驾驶员的困倦状态。d部分解释了用于执行车载监测和干预的设备的结构。

a.车载监视和干预系统的总体结构

广义上,本公开提供了一种用于确定车辆中的驾驶员的困倦状态的车载监测和干预系统,该系统包括一个或多个ecg传感器210和/或脉搏传感器,一个或多个呼吸传感器220、三轴加速度计230、包括一个或多个滤波器的滤波系统300、特征提取模块410、困倦检测模块420、训练模块430和干预模块510。术语“传感器”用于一般地和共同地表示ecg传感器210和/或脉搏传感器、呼吸传感器220和加速度传感器230。术语“滤波器”用于一般地和共同地表示信号滤波器311,312,自适应滤波器331,332和有限脉冲响应(fir)滤波器341,342。在某些实施例中,滤波系统300包括用于抑制噪声并消除车辆、驾驶员或二者运动的运动伪影的一个或多个滤波器。

当人在驾驶车辆时,重要的是人扣紧安全带510。安全带510被设计成在车辆发生碰撞或急刹车时减小对驾驶员的冲击力。因此,安全带510可以防止事故中的死亡或伤害。由于安全带510是唯一一直与驾驶员身体直接接触的物体,因此除了在发生事故情况下的常规救生目的之外,其还可以用于更多的预防功能。因此,本公开提供了一种通过利用安全带510上的传感器测量驾驶员的心跳110(s210)和驾驶员的呼吸模式120(s220)来确定驾驶员的精神状态并在发生任何危险之前对驾驶员进行干预或警告的方法。该系统被设计为监测心率并在驾驶员可能在驾驶中入睡时发出警报。此外,运动传感器(例如,三轴加速度计230)也被集成到安全带510中来测量车辆运动130(s230),以显著减少由运动伪影引起的任何不准确性。

现在参考图1,其示出了根据本公开的某些实施例的车载监测和干预系统的总体结构的框图。系统中的传感器检测车辆中的驾驶员的多个生理信号。在本公开中,生理信号表示驾驶员的心跳110和呼吸模式120。因此,车载监测和干预系统可以基于利用预定的困倦检测算法对心跳110(和/或脉搏)和呼吸模式120的测量来确定驾驶员的精神状态。虽然在本实施例中以ecg信号作为测量信号之一,但也可以采用脉搏信号的测量来确定驾驶员的精神状态。

已经开发了一个或多个ecg传感器和/或脉搏传感器,ecg传感器包括通过使用非接触式感测电极来监测心脏的非接触式心电图(ecg)传感器210,该非接触式感测电极通过衣服而不直接接触驾驶员的皮肤。在某些实施例中,该ecg传感器和/或脉搏传感器包括电极传感器或光学传感器。在本公开的某些实施例中,将两个或更多个ecg传感器210放置在安全带510上测量驾驶员的心跳110(s210),以获得ecg信号h(t)的连续和周期性的测量值;也可以将两个或更多个脉搏传感器放置在安全带510上或作为可穿戴设备位于驾驶员的手腕处,以测量驾驶员的脉搏,获得脉搏信号的连续和周期性的测量值。将一个或多个传感器以预定间隔放置在靠近驾驶员心脏的各个位置处,以提高采集的测量值的质量。为了改善采集的ecg信号h(t)的qrs波群,ecg传感器沿安全带彼此间隔至少10cm的距离设置。

呼吸传感器220能够测量驾驶员的吸气和呼气。为了一般地监测驾驶员的生理信号的目的,使用鼻传感器和口腔传感器来测量气流或风量是可能的但不实际。在本公开中,将一个或多个呼吸传感器220放置在安全带上以在吸气和呼气期间捕捉身体运动。每个传感器可以是放置在靠近驾驶员的胸部或腹部的区域中的腹部呼吸运动跟踪器,以使得可以以恒定的采样率连续监测驾驶员的呼吸模式120。在一个实施例中,恒定采样率是每秒采样128个。这提供了呼吸信号r(t)以对其作进一步的分析。呼吸特征包括呼吸信号的波形、幅值、频率、吸气和呼气斜率等。

三轴加速度计230测量车辆运动130并跟踪加速度信号a(t),以提高采集的ecg信号h(t)和采集的呼吸信号r(t)的精度。其也可以在脉搏信号存在的情况下用于脉搏信号。这可以显著减少可能由车辆的运动或速度改变而产生的运动伪影。在某些实施例中,本公开使用其他运动检测设备(包括3轴陀螺仪传感器、角位置传感器、数字角度传感器、1-轴加速度计、2-轴加速度计、4-轴加速度计、5-轴加速度计、6-轴加速度计等),或者其他车辆监测系统(包括车载速度监测系统、汽车速度计、使用全球定位系统(gps)的设备等),来采集加速度信号a(t)。

为了实现对ecg信号h(t)和呼吸信号r(t)的准确测量,噪声滤波s310是不可缺少的。也可以在脉搏信号存在的情况下对脉搏信号噪声滤波。本公开利用滤波系统300来抑制噪声并执行自适应运动伪像消除。滤波系统300包括从由信号滤波器311,312,自适应滤波器331,332和fir滤波器341,342组成的组中选择的一个或多个滤波器。在某些实施例中,滤波系统300和其中的滤波器可以是分立组件,或者由微控制器单元(mcu)、定制集成电路、现场可编程门阵列(fpga)、其他半导体器件或前述的任何适当组合来实现。

如图2所示,其描述了示出滤波系统300的框图。信号滤波器311用于对输入的ecg信号h(t)执行第一级噪声滤波,并且另一个信号滤波器312用于对输入的呼吸信号r(t)执行第二级噪声滤波。两个信号滤波器311,312可以通过使用50/60hz的陷波滤波器、带阻滤波器或带通滤波器来实现以选择要提取的频率范围。信号滤波器311,312能够抑制更高或更低频率的其他噪声信号或谐波。根据相应应用中的实际情况可以调节或调整中心频率,并且可以调节或调整带宽。在某些实施例中,用于ecg信号的信号滤波器311为了获得h(t)具有0.5hz到40hz的扩展。用于呼吸信号的信号滤波器312为了获得r(t)具有0.1hz或10hz的扩展。在不背离本发明的范围或精神的情况下,信号滤波器311,312可以使用其他频率范围。

由于心率变异性(hrv)对伪影特别敏感,所以伪影将在确定驾驶员的困倦状态时导致重大错误。消除ecg中与车辆运动有关的不需要的元素是很重要的。类似地,用于噪声消除的同一滤波系统也可以用于呼吸信号以提高信号质量。在本公开中,自适应滤波器331和fir滤波器341的组合用于显著减少ecg信号h(t)上的运动伪影或其他电生理信号。其也可以在脉搏信号存在的情况下用于脉搏信号。加速度信号a(t)与运动伪影相关并且用于补偿车辆的运动。类似地,自适应滤波器332和fir滤波器342的组合用于显著减少呼吸信号r(t)上的运动伪影或其他电生理信号。将滤波后的ecg信号eh(t)和滤波后的呼吸信号er(t)发送到特征提取模块410和困倦检测模块420,并在特征提取模块410和困倦检测模块420使用该滤波后的ecg信号eh(t)和滤波后的呼吸信号er(t)来提取一个或多个hrv参数并确定驾驶员的困倦状态。

现在再次参考图1,将滤波后的ecg信号eh(t)发送到特征提取模块410并由特征提取模块410对其进行处理以从滤波后的ecg信号中提取rr间期(s411)并对rr间期执行功率谱分析以从滤波后的ecg信号中提取一个或多个hrv参数(s410),优选地在时域和频域两者中进行上述处理。其也可以在脉搏信号存在的情况下用于脉搏信号。具体而言,hrv参数包括从由高频(hf)指数(s412)、低频(lf)指数(s413)和甚低频(vlf)指数组成的组中选择的一个或多个参数。在某些实施例中,可以提取其他参数和指数(s414),例如,全部正常窦性心博(nn)间期指数的标准偏差(sdnn)、相邻nn间期的均方差的和的平方根(rmssd)、相邻nn间期的差的标准偏差(sdsd)、整个记录中相邻nn间期的差值大于50ms的心跳个数(nn50)、nn50个数占nn间期总数的百分比(pnn50)或前述的任何合适的组合。困倦检测模块420使用这些hrv参数和滤波后的呼吸信号er(t)进行随后的精神状态确定。

精神状态确定s420是指通过使用预定的困倦检测算法分析包括hrv参数和呼吸信号的多个生理信号来识别驾驶员的意识或困倦状态。在本公开的c部分中讨论了用于确定驾驶员的困倦状态的方法。

在某些实施例中,车载监测和干预系统可以包括用于存储和跟踪测量的特定驾驶员的生理信号的趋势的训练模块430。训练模块430包括一个或多个存储器元件。存储器元件在存储器单元阵列中存储一个或多个hrv参数的阈值、呼吸信号的幅值的阈值和驾驶员的呼吸信号的频率的阈值。在某些实施例中,存储器单元可以是诸如非临时性存储器件的器件可读存储介质。存储器单元可以是例如数字存储器、磁存储介质、光学可读数字存储介质、半导体器件或前述的任何合适的组合。存储设备的更具体的例子包括以下:便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、便携式光盘只读存储器(cd-rom)、光存储设备、磁存储设备或前述的任何适当组合。该一个或多个处理器基于滤波后的ecg信号eh(t)和滤波后的呼吸信号er(t)计算一个或多个hrv参数的阈值、驾驶员的呼吸信号的幅值的阈值和驾驶员的呼吸信号的频率的阈值。

当确定车辆中的驾驶员困倦时,干预模块510从困倦检测模块420接收信号。通过发送警报信号进行干预s510,优选地,将警报信号发送到车辆610中的仪表板或通过蓝牙或其他无线通信技术将警报信号发送到连接的智能电话620,可以警告驾驶员有危险,并试图将驾驶员从困倦状态中唤醒。

在某些实施例中,对滤波后的ecg信号eh(t)(在其他实施例中,可以是滤波后的脉搏信号)和滤波后的呼吸信号er(t)进行数字化处理并由传输模块传输到智能手机以提取hrv参数(s410)、确定困倦状态(s420)并发送警报信号进行干预(s510)。智能手机中的应用程序被设计为通过该应用程序内的特征提取模块410、困倦检测模块420、训练模块430和干预模块510接收安全带或分立硬件设备发送的信号。该应用程序可以确定困倦状态并且通过干预模块510中的传输模块发出车内警告610或智能手机警告620(s510)。

在某些替代实施例中,可以将特征提取模块410、困倦检测模块420、训练模块430和干预模块510集成并包含在微控制器单元(mcu)、定制集成电路、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)、可编程i/o设备、其他半导体设备或前述设备的任何适当组合。该设备可以确定困倦状态并且由干预模块510中的传输模块发出车内警告610或智能手机警告620(s510)。

b.用于抑制噪声和减少运动伪影的滤波系统

图2示出了滤波系统300的结构。滤波系统300的目的是抑制噪声并消除由于车辆、驾驶员或两者的运动所产生的运动伪影。通过仔细观察由车辆运动引起的运动伪影,我们可以假设驾驶员的运动可以触发三轴加速度计230,给出等式(1):

y(t)=wx(k)·ax(t)+wy(k)·ay(t)+wz(k)·az(t)(2)

根据等式(2),y(t)是从fir滤波器341,342输出的信号,并且当被滤波的信号是ecg信号时,将其表示为yh(t),当被滤波的信号是呼吸信号时,将其表示为yr(t)。在其他实施例中,可以采用滤波后的脉搏信号进行如下计算。由于加速度信号a(t)与运动伪影相关,所以我们可以分别推导出心跳和呼吸的权重[wx(k)wy(k)wz(k)],其中w-(k)是1×m矩阵,因此:

h(t)-yh(t)=eh(t)(3)

r(t)-yr(t)=er(t)(4)

eh(t)和er(t)都是相对干净的ecg信号和呼吸信号。

如本文所使用的自适应滤波器331,332可以通过最小均方(lms)自适应滤波器、递归最小二乘(rls)自适应滤波器或梯度自适应拉格里-格(gall)滤波器来实现。

b1.lms自适应滤波器

通过使用lms自适应滤波器,期望信号和实际测量信号之间的差值用于确定最佳滤波器系数。为了获得干净的ecg信号,我们必使用等式(5)将代价函数j(t)最小化:

通过应用随机梯度下降法,我们可以得到eqn(6):

通过以与成比例的量从wm持续到wm+1,我们可以得到等式(7):

wm+1=wm+μe(t)a(t-k)(7)

式中:

μ是大约0.1至0.0001的任意值;

m是涉及滤波器元件的指数;以及

j表示期望信号和y的差异量的代价函数。

b2.rls自适应滤波器

使用rls自适应滤波器的替代方法可以通过递归地找到可以使与ecg信号h(t)和呼吸信号r(t)相关的加权线性最小平方代价函数最小的系数来提供相似的效果,认为ecg信号h(t)和呼吸信号r(t)这两者都是确定的。

r-1(t)=λ-1[r-1(t-1)-k(t)at(t)r-1(t-1)](11)

因此,滤波器系数可以推导为:

b(t)=b(t-1)+k(t)ε(t)(12)

式中:

b(t)是滤波器系数;

λ是遗忘因子;

a(t)是输入噪声信号;

ε(t)是误差滤波信号。

b3.gall滤波器

对于使用gall滤波器的情况,可以应用参考文献[1]的图4所示和参考文献[2]的表i中公开的常规gall滤波器的结构。gall滤波器可以有效减少呼吸信号的运动伪像分量,提高信号质量。

在一个实施例中,gall滤波器用于对ecg信号进行滤波。

c.确定驾驶员的困倦状态

为了确定驾驶员的困倦状态,特征提取模块410被编程为从滤波后的ecg信号eh(t)中提取rr间期(s411),并且执行时域分析和频域分析以提取一个或多个hrv参数(s410)。在典型的ecg信号中,有携带用于识别驾驶员精神状态的有用信息的不同模式,包括p波、qrs波群、t波和u波。为了获得准确的测量结果,ecg信号的模式识别特别重要。特征提取模块410可以首先通过利用非线性方法分析ecg信号(或脉搏信号)来获得rr间期,其中,基于ecg信号(或脉搏信号)的两个连续r峰值的时间间隔计算来计算rr间期。

通过执行时域分析,特征提取模块410可以获得一个或多个hrv参数或其他指标(s414),包括sdnn,rmssd,sdsd,nn50和pnn50。sdnn是在短时间内(通常为5分钟)计算的平均nn间期的标准偏差。rmssd是相邻nn间的逐差的平方的平均值的平方根。sd是相邻nn间的逐差的标准偏差。nn50是差值大于50ms的连续nn对的个数。pnn50是nn50占nn总数的百分比

通过对rr间期执行频域分析,特征提取模块410可以获得每个频带(通常包括hf,lf和vlf)处的nn间期的数量的计数,从而能够按下式计算归一化高频(nhf)、归一化低频(nlf)以及lf和hf的比(lf/hf):

nhf=hf/(tp-vlf)*100(13)

nlf=lf/(tp-vlf)*100(14)

hf%=100*hf/(lf+hf)(16)

lf/hf和hf%是确定驾驶员的困倦状态的主要因素,这是因为当驾驶员从清醒状态进入睡眠周期时,其会显著变化。如果驾驶员没有足够的睡眠,例如在前一晚的睡眠时间少于4小时,则与充足睡眠的hf%相比,驾驶员的相应hf%值可能会显著更高。因此,可以使用lf和hf指标来推断用于识别驾驶员是否具有充足睡眠的多个阈值。在某些实施例中,hf%特别用于对一个人是否有足够的睡眠进行分类。

然而,对于不同的驾驶员,所有hrv指标可能显著不同。包括年龄、性别、体重比(bmi)和驾驶员种族群体等因素可能会影响所有hrv指标。鉴于所有hrv指数的广泛变化,采用针对个人因素的分类来基于训练数据为每个驾驶员确定特定阈值。

有利的是,本公开利用预定的测试组分布来确定每个驾驶员的每个hrv参数和呼吸参数的正态分布。由于查明男性驾驶员的lf/hf比女性驾驶员显著要高,并且驾驶员的年龄与lf/hf具有反向关系。因此,可以通过对变化进行表征来获得分类。获得的概率模型和/或阈值可以提供一组特定驾驶员的典型情况的范围,并且假定该组中的个体驾驶员遵循正态分布。此外,通过确定的概率模型和/或阈值,训练模块430可以对分布进行精细调整以反映个体生物统计情况,以进一步提高准确性。

在某些实施例中,训练模块430存储各种生物参数的模式,例如,hf指数、lf指数、lf/hf以及在不同困倦状态下的其他呼吸参数,其中lf/hf是确定驾驶员的困倦状态的最重要的参数。训练模块识别驾驶员所属的困倦状态并且关联生物特征参数,特别是最初记录的hrv指数。驾驶员的困倦状态将被用于基于困倦状态的概率来激活警告函数,即概率性警告函数。

困倦检测模块420分析来自训练模块430的驾驶员的困倦状态与测量的hrv参数和测量的呼吸参数之间的关系。如图8所示通过将测量的lf/hf与训练数据集中的lf/hf进行比较来确定lf/hf状况。当概率性警告函数为1时,预计驾驶员会处于昏昏欲睡状态,并且有必要警告驾驶员。在一个实施例中,存在预定的阈值,例如0.7,以便当概率性警告函数等于或大于该阈值时,将警告驾驶员。在这种方法中,当与训练模块430中的数据比较时,lf/hf用于表示驾驶员处于困倦阶段的可能性有多大。根据从训练模块430获得的概率性警告函数来确定是否警告。另一方面,基于呼吸信号与困倦呼吸信号的相关性rxy确定呼吸状况,计算出呼吸状况以推断概率性警告函数。概率性警告函数曲线由等式(17)中所示的参数组成:

式中:

x是固有的呼吸信号数据集;

y是新记录的呼吸数据。

从所得的呼吸信号的参数,与训练模块430中的数据比较,以获得的概率性警告函数来确定是否警告。

在某些实施例中,困倦检测模块会使用机器学习算法,根据输入的参数判断驾驶员是否处于困倦状态。而机器学习模型的输入参数是如上所述的驾驶员的生理参数及数据集內已通过训练模块习得的参数。机器学习模型包括深度学习等监督式学习模型或算法。

为了提高困倦检测的性能,可以采用大数据分析来由移动应用程序通过网络从具有类似生物统计参数的用户收集数据,生物统计参数包括hrv指数和呼吸指数。其他个人信息,包括年龄、性别、bmi、饮食习惯、睡眠习惯、药物摄入量和当日的工作量也可以是机器学习算法中的参数。该系统结合上述机器学习算法,可以更准确地估计驾驶员的困倦状态。

d.用于执行车载检测和干预的设备的结构

图5至图7示出了根据本公开实施例的用于执行车载监测和干预的设备的不同视图和结构。图5是集成到安全带510中的示例性系统,而图6和图7示出了可以附接到安全带510的分立硬件设备。

车载监测和干预系统可以包括一个或多个处理器和装置,其中该装置包括一个或多个ecg传感器210、一个或多个呼吸传感器220、加速计230、mcu520、电池530、通用串行总线(usb)端口540、夹子550和柔性电缆560。mcu520可以进一步包括用于执行噪声或运动伪像滤波和无线通信的其他电路。该装置还可以包括一个或多个脉搏传感器,或者可以将一个或多个ecg传感器替换为脉搏传感器。

图5示出了集成到安全带510中的装置的某些实施例。有两个ecg传感器210,其中一个ecg传感器通过柔性电缆560连接到mcu520。柔性电缆560在调节ecg传感器210的位置方面具有很大的灵活性,使得该系统可以适应不同身体尺寸的人。另一个ecg传感器210、呼吸传感器220和加速度计230可以集成到安全带510并且用电线、电子纺织品或其他导电织物(例如,铜尼龙织物)连接到mcu520。这具有安全带保持柔性同时电缆不凸起的优点。该装置由电池530供电。脉搏传感器可以集成到安全带510上并通过柔性电缆连接到mcu520,或者置于驾驶员手腕上并通过有线或无线的方式连接到mcu520。

或者,如图6和图7所示,装置可以是可以连接到安全带510的分立硬件设备。ecg传感器210沿对角放置,以使得它们之间的距离可以最大化。在装置的底部附接有夹子550,以便可以将该装置牢固地连接到安全带510上并且可以沿安全带510自由移动到更靠近驾驶员心脏的位置。并且该设置也可以根据不同人的身型和需要作出调整。在这两种配置中,该装置还配备有usb端口540,其用于为电池530充电或传输数据以进行记录。usb端口540可以是microusb端口、usb-c型端口、miniusb端口或其他类型的端口连接器。

在某些实施例中,mcu520包括特征提取模块410、困倦检测模块420、训练模块430和干预模块510。生理信号由mcu520处理以确定驾驶员的困倦状态。如果确定驾驶员困倦,则由传输模块发出车内警告610或智能手机警告620以警告驾驶员。

在某些替代实施例中,mcu520仅包括传输模块。滤波后的生理信号被数字化并传送到智能手机以进行进一步处理。装置和智能手机可以通过任何类型的连接或网络进行连接,包括局域网(lan)、广域网(wan)或通过其他设备的连接,例如,通过使用互联网服务提供商(isp)的互联网,通过其他无线连接(例如,近场通信)或通过硬线连接(例如,usb连接)。在某些替代实施例中,智能手机可以用作中间设备,其可以进一步地在不进行处理的情况下将从该装置接收到的滤波后的生理信号发送到其他设备的处理器。

在本公开的某些实施例中,系统中的电路可以至少部分地通过软件程序、晶体管、逻辑门、模拟电路块、半导体器件、其他电子器件或任何前述电路结构的组合来实现。由于某些电路可能以软件的形式实现,因此根据软件编程的方式,实际的连接和结构可能会有所不同。

对于本领域技术人员显而易见的是,在不背离本发明的范围或精神的情况下,可以对本发明的结构作出各种修改和改变。鉴于上述描述,如果对本发明的修改和改变落入以下权利要求及其等同物的范围内,则意图使本发明涵盖上述对本发明的修改和改变。

e.引用的参考文献

本专利申请中引用了以下文献。通过引用的方式将参考文献[1]-[2]并入本文。

[1]zhengbozhang等,“adaptivemotionartefactreductioninrespirationandecgsignalsforwearablehealthcaremonitoringsystems”,medical&biologicalengineering&computing,52:1019-1030,2014。

[2]zoranfejzoet等,“adaptivelaguerre-latticefilters”,ieeetransactionsonsignalprocessing,第l45卷,第12期,1997年12月。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1