本申请要求于2016年4月8日提交的美国临时申请第62/319,854号的优先权。
示例性实施方式涉及交通工具中的座椅组件以及用于检测驾驶员的困倦并警示驾驶员的系统和方法。
背景技术
许多汽车事故是由困倦的、睡着的或警惕性低的驾驶员导致的。人们试图通过创造出检测车辆的车道偏离的技术来解决该问题并防止事故，例如授予schmitz的美国专利第8,354,932号。其他系统依赖于使用眼电图(eog)和图像捕获装置来监测和解读驾驶员的眨眼模式以便检测困倦。参见例如授予yoda等的美国专利第8,306,271号。
附图说明
当结合附图考虑时，通过参考以下详细描述将易于更好地理解本发明的优点，在附图中：
图1是示出根据本公开内容的一个实施方式的系统的框图；
图2是机动车辆内部的示意性透视图；
图3是机动车辆的仪表板显示器的透视图；
图4是用于机动车辆的座椅组件的特写图；
图5是机动车辆内部及驾驶员的侧视图；
图6是检测驾驶员的低警觉水平的方法的流程图；
图7、图8和图9是所接收到的传感器信号和r-r间期的图；
图10是三个时间间期内的r-r间期值的图；
图11是具有对来自图10的规范化数据中的一些的直方图表示的图；以及
图12、图13和图14是针对所接收到的传感器信号确定的功率谱分析的图。
在全部附图中使用相同的附图标记来表示类似的元素和特征。
具体实施方式
用于检测驾驶员的困倦的许多现有系统主要是被动的，因为它们是对正处于困倦状态的驾驶员或者睡着或困倦的驾驶员对交通工具的操作做出检测和响应。本申请描述了用于优选地在交通工具的驾驶员的状态影响到对交通工具的操作之前检测驾驶员的困倦或警觉水平的方法、装置和系统。本文中描述的实施方式通过交通工具中的生物识别传感器来测量驾驶员的心率变异性(hrv)，并且通过将hrv值与驾驶员的中枢神经系统的激活水平相互关联来预测困倦状态。尽管在本申请中以机动车辆的示例示出，但是所描述的实施方式可以应用于由坐在座椅上的驾驶员操作的其他交通工具。
大脑通过中枢神经系统来调节下述两个运动系统：自由运动系统，其提供对肢体、身体和头部的肌肉控制；以及非自由运动系统，也称为自主神经系统(ans)，其调节内脏器官如心脏、消化系统、肺、膀胱和血管。ans分为两个相对的部分：负责“休息和消化”功能的副交感神经系统；以及负责“战斗或逃跑”功能的交感神经系统。副交感神经系统与交感神经系统之间的相互作用被称为交感迷走神经平衡。交感迷走神经平衡导致心输出量、心率、血流量、瞳孔扩张和消化系统的变化。
通常通过测量每分钟收缩次数或搏动次数(bpm)来计算人的心率。典型的健康人的心率(hr)可能约为50bpm至90bpm。心率变异性(hrv)指心跳之间的时间间期变化的现象。随着交感神经系统超过副交感神经系统获得相关性而进行主导，例如当人更加警觉和活跃时，hrv升高。当副交感神经系统获得相关性时，例如当人变得困倦时，hrv下降。因此，hrv随时间的变化可以提供对人从警觉状态转变为困倦状态的生理指示。
图1示出了用于检测车辆的驾驶员的困倦的系统100的框图。系统100包括一个或更多个传感器110、计算装置120和一个或更多个输出装置130。如以下进一步描述的，计算装置120被配置成基于对从一个或更多个传感器110接收到的信号的分析以及对驾驶员的hrv的确定来检测驾驶员的困倦或低警觉性。如果预测到困倦状态，则计算装置120发送信号启动一个或更多个输出装置130以便通知驾驶员。在一些实施方式中，系统100包括车辆的座椅组件、车辆的用户界面如仪表板显示器、或者座椅组件和用户界面二者。
计算装置120具有处理器和存储器，其被配置成存储并执行如本文所述的用于检测困倦的方法的指令。计算装置120可以是单独的模块或部件例如可编程芯片或专用集成电路，或者其可以是存在于车辆中的另一计算装置的一部分。在一些实施方式中，计算装置120可以被配置成支持与车辆的其他系统以及与传感器110和输出装置130的有线和/或无线通信。计算装置120可以包括用户界面，并且计算装置120可以被配置成支持用户对计算装置120进行编程或配置和/或用户通过用户界面获得由计算装置120存储的信息的数据或报告。计算装置120可以包括附加的信号处理电路系统或功能以便过滤从传感器110接收到的信号。
图2示出了机动车辆内部以及可以放置传感器110和输出装置130的环境的示例性视图。该车辆包括座椅组件200，其包括用于支承车辆内的座椅占用者的一般为水平的座椅垫212和一般为竖直的座椅靠背214。座椅靠背214通常通过斜倚调节组件216可操作地联接至座椅垫212以提供在竖直的就座位置与多个斜倚的就座位置之间的枢转运动。在本文中将上述座椅占用者称为驾驶员。
座椅垫212和座椅靠背214中的每一个通常包括封装在装饰罩组件218中的模制的弹性多孔泡沫衬垫(未示出)，装饰罩组件218可以是布的、乙烯树脂的或皮革的。在装饰罩组件218后面的座椅组件200中，在泡沫衬垫的后面/下面或前面/上面可以布置一个或更多个传感器110。在一些实施方式中，可以将这一个或更多个传感器110集成到装饰罩组件218的层中。在一些实施方式中，可以将这一个或更多个传感器110设置为座椅组件200的加热与冷却系统的一部分。在一些实施方式中，可以设置一个或更多个传感器输出装置130作为座椅组件200的加热与冷却系统的一部分。
每个传感器110包括生物识别传感器，其安装在车辆中以便收集关于驾驶员的数据。可以使用相同类型的多个传感器110，或者传感器110可以包括不同类型的多个传感器。示例类型的传感器包括电容式传感器、射频(rf)传感器、阻抗式传感器、介电常数传感器或超灵敏压力传感器。以下描述每种类型的传感器。
电容式传感器监测由于心脏搏动时心肌的极化和去极化引起的随着时间的电压变化。传感器上的电极与驾驶员的身体相互作用以确定这些变化。在一个实施方式中，电容式传感器位于座椅靠背214中或座椅靠背214上。
射频(rf)传感器由收发器和天线组成。收发器调制射频信号并且通过天线将其发射至驾驶员的身体。由驾驶员的心跳和呼吸引起的身体中的机械和电磁变化会调制出反弹回天线的信号。该修改信号被rf传感器接收或捕获。在一个实施方式中，rf传感器位于座椅靠背214中或座椅靠背214上、和/或座椅垫212中或座椅垫212上。
阻抗式传感器监测由于心跳之间的血容量变化和血液电阻率变化而获得的来自驾驶员的身体的生物阻抗信号。在一个实施方式中，阻抗式传感器位于座椅靠背214中或座椅靠背214上。
介电常数传感器在传感器表面的上方产生电磁场。在驾驶员的心肌的极化和去极化期间，电磁场受到影响，并且介电常数传感器记录该电磁场中的干扰。在一个实施方式中，介电常数传感器位于座椅靠背214中或座椅靠背214上。
超灵敏压力传感器的工作原理是：每次心脏搏动时，在整个驾驶员的身体内会生成机械脉冲。这种机制脉冲会产生一种信号，其也被称为心冲击描记图(ballistocardiogram)。超灵敏压力传感器由可以感测这些冲击力随时间的波动的压阻材料和压电材料制成。超灵敏压力传感器可以位于座椅靠背214中或座椅靠背214上、和/或座椅垫212中或座椅垫212上。
在一些实施方式中，座椅组件200包括静电放电(esd)垫220。esd垫220是抗静电装置，其通过具有受控的低电阻来帮助消除静电。该esd垫接地连接至车辆以便以慢速释放静电。在一个实施方式中，esd垫220位于座椅垫212内，如图2所示。
图3、图4和图5示出了机动车辆内部以及可以放置传感器110和输出装置130的环境的另外的示例性视图。输出装置130是能够生成输出信号例如警报或通知以警示驾驶员潜在的困倦状态或驾驶员已然困倦或睡着的实际状态的装置。在一些实施方式中，可以将一个或更多个输出装置130集成到装饰罩组件218的层中。在一些实施方式中，可以将一个或更多个输出装置130设置为座椅组件200的加热与冷却系统的一部分。
如图3所示，输出装置130可以包括仪表板指示器或信息娱乐系统，其生成诸如警报和/或消息310的听觉通知、视觉通知或者听觉/视觉通知。图4示出了座椅组件200的特写视图。输出装置130可以提供触觉警报，例如驾驶员可以感受到的振动。该触觉警报可以通过如图5所示的座椅垫212、座椅靠背214、约束系统410和/或方向盘510或者其任何组合的振动或其他感觉干扰来提供。
多个输出装置130可以由计算装置120同时或大约同时启动以便生成多个听觉信号、视觉信号、音频/视觉信号和/或触觉信号，用以向驾驶员警示该驾驶员可能没有足够的警觉水平来安全地操作车辆的状态。如果测得的驾驶员的hrv预测了低警觉水平，则可以启动输出装置130。在一个实施方式中，一旦测得的驾驶员的hrv增大并且预测的警觉水平足以用于对车辆的操作，则停用输出装置130。在一些实施方式中，可以基于用来确认收到警报或警告信号的其他反馈信号(例如接收到通过系统100的用户界面的输入或通过信息娱乐系统的输入)来停用输出装置130。其他反馈可以包括车辆的减速或停止。这些其他反馈或输入可以单独使用或者与测得的驾驶员的hrv组合使用以停用输出装置130。
以下参照图6至图14更详细地描述确定车辆的驾驶员的低警觉水平或潜在困倦状态的方法。具体地，参照图6，示出了确定驾驶员的警觉水平并启动输出装置的方法(600)。
该方法包括从一个或更多个传感器110接收指示或提供与驾驶员的心跳有关的信息的信号(610)。处理每个所接收到的信号以确定驾驶员的心跳间期(620)。根据传感器110的类型和所接收到的信号，传感器信号的电特性、磁特性或机械特性随时间的变化提供了可以用来确定驾驶员的心跳间期的信息。在一些实施方式中，该确定包括下述初步动作，对所接收到的信号进行滤波以去除噪声并改善或清理波形以供进一步分析。
尽管测得的每个心跳信号的特性和幅度可以根据传感器的不同而变化，但是可以分析每个信号以检测波形中的峰值。最容易看到和检测到的心跳波形的三个中心偏转被称为qrs波群。qrs波群的r波分量具有最大的正幅度，并且可以基于测得的r波峰值的间期来确定hrv。峰值之间的空间可以被称为“r-r”间期，并且可以针对每个接收到的信号和/或针对来自多个传感器的信号组来确定r-r间期。图7、图8和图9示出了从各种类型传感器接收到的信号的样本波形和r-r间期。本申请描述了基于r-r间期来确定hrv，但是心跳波形中的其他峰值或点也可以用来确定心跳之间的间期。
一旦针对来自一个或更多个传感器110的每个信号确定了r-r间期，就确定了hrv(630)。确定hrv的动作可以包括从采样数据中确定r-r间期异常值并略去该异常值。在一个实施方式中，仅计入0.26秒<r-r<1.2秒范围内的r-r间期。该r-r间期的范围与50bpm至230bpm之间的心率相关联。在一个实施方式中，会将规范化数据点假定为先前的数据点的平均值。
可以以两种方式确定hrv。根据第一方法，绘制r-r间期并且基于在特定时间簇内数据点与平均值的分散程度来确定hrv(630)。如图10所示，将会在特定时间段内将数据点聚类并与前一时间段进行比较以确定从时间段“n”至时间段“n-1”、“n-2”等的变异性程度。还可以基于交叠的针对不同时间段的直方图对数据进行规范化和分析，在图11中不同的时间段被标识为时间段a和时间段b。可以利用方差和均值变化来比较不同的时间段并确定hrv的变化。由于数据是被实时收集和处理的，因此可以监测给定样本大小的子组内的任何移位以预测数据点的趋势。换句话说，还可以分析较宽时间段内的较小时间段，例如时间段n内的一组数据点，以预测hrv的趋势和对应的驾驶员警觉水平。
确定hrv(630)的第二方法是通过功率谱分析来处理所接收到的数据。具有随时间变化的幅度的任何正弦或波形信号都有对应的频谱。在一个实施方式中，可以利用有限的时间段——例如在3分钟、5分钟、10分钟或15分钟的时间段中——对从传感器110接收到的数据进行采样。根据由传感器110获得的原始数据，进行多项式曲线拟合以确定对时间的基函数。根据式(1)所示的标准表达式利用傅里叶级数来描述该随时间变化的函数，其中系数a0、an和bn如式(2)、式(3)和式(4)所示。
(1)
(2)
(3)
(4)
可以通过如式(5)和式(6)所示计算离散傅里叶变换(dft)并将该函数从时域转换到频域来实现快速傅立叶变换(fft)的近似。
(5)
(6)
函数f(x)是通过进行利用傅里叶级数描述其正弦行为的数据点插值而获得的。函数f(x)描述了来自传感器110的信号相对于其自变量的变化。在上述各式中，自变量x是时间，f(x)是随着时间以毫伏(mv)为单位的信号变化。
f(k)是针对传感器110可以随时间收集的无限数量的数据点的傅里叶变换。由于时间段评估将是有限的，因此为了简化计算分析，可以针对给定的时间段使用dft。在这种情况下，n是输出(例如，r-r间期)的数量，并且s是连续变量x(时间)，其可以被离散变量s(待由运算数据确认的“x”的整数)替代。
图12表示根据式(7)针对来自传感器110的接收信号确定的典型的功率谱。该功率谱通过将f(k)的模数平方来实现。
(7)
如图12所示，数据被分为四个频带：超低频(ulf)、极低频(vlf)、低频(lf)和高频(hf)。图13和图14示出了两个不同的离散时间段之间的比较以显示出频带的波动。尤其在高频带和低频带中，波动与从警觉(图13)到困倦(图14)的过渡阶段相关联。
随着hrv水平降低，预测困倦或低警觉水平的状态(640)。例如，响应于hrv水平下降到第一预定阈值以下并且/或者保持在该第一预定阈值以下持续第一时间段，可以预测困倦或低警觉状态。响应于该预测，启动输出装置130(650)以便向车辆的驾驶员发送通知。如上所述，一个或更多个输出装置130可以生成听觉通知、视觉通知、听觉/视觉通知或感觉通知。如果未预测到困倦或低警觉状态，则方法(600)继续从传感器110接收信号，确定心跳间期(620)并且确定并监测hrv水平(630)。
如果满足终止条件(660)，则可以停用一个或更多个输出装置130(670)以便停止生成警告或警报。终止条件(660)可以包括hrv水平增大到第二预定阈值以上并且/或者保持在该第二预定阈值以上持续第二时间段。第一预定阈值和第二预定阈值可以相同也可以不同。第一时间段和第二时间段可以相同也可以不同。如上所述，终止条件(660)可以包括：接收到确认收到警报或警告信号的通过系统100的用户界面的输入或者通过信息娱乐系统的输入，或者车辆减速或停止，或者这些输入和条件的组合以及测得的hrv水平。
尽管本文中描述的示例性实施方式采用装置存储器，但是在示例性操作环境中也可以使用能够存储可由计算机访问的数据的其他类型的计算机可读介质，例如盒式磁带、闪存卡、数字通用盘、暗盒、随机存取存储器(ram)、只读存储器(rom)、usb或记忆棒、包含比特流的电缆或无线信号等。非暂态计算机可读存储介质明确地排除诸如电能、载波信号、电磁波和信号本身的介质。
已经以说明性方式描述了本发明，并且应该理解，已使用的术语旨在具有描述性而非限制性词语的性质。鉴于上述教示，可以进行对本发明的许多修改和变化。因此，应当理解，在所附权利要求书的范围内，可以以不同于所具体描述的方式来实践本发明。