多传感器融合的疲劳监测装置系统及其监测方法与流程

本发明属于数字信号处理器应用领域，具体涉及一种多传感器融合的疲劳监测装置系统及其监测方法，用于对驾驶人疲劳状态实时监测及预警，对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告。

背景技术：

疲劳驾驶是当今交通安全的重要隐患之一。驾驶员在疲劳时，其对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降，因此很容易发生交通事故。在全世界范围内，疲劳驾驶是造成交通事故的重要因素之一。据世界卫生组织的报告显示，每年全球的道路交通事故中死亡人数近万，直接经济损失达上百亿美元。根据交通事故统计年鉴，超过30％的公路交通事故和15-20％的铁路交通事故与驾驶疲劳有关，疲劳驾驶严重威胁着人们的生命和财产安全。检测驾驶员是否为疲劳驾驶，并进行及时预警，将有效减少因疲劳驾驶而造成的道路交通事故。因此，研究和开发高性能的驾驶员疲劳状态实时监测及预警技术，对改善交通安全状况意义重大。疲劳检测是对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告的过程。

现有技术之一，基于摄像头采集面部特征的检测方法。利用摄像头对驾驶员的面部进行图像采集，通过对驾驶员面部特征(如眼睛、头、嘴巴)的分析进行疲劳驾驶行为判定。如cn200610012623公开了通过驾驶员面部图像信号经处理后得到眼睛图像，同时实现眼跟踪，用模板匹配法来识别眼状态，根据眼状态计算眨眼持续时间、眨眼频率等，以判断驾驶员的疲劳状态。

该技术利用摄像头采集面部图像容易受环境光线变化影响，图像质量不佳容易影响疲劳检测的准确性。此外，仅通过面部特征，未考虑人体本身生理参数变化，判断标准过于单调，容易导致误判。

现有技术之二，基于穿戴式传感器采集生理特征的检测方法。正常驾驶与疲劳驾驶下生理特征是有差异的，因此，可以通过检测脑电信号、心电信号、呼吸等生理特征判断驾驶员是否为疲劳驾驶行为。如cn201110119582公开了通过信号处理模块对采集的脑电信号进行实时处理，利用与疲劳有关的指标特征，对特征进行识别，判断驾驶员的疲劳状态。

该技术相关专利公布的方法需通过佩戴穿戴式传感器进行生理特征的采集，穿戴式方案束缚感强，对驾驶员的正常操作存在一定干扰，用户体验差，且需要经常维护，如经常进行充电，使用较麻烦。

现有技术之三，基于驾驶行为的检测方法。根据驾驶员操作行为(方向盘、刹车踏板、油门踏板)和基于车辆运行状态(速度、加速度、车道横向位置和车身横摆角)检测疲劳驾驶行为。如cn201410115634公开了通过发动机管理系统、车身稳定系统、转角传感器、组合仪表，集成在车身控制器中的疲劳驾驶检测模块判断是否为疲劳驾驶行为。

该技术驾驶人的操作除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能的影响，车辆的行驶状态也与车辆特性、道路等很多环境因素有关，这种检测方法属于间接检测，对驾驶疲劳的敏感度不高，在夜晚或冰封的雨雪天气，检测容易失败。

现有技术之四，基于微波信号提取生理参数的检测方法。cn201110335699公布了一种通过发射微波信号采集回波检测驾驶员呼吸状况的驾驶员疲劳的无线监测装置。通过检测的驾驶员呼吸频率与阈值对比，进而判断是否进入疲劳状态

该技术仅利用微波信号检测驾驶员呼吸频率判断是否进入疲劳状态，所采用的检测指标过于单调，因为人体呼吸频率受个人身体素质、外界环境、情绪、身体状态的影响较大，单纯采用呼吸频率作为检测指标，容易形成误判。同时专利中公布的方案并未说明其射频部分采用多通道还是单通道工作模式，这里默认其为单通道工作模式，如果采用单通道工作模式，容易受空间内其他人员回波信号的干扰，并且由于呼吸对应的胸腔位移较小，单通道工作模式无法保证高信噪比，测量精度低。

技术实现要素：

针对上述技术问题，本发明提供一种多传感器融合的疲劳监测装置系统及其监测方法，对每一个被监测对象进行个性化管理，充分考虑个体差异对监测指标的影响。同时采用非接触式测量手段，无需接触人体即可测量人体的心率和呼吸频率以及心跳和呼吸的振幅，用于疲劳检测。

本发明中的毫米波雷达采用阵列天线，并与摄像头进行坐标系统一，利用摄像头获取被监测对象的胸腔位置，然后毫米波雷达形成特定波束指向，将主波束指向被监测对象胸腔，不仅可避其他人员的干扰，同时提高信噪比。此外，本发明还将面部特征与生理指标(心率、呼吸)相结合，利用机器学习的方法，通过多重指标提升疲劳检测的准确率。

具体技术方案为：

多传感器融合的疲劳监测装置系统，包括以下模块：传感器模块、信号处理模块、数据存储模块、报警显示模块；

具体各个模块功能为：传感器模块：包括摄像头和毫米波雷达，所述的摄像头用于采集被监测驾驶员面部特征和胸腔位置坐标，毫米波雷达用于采集被监测驾驶员的生理体征参数；

所述的生理体征参数，包括心率和呼吸；所述的面部特征包括眼动频率、眼睛纵横比、头部姿态、面部肌肉特征。

其中，所述的摄像头，采集驾驶员的面部特征用于疲劳检测；对驾驶员进行人脸识别，从而使系统对每个驾驶员实现个性化管理；并为毫米波雷达提供胸腔位置从而使毫米波雷达实现特定方向的波束指向；

所述的毫米波雷达：采用阵列天线设计，对将主瓣指向特定方向，利用微动特征提取算法获取驾驶员心率、呼吸以及心跳幅度和呼吸幅度；所述的毫米波雷达的波束主瓣指向特定方向为驾驶员胸腔位置。

信号处理模块：处理来自传感器模块的原始数据，从而获取当前驾驶员的生理体征参数和面部特征以及胸腔位置坐标(为毫米波雷达提供波束指向)；根据当前采集数据结合历史存储数据以及医学认可的普适性指标，判断驾驶员是否处于疲劳状态；得出判断结果后输出给后端的报警显示模块；

数据存储模块：存储有不同监测对象的身份信息，用于身份识别；对不同用户采集的信息进行独立长期存档；还存储有医学认可的普适性指标；存储不限于本地存储方式，也可通过利用通信模块，将数据发送到云端进行云存储；当存储空间满时按时间顺序采用循环替换的方式进行存储空间管理；

所述的信号处理模块，在开始工作后根据摄像头信息识别被监测对象为新用户还是老用户，若为老用户则直接执行是否为疲劳状态的判断操作；如果为新用户则为该用户建立独立的用户档案，然后执行判断是否为疲劳状态的操作。

报警显示模块：根据信号处理模块的判断结果显示当前被监测对象是否处于疲劳状态，当被监测对象处于疲劳状态时及时报警。报警方式可通过蜂鸣器、声光报警器或方向盘振动器等方式实现，也可通过无线通信模块(不限于zigbee、蓝牙、wifi、gsm、wcdma、lte、5g、nb-iot)将报警信息传输到手机利用app进行报警或者其他终端设备上进行报警

上述的多传感器融合的疲劳监测装置系统的监测方法，包括以下步骤：

(1)系统开机后初始化各个模块；

(2)调用摄像头采集用户信息，并对采集到的用户进行面部识别；

(3)如果判断为新用户则针对该用户建立相应账户、档案用于存储当前用户的面部特征信息及生理体征参数，如果为老用户则直接进入该用户的账户下进行后续操作；

(4)对采集到当前用户的图像信息进行处理，通过处理分别获得用户胸腔位置坐标和用户面部特征信息；

(5)根据用户胸腔位置调整毫米波雷达波束指向，将主瓣指向用户胸腔位置；

(6)利用毫米波雷达获取用户的心率和呼吸的生理体征参数；

(7)将采集的用户当前面部特征和生理体征参数存储在当前用户账户下；

(8)将当前采集的面部特征和生理体征参数结合用户历史存储记录及医学认可的普适性指标进行疲劳检测判断；

(9)判断当前用户是否为疲劳状态，如果是疲劳状态则进行报警显示，如果判断为非疲劳状态则显示正常，之后本次检测结束，进入下一次检测循环。

本发明提供多传感器融合的疲劳监测装置系统及其监测方法，与现有技术相比，具有的有益效果：

1、通过摄像头对每个被监测对象进行识别，针对每一个个体运行独立的检测标准(即检测方式相同，但阈值不同)，从而降低个体体征差异对检测结果的影响；

2、多重信息融合检测，将面部特征与身体的体征参数(心率/呼吸)结合进行疲劳检测，多重特征检测可提高检测结果准确性，降低虚警；

3、毫米波雷达采用阵列天线设计，可进行波束形成，利用摄像头提供的人体胸腔位置坐标，将主波束指向被监测对象胸腔，避免被其他人员干扰，同时提高信噪比。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的结构示意图；

图2为本发明的方法流程图；

图3为本发明的疲劳检测数据处理方案原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之上或之下可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征之上、上方和上面包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征之下、下方和下面包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

本发明提供的多传感器融合的疲劳监测装置系统结构，如图1所示。

图1中各个模块功能具体描述如下：

传感器模块：包括摄像头和毫米波雷达，其中摄像头用于采集被监测驾驶员面部特征，毫米波雷达用于采集被监测驾驶员生理体征参数；所述的生理体征参数，包括心率和呼吸；所述的面部特征包括眼动频率、眼睛纵横比、头部姿态、面部肌肉特征。

摄像头主要功能详细的为：(1)采集驾驶员的面部特征用于疲劳检测；(2)对驾驶员进行人脸识别，从而使系统对每个驾驶员实现个性化管理；(3)为毫米波雷达提供胸腔位置从而使毫米波雷达实现特定方向的波束指向；

毫米波雷达：采用阵列天线设计，多发多收，可进行波束形成，可将波束的主瓣指向特定方向，本系统中为驾驶员胸腔位置，利用微动特征提取算法可获取驾驶员心率、呼吸以及心跳幅度和呼吸幅度。

信号处理模块：该模块的功能为处理来自传感器模块即摄像头和毫米波雷达的原始数据，从而获取被监测驾驶员的生理体征参数以及面部特征。为了判断驾驶员是否处于疲劳状态，需要根据当前采集数据结合历史存储数据以及医学认可的普适性指标。该模块得出判断结果后输出给后端的报警显示模块。此外，信号处理模块在开始工作后会根据摄像头信息识别被监测对象为新用户还是老用户，若为老用户则直接执行是否为疲劳状态的判断操作。如果为新用户则为该用户建立独立的用户档案，然后执行判断是否为疲劳状态的操作。

数据存储模块：该模块不仅存储有不同监测对象的身份信息用于身份识别，还可对不同用户采集的信息，包括面部特征图像信息和生理参数信息，进行独立长期存档。此外，该模块还存储有医学认可的普适性指标，包括面部特征指标和生理体征参数指标。存储不限于本地存储方式，也可通过利用通信模块，将数据发送到云端进行云存储，当存储空间满时按时间顺序采用循环替换的方式进行存储空间管理。

报警显示模块：可根据信号处理模块的判断结果显示当前被监测对象是否处于疲劳状态，当被监测对象处于疲劳状态时及时报警。报警方式可通过蜂鸣器、声光报警器或方向盘振动器等方式实现，也可通过无线通信模块(不限于zigbee、蓝牙、wifi、gsm、wcdma、lte、5g、nb-iot)将报警信息传输到手机利用app进行报警或者其他终端设备上进行报警

该多传感器融合的疲劳监测装置工作流程如图2所示，具体如下：

(1)系统开机后初始化各个模块；

(2)调用摄像头采集用户信息，并对采集到的用户进行面部识别；

(3)如果判断为新用户则针对该用户建立相应账户/档案用于存储当前用户的面部特征信息及生理体征参数，如果为老用户则直接进入该用户的账户下进行后续操作；

(4)对采集到当前用户的图像信息进行处理，通过处理分别获得用户胸腔位置坐标和用户面部特征信息；

(5)根据用户胸腔位置调整毫米波雷达波束指向，将主瓣指向用户胸腔位置；

(6)利用毫米波雷达获取用户的心率和呼吸的生理体征参数；

(7)将采集的用户当前面部特征和生理体征参数存储在当前用户账户下；

(8)将当前采集的面部特征和生理体征参数结合用户历史存储记录及医学正常指标进行疲劳检测判断；

(9)判断当前用户是否为疲劳状态，如果是疲劳状态则进行报警显示，如果判断为非疲劳状态则显示正常，之后本次检测结束，进入下一次检测循环。

本实施例提供一种更加具体的疲劳检测判断方法。

检测体征：

①心率

②心跳幅度

③呼吸频率

④呼吸幅度

⑤眼动频率

⑥眼睛纵横比

⑦头部姿态

⑧面部肌肉特征

疲劳检测数据处理方案具体实施框图如图3所示，首先利用数据学习模型对历史数据(包括非疲劳状态和疲劳状态的历史数据)分别进行处理，根据处理结果确定疲劳状态检测各指标的阈值，然后结合医学指导数据对实测体征指标数据利用疲劳检测判断模块进行疲劳状态判断，输出当前是否处于疲劳状态，如果处于疲劳状态，则更新疲劳状态历史数据，如果处于非疲劳状态则更新非疲劳状态历史数据。

图3中涉及的数据学习模型可采用无监督强化学习模型，但不局限于该种方法。同时对于新用户，由于历史数据非常有限，仅通过数据学习模型难以准确确定准确的判断阈值，因此，本专利中疲劳监测状态判断模块对根据历史数据获得的检测阈值和医学指导数据的阈值设定不同的权重，即在对新用户进行检测时，医学指导数据的权重高，随着历史数据积累，数据学习模型确定的检测阈值精度不断提升，对数据学习模型所得检测阈值的权重不断提高。

假设用向量来表示各项体征参数，其中v表示当前实测数据，v'表示医学指导数据指标，v”表示数据学习模型根据历史数据得到的指标，α(0＜α≤1)表示医学指导数据在进行状态判断时的权重，则根据历史数据得到指标进行状态判断的权重为1-α，则总体判断指标可表示为η

η＝αf(v-v')+(1-α)f(v-v”)

其中f(.)表示对各项体征指标进行综合的函数，可表征当前实测数据与医学指导数据指标或数据学习模型所得指标的差距。综合指标参数用η0表示，当η≤η0时，当前处于正常状态，当η＞η0时，当前处于疲劳状态。

本发明提供的多传感器融合的疲劳监测装置系统及其监测方法，关键的技术要点及其技术效果为：

1、针对个体用户的体征参数进行个性化管理，比如摄像头进行面部识别；

2、将毫米波雷达监测的心率、呼吸与摄像头提取的面部特征结合用于疲劳检测；

3、毫米波雷达采用阵列天线，并与摄像头进行坐标系统一，利用摄像头获取被监测对象的胸腔位置，然后毫米波雷达进行波束形成，将主波束指向被监测对象胸腔，避免被其他干扰，同时提高信噪比。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经根据如上所述的优选实施例描述了本发明，但是应该理解，这些实施例仅是说明性的，并且权利要求不限于那些实施例。鉴于本公开内容，本领域技术人员将能够进行修改和替换，这些修改和替换被认为落入所附权利要求的范围内。本说明书中公开或说明的每个特征可以结合在本发明中，无论是单独的还是与本文公开或说明的任何其他特征的任何适当组合。