专利名称：基于信息融合的驾驶员疲劳状态识别方法和系统的制作方法
技术领域：
本发明涉及交通工程，特别涉及一种基于信息融合的驾驶员疲劳状态识别方法和 系统。
背景技术：
随着经济的发展和汽车数量的急剧增加，道路交通事故的发生率也逐渐增高，而 驾驶员疲劳驾驶是导致道路交通事故的一个重要因素，因此，科学有效地监测驾驶员的疲 劳状况对保证道路交通安全有着重要的意义。
现有技术中对驾驶员疲劳状态的监测主要是采用单源信息监测，例如，通过监测 驾驶员生理状况来判断驾驶员是否处于疲劳驾驶状态。长期以来，脑电测量或心电测量被 誉为监测驾驶员疲劳状态的“黄金标准”。脑电波中的不同频段的波在驾驶员疲劳的不同时 期会有相应的变化，在初期疲劳时，慢波delta、alpha会发生变化，中期疲劳时belta波会 增加，极度疲劳时delta、theta和alpha波会有较大幅度的增加。心电指标中的心率变异 性的高频成分HF和低频成分LF在疲劳时都会发生变化。但是，现有技术中这种采用单源信息监测驾驶员疲劳状态的方法尚存在如下技术 缺陷一方面，单源信息存在信息单一、识别的准确性、稳定性和可靠性不高等缺陷，如果该 单源信息不准确就会使得上述的驾驶员疲劳状态识别方法失效，则难以监测得到驾驶员的 驾驶疲劳状况，从而使得驾驶员的驾驶存在很大的安全隐患；另一方面，单源信息测量设备 (如测量脑电的设备或测量心电的设备)对驾驶员的驾驶会产生较大的干扰，不适用于实 际驾驶员疲劳状态的监测，实用性差。
发明内容
本发明的目的是提供一种基于信息融合的驾驶员疲劳状态识别方法和系统，有效 克服现有技术不适用于实际应用、信息单一、识别的准确性和可靠性不高等缺陷。本发明提供了一种基于信息融合的驾驶员疲劳状态识别方法，包括步骤1、采集驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信 息；步骤2、对所述驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态 信息进行处理，获得驾驶员的疲劳表现信息，所述疲劳表现信息包括单位时间内眼睛闭合 程度超过80 %所占的时间比例、眼睛平均睁开度、最长闭眼时间、方向盘保持不动的时间比 例、方向盘突然转动的角度变化量、车辆蛇形行驶状态的横向位移标准差和所述横向位移 处于安全距离范围的时间比例；步骤3、对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的疲 劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。本发明提供了一种基于信息融合的驾驶员疲劳状态识别系统，包括采集模块，用于采集驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息；处理模块，用于对所述驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹 行驶状态信息进行处理，获得驾驶员的疲劳表现信息，所述疲劳表现信息包括单位时间内 眼睛闭合程度超过80%所占的时间比例、眼睛平均睁开度、最长闭眼时间、方向盘保持不动 的时间比例、方向盘突然转动的角度变化量、车辆蛇形行驶状态的横向位移标准差和所述 横向位移处于安全距离范围的时间比例；融合模块，用于对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对 应的疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。本发明提供了一种基于信息融合的驾驶员疲劳状态识别方法和系统，首先采集驾 驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息，之后对所述驾驶员 的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息进行处理，获得驾驶员的 疲劳表现信息，最后对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的 疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。由于本发明通过对反映驾驶 员驾驶疲劳状况的多源信息进行综合起来评价驾驶员的驾驶疲劳状况，因此提高了驾驶员 疲劳状态识别的可靠性和准确性，可有效降低驾驶员疲劳驾驶导致的交通事故数量，保证 道路交通安全。与现有技术相比，本发明基于信息融合的驾驶员疲劳状态识别方法和系统 的实施不会对驾驶员的驾驶造成干扰，具有实用性强、便于实施等优点，具有广泛的应用前
旦
o
图1为本发明基于信息融合的驾驶员疲劳状态识别方法第一实施例的流程图；图2为本发明基于信息融合的驾驶员疲劳状态识别方法第二实施例的流程图；图3为本发明基于信息融合的驾驶员疲劳状态识别系统第一实施例的结构示意 图；图4为本发明基于信息融合的驾驶员疲劳状态识别系统第二实施例的结构示意 图。
具体实施例方式发明人在实现本发明的过程中发现，驾驶员的疲劳状况可以反映在多种方面，生 理状态、操纵行为和车辆状态与驾驶员疲劳状态都具有一定的相关性，比如，面部状态中的 眼睑运动、头部运动、眼部视线和面部表情都会在驾驶员发生疲劳状态时出现明显的变化； 在车辆操纵方面，方向盘转角的时域和频域指标、方向盘的握力、角速度、车速、脚踏板的蹬 踩力和车辆轨迹的横向偏移等都与驾驶员的疲劳状态有一定的相关性。基于此，本发明在 监测驾驶人疲劳状态时抓住关键的外部症状，将眼部状态、方向盘操纵和车辆轨迹三方面 的信息进行融合，应用到驾驶员疲劳状态监测中，综合起来评价驾驶员的疲劳状况，能够在 参数数据可靠度较低的时候对其进行剔除，利用其他可靠度较高的信息，从而可以弥补单 源信息监测的不足，提高驾驶员疲劳状态监测的准确率稳定性。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。图1为本发明基于信息融合的驾驶员疲劳状态识别方法第一实施例的流程图，如
5图1所示，本实施例包括步骤101、采集驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态 fn息ο本步骤中的采集驾驶人的眼部状态信息可以采用现有技术的多种图像采集方式， 例如摄影或摄像。摄影是指每隔一设定时间(如1分钟)采集一张驾驶人的眼部图像，摄 像是指连续采集驾驶人的眼部图像后，按一设定时间(如1分钟)提取静止图像。采集驾 驶人的方向盘操纵状态信息可以采用现有技术的多种传感器方式，例如在方向盘上设置编 码器或角度传感器。采集车辆轨迹行驶状态信息可以采用现有技术的多种测量方式，例如 采用位置测量装置测量车辆距道路中线的横向偏移距离。本实施例中的驾驶员眼部参数可 以是通过摄像头采集眼部图像进行统计处理得到；方向盘参数可以是通过方向盘编码器采 集瞬时方向盘转角进行统计处理得到；车辆轨迹参数可以是通过图像处理采集车辆轨迹距 道路中线的横向偏移距离经过统计处理得到。步骤102、对驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信 息进行处理，获得驾驶员的疲劳表现信息。将采集到的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息进行统 计处理，得到驾驶员的疲劳表现信息。该疲劳表现信息包括单位时间内眼睛闭合程度超过 80%所占的时间比例、眼睛平均睁开度、最长闭眼时间、方向盘保持不动的时间比例、方向 盘突然转动的角度变化量、车辆蛇形行驶状态的横向位移标准差和所述横向位移处于安全 距离范围的时间比例。步骤103、对疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的疲劳 隶属度，并根据疲劳隶属度得出驾驶员的疲劳等级。本实施例通过对反映驾驶员驾驶疲劳状况的多源信息进行综合起来评价驾驶员 的驾驶疲劳状况，提高了驾驶员疲劳状态监测可靠性和准确性，可降低驾驶员疲劳驾驶导 致的交通事故数量，保证道路交通安全；并且该多源信息的获取不对驾驶员的驾驶造成干 扰，实用性强。图2为本发明基于信息融合的驾驶员疲劳状态识别方法第二实施例的流程图，如 图2所示，本实施例包括步骤201、获取反映驾驶员疲劳状态的眼部状态信息、方向盘操纵状态信息和车辆 轨迹行驶状态信息，并经过处理得到疲劳表现信息；本实施例技术方案中，首先采用专家视频评分的方法，对整个驾驶过程中驾驶人 面部状态的录像切割为每1分钟的单独视频，将几位专家对每1分钟的评分进行有效的统 计处理得到整个驾驶过程的疲劳评分。在这里将疲劳等级分为4级，即清醒、轻度疲劳、中 度疲劳和重度疲劳。以上述专家评分为标准，确定并获取所需要的反映驾驶员疲劳状态的 信息类型，包括眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息。在此基础 上，应用相关分析、方差分析等统计方法对通过传感器采集的驾驶员眼部状态信息、方向盘 操纵状态信息和车辆轨迹行驶状态信息进行统计处理，提取出与驾驶员疲劳评价相关性 最强的疲劳表现信息。例如，驾驶员眼部参数是通过对采集的眼部图像处理得到的单帧 闭眼程度进行统计处理得到，在单位时间内，该驾驶员眼部参数包括与疲劳相关性最强的 PERCL0S80 (单位时间眼睛闭合超过80 %所占的时间比例)、最长闭眼时间(闭合超过80 %即判断为闭眼)和眼睛平均睁开度(可以以比例值表示)；方向盘参数是通过对方向盘编码器采集的瞬时方向盘转角进行统计处理得到，该方向盘参数包括单位时间内所述方向盘 保持不动的时间比例和方向盘突然转动的角度变化量；车辆轨迹参数是通过对车辆行使传 感器采集的车辆轨迹距道路中线的横向偏移距离经过统计处理得到，该车辆轨迹参数包括 车辆蛇形行驶状态的横向位移标准差和横向位移处于安全距离范围的时间比例，该安全距 离为横向位移小于100mm/s。步骤202、将获取的疲劳表现信息输入人工神经网络得到对应不同参数空间的不 同测量周期的初级疲劳隶属度。将疲劳表现信息中的眼部状态参数、方向盘操纵状态参数和车辆轨迹行驶状态参 数分别输入训练好的神经网络模型，得到初级评价结果，即属于各个疲劳等级的初级隶属 度。本实施例可以采用三层BP前馈网络，该三层BP前馈网络的模型公式如下公式(1)yk = f2 ( ω ⑵，& ( ω ⑴，xk, b⑴，b⑵)(1)其中，AO，f2()分别为神经网络隐层和输出层神经元的传递函数；ω⑴，ω 分 别为连接输入层与隐层、隐层与输出层神经元的权重矢量；b(1)，b(2)分别为隐层和输出层神 经元的偏置矢量；Xk为不同参数空间的参数，比如眼部状态参数、方向盘操纵状态参数或者 车辆轨迹行驶状态参数，yk为对应各疲劳等级的初级隶属度。具体的输出层yk的表示如下 表1所示表1疲劳等级表述 例如，如上表1中的第一行，0.9、0. 1,0. 1,0. 1分别标识对疲劳等级清醒、轻度疲
劳、中度疲劳、重度疲劳的隶属度，当疲劳等级清醒的隶属度0. 9最高时，该输出结果对应 的疲劳等级为“清醒”。本实施例中的神经网络事先按照驾驶员的生理特征和操作特点进行分类，利用不 同类型驾驶员的训练样本对建立的BP神经网络进行离线训练，将权重和偏置存储入记事 本，当进行实时判断时，调入已存储的参数，按照模板匹配的思想，使用对应的驾驶人类型 训练参数进行在线判断；所以该神经网络模型中参数包括分别匹配不同驾驶员的不同类型参数。步骤203、将经过神经网络输出的不同测量周期的疲劳等级隶属度进行多周期D_ S证据理论融合，得出对应不同参数空间的基本可信度。传感器的测量包括多个测量周期，将不同测量周期的隶属度进行单传感器多周期 D_S证据理论融合，首先将神经网络输出的多个测量周期的初级疲劳隶属度经过归一化转化为作为D_S证据理论的重要依据的基本可信度分配参数；然后利用以下的公式(2)将多 个测量周期的基本可信度分配参数进行融合，就可以得出不同参数空间的基本可信度。该 融合多个测量周期的D_S证据理论的融合公式如下 其中 上式为传感器依据η个测量周期的累积测量对k个命题的融合后验可信度分配公 式，其中，设M1 (Ai), M2(Ai), ...Mn(Ai)为传感器在各个测量周期中，通过不断的目标态势和 固定不变的先验可信度分配而获得的后验可信度分配，i = 1，2，. . .，k，Mj(Ai)表示在第j 个周期中对命题Ai的可信度分配。通过上述公式2即可得出不同参数空间的基本可信度， 即眼部状态参数可信度、方向盘操纵状态参数可信度和车辆轨迹行驶状态参数可信度。经过步骤202 203中的神经网络和D_S证据理论完成了子系统级的融合，继续 执行步骤204 步骤205，进行系统级的融合。步骤204、确定对疲劳表现信息进行加权融合的融合权重。眼部状态参数、方向盘操纵状态参数和车辆轨迹行驶状态参数与驾驶员的疲劳状 态都具有一定的相关性，但是相关的程度是有所不同的，因此与上述三类参数对应的融合 权重也应不同。该融合权重是通过常权重结合子系统级融合中得到的参数可信度确定。首先，常权重是利用模式识别中类可分性指标归一化的结果来确定，模式识别中 的类可分性指标越大说明该指标的类可分性越好。在系统级层次利用不同参数空间的参数 对疲劳的区分能力来确定常权重。该常权重以J表示，其确定方法是利用如下公式(3) 其中，J表示参数的可分类能力，比如眼部状态参数的常权重J表示眼部状态参数 的可分类能力。μ ” μ ^分别表示相邻类的均值，ο ” 是相邻类的方差，M表示总共的类 别数。通过将J值进行归一化处理作为常权重。相邻类是指相邻的疲劳等级，比如轻度疲 劳和中度疲劳为两个相邻类。分别计算三个参数空间中与相邻类对应的的参数的均值或方 差，即可得到yi、μ j和Oi、σ j。本实施例中的疲劳等级为4级，因此M等于4。通过上 述公式3即可得到对应的三种类型参数的各自常权重，S卩眼部状态参数常权重、方向盘操 纵状态参数常权重和车辆轨迹行驶状态参数常权重。然后，通过常权重结合子系统级融合中得到的参数可信度确定融合权重。可以预 先设定一个参考可信度上限和参考可信度下限，本实施例中将参考可信度上限设定为0. 8， 将参考可信度下限设定为0. 5。将各个参数空间的参数和参数可信度一起上报到融合中 心。当参数可信度< 0. 5时，融合权重为零，即不融合该参数空间，该参数空间的参数被 舍弃；当参数可信度> 0. 8时，此时不进行变权，使用常权重进行融合；当参数可信度处于 0. 5-0. 8之间时，按照公式(4)-(9)计算融合权重。此时参数可信度与融合权重成线性正比 例关系，常权比作为比例系数，权重之间的关系如下式
(5) 其中，WpW2J3分别表示眼部状态参数融合权重、方向盘操纵状态参数融合权重和 车辆轨迹行驶状态参数融合权重；ri、r2、r3分别表示眼部状态参数可信度、方向盘操纵状态 参数可信度和车辆轨迹行驶状态参数可信度；w12、w23、W13分别表示眼部状态参数常权重与 方向盘操纵状态参数常权重之比、方向盘操纵状态参数常权重与车辆轨迹行驶状态参数常 权重之比、眼部状态参数常权重与车辆轨迹行驶状态参数常权重之比。步骤205、对疲劳表现信息进行变权重的自身D_S融合，得到与驾驶员疲劳等级对 应的疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。根据步骤204中得到的三类不同参数的融合权重将眼部状态参数、方向盘操纵状 态参数和车辆轨迹行驶状态参数进行权重的自身D_S融合，即在系统级进行不同参数空间 的多传感器D_S证据理论融合，得到与驾驶员疲劳等级对应的疲劳隶属度，并根据该疲劳 隶属度得出驾驶员的疲劳等级。该步骤中的多传感器D_S证据理论融合依然采用公式(2)， 只是将多个测量周期的数据融合改变为多个参数空间的数据融合。本实施例通过对反映驾驶员驾驶疲劳状况的多源信息进行综合起来评价驾驶员 的驾驶疲劳状况，三方面信息可以更加全面的评价疲劳，如果单方面信息失效也不会使得 评价系统瘫痪，仍然可以得到疲劳状态，从而提高了驾驶员疲劳状态监测可靠性和准确性， 可降低驾驶员疲劳驾驶导致的交通事故数量，保证道路交通安全；并且该多源信息的获取 不对驾驶员的驾驶造成干扰，实用性强。图3为本发明基于信息融合的驾驶员疲劳状态识别系统第一实施例的结构示意 图，如图3所示，本实施例驾驶员疲劳监测系统可以包括采集模块301、处理模块302和融合 模块303，其中，采集模块301用于采集驾驶员的眼部状态信息、方向盘操纵状态信息和车 辆轨迹行驶状态信息；处理模块302用于对所述驾驶员的眼部状态信息、方向盘操纵状态 信息和车辆轨迹行驶状态信息进行处理，获得驾驶员的疲劳表现信息；融合模块303用于 对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的疲劳隶属度，并根据 所述疲劳隶属度得出驾驶员的疲劳等级。具体的，采集模块301采集反映驾驶员疲劳状态的眼部状态信息、方向盘操纵状 态信息和车辆轨迹行驶状态信息，处理模块302将采集模块301获取的上述信息进行分 析处理，得到驾驶员的疲劳表现信息，该疲劳表现信息包括单位时间内眼睛闭合程度超过 80%所占的时间比例、平均闭眼时间、最长闭眼时间、方向盘保持不动的时间比例、方向盘突然转动的角度变化量、车辆蛇形行驶状态的横向位移标准差和所述横向位移处于安全距离范围的时间比例。融合模块303将上述疲劳表现信息进行加权融合处理后即可得到与疲 劳等级对应的综合疲劳隶属度，并根据该综合疲劳隶属度得出驾驶员的疲劳等级。本实施例驾驶员疲劳监测系统通过对反映驾驶员驾驶疲劳状况的多源信息进行 综合起来评价驾驶员的驾驶疲劳状况，提高了驾驶员疲劳状态监测可靠性和准确性，可降 低驾驶员疲劳驾驶导致的交通事故数量，保证道路交通安全；并且该多源信息的获取不对 驾驶员的驾驶造成干扰，实用性强。图4为本发明基于信息融合的驾驶员疲劳状态识别系统第二实施例的结构示意 图，如图4所示，本实施例在第一实施例的基础上，融合模块303可以包括子系统级融合单 元3031和系统级融合单元3032，其中，子系统级融合单元3031用于将所述疲劳表现信息中 的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息分别进行加权融合处理， 得到眼部状态信息可信度、方向盘操纵状态信息可信度和车辆轨迹行驶状态信息可信度； 系统级融合单元3032根据所述眼部状态信息可信度、方向盘操纵状态信息可信度和车辆 轨迹行驶状态信息可信度分别确定眼部状态信息融合权重、方向盘操纵状态信息融合权重 和车辆轨迹行驶状态信息融合权重，并根据所述眼部状态信息融合权重、方向盘操纵状态 信息融合权重和车辆轨迹行驶状态信息融合权重对所述眼部状态信息、方向盘操纵状态信 息和车辆轨迹行驶状态信息进行加权融合处理，得到驾驶员的疲劳等级。进一步地，子系统级融合单元3031可以进一步包括第一子单元、第二子单元，其 中，第一子单元用于将所述眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息 依据神经网络参数限定关系进行加权融合得到对应驾驶员疲劳等级的初级疲劳隶属度，所 述初级疲劳隶属度包括对应多个所述眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶 状态信息测量周期的初级疲劳隶属度；第二子单元用于将所述初级疲劳隶属度进行归一 化处理转化为基本可信度分配参数，并将对应所述多个所述眼部状态信息、方向盘操纵状 态信息和车辆轨迹行驶状态信息测量周期的基本可信度分配参数进行D_S证据理论融合， 分别得到眼部状态参数可信度、方向盘操纵状态参数可信度和车辆轨迹行驶状态参数可信 度。系统级融合单元3032包括权重确定子单元，用于根据所述眼部状态参数可信度、方向 盘操纵状态参数可信度和车辆轨迹行驶状态参数可信度分别确定眼部状态参数融合权重、 方向盘操纵状态参数融合权重和车辆轨迹行驶状态参数融合权重。具体的，在第一实施例的基础上，融合模块303对上述疲劳表现信息进行加权融 合处理的过程可以分为子系统级融合和系统级融合两个步骤，而子系统级融合又可以分为 神经网络融合和D_S证据理论融合两个步骤。子系统级融合单元3031中的第一子单元先 将眼部状态参数、方向盘操纵状态参数和车辆轨迹行驶状态参数输入已经训练好的人工神 经网络，可以分别得到这三种参数空间对应的属于不同疲劳等级的初级疲劳隶属度，而且 是不同测量周期的初级疲劳隶属度。第二子单元将上述初级疲劳隶属度进行归一化处理转 化为对应不同测量周期的基本可信度分配参数，然后利用D_S证据理论对单一空间多测量 周期的基本可信度分配参数进行融合，就可以得到每类参数空间的基本可信度，即眼部状 态参数可信度、方向盘操纵状态参数可信度和车辆轨迹行驶状态参数可信度。在系统级融 合单元3032对三类参数进行加权融合时，其中的权重确定子单元需要先确定三类参数的 融合权重，该融合权重是根据第二子单元得出的基本可信度变动的，是通过常权重结合类参数的可信度综合确定的，具体的确定方法可以参见方法实施例。在融合权重确定后，系统级融合单元3032则可以根据该融合权重对三类参数进行加权融合和自身变权重D_S证 据理论融合，得到疲劳等级结果。本实施例驾驶员疲劳监测系统通过对反映驾驶员驾驶疲劳状况的多源信息进行 综合起来评价驾驶员的驾驶疲劳状况，提高了驾驶员疲劳状态监测可靠性和准确性，可降 低驾驶员疲劳驾驶导致的交通事故数量，保证道路交通安全；并且该多源信息的获取不对 驾驶员的驾驶造成干扰，实用性强。最后应说明的是以上实施例仅用以说明本发明的技术方案而非对其进行限制， 尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依 然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修 改后的技术方案脱离本发明技术方案的精神和范围。
权利要求
一种基于信息融合的驾驶员疲劳状态识别方法，其特征在于，包括步骤1、采集驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息；步骤2、对所述驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息进行处理，获得驾驶员的疲劳表现信息，所述疲劳表现信息包括单位时间内眼睛闭合程度超过80％所占的时间比例、眼睛平均睁开度、最长闭眼时间、方向盘保持不动的时间比例、方向盘突然转动的角度变化量、车辆蛇形行驶状态的横向位移标准差和所述横向位移处于安全距离范围的时间比例；步骤3、对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。
2.根据权利要求1所述的方法，其特征在于，所述步骤3包括步骤31、将所述单位时间内眼睛闭合程度超过80%所占的时间比例、眼睛平均睁开度 和最长闭眼时间进行融合得到眼部状态参数可信度，将所述方向盘保持不动的时间比例和 方向盘突然转动的角度变化量进行融合得到方向盘操纵状态参数可信度，将所述车辆蛇形 行驶状态的横向位移标准差和所述横向位移处于安全距离范围的时间比例进行融合得到 车辆轨迹行驶状态参数可信度；步骤32、根据所述眼部状态参数可信度确定眼部状态参数融合权重，根据所述方向盘 操纵状态参数可信度确定方向盘操纵状态参数融合权重，根据所述车辆轨迹行驶状态参数 可信度得到车辆轨迹行驶状态参数融合权重；根据所述眼部状态参数融合权重、方向盘操 纵状态参数融合权重和车辆轨迹行驶状态参数融合权重将所述疲劳表现信息进行加权融 合处理得到与驾驶员疲劳等级对应的疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲 劳等级。
3.根据权利要求2所述的方法，其特征在于，所述步骤31具体包括步骤311、将所述疲劳表现信息按照神经网络模型进行融合，分别得到对应疲劳表现信 息的不同测量周期的眼部状态参数初级疲劳隶属度、方向盘操纵状态参数初级疲劳隶属度 和车辆轨迹行驶状态参数初级疲劳隶属度；步骤312、将不同测量周期的初级疲劳隶属度转化为基本可信度分配参数，并将所述不 同测量周期的基本可信度分配参数按照D-S证据理论模型进行融合分别得到眼部状态参 数可信度、方向盘操纵状态参数可信度和车辆轨迹行驶状态参数可信度。
4.根据权利要求2所述的方法，其特征在于，参数可信度包括所述眼部状态参数可信 度、方向盘操纵状态参数可信度和车辆轨迹行驶状态参数可信度，所述步骤32包括步骤321、提取预先设定的参考可信度上限和参考可信度下限；步骤322、将所述参数可信度与参考可信度上限和参考可信度下限进行比较，若所述参 数可信度小于所述参考可信度下限，则与所述参数可信度对应的参数融合权重为零；若所 述参数可信度大于所述参考可信度上限，则与所述参数可信度对应的参数融合权重为用于 标识参数对疲劳的区分能力的常权重；若所述参数可信度在所述参考可信度下限和参考可 信度上限之间，则与所述参数可信度对应的参数融虫合权重与所述参数可信度成线性正比 例关系。
5.一种基于信息融合的驾驶员疲劳状态识别系统，其特征在于，包括采集模块，用于采集驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息；处理模块，用于对所述驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶 状态信息进行处理，获得驾驶员的疲劳表现信息，所述疲劳表现信息包括单位时间内眼睛 闭合程度超过80%所占的时间比例、眼睛平均睁开度、最长闭眼时间、方向盘保持不动的时 间比例、方向盘突然转动的角度变化量、车辆蛇形行驶状态的横向位移标准差和所述横向 位移处于安全距离范围的时间比例；融合模块，用于对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的 疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。
6.根据权利要求5所述的系统，其特征在于，所述融合模块包括子系统级融合单元，用于将所述单位时间内眼睛闭合程度超过80%所占的时间比例、 眼睛平均睁开度和最长闭眼时间进行融合得到眼部状态参数可信度，将所述方向盘保持不 动的时间比例和方向盘突然转动的角度变化量进行融合得到方向盘操纵状态参数可信度， 将所述车辆蛇形行驶状态的横向位移标准差和所述横向位移处于安全距离范围的时间比 例进行融合得到车辆轨迹行驶状态参数可信度；系统级融合单元，用于根据与所述眼部状态参数可信度、方向盘操纵状态参数可信度 和车辆轨迹行驶状态参数可信度相关的眼部状态参数融合权重、方向盘操纵状态参数融合 权重和车辆轨迹行驶状态参数融合权重将所述疲劳表现信息进行加权融合处理得到与驾 驶员疲劳等级对应的疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。
7.根据权利要求6所述的系统，其特征在于，所述子系统级融合单元包括第一子单元，用于将所述疲劳表现信息按照神经网络模型进行融合，分别得到对应疲 劳表现信息的不同测量周期的眼部状态参数初级疲劳隶属度、方向盘操纵状态参数初级疲 劳隶属度和车辆轨迹行驶状态参数初级疲劳隶属度；第二子单元，用于将不同测量周期的初级疲劳隶属度转化为基本可信度分配参数，并 将所述不同测量周期的基本可信度分配参数按照D-S证据理论模型进行融合分别得到眼 部状态参数可信度、方向盘操纵状态参数可信度和车辆轨迹行驶状态参数可信度。
8.根据权利要求6所述的系统，其特征在于，所述系统级融合单元包括权重确定子单元，用于根据所述眼部状态参数可信度、方向盘操纵状态参数可信度和 车辆轨迹行驶状态参数可信度分别确定眼部状态参数融合权重、方向盘操纵状态参数融合 权重和车辆轨迹行驶状态参数融合权重。
全文摘要
本发明公开了一种基于信息融合的驾驶员疲劳状态识别方法和系统，其中，方法包括采集驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息；对所述驾驶员的眼部状态信息、方向盘操纵状态信息和车辆轨迹行驶状态信息进行处理，获得驾驶员的疲劳表现信息；对所述疲劳表现信息进行加权融合处理得到与驾驶员疲劳等级对应的疲劳隶属度，并根据所述疲劳隶属度得出驾驶员的疲劳等级。本发明提高了驾驶员疲劳状态监测可靠性和准确性，可降低驾驶员疲劳驾驶导致的交通事故数量，保证道路交通安全；并且该多源信息的获取不对驾驶员的驾驶造成干扰，实用性强。
文档编号G08G1/01GK101872171SQ20091008256
公开日2010年10月27日 申请日期2009年4月24日 优先权日2009年4月24日
发明者宋正河, 张俊, 成波, 朱忠祥, 毛恩荣, 谢斌 申请人:中国农业大学