基于图像识别的驾驶员负荷检测车载装置的制作方法

本发明涉及辅助驾驶技术，尤其涉及一种基于图像识别的驾驶员负荷检测车载装置。

背景技术：

当前，驾驶行车过程中，超过60％的信息是通过视觉获得的，视觉信息增加时视觉工作量也随之增加，相应的视觉负荷也会增加。较高的视觉负荷会引起驾驶员信息处理不及时，增加操作失误，影响交通安全。对驾驶员视觉负荷影响较大的道路环境主要有道路平纵线形、交通标志信息等。视觉负荷是驾驶工作负荷的组成部分，有人曾使用眨眼次数、注视次数或瞳孔面积等指标的变化来评价驾驶工作负荷的强度，认为在视距压力增大的情况下，驾驶员会试图通过减少眨眼次数和增加注视持续时间，来获取更多的视觉信息。。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于图像识别的驾驶员视觉负荷检测车载装置。

本发明解决其技术问题所采用的技术方案是：一种基于图像识别的驾驶员负荷检测车载装置，包括：

采集单元，用于采集包括车辆前方交通环境信息的图像和驾驶员的心率变异率，所述交通环境信息包括车道线、道路标志和信号灯，所述采集单元包括安装于前挡风玻璃内正中间的摄像头和设置于方向盘上的心率传感器；

图像处理单元，通过处理视景采集单元的图像信息提取识别环境信息，包括：前方道路线形指标：包括坡度和转弯半径；交通标志信息：包括字符量、图形量和组合关系；以及信号灯信息：包括灯组数和相位；并将识别的交通标志信息和信号灯信息转换为以下元素：1)汉字、2)英文字母、3)阿拉伯数字、4)颜色：道路交通标志颜色、5)方向箭头：道路交通标志上使用的方向箭头、6)符号：表示道路状况的符号；

道路线形负荷等级计算单元，用于根据心率传感器采集的心率变异率评价道路线形指标对驾驶员产生的驾驶负荷度；

视觉负荷等级计算单元，用于根据信息理论算法对环境信息量进行计算，得出不同环境要素下的综合信息量，并根据计算得到的信息量指标，对该环境信息量所属的等级进行确定，最后确定相应道路环境的视觉负荷等级；

显示单元，用于接收道路线形负荷等级计算单元和视觉负荷等级计算单元的数据，量化融合后实时显示道路环境的综合驾驶负荷，并对系统地运行状态进行显示；

储存单元，由储存卡构成，接收道路线形负荷等级计算单元和视觉负荷等级计算单元的数据，实时存储道路视景影像以及与之对应的道路环境信息、驾驶负荷因素、驾驶负荷量度；所有存储的信息都通过同一时间轴进行标识，便于在统一时间轴进行分析。

按上述方案，所述道路线形负荷等级计算单元中驾驶负荷度的量化方法如下：

1)道路线形为平曲线半径驾驶负荷的量化

二者量化数学模型为：

x1＝4.316×10^-6r²－0.15r+15.152

其中，r为平曲线半径，x1为平曲线半径驾驶负荷；

2)道路线形为纵向坡度驾驶负荷的量化

最终选用三次函数曲线模型更能反映驾驶负荷x与道路坡度y间的关系，二者量化数学模型为：

x2＝-0.138y³-0.8y²-1.438y+0.871

其中，y为道路坡度，x2为纵向坡度驾驶负荷。

按上述方案，所述图像处理单元识别各种不同模式的目标和对象采用以下方法，其过程可分为两个阶段：1)样本训练阶段：对大量样本图像进行预处理、提取图像特征、进行模式分类，从而获得一个样本图像特征库；2)图像识别阶段：对输入图像做预处理、进行图像分析、分割并提取图像中关注部分的图像特征、利用模式识别方法对特征与图像特征库中的特征进行相关处理，以确定输入图像是否匹配。

本发明产生的有益效果是：

1.采用本发明装置，能够对驾驶过程中的与驾驶人视觉负荷相关的环境因素进行自动识别，可对该环境信息的信息量进行计算，并对驾驶员的视觉负荷进行实时检测和量度；

2.本发明融合了驾驶人视觉负荷和由道路线性引致的精神负荷，展示了驾驶人的综合驾驶负荷，可供管理部门和设计部门分析。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2为本发明装置的具体实施方式示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种驾驶员负荷的检测装置，包括：

采集单元，用于采集包括车辆前方交通环境信息的图像和驾驶员的心率变异率，所述交通环境信息包括车道线、道路标志和信号灯，所述采集单元包括安装于前挡风玻璃内正中间的摄像头和设置于方向盘上的心率传感器；

图像处理单元，通过处理视景采集单元的图像信息提取识别环境信息，包括：前方道路线形指标：包括坡度和转弯半径；交通标志信息：包括字符量、图形量和组合关系；以及信号灯信息：包括灯组数和相位；并将识别的交通标志信息和信号灯信息转换为以下元素：1)汉字、2)英文字母、3)阿拉伯数字、4)颜色：道路交通标志颜色、5)方向箭头：道路交通标志上使用的方向箭头、6)符号：表示道路状况的符号；

道路线形负荷等级计算单元，用于根据心率传感器采集的心率变异率评价道路线形指标对驾驶员产生的驾驶负荷度；

视觉负荷等级计算单元，用于根据信息理论算法对环境信息量进行计算，得出不同环境要素下的综合信息量，并根据计算得到的信息量指标，对该环境信息量所属的等级进行确定，最后确定相应道路环境的视觉负荷等级；

显示单元，用于接收道路线形负荷等级计算单元和视觉负荷等级计算单元的数据，量化融合后实时显示道路环境的综合驾驶负荷，并对系统地运行状态进行显示；

储存单元，由储存卡构成，接收道路线形负荷等级计算单元和视觉负荷等级计算单元的数据，实时存储道路视景影像以及与之对应的道路环境信息、驾驶负荷因素、驾驶负荷量度；所有存储的信息都通过同一时间轴进行标识，便于在统一时间轴进行分析。

如图2所示，摄像头3安装在车内，主要采集道路前方信息，包括标志牌1及信号灯2。拍摄到的视频传回到处理单元4，在处理单元内完成对图像的识别，可自动识别出交通标志牌及信号灯。根据识别的结果，采用信息理论中信息量的计算方法对其信息量进行计算，显示单元5用于结果显示。

1.图像处理算法

(1)车道线处理算法(hough变换)

(2)标志和信号灯处理方法(支持向量机的方法)

2.信息量的计算

信息理论认为信息的基本作用就是消除人们对事物的不确定性，信息论之父——香农指出，事物准确的信息量应该是

其中：h(x)表示所含有的信息量，单位为bits；

xi表示第i个状态出现的概率；

m表示某一事物可能出现不同状态的总数；

p(xi)表示出现第i种状态的概率。

假设m种状态出现的概率相等，即p(xi)＝1/m，则上述公式就变为：

h(x)＝log2m

3.交通标志信息和信号灯信息的视觉负荷计算

根据实际道路交通情况，对交通标志及信号灯的每种元素所代表的信息量大小进行计算，其依据如下。

1)汉字：根据《现代汉语常用字表》，日常使用的汉字大约有3500个，因此每个汉字包含的信息量为h＝log23500＝11.77bits。

2)英文字母：共有26个英文字母(大小写字母相同)。每个字母包含的信息量为h＝log226＝4.70bits。

3)阿拉伯数字：共有10个阿拉伯数字。因此，每个数字包含的信息量为h＝log210＝3.32bits。

4)颜色：道路交通标志常用颜色总共8种颜色。每种颜色包含的信息量为h＝log28＝3.00bits。

5)方向箭头：道路交通标志上常使用的方向箭头25种，每个箭头包含的信息量为h＝log225＝4.64bits。

6)符号：在一般的道路条件下，总共有17种表示道路状况的符号，每种符号包含的信息量为h＝log217＝4.09bits。

根据图像识别的结果，对照以上信息量计算方法，经过处理单元处理则可得到路段实时的信息量。

对某公路标志牌进行随机抽样，对其标志牌信息量进行统计，结果显示一个标志牌的信息量大概范围是10～450bits，具体结果如下：

对频数进行分析，认为标志牌信息量累计分布曲线上第85位百分点的信息量h85作为确定限制标志牌信息量的上限标准，即认为该点所对应的信息所引起的视觉负荷较大，当信息量高于此值则认为视觉负荷等级为大，信息量小于此值时的情况与之类似，分别取15％、50％、70％作为无视觉负荷、轻微视觉负荷、一般视觉负荷的阈值。其对应关系如下：

根据图像识别结果，对照不同视觉负荷等级所对应的信息量阈值，即可得到当前情况下的视觉负荷等级。将该等级及其描述(如负荷等级4级，负荷较大)发生至显示设备，并在显示设备上显示。

根据计算得到的信息量大小，结合不同等级道路和环境信息量的范围，确定道路环境的信息量所属等级，进而确定道路的视觉负荷等级。

4.道路线形驾驶负荷的计算

本研究选取了评价精神负荷的有效指标——心率变异率(heartratevariability，hrv)作为道路线形驾驶负荷量化指标。大量研究表明心率变异率能够有效反映人体神经负荷状况，是目前驾驶负荷评价研究中的最常采用的生理指标之一。

心率变异率(hrv)是以连续心脏搏动r-r间期为研究对象，心率波动并非偶然，是受到体内神经和体液调控的，也是为适应个体不同的生理状况做出的生理反应。通过罗列人体每次心跳周期间的时间差别，得到一堆貌似无序的时间参数，而这些无序的参数却反映了连续心率的瞬时波动。因此，心率变异率(hrv)分析的实质就是从心率波动现象中，从大量无序复杂的生理参数中，提取和分析出有序的规律，并用以说明人体的生理特性。hrv指标已被成功应用于工作负荷测量，可以对驾驶员工作负荷进行定量地评估。

本研究采用时域分析法分析心率变异率。时域分析方法是对r-r间期的时间序列指标以及几何分布特征进行分析的一种简单并且容易理解的方法。时域分析方法中心率采样间期标准差σ指标与精神负荷关联程度最高。该指标计算公式如下:

式中:n为统计时段内的数据采样样本数；

hri为各采样时刻的心率值(次/min)；

为统计时段内心率的平均值(次/min)；

σhrv为心率变异率，即统计时段内的心率标准差(次/min)。

大量实车实验得出的试验数据分析表明：单位运行速度的驾驶员实时心率变异率可作为评价驾驶员驾驶负荷度的有效指标。驾驶负荷度k计算模型如下所示：

为了便于计算和书写，特将单位运行速度对应的实时心率变异率值乘100。

1)平曲线半径驾驶负荷的量化

根据模拟驾驶实验结果，得到不同平曲线路段驾驶人心率增长情况，为了定量的探究驾驶负荷与平曲线半径间的关系，使用统计分析软件spss对数据进行一元曲线回归分析，得到两者之间的量化关系。最终选用二次函数曲线模型更能反映驾驶负荷x与平曲线半径r间的关系，二者量化数学模型为：

x＝4.316×10^-6r²－0.15r+15.152

2)纵向坡度驾驶负荷的量化

驾驶负荷的量化根据模拟驾驶实验结果，得到不同坡度路段驾驶人心率增长情况，为了定量的探究驾驶负荷与道路坡度间的关系，使用统计分析软件spss对数据进行一元曲线回归分析，得到两者之间的量化关系。最终选用三次函数曲线模型更能反映驾驶负荷x与道路坡度y间的关系，二者量化数学模型为：

x＝-0.138y³-0.8y²-1.438y+0.871

基于hrv量化的驾驶负荷与应用视频方法得出的驾驶负荷量纲相同，相加后得到驾驶人所承受的驾驶负荷值。

最后，根据获得量化融合后的驾驶负荷值，由显示单元实时显示道路环境的综合驾驶负荷；

并由储存单元，将接收道路线形负荷等级计算单元和视觉负荷等级计算单元的数据，实时存储道路视景影像以及与之对应的道路环境信息、驾驶负荷因素、驾驶负荷量度；所有存储的信息都通过同一时间轴进行标识，便于在统一时间轴进行分析。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。