基于opencv技术的疲劳驾驶预警系统的制作方法

文档序号:15610099发布日期:2018-10-09 20:19阅读:264来源:国知局

本发明涉及行车安全领域,具体涉及一种基于opencv技术的疲劳驾驶预警系统。



背景技术:

当今研究提出了许多关于图像识别,即计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象的技术。一般工业使用中,采用工业相机拍摄图片,然后再利用软件根据图片灰阶差作进一步识别处理。图像识别的数学本质属于模式空间到类别空间的映射问题。目前,在图像识别的发展中,主要有三种识别方法:统计模式识别、结构模式识别、模糊模式识别。图像分割是图像处理中的一项关键技术,包括有阈值分割方法,边缘检测方法,区域提取方法,结合特定理论的工具的分割方法。

在车内驾驶员疲劳监测技术领域中,本质上是在行驶过程中捕捉并分析驾驶员的生物行为信息,比如眼睛、脸部、心脏、脑电活动,等等的技术等等。然而心跳活动和脑电监测由于受接触的限制,目前没有在车内批量应用。当前最多被采用的疲劳检测手段是驾驶员驾车行为分析,即通过记录和解析驾驶员转动方向盘、踩刹车等行为特征,判别驾驶员是否疲劳。但是这种方式受驾驶员驾驶习惯影响极大。另一大类别的检测方法是:通过图像分析手段对驾驶员脸部与眼睛特征进行疲劳评估。这一方法正渐渐被整车厂商接受并采用。

但是现有的图像检测方式存在较大的误报率,无法很好的达到使用效果。



技术实现要素:

本发明要解决的技术问题是提供一种基于opencv技术的疲劳驾驶预警系统,大大提高驾驶员疲劳驾驶提醒的准确性。

为了解决上述技术问题,本发明提供了一种基于opencv技术的疲劳驾驶预警系统,包括红外传感器和摄像仪,所述红外传感器和摄像仪均通过通信模块与处理器连接;

所述红外传感器对驾驶人头部的某个点进行跟踪并采集驾驶人的生理信号,当驾驶人出现疲劳进而将头低下的生理信号时,红外传感器反馈低头的距离信号给处理器,处理器基于低头的距离进行检验,若超过所规定的低头距离阈值时,进行预警提醒;

所述摄像仪对驾驶人的面部进行实时跟踪并采取分帧的方式将所采集的图像作为输入数据传送给处理器,处理器对采集的图像进行判别,并建立坐标系,将驾驶员的两眼进行投影从而得到两眼的坐标,通过坐标量化两只眼睛的上下眼皮相差距离,而后将上下眼皮相差距离与所设置的上下眼皮距离阈值进行比较,当得到的上下眼皮相差距离超出上下眼皮距离阈值后,判定此时驾驶员处于疲劳状态,进行预警提醒;

当红外传感器检测超过所规定的低头距离阈值且摄像仪检测超出上下眼皮距离阈值时,进行报警警示;

其中,在对采集的图像进行判别时,先利用积分图像算法来提取图像特征值,接着利用adaboost分类器的特征强化弱分类器,保留最有用特征,最后将adaboost分类器进行改造,制得级联adaboost分类器,采用级联adaboost分类器对图像进行判别;

所述级联adaboost分类器包括以下制备步骤:

步骤1)首先初始化训练数据;

d1表示第一次迭代的每个样本的权值,w11表示第1次迭代时的第一个样本的权值,n为样本总数;

步骤2)进行多次迭代;

c、使用具有权值分布dm(m=1,2,3…n)的训练样本集进行学习,得到弱分类器;

gm(x):x→{-1,+1}

该式子表示,第m次迭代时的弱分类器,将样本x分类成-1或1;准则:该弱分类器的误差函数最小,也就是分错的样本对应的权值之和最小;

是一个常量;

其中em为误差函数值;

d、计算弱分类器gm(x)的话语权,采用如下公式:

话语权am表示gm(x)在最终分类器中的重要程度,其中am等于em;该公式是随em减小而增大,即误差率小的分类器,在最终分类器的重要程度大;

c、更新训练样本集的权值分布,用于下一轮迭代;

其中,被误分的样本的权值会增大,被正确分的权值减小;

dm+1=(wm+1,1,wm+1,2,...wm+1,i,....wm+1,n),

上式中dm+1是用于下次迭代时样本的权值,wm+1,i是下一次迭代时,第i个样本的权值;

yi代表第i个样本对应的类别为1或-1,gm(xi)表示弱分类器对样本xi的分类,若果分对,则yi*gm(xi)的值为1,反之为-1;

zm是归一化因子,使得所有样本对应的权值之和为1,并且zm的计算公式如下:

步骤3)迭代完成后,组合弱分类器;组合公式如下:

采用组合公式得到级联adaboost分类器。

进一步的,所述上下眼皮相差距离采用欧氏距离公式计算。

进一步的,所述通信模块采用lora模块。

进一步的,预警提醒和警报警示采用蜂鸣器,通过蜂鸣器的音量高低以及蜂鸣器的发音间隔达配合发出提醒声和警示声。

进一步的,所述预警提醒采用警示灯发出提醒灯光,所述警报警示采用蜂鸣器发出警示声音。

进一步的,将摄像仪和红外传感器的信息判断结果进行信息融合;

将摄像仪和红外传感器均作为传感装置,先判断传感装置在某一个观测时刻的一致性测度pi(t),即第i个传感装置的观测值与其余传感装置的观测值的相似度;

其中,需要对单个传感装置自身的可靠性进行判断,单个传感装置自身的可靠性通过传感装置的测量均值和方差来表示,测量均值和方差采用如下公式计算:

通过ri(t)和进行对单个传感装置判断,单个传感装置一致可靠性测度为:

对上述公式进行归一化:

其中,qi(t)和qj(t)分别表示为两个不同的单个传感装置一致可靠性测度;

将测量均值和方差做比值不含有参数调整,将t时刻n个数据按照如下公式进行融合:

其中,x(t)为t时刻的最终判断结果,xi(t)为t时刻的第i个传感装置的判断结果。

进一步的,对单个传感装置自身的可靠性进行判断时,需要通过时间序列波动因素分析,对单个传感装置在全部传感装置中的权重进行调整;

时间序列波动由[pi(1),pi(2),...,pi(t)]t表示,当时间序列波动小,则该传感装置性能稳定,即该传感装置的可靠性高,在全部传感装置中的权重占比提高;当时间序列波动大时,则该传感装置性能不稳定,即该传感装置的可靠性低,在全部传感装置中的权重占比降低。

本发明的有益效果:

本发明能够针对驾驶人在驾驶过程中出现疲劳产生的面部特征和产生的一系列生理信号进行检测从而避免驾驶人在驾驶过程中产生意外状况;基于驾驶人在出现疲劳状态时眼睛出现飘忽不定这一特征对人眼进行跟踪检测,通过设定一个阈值并将不同时刻眼睛的状态与设定的阈值进行比较,从而判定驾驶人此时的状态;

通过设置比较合理地阈值,每个驾驶人眼睛大小,是否戴眼镜以及灯光等因素都会影响监测,基于这种情况对不同人不同灯光条件设置比较合理地阈值从而来判断此时驾驶人的状态,本发明能够有效避免此类误报问题。

本发明是提出一套基于viola-jones方法的人脸检测方法,先利用积分图像算法来提取图像特征值,运算方法较快,接着利用adaboost分类器的特征强化弱分类器,保留最有用特征,因此减少了检测时的运算复杂度,最后将adaboost分类器进行改造,变成级联adaboost分类器,提高了人脸检测的准确率。

而红外传感则用于检测驾驶人是否疲劳时的其他生理现象比如低头,这样红外传感器就会检测到阴影从而判断驾驶人出现上述生理特征进而报警。

具体实施方式

下面结合具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。

本发明的基于opencv技术的疲劳驾驶预警系统的一实施例,包括红外传感器和摄像仪,所述红外传感器和摄像仪均通过通信模块与处理器连接;

红外传感器对驾驶人头部的某个点进行跟踪并采集驾驶人的生理信号,当驾驶人出现疲劳进而将头低下的生理信号时,红外传感器反馈低头的距离信号给处理器,处理器基于低头的距离进行检验,若超过所规定的低头距离阈值时,进行预警提醒;

摄像仪对驾驶人的面部进行实时跟踪并采取分帧的方式将所采集的图像作为输入数据传送给处理器,处理器对采集的图像进行判别,并建立坐标系,将驾驶员的两眼进行投影从而得到两眼的坐标,通过坐标量化两只眼睛的上下眼皮相差距离,上下眼皮相差距离采用欧氏距离公式计算,而后将上下眼皮相差距离与所设置的上下眼皮距离阈值进行比较,当得到的上下眼皮相差距离超出上下眼皮距离阈值后,判定此时驾驶员处于疲劳状态,进行预警提醒;

上述的红外传感器和摄像仪可以单独使用,也可以组合使用,当组合使用时,当红外传感器检测超过所规定的低头距离阈值且摄像仪检测超出上下眼皮距离阈值时,进行报警警示,报警警示即为完全判定存在危险驾驶状态,需要立即纠正;

其中,在对采集的图像进行判别时,先利用积分图像算法来提取图像特征值,接着利用adaboost分类器的特征强化弱分类器,保留最有用特征,最后将adaboost分类器进行改造,制得级联adaboost分类器,采用级联adaboost分类器对图像进行判别;

级联adaboost分类器包括以下制备步骤:

步骤1)首先初始化训练数据;

d1表示第一次迭代的每个样本的权值,w11表示第1次迭代时的第一个样本的权值,n为样本总数;

步骤2)进行多次迭代;

e、使用具有权值分布dm(m=1,2,3…n)的训练样本集进行学习,得到弱分类器;

gm(x):x→{-1,+1}

该式子表示,第m次迭代时的弱分类器,将样本x分类成-1或1;准则:该弱分类器的误差函数最小,也就是分错的样本对应的权值之和最小;

是一个常量;

其中em为误差函数值;

f、计算弱分类器gm(x)的话语权,采用如下公式:

话语权am表示gm(x)在最终分类器中的重要程度,其中am等于em;该公式是随em减小而增大,即误差率小的分类器,在最终分类器的重要程度大;

c、更新训练样本集的权值分布,用于下一轮迭代;

其中,被误分的样本的权值会增大,被正确分的权值减小;

dm+1=(wm+1,1,wm+1,2,...wm+1,i,...wm+1,n),

上式中dm+1是用于下次迭代时样本的权值,wm+1,i是下一次迭代时,第i个样本的权值;

yi代表第i个样本对应的类别为1或-1,gm(xi)表示弱分类器对样本xi的分类,若果分对,则yi*gm(xi)的值为1,反之为-1;

zm是归一化因子,使得所有样本对应的权值之和为1,并且zm的计算公式如下:

步骤3)迭代完成后,组合弱分类器;组合公式如下:

采用组合公式得到级联adaboost分类器,级联adaboost分类器可以找到合适的阈值进而进行识别判断,不会受到驾驶人眼睛大小,是否戴眼镜以及灯光等因素的影响,大大提高判断的准确率。

通信模块采用lora模块,lora模块具有超长距离通信,超低功耗,抗干扰特性显著,数据传输可靠,超高的接收灵敏度,低成本等特点。在本发明中主要作用是将红外传感和摄像仪采集到的数据传送给处理器。

在一实施例中,预警提醒和警报警示均采用蜂鸣器,通过蜂鸣器的音量高低以及蜂鸣器的发音间隔达配合发出提醒声和警示声,当需要发出提醒声时,可以采用间隔较长和音量较轻的声音,从而避免过多的破坏行车环境,而当需要发出警报警示时,表面驾驶人员已经犯困,影响行车安全,因此可以采用间隔较短、急促和音量较大的声音,从而达到良好的预警效果。

在一实施例中,预警提醒采用警示灯发出提醒灯光,由于单项检测时,可能出现误报现象,例如眼睛存在眨眼疾病或者不舒服时,可能会被检测到,而提醒灯光不会过多的破坏行车氛围,而当驾驶人员出现低头和眨眼频繁或者闭眼时,警报警示采用蜂鸣器发出警示声音,达到良好的预警效果。

上述在对摄像仪和红外传感器的信息判断结果进行融合判断时,需要对摄像仪和红外传感器进行信息数据可靠信判断,首先将摄像仪和红外传感器均作为传感装置,先判断传感装置在某一个观测时刻的一致性测度pi(t),即第i个传感装置的观测值与其余传感装置的观测值的相似度;虽然在某一个时刻pi(t)值比较大,但不能说明在整个观测区间上传感器的可靠性高,还需要对单个传感装置自身的可靠性进行判断,单个传感装置自身的可靠性通过传感装置的测量均值和方差来表示,测量均值和方差采用如下公式计算:

上述公式中的k为t时刻转换为计算机周期的表达;

由于ri(t)和均是传感装置自身的重要参数,因此单个传感装置一致可靠性测度为:

对上述公式进行归一化:

其中,qi(t)和qj(t)分别表示为两个不同的单个传感装置一致可靠性测度;

将测量均值和方差做比值不含有参数调整,避免了由主观因素影响,更加真实的反映了传感器自身的特性,即更加真实的刻画了了传感装置在测量信息中的重要程度,将t时刻n个数据按照如下公式进行融合:

其中,x(t)为t时刻的最终判断结果,xi(t)为t时刻的第i个传感装置的判断结果,最终能够得到更加合理的判断结果。

在对单个传感装置自身的可靠性进行判断时,需要通过时间序列波动因素分析,对单个传感装置在全部传感装置中的权重进行调整;

时间序列波动由[pi(1),pi(2),...,pi(t)]t表示,当时间序列波动小,则该传感装置性能稳定,即该传感装置的可靠性高,在全部传感装置中的权重占比提高;当时间序列波动大时,则该传感装置性能不稳定,即该传感装置的可靠性低,在全部传感装置中的权重占比降低,从而达到更为精准的传感器判断,当权重极小时,可以认为是传感装置损坏,提高使用稳定性。

本发明是一个相对比较完整的检测体系。不仅可以对驾驶人面部产生的特征进行检测,也可以对于驾驶人产生的生理信号进行检测。涉及的技术也相对比较广泛,误差较小,主要来源于信号传输的延迟和不可避免的噪声,识别时间很短,灵敏度比较高。

以上实施例仅是为充分说明本发明而所举的较佳的实施例,本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换,均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1