一种基于单目视觉原理的智能化汽车离道预警系统及方法与流程

文档序号:11920391阅读:144来源:国知局

本发明涉及汽车技术领域,特别涉及一种基于单目视觉原理的智能化汽车离道预警系统及方法。



背景技术:

随着自动化和微电子技术的高速发展,现代交通辅助工具越来越智能化,GPS导航、兴趣点提示、多功能辅助控制系统、甚至是无人驾驶,从军用交通工具融入普及到家用型交通工具,特别是最普遍的家用轿车,已形成一种不可逆的智能化潮流。

目前有数个国内外汽车生产商已经采用了不同的车道保持辅助系统(例如奥迪Q5、大众高尔夫7代),此类系统均建立在一个数字图像视频处理的基础上,再通过检测车道等信息进行建模和预警。虽然投入商用的系统已经很成熟完善,预警机制的逻辑判断(启动条件、提前预警)考虑较为周全,但几乎都忽略了摄像头因为汽车载客不同和路面铺设而发生倾斜的情况,在算法中加入这个因素的修正对于未来精确控制和辅助车辆行驶具有实际意义。



技术实现要素:

鉴于此,本发明提供了一种基于单目视觉原理的智能化汽车离道预警系统及方法,本发明具有精确度高、智能化、预警及时准确等优点。

本发明采用的技术方案如下:

一种基于单目视觉原理的智能化汽车离道预警系统,其特征在于,所述系统包括:内存、内部处理器、外存、外部处理器、总线、中断请求输入模块、串行外设接口、三轴加速器、时序产生模块、探测驱动模块、图像传感器、报警单元和电源单元;所述内存信号连接于内部处理器;所属内部处理器分别信号连接于外存和总线;所述外存信号连接于外部处理器;所述三轴加速器分别信号连接于中断请求输入模块和串行外设接口;所述中断请求输入模块信号连接于总线;所述串行外设接口信号连接于总线;所述图像传感器分别信号连接于探测驱动模块和总线;所述探测驱动模块信号连接于时序产生模块;所述时序产生模块信号连接于总线;所述报警单元信号连接于总线;所述电源单元信号连接于总线。

所述图像传感器安装于车盘中轴前方,所述传感器的光轴与车盘平行;所述图像传感器信号连接于内存,将拍摄到的图像信息发送到内存中进行存储。

采用上述技术方案,图像传感器安装在车盘中轴前方,其光轴与车盘平行;由于车轴中心距左右分车道有一定距离,根据透视投影的基本原理,摄像头路面投影图像中左右分道线会形成一个角度,这个角度会因车的位置变化而改变,当车处于两条分道线中间,所得图像中两条左右分道线的夹角最大,其斜率一正一负, 当车辆偏移中线时,这个角度会逐渐变小,至离道存在一个最小夹角,但图像中该角度信息小于这个最小夹角的时候,报警机制就会发出警报。

所述内部处理器包括:图像锐化模块、阈值边缘检测模块、光学畸变矫正模块、倾角旋转矫正模块、Hough算法模块、分道线提取模块和预警模块;所述图像锐化模块信号连接于阈值边缘检测模块,用于对图像进行锐化处理,得到原始的灰度图像,将灰度图像发送至阈值边缘检测模块;所述阈值边缘检测模块信号连接于光学畸变矫正模块,用于对灰度图像进行边缘检测,将检测后的图像发送至光学畸变矫正模块;所述光学畸变矫正模块信号连接于倾角旋转矫正模块,用于对接收到的图像信息进行光学畸变矫正,将矫正后的图像发送至倾角旋转矫正模块;所述倾角旋转矫正模块信号连接于Hough算法模块,用于对接收到的图像信息进行倾角校正,将矫正后的他图像发送至Hough算法模块;所述Hough算法模块信号连接于分道线提取模块,用于对接收到的图像进行Hough变换,将变换后的图像发送至分道线提取模块;所述分道线提取模块信号连接于预警模块,用于对接收到的图像进行和分道线提取,并进行警报出发条件判断,将判断结果发送至预警模块;所述预警模块信号连接于总线,用于发出预警指令,将总线传输后触发报警单元进行报警。

采用上述技术方案,图像传感器摄入路面图像数据,存储到板内RAM;通过畸变矫正,保证显示的分车道尽可能实况;接着,通过三轴加速计水平矫正,使得图像x轴与实际路面平行;最后通过阀值分隔、边缘检测以及Hough变换的算法,重新构建出路面图像并建立分道线角度数据传送到预警逻辑状态机。

所述三轴加速器,用于获取汽车行驶过程中在三个坐标轴的数据信息,将数据信息发送至内部处理器;所述时序产生模块,用于产生时间指令;所述探测驱动模块,用于监测系统中各个硬件的驱动是否正常,是否有驱动缺失,将探测结果发送至内部处理器。

一种基于单目视觉原理的智能化汽车离道预警方法,其特征在于,所述方法包括以下步骤:

步骤1:汽车启动,系统初始化,报警单元处于未启用状态,图像传感器开始摄入路面图像数据,存储到内存中;

步骤2:处理器首先对图像进行锐化处理;再通过阀值边缘检测,得到边缘二值图像;然后,通过从三轴加速器获取的数据信息,进行光学畸变矫正和倾角旋转矫正,得到校正后边缘二值图像,对该图像进行Hough算法运算,得到经变换后的参数平面,最后提取该图像的分道线,根据提取出的分道线判断汽车运行状态;

步骤3:若判断结果为,汽车正常行驶在两分道线中间并未打开转向灯,则报警单元切换到启用状态;

步骤4:在报警单元处于启用状态下,如果图像分到夹角小于报警最小夹角,则报警单元进入报警状态,警报立即触发。

采用上述技术方案,图像传感器将摄入的原始灰度图像传入到那内部处理器,最先通过阀值边缘检测,得到边缘二值图像数据;当车出现倾斜后,摄入的图像会出现透视畸变,所以需要通过光学畸变矫正,得到矫正后与实况相符的边缘二值图像数据;这时,安装的陀螺仪会提供相应参数,对图像进行倾角旋转矫正,得到水平边缘二值图像数据;在通过Hough算法转化为参数平面数据,从中提取出分道线;随着车行驶的实况,随时对警报触发条件进行判断,出现离道,警报触发条件满足后,内部处理器立马将预警逻辑相关信息输出,控制触发警报。

所述报警单元共有三种运行状态:未启用、启用和报警; 汽车启动时,警报系统处于未启用状态,当预警启动条件满足时,即车辆正常行驶在两分道线中间并未打开转向灯时,报警单元切换到启用状态;在启用状态下,若车偏离车道,处理器对图像处理的结果中得到分道线角度数据满足离道条件,即图像分道夹角小于警报最小夹角时,则进入报警状态,警报立即触发;同时,警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报系统重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态;如果报警单元在设定时间阈值内所得分道线的角度数据处于安全范围内时,即使有小范围摆动,也认为车未偏离车道,警报不会触发;当汽车转向时,提前打开转向灯,警报系统也将处于未启用状态。

所述阈值边缘检测的方法包括以下步骤:

步骤1:采用隶属度函数将待处理的图像映射为一个模糊矩阵;

步骤2:记图像 具有 个灰度级,图像大小为 ,模糊矩阵的元素 为图像的隶属度函数为:;参数F=2; 与 的形状有关;

步骤3:对 进行非线性变换,得到:

;

步骤4:对 QUOTE 进行逆变换,得到模糊增强后的图像

步骤5:得到图像的边缘为:

采用以上技术方案,本发明产生了以下有益效果:

1、精确度高:本发明的预警系统及方法加入三轴加速计对关于镜头倾斜后图像处理的矫正,突破由于广角摄像头的光学特性的非线性变换问题,提升了识别的精确度和准确度。此外,在原始图像上预处理为边缘二值图像后再采用Hough变换算法,鲁棒性和抗干扰性较高,代替现有的DSP视频处理芯片,更快速地实现实时视频处理。

2、智能化:本发明的预警系统和预警方法中的无须人为进行操作,系统自动识别运行状态,根据运行状态自动进行报警,智能化程度高。采用特别的定制算法,保证了最终结果的准确性。

3、预警及时准确:本发明的预警系统和预警方法中的报警单元采用了独特的报警机制,分三个状态:未启用,启用,报警; 车辆刚启动时,警报系统处于未启用状态,一旦满足预警启动条件(车辆正常行驶在两分道线中间并未打开转向灯)后,警报系统切换到启用状态;在启用状态下,如果车偏离车道,图像处理运算得到分道线角度数据满足离道条件(图像分道夹角小于警报最小夹角),则进入报警状态,警报立即触发;警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报系统重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态。如果最近所得分道线的角度数据处于安全范围内时,即使有小范围摆动,但认为车未偏离车道,警报不会触发;或者,车要转向,提前打开转向灯,那么警报系统处于未启用状态。系统自动进行报警状态识别,无须人工进行操作,具备高度的智能化。

附图说明

图1是本发明的一种基于单目视觉原理的智能化汽车离道预警系统及方法的系统结构示意图。

具体实施方式

本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。

本发明实施例1中提供了种基于单目视觉原理的智能化汽车离道预警系统,系统结构如图1所示:

一种基于单目视觉原理的智能化汽车离道预警系统,其特征在于,所述系统包括:内存、内部处理器、外存、外部处理器、总线、中断请求输入模块、串行外设接口、三轴加速器、时序产生模块、探测驱动模块、图像传感器、报警单元和电源单元;所述内存信号连接于内部处理器;所属内部处理器分别信号连接于外存和总线;所述外存信号连接于外部处理器;所述三轴加速器分别信号连接于中断请求输入模块和串行外设接口;所述中断请求输入模块信号连接于总线;所述串行外设接口信号连接于总线;所述图像传感器分别信号连接于探测驱动模块和总线;所述探测驱动模块信号连接于时序产生模块;所述时序产生模块信号连接于总线;所述报警单元信号连接于总线;所述电源单元信号连接于总线。

所述图像传感器安装于车盘中轴前方,所述传感器的光轴与车盘平行;所述图像传感器信号连接于内存,将拍摄到的图像信息发送到内存中进行存储。

采用上述技术方案,图像传感器安装在车盘中轴前方,其光轴与车盘平行;由于车轴中心距左右分车道有一定距离,根据透视投影的基本原理,摄像头路面投影图像中左右分道线会形成一个角度,这个角度会因车的位置变化而改变,当车处于两条分道线中间,所得图像中两条左右分道线的夹角最大,其斜率一正一负, 当车辆偏移中线时,这个角度会逐渐变小,至离道存在一个最小夹角,但图像中该角度信息小于这个最小夹角的时候,报警机制就会发出警报。

所述内部处理器包括:图像锐化模块、阈值边缘检测模块、光学畸变矫正模块、倾角旋转矫正模块、Hough算法模块、分道线提取模块和预警模块;所述图像锐化模块信号连接于阈值边缘检测模块,用于对图像进行锐化处理,得到原始的灰度图像,将灰度图像发送至阈值边缘检测模块;所述阈值边缘检测模块信号连接于光学畸变矫正模块,用于对灰度图像进行边缘检测,将检测后的图像发送至光学畸变矫正模块;所述光学畸变矫正模块信号连接于倾角旋转矫正模块,用于对接收到的图像信息进行光学畸变矫正,将矫正后的图像发送至倾角旋转矫正模块;所述倾角旋转矫正模块信号连接于Hough算法模块,用于对接收到的图像信息进行倾角校正,将矫正后的他图像发送至Hough算法模块;所述Hough算法模块信号连接于分道线提取模块,用于对接收到的图像进行Hough变换,将变换后的图像发送至分道线提取模块;所述分道线提取模块信号连接于预警模块,用于对接收到的图像进行和分道线提取,并进行警报出发条件判断,将判断结果发送至预警模块;所述预警模块信号连接于总线,用于发出预警指令,将总线传输后触发报警单元进行报警。

采用上述技术方案,图像传感器摄入路面图像数据,存储到板内RAM;通过畸变矫正,保证显示的分车道尽可能实况;接着,通过三轴加速计水平矫正,使得图像x轴与实际路面平行;最后通过阀值分隔、边缘检测以及Hough变换的算法,重新构建出路面图像并建立分道线角度数据传送到预警逻辑状态机。

所述三轴加速器,用于获取汽车行驶过程中在三个坐标轴的数据信息,将数据信息发送至内部处理器;所述时序产生模块,用于产生时间指令;所述探测驱动模块,用于监测系统中各个硬件的驱动是否正常,是否有驱动缺失,将探测结果发送至内部处理器。

本发明实施例2中提供了种基于单目视觉原理的智能化汽车离道预警方法:

一种基于单目视觉原理的智能化汽车离道预警方法,其特征在于,所述方法包括以下步骤:

步骤1:汽车启动,系统初始化,报警单元处于未启用状态,图像传感器开始摄入路面图像数据,存储到内存中;

步骤2:处理器首先对图像进行锐化处理;再通过阀值边缘检测,得到边缘二值图像;然后,通过从三轴加速器获取的数据信息,进行光学畸变矫正和倾角旋转矫正,得到校正后边缘二值图像,对该图像进行Hough算法运算,得到经变换后的参数平面,最后提取该图像的分道线,根据提取出的分道线判断汽车运行状态;

步骤3:若判断结果为,汽车正常行驶在两分道线中间并未打开转向灯,则报警单元切换到启用状态;

步骤4:在报警单元处于启用状态下,如果图像分到夹角小于报警最小夹角,则报警单元进入报警状态,警报立即触发。

采用上述技术方案,图像传感器将摄入的原始灰度图像传入到那内部处理器,最先通过阀值边缘检测,得到边缘二值图像数据;当车出现倾斜后,摄入的图像会出现透视畸变,所以需要通过光学畸变矫正,得到矫正后与实况相符的边缘二值图像数据;这时,安装的陀螺仪会提供相应参数,对图像进行倾角旋转矫正,得到水平边缘二值图像数据;在通过Hough算法转化为参数平面数据,从中提取出分道线;随着车行驶的实况,随时对警报触发条件进行判断,出现离道,警报触发条件满足后,内部处理器立马将预警逻辑相关信息输出,控制触发警报。

所述报警单元共有三种运行状态:未启用、启用和报警; 汽车启动时,警报系统处于未启用状态,当预警启动条件满足时,即车辆正常行驶在两分道线中间并未打开转向灯时,报警单元切换到启用状态;在启用状态下,若车偏离车道,处理器对图像处理的结果中得到分道线角度数据满足离道条件,即图像分道夹角小于警报最小夹角时,则进入报警状态,警报立即触发;同时,警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报系统重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态;如果报警单元在设定时间阈值内所得分道线的角度数据处于安全范围内时,即使有小范围摆动,也认为车未偏离车道,警报不会触发;当汽车转向时,提前打开转向灯,警报系统也将处于未启用状态。

所述阈值边缘检测的方法包括以下步骤:

步骤1:采用隶属度函数将待处理的图像映射为一个模糊矩阵 ;

步骤2:记图像 具有 个灰度级,图像大小为 ,模糊矩阵 的元素 为图像的隶属度函数为:;参数F=2; 与 的形状有关;

步骤3:对 进行非线性变换,得到:

;

步骤4:对进行逆变换,得到模糊增强后的图像

步骤5:得到图像的边缘为:

本发明实施例3中提供了种基于单目视觉原理的智能化汽车离道预警系统及方法,系统结构图如图1所示:

一种基于单目视觉原理的智能化汽车离道预警系统,其特征在于,所述系统包括:内存、内部处理器、外存、外部处理器、总线、中断请求输入模块、串行外设接口、三轴加速器、时序产生模块、探测驱动模块、图像传感器、报警单元和电源单元;所述内存信号连接于内部处理器;所属内部处理器分别信号连接于外存和总线;所述外存信号连接于外部处理器;所述三轴加速器分别信号连接于中断请求输入模块和串行外设接口;所述中断请求输入模块信号连接于总线;所述串行外设接口信号连接于总线;所述图像传感器分别信号连接于探测驱动模块和总线;所述探测驱动模块信号连接于时序产生模块;所述时序产生模块信号连接于总线;所述报警单元信号连接于总线;所述电源单元信号连接于总线。

所述图像传感器安装于车盘中轴前方,所述传感器的光轴与车盘平行;所述图像传感器信号连接于内存,将拍摄到的图像信息发送到内存中进行存储。

采用上述技术方案,图像传感器安装在车盘中轴前方,其光轴与车盘平行;由于车轴中心距左右分车道有一定距离,根据透视投影的基本原理,摄像头路面投影图像中左右分道线会形成一个角度,这个角度会因车的位置变化而改变,当车处于两条分道线中间,所得图像中两条左右分道线的夹角最大,其斜率一正一负, 当车辆偏移中线时,这个角度会逐渐变小,至离道存在一个最小夹角,但图像中该角度信息小于这个最小夹角的时候,报警机制就会发出警报。

所述内部处理器包括:图像锐化模块、阈值边缘检测模块、光学畸变矫正模块、倾角旋转矫正模块、Hough算法模块、分道线提取模块和预警模块;所述图像锐化模块信号连接于阈值边缘检测模块,用于对图像进行锐化处理,得到原始的灰度图像,将灰度图像发送至阈值边缘检测模块;所述阈值边缘检测模块信号连接于光学畸变矫正模块,用于对灰度图像进行边缘检测,将检测后的图像发送至光学畸变矫正模块;所述光学畸变矫正模块信号连接于倾角旋转矫正模块,用于对接收到的图像信息进行光学畸变矫正,将矫正后的图像发送至倾角旋转矫正模块;所述倾角旋转矫正模块信号连接于Hough算法模块,用于对接收到的图像信息进行倾角校正,将矫正后的他图像发送至Hough算法模块;所述Hough算法模块信号连接于分道线提取模块,用于对接收到的图像进行Hough变换,将变换后的图像发送至分道线提取模块;所述分道线提取模块信号连接于预警模块,用于对接收到的图像进行和分道线提取,并进行警报出发条件判断,将判断结果发送至预警模块;所述预警模块信号连接于总线,用于发出预警指令,将总线传输后触发报警单元进行报警。

采用上述技术方案,图像传感器摄入路面图像数据,存储到板内RAM;通过畸变矫正,保证显示的分车道尽可能实况;接着,通过三轴加速计水平矫正,使得图像x轴与实际路面平行;最后通过阀值分隔、边缘检测以及Hough变换的算法,重新构建出路面图像并建立分道线角度数据传送到预警逻辑状态机。

所述三轴加速器,用于获取汽车行驶过程中在三个坐标轴的数据信息,将数据信息发送至内部处理器;所述时序产生模块,用于产生时间指令;所述探测驱动模块,用于监测系统中各个硬件的驱动是否正常,是否有驱动缺失,将探测结果发送至内部处理器。

一种基于单目视觉原理的智能化汽车离道预警方法,其特征在于,所述方法包括以下步骤:

步骤1:汽车启动,系统初始化,报警单元处于未启用状态,图像传感器开始摄入路面图像数据,存储到内存中;

步骤2:处理器首先对图像进行锐化处理;再通过阀值边缘检测,得到边缘二值图像;然后,通过从三轴加速器获取的数据信息,进行光学畸变矫正和倾角旋转矫正,得到校正后边缘二值图像,对该图像进行Hough算法运算,得到经变换后的参数平面,最后提取该图像的分道线,根据提取出的分道线判断汽车运行状态;

步骤3:若判断结果为,汽车正常行驶在两分道线中间并未打开转向灯,则报警单元切换到启用状态;

步骤4:在报警单元处于启用状态下,如果图像分到夹角小于报警最小夹角,则报警单元进入报警状态,警报立即触发。

采用上述技术方案,图像传感器将摄入的原始灰度图像传入到那内部处理器,最先通过阀值边缘检测,得到边缘二值图像数据;当车出现倾斜后,摄入的图像会出现透视畸变,所以需要通过光学畸变矫正,得到矫正后与实况相符的边缘二值图像数据;这时,安装的陀螺仪会提供相应参数,对图像进行倾角旋转矫正,得到水平边缘二值图像数据;在通过Hough算法转化为参数平面数据,从中提取出分道线;随着车行驶的实况,随时对警报触发条件进行判断,出现离道,警报触发条件满足后,内部处理器立马将预警逻辑相关信息输出,控制触发警报。

所述报警单元共有三种运行状态:未启用、启用和报警; 汽车启动时,警报系统处于未启用状态,当预警启动条件满足时,即车辆正常行驶在两分道线中间并未打开转向灯时,报警单元切换到启用状态;在启用状态下,若车偏离车道,处理器对图像处理的结果中得到分道线角度数据满足离道条件,即图像分道夹角小于警报最小夹角时,则进入报警状态,警报立即触发;同时,警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报系统重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态;如果报警单元在设定时间阈值内所得分道线的角度数据处于安全范围内时,即使有小范围摆动,也认为车未偏离车道,警报不会触发;当汽车转向时,提前打开转向灯,警报系统也将处于未启用状态。

所述阈值边缘检测的方法包括以下步骤:

步骤1:采用隶属度函数将待处理的图像映射为一个模糊矩阵 ;

步骤2:记图像具有 个灰度级,图像大小为 ,模糊矩阵 的元素 为图像的隶属度函数为:;参数F=2; 与 的形状有关;

步骤3:对 进行非线性变换,得到:

;

步骤4:对 进行逆变换,得到模糊增强后的图像

步骤5:得到图像的边缘为:

本发明的预警系统及方法加入三轴加速计对关于镜头倾斜后图像处理的矫正,突破由于广角摄像头的光学特性的非线性变换问题,提升了识别的精确度和准确度。此外,在原始图像上预处理为边缘二值图像后再采用Hough变换算法,鲁棒性和抗干扰性较高,代替现有的DSP视频处理芯片,更快速地实现实时视频处理。

本发明的预警系统和预警方法中的无须人为进行操作,系统自动识别运行状态,根据运行状态自动进行报警,智能化程度高。采用特别的定制算法,保证了最终结果的准确性。

本发明的预警系统和预警方法中的报警单元采用了独特的报警机制,分三个状态:未启用,启用,报警; 车辆刚启动时,警报系统处于未启用状态,一旦满足预警启动条件(车辆正常行驶在两分道线中间并未打开转向灯)后,警报系统切换到启用状态;在启用状态下,如果车偏离车道,图像处理运算得到分道线角度数据满足离道条件(图像分道夹角小于警报最小夹角),则进入报警状态,警报立即触发;警报触发有一个较短的持续缓冲时间,在该时间内汽车重新满足预警启动条件则警报系统重新进入启用状态,如果依旧未检测到满足启用状态的分道线角度则进入未启用状态。如果最近所得分道线的角度数据处于安全范围内时,即使有小范围摆动,但认为车未偏离车道,警报不会触发;或者,车要转向,提前打开转向灯,那么警报系统处于未启用状态。系统自动进行报警状态识别,无须人工进行操作,具备高度的智能化。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1