专利名称：嵌入式集成视觉辅助行车安全系统的制作方法
技术领域：
本实用新型涉及视觉辅助行车安全系统，更具体地说是一种主要用于防止车辆撞车或偏 离车道的安全行车系统。
背景技术：
日益增长的汽车产量以及日益增长的安全担忧，正推动主动和被动安全系统市场的发 展。根据德国保险协会(German Insurance Association)的研究，有25%的交通事故的原 因是驾驶员注意力不集中、反应延迟，甚至在车内打瞌睡。使得研究辅助行车安全系统这一 课题变得尤为重要。
目前，作为车辆的常规配置，辅助行车安全系统主要有如下两种形式，但却各自存在有 问题.
1、 使用雷达进行被动探测，以便探测警戒区域内的事故物体，但没有为驾驶人员直观 地标识出事故物体所在的具体位置。
2、 将雷达应用于车道变换辅助系统LCA，但只在车辆变道时探测到事故物体的存在， 才会发出警报，不能避免驾驶人员因注意力不集中所造成的非自主变道行为。
3、 存在视觉盲区。机动车辆左右两侧3米、后方3米以内的区域极易形成车外后视镜 上的视觉盲区。
实用新型内容
本实用新型是为避免上述现有技术所存在的不足之处，利用计算机视觉和信息融合技 术，提供一种嵌入式集成视觉辅助行车安全系统， 一方面，当邻近车道有从后部高速接近的 车辆或其它可能引起事故的物体时，系统能够提前告知驾驶员潜在的危险； 一旦驾驶员变换 车道，系统将触发警告，使驾驶员能够及时反应，避免碰撞；另一方面，若车辆没有在受控 的情况下偏离车道，系统能够发出警告，以保证行驶安全。
本实用新型解决技术问题釆用如下技术方案
本实用新型嵌入式集成视觉辅助驾驶安全系统的特点是其系统构成包括 一个由视频图像采集器和测距雷达共同组成的采集模块，实时采集车身四周的环境状
况；
一个基于总线形式的传输模块，在系统各模块之间进行通信和在系统与车内其它车载电 子设备之间进行通信；
一个由信息处理模块和存储模块共同组成的主控模块，接受来自所述采集模块的关于车身四周的环境状况的采集信息，通过图像缝合、信息融合和同步图像识别实现行车车道的识 别和跟踪，以及捕获和跟踪行车过程中防范区域内潜在事故物体，配合检测驾驶者是否有主 动变换行车方向的动作，输出执行信号至人机接口模块；
一个由声音警报器、振动警报器、视频显示器和操作按钮组成的人机接口模块，接受所 述主控模块的输出信号，执行相应的显示或预警。
本实用新型系统的结构特点也在于
所述防范区域是机动车辆左右两侧3米和后方3米以内的区域。
所述视频图像采集器是可红外夜视、视角为105° 120 。的CM0S摄像头，至少为四只，
分别安装于车前、车左侧、车右侧和车尾。
所述测距雷达采,用微米波雷达，至少三只，分别安装于车身左侧、车身右侧和车身尾部。 所述安装于车身左侧和车身右侧的测距雷达的探测距离不少于50米，安装在车身尾部
的测距雷达的探测距离不少于100米。
所述人机接口模块中的视屏显示器是安装于车内前部面板上的彩色LCD显示器。 所述人机接口模块中的振动报警器是安装于汽车方向盘内的振动器。 所述基于总线形式的数据传输模块是采用汽车通用CAN总线协议接口。 本实用新型系统中由所述人机接口模块执行的预警包括
a、 在驾驶员非主动变换行车方向而车身偏离车道时，系统以声音警报器发声预警；
b、 在驾驶员不主动变换车道正常行使中，视频显示器显示车身四周融合的视频图像， 且闪烁圈定视频图像内的潜在事故物体；
c、 在驾驶员主动变换车道，视频图像内存在潜在事故物体且雷达探测到该事故物体时， 振动警报器振动预警。
与已有技术相比，本实用新型的有益效果体现在-
1、 本实用新型利用视频图像采集器的采集信号，经过视频缝合和信息融合后输出探测 区域内的"合成"视频；同时应用图像识别技术同步识别邻近车辆和行人，克服了雷达探测 的被动性和非可视性；通过闪烁圈定视频中潜在的事故物体，来提醒驾驶员注意，实现主动 安全行车，为安全驾驶提供有力保障。
2、 本实用新型通过视频图像采集器实时监测车身相对车道标志线的位置，同时进行车 道标志线识别和安全规则匹配，可以有效识别驾驶员是否为非主动变道。在驾驶者非主动变 换行车方向而车身偏离车道时，系统以声音警报器发声预警，可以有效避免事故发生。
3、 本实用新型人机接口模块中的操作按钮可以用于设定设定系统运行参数和系统运行时的主动预警等级。将主动预警等级和危险程度关联起来，根据危险程度来确定三个危险等 级，分别为高、中和低三级。驾驶者根据开车习惯，可以对系统运行状态设置成高安全性、 中安全性和低安全性三个运行状态，三个运行状态决定从危险程度确定危险等级的阀值，运 行状态安全性越高，危险等级的阀值越小，从而安全行车系数越高。根据运行状态决定的阀 值，视频图像中被闪烁圈定的事故物体被动态赋予高、中、低三个危险等级。
图l为本实用新型系统结构图。 图2为本实用新型设备结构框图。
图3为雷达安装位置及探测范围示意图。
图4为本实用新型盲区探测BSD与车道变换辅助系统LCA原理示意图。
图5为本实用新型BSD与LCA功能框图。
图6为本实用新型离开车道警告系统LDW的原理示意图。
图7为本实用新型LDW功能框图。
以下通过具体实施方式
，结合附图对本实用新型作进一步描述。
具体实施方式
参见图1，本实施例基于高性能的嵌入式控制平台，采用C0MS摄像头和测距雷达，包 括车左侧雷达和摄像头、车右侧雷达和摄像头、车尾雷达和摄像头，以及车前摄像头实时监 测视觉防范区域和车辆相对于车道的位置。将其中信号采集、存储、传输、MCU、信息处理 模块封装为控制盒。基于总线形式的传输模块，在系统各模块之间进行通信和在系统与车内 其它车在电子设备之间进行通信。信息处理模块和存储模块组成的主控模块，接受来自采集 模块的关于车身四周环境状况的采集信息，经过图像缝合、信息融合和同步图像识别实现行 车车道的识别和跟踪，以及捕捉和跟踪行车过程中防范区域内潜在的事故物体。人机接口模 块式由声音警报器、振动警报器、视频显示器和操作按钮组成。
按照本领域内的常规技术，图像缝合是基于0pencv的自适应模板匹配算法，通过Harris 算子提取图像角点，利用角点数量和位置信息，自适应地调整匹配模板大小和位置。这一 模板匹配方式不仅能自适应地改变模板大小和位置，而且能解决彩色图像光照变化所造成的 误匹配问题。信息融合是为保证缝合后的图像能保持流畅的视觉效果，首先利用方差和均值 这两个统计参数对待缝合图像进行调整，将一幅图像的统计特征赋给待缝合的另外一幅，使 得待缝合的图像亮度达到基本一致。接着通过引入最优化融合因子。同步图像识别算法是基 于特征的识别算法，利用基元提取、特征聚类和匹配来进行车道和运动车辆、行人的跟踪，使用的特征是线段、角点的局部特征。算法运算速度快，实现了同步图像识别。且适用于复 杂交通环境，尤其是当多个目标相连或相互遮挡时，能够利用少数几个特征点进行识别，充 分利用局部特征信噪比高的特点。
图2中所示的四个摄像头分别安装于车前、车左侧、车右侧和车尾。采用COMS摄像头， 具有较高图像动态捕获范围、较高分辨率、有夜视功能且满足行车环境的需要。图2所示的 三只雷达是分别安装于车身左侧、车身右侧及车身尾部的微米波雷达，其探测距离应覆盖图 3定义的范围；数字信号处理器8是集成CAN总线接口和视频接口等外围接口的高性能数字 信号处理器，其处理能力要能满足多任务的实时处理要求；存储器9是SDRAM和FLASH RAM 共同组成的存储部件，SDRAM采用双向接口类型，且容量满足视频釆集量的需要，FLASH RAM 存储软件、系统参数和其它固件；LCD显示器11采用彩色液晶显示器，安装于车内仪表盘 位置处，用于实现决策后的预警与显示盲区视频的功能。振动器12安装于汽车方向盘内， 当驾驶者主动变换车道时且存在潜在引发事故的物体时，产生振动预警；车内电子设备10 包括车内方向盘转动传感器和指示灯控制器，用来接受驾驶者主动变换行车方向的信号。
参见图3，采用微米波雷达，分别安装于车身左侧和车身右侧的两个侧部雷达31和安 装于车身尾部的一个尾部雷达32，提供了车身两侧至少分别为50米、车身尾部至少为IOO 米的探测距离，如图3所示的区域A;根据雷达波发射与接受信号，精确测算该区域内一定 体积大小范围的物体与车身的相对速度和距离，此相对速度与距离作为物体危险程度计算的 依据。
参见图4，按已有技术，车辆左右两侧3米和后方3米的区域内为车外后视镜上的视觉 盲点。图中e为车后视镜视角范围。目前，奥迪、奔驰和TRW等，均采用中程雷达或短程雷 达作为探测盲区的传感器，但只能给出探测区域是否存在行人或邻近车辆这种"是与否"的 结果。
本实施例中，采用大视角视频监测盲区方式弥补雷达探测的不足。为了不仅为驾驶员提 供盲区是否存在危险的单一信息，而且让驾驶员更直观清楚地了解盲区中行人及邻近车辆的 情况。采用视角a为105° 120 °、小型彩色红外CMOS摄像头，分别设置在车身左侧、车 身右侧和车身尾部，即两个侧部摄像头41和一个尾部摄像头42，根据车身大小，同步调整 三个CMOS摄像头的角度，使得视频画面重叠区域大于单幅视频的20%，且小于单幅视频的 50%。三个CMOS摄像头实时探测后视镜遗留的全部盲区。
参见图5， BSD与LCA由三个CMOS摄像头、测距雷达、信号采集存储模块、信息拟合模 块、图像拟合模块、警报器、视频显示器构成，其中CMOS摄像头为小型彩色红外摄像头，摄像头角度可以调整。
测距雷达，采用微米波雷达。为了减低成本，提高性价比，因此必须要提高雷达的性能， 降低雷达的成本，并减少系统中雷达的用量。
信号采集存储模块用于采集盲区信息及存储各种驱动、应用软件和采集到的视频信息。 BSD和LCA共享信号采集模块。
信息拟合模块是基于图像的测量。利用图像处理和图像拟合技术将三个CMOS摄像头监 测的盲区信息缝合成一幅更完整的图像，真正实现无盲区驾驶。
图像拟合模块是基于图像识别和与分割。应用图像识别技术，更直观地标识盲区中潜在 的事故物体所在位置。即对信息拟合模块输出的多传感器"合成"影像，同步识别、估算临 近(最短距离)事故物体，通过闪烁圈定被识别出的潜在事故物体来提醒驾驶员注意。
警报器在驾驶员主动变换车道，视频图像内存在潜在事故物体且雷达探测到该事故物 体时，振动警报器振动预警。该振动报警器安装于汽车方向盘内的振动器。BSD和LCA共享 报警器。
视频显示器是用来显示3个CMOS摄像头获取的探测区域的"合成"视频。该视频显示 器是安装于车内前部面板上的彩色LCD显示器。
参见图6，离开车道警告LDW，通过安装在车前端保险杠的一个CM0S前端摄像头61， 实施监测车身相对车道标志线的位置，该前端摄像头61的视角范围Y为105° 120 °。当 驾驶员在注意力不集中的情况下发生非主动变道时，报警器将发出报警，提醒驾驶员注意。
参见图7， LDW由一个摄像头、信号采集模块、存储、车道标志线识别安全规则匹配模 块和警报器构成，其中
信号采集模块用于采集车身相对车道标志线的位置信息；
存储模块用于存储各种驱动、应用软件和采集到的视频信息；
车道标志线识别安全规则匹配模块包括并行开展车道标志线识别算法、图像拟合算法、 临近车辆/行人识别提取算法、基于图像测量算法；
警报器，在驾驶员非主动变换行车方向而车身偏离车道时，系统以声音警报器发声预警， 以避免交通事故的发生。
权利要求1、一种嵌入式集成视觉辅助行车安全系统，其特征在于系统构成包括一个由视频图像采集器和测距雷达共同组成的采集模块，实时采集车身四周的环境状况；一个基于总线形式的传输模块，在系统各模块之间进行通信和在系统与车内其它车载电子设备之间进行通信；一个由信息处理模块和存储模块共同组成的主控模块，接受来自所述采集模块的关于车身四周的环境状况的采集信息，通过图像缝合、信息融合和同步图像识别实现行车车道的识别和跟踪，以及捕获和跟踪行车过程中防范区域内潜在事故物体，配合检测驾驶者是否有主动变换行车方向的动作，输出执行信号至人机接口模块；一个由声音警报器、振动警报器、视频显示器和操作按钮组成的人机接口模块，接受所述主控模块的输出信号，执行相应的显示或预警。
2、 根据权利要求1所述的嵌入式集成视觉辅助行车安全系统，其特征是所述视频图像 采集器是可红外夜视、视角为105° 120 °的CMOS摄像头，至少为四只，分别安装于车前、 车左侧、车右侧和车尾。
3、 根据权利要求1所述的嵌入式集成视觉辅助行车安全系统，其特征是所述测距雷达 采用微米波雷达，至少三只，分别安装于车身左侧、车身右侧和车身尾部。
4、 根据权利要求3所述的嵌入式集成视觉辅助行车安全系统，其特征是所述安装于车 身左侧和车身右侧的测距雷达的探测距离不少于50米，安装在车身尾部的测距雷达的探测 距离不少于100米。
5、 根据权利要求1所述的嵌入式集成视觉辅助行车安全系统，其特征是所述人机接口 模块中的视屏显示器是安装于车内前部面板上的彩色LCD显示器。
6、 根据权利要求1所述的嵌入式集成视觉辅助行车安全系统，其特征是所述人机接口 模块中的振动报警器是安装于汽车方向盘内的振动器。
7、 根据权利要求1所述的嵌入式集成视觉辅助行车安全系统，其特征是所述基于总线 形式的数据传输模块是采用汽车通用CAN总线协议接口 。
专利摘要一种嵌入式集成视觉辅助驾驶安全系统，其特征在于系统构成包括一个由视频图像采集器和测距雷达共同组成的采集模块；一个基于总线形式的传输模块；一个由信息处理模块和存储模块共同组成的主控模块和一个由声音警报器、振动警报器、视频显示器和操作按钮组成的人机接口模块。本实用新型利用计算机视觉和信息融合技术，一方面，当邻近车道有从后部高速接近的车辆或其它可能引起事故的物体时，系统能够提前告知驾驶员潜在的危险；一旦驾驶员变换车道，系统将触发警告，使驾驶员能够及时反应，避免碰撞；另一方面，若车辆没有在受控的情况下偏离车道，系统能够发出警告，以保证行驶安全。
文档编号G01S13/93GK201240344SQ20082011173
公开日2009年5月20日 申请日期2008年5月14日 优先权日2008年5月14日
发明者吴燎原, 张仁斌, 钢 李, 艳 薛, 隽 高 申请人:合肥工业大学