专利名称：基于多传感器信息融合的碰撞及偏离预警装置的制作方法
技术领域：
本实用新型涉及一种汽车驾驶员安全辅助系统，尤其涉及一种避免前向碰撞及车道偏离的预警系统。
背景技术：
近年来，随着我国道路车辆数量的迅速增长，道路运输安全形势日益严峻。特大恶性交通事故频繁发生，不仅人员伤亡多，经济损失大，而且极易引起复杂的社会问题。据公安部2007年统计，我国道路交通事故致死总人数中，由货运车辆导致的占了 29. 4%。为此， “国家中长期科学和技术发展规划纲要” O006-2020年)已将交通运输安全保障技术列为国家重大科技需求，投入大量人力物力开展各分项技术及其系统集成的研发工作，以减少重大交通事故的伤亡和经济损失，并加快技术成果转化，从而推动行业进步。对交通事故的研究表明，驾驶员是影响道路交通安全性的主要因素。根据我国2004年的统计结果，由于驾驶员过失造成的交通事故数和死亡人数分别占到总数的 89. 8%和87. 4%。由于人的反应时间、动作速率以及驾驶经验都有一定的局限性，而且驾驶员不可能在驾驶过程中始终保持最佳状态，所以经常会有由于驾驶员疲劳和疏忽以致不能妥善处理车辆行驶过程而发生的突发事件和紧急情况。因此，只要由人来驾驶车辆，就可能存在事故隐患。驾驶员辅助系统是解决这一问题的一项有效技术，它已经得到各汽车厂家和用户的积极关注。安全辅助驾驶是智能交通系统的重要组成部分，其中自动巡航控制系统、车辆前向碰撞预警系统、前向避撞辅助系统等都可以大大减轻驾驶人员的负担，提高交通系统的安全性。实时准确地检测汽车前方行驶车辆等障碍物位置、速度信息是汽车防碰撞预警、 自适应巡航控制等辅助驾驶系统实现的前提。多传感器信息融合是信息技术领域的发展方向。因此构建基于雷达和机器视觉的车辆前方障碍物检测系统可以为安全辅助驾驶系统的发展提供理论指导和技术支持。现有技术中，关于汽车防撞防车道偏离控制装置也有研究，
公开日为2009年11月 25日，公开号为CN 101585361A的中国实用新型专利申请中公开了一种“汽车防撞防车道偏离控制装置”。包括77GHz毫米波雷达器，CXD视觉机器，雷达信号处理装置，视频处理模块，车载显示器，传感器，控制软件和扬声器；77GHz毫米波雷达器，CXD视觉机器，雷达信号处理装置，视频处理模块，车载显示器，传感器，控制软件和扬声器之间由信号连接。该技术方案的不足之处是不具备CCD与雷达结合的方法，根本不能提高汽车防撞防车道偏离的准确率。
实用新型内容针对上述现有技术，本实用新型提供一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置。根据车载障碍物检测的需求，确立本实用新型前向碰撞及车道偏离的预警装置设计的基本思路是由车载雷达和前方CMOS摄像机获取前方车路信息，传送给车载计算机(即车载处理单元)进行信息融合处理，对车辆前方障碍物进行检测，并判断其危险等级，最后将报警信息以图形界面、震动或者声音提示的方式直观地提供给驾驶员。本实用新型所具有的主要功能是通过雷达、摄像机等传感器及时发现车辆行驶中潜在的碰撞危险，为驾驶员提供警示信息，及时提醒驾驶员调整车辆行驶状态，避免或减轻碰撞事故。为了解决上述技术问题，本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置予以实现的技术方案是，包括毫米波雷达传感器、USB-CAN通讯接口模块、前方CMOS摄像机、图像采集模块、显示器及报警模块；车载处理单元；其中，所述毫米波雷达传感器用于检测其视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值，所述USB-CAN通讯接口模块将雷达信息传给所述车载处理单元进行处理；所述前方CMOS摄像机用于获取前方障碍物类型、在车道中的位置以及道路标线信息；所述图像采集模块通过同轴电缆接收前方CMOS摄像机拍摄到的电视图像画面，并对所获取的图像进行处理；所述车载处理单元对来自于所述USB-CAN通讯接口模块和图像采集模块的雷达信号和机器视觉信息进行融合处理；所述车载处理单元包含设备驱动模块、雷达数据接收和处理模块、图像数据接收和处理模块、数据融合模块、雷达目标显示模块以及图像显示模块；所述显示器及报警装置是人机交互接口，其中，所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息；所述报警装置用于发出语音报警信息，提示驾驶员注意保持安全距离。本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置，其中，所述数据融合模块同时具有时间和空间上的信息融合功能，其中所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合。所述毫米波雷达传感器的最大探测距离为175m。与现有技术相比，本实用新型的有益效果是在驾驶辅助系统，如前向碰撞预警和车道偏离报警系统的行车环境中，雷达的测量值可能来自于目标车辆，也可能来自于其他干扰物。由于雷达自身工作状态不稳定或目标回波能量分布不均，可能出现虚假目标。同时，由于车辆行驶过程中的随机颠簸和摆动， 雷达测量信号还可能出现短暂丢失的情况，从而导致目标物信息出现较大波动。因而，需要先对雷达测量信号进行相关处理，以便准确地选取有效目标。雷达对目标的检测和识别分为三部分目标初选，目标信息预测以及目标一致性检验。其中，目标初选是遵循一定的规则，从所有雷达检测到的目标中选择一个有效目标。如何定义有效目标与驾驶辅助系统的类型有关。比如，对于自适应巡航控制系统(ACC)来讲，有效目标是处于本车道中，在本车前方最近的移动车辆；对于前向报警系统来说，有效目标则是处于本车道中，在本车前方最近的任何静止或者运动的障碍物。目标信息预测用于预估有效目标未来时刻的运动状态， 为目标一致性检验做准备。而目标一致性检验则采用初选目标信息与目标预测值的相似程度进行判定和评价，以实现有效目标的跟踪功能。人、车、路和环境是组成交通系统的基本要素，交通系统的运作通过这些基本要素相互作用和变化得以体现。车辆行驶在道路上，其行驶环境信息中最重要部分是车辆前方的信息。车辆前方信息也就是车辆前方道路上交通要素的相关信息。这些信息包括静态信息和动态信息。静态信息主要有前方道路的线形、设施等信息。动态信息主要有前车和本车的距离、速度、加速度、方位、在车道中的位置等信息。本实用新型中采用雷达来获取前方车辆的距离、速度等信息，采用摄像机来获取前车在车道中的位置以及道路标线等信息，通过一车载处理单元控制毫米波雷达传感器、 USB-CAN通讯接口模块、前方CMOS摄像机、图像采集模块、显示器及报警模块；并对接收到的雷达信号和机器视觉信息进行融合处理，最终将融合后的信息交由图像显示模块进行显示，并根据目标的危险等级作出相应的报警提示。本实用新型通过雷达、摄像机等传感器及时发现车辆行驶中潜在的碰撞危险，为驾驶员提供警示信息，及时提醒驾驶员调整车辆行驶状态，避免或减轻碰撞事故。本实用新型预警装置采用视觉机器与雷达相结合，从根本上提高了汽车防撞防车道偏离的准确率，经过试验得出可以提高(5-20)%的准确度。
图1是本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置的结构框图；图2是本实用新型中车载处理单元的结构框图；图3是本实用新型中图像采集与处理的主流程图；图4是本实用新型中信息融合的主流程图；图5是本实用新型中实现信息融合的结构框架图；图6是本实用新型中实现信息融合中的车辆行驶坐标系；图7是本实用新型中信息融合试验匹配图。
具体实施方式
根据车载障碍物检测的需求，本实用新型基于多传感器信息融合的前向碰撞及车道偏离的预警装置的基本思路是由车载雷达(毫米波雷达传感器10)和前方CMOS摄像机30获取前方车路信息，传送给作为车载处理单元的计算机进行信息融合处理，对车辆前方障碍物进行检测，并判断其危险等级，最后将报警信息以图形界面、震动或者声音提示的方式直观地提供给驾驶员。由上述设计思路可以确定本实用新型预警装置具备信息获取功能、通信功能、信息处理功能和信息输出功能。下面结合具体实施方式
对本实用新型作进一步详细地描述。如图1所示，本实用新型一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置，包括毫米波雷达传感器10、USB-CAN通讯接口模块20、前方CMOS摄像机30、图像采集模块40、显示器60及报警模块70 ；还包括一车载处理单元50。其中，所述毫米波雷达传感器10用于检测其视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值，所述毫米波雷达传感器10的最大探测距离为175m。所述USB-CAN通讯接口模块20将雷达信息传给所述车载处理单元50进行处理； 所述前方CMOS摄像机30用于获取前方障碍物类型、在车道中的位置以及道路标线信息； 所述图像采集模块40通过同轴电缆接收前方CMOS摄像机30拍摄到的电视图像画面，并对所获取的图像进行处理；所述车载处理单元50 (所述车载处理单元50既可以基于车载工控机，也可以基于嵌入式处理器)对来自于所述USB-CAN通讯接口模块20和图像采集模块 40的雷达信号和机器视觉信息进行融合处理；如图2所示，本实用新型中的所述车载处理
5单元50包含设备驱动模块51、雷达数据接收和处理模块52、图像数据接收和处理模块53、 数据融合模块M、雷达目标显示模块55以及图像显示模块56 ；所述数据融合模块M同时具有时间和空间上的信息融合功能，其中所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；如图1所示，所述显示器60及报警装置 70是人机交互接口，其中，所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息；所述报警装置用于发出语音报警信息，提示驾驶员注意保持安全距离。利用上述基于多传感器信息融合的前向碰撞及车道偏离的预警装置进行预警的方法，是利用所述车载处理单元50对来自于所述USB-CAN通讯接口模块20和图像采集模块40的雷达信号和机器视觉信息进行融合处理，如图2所示，从结构上分为雷达数据处理和图像数据处理两部分，其基本原理为雷达数据处理——首先，雷达数据接收和处理模块52通过USB-CAN通讯接口模块 20接收雷达系统(本实用新型中指毫米波雷达传感器10)传送的数据，并对接收到的雷达数据进行解算，经过滤波将稳定的目标挑选出来，得到一组固定格式的目标数据，再由雷达图形显示模块55将二维目标方位实时显示在显示屏上。图像数据处理——首先由图像数据接收和处理模块53接收前方CMOS摄像机30 采集到的原始图像数据，图像数据接收和处理模块53对采集到的图像进行预处理，然后对车道线和障碍物进行特征提取与匹配。将本实用新型的预警装置用于防止车辆前向碰撞及车道偏离的预警，包括以下步骤步骤一、设备驱动利用设备驱动模块51驱动设备，包括打开车载摄像机并驱动毫米波雷达传感器 10和前方CMOS视觉传感器30 ；步骤二、雷达数据及图像数据的接收与处理 车载处理单元50中的雷达数据接收和处理模块52通过所述的USB-CAN接口模块 20接收来自于所述毫米波雷达传感器10传送的雷达数据，该雷达数据包括在所述毫米波雷达传感器10的视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值；与此同时，所述的图像采集模块40通过同轴电缆接收前方CMOS视觉传感器30拍摄到的电视图像画面，所述电视图像画面包括所获取的前方障碍物类型、在车道中的位置以及道路标线信息，所述车载处理单元50中的图像数据接收和处理模块53获取该电视图像画面后将视频流分解成单帧图像；然后对车道线和障碍物进行特征提取与匹配。图3示出了本实用新型中一种图像采集与处理方法的流程。步骤S10:开始；步骤Sll 设置摄像机参数，如分辨率为640X480 ；步骤S12:打开摄像机；步骤S13 判断是否已经打开摄像机，如果判断结果为否，返回执行步骤S12 ；步骤S14 如果判断结果为真，将视频流分解成单帧图像，进行捕捉；步骤S15 判断是否分解图像成功，捕获到单帧图像，如果判断结果为否，返回执行步骤S14 ；步骤S20 如果判断结果为真，开始进行信息融合步骤(见后面的步骤三)；步骤S30 将信息融合步骤S20的处理结果显示出来，并将叠加的图像层显示在控件上。步骤三、信息融合将上述步骤二中得到的所有障碍物中每个目标的相对距离、相对速度和方位角度值及车道线位置输入数据融合模块M进行像素级融合；包括时间上的信息融合和空间上的信息融合；所述时间上的信息融合，是采用线程同步方式创建雷达数据接收线程和摄像机数据接收线程，当每次采集当前帧图像时获取雷达当前时刻的数据，这样就将雷达数据和摄像机数据进行了时间上的同步。所述空间上的信息融合过程如图4所示，是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融合；预警信息融合和目标类型判断信息融合这两种融合都结合了雷达信息和图像信息。其中(1)预警信息融合——根据雷达10提供的距离和速度信息，判断该目标的危险等级。如果危险等级较低则将其放入观察区，不作处理。如果危险等级较高，则结合图像识别检测到的车道线位置，判断该目标与本车是否处于同一车道，如果不处于则将其也放入观察区，如果处于同一车道，则根据危险等级，采用语音报警的方式提示驾驶员。(2)目标类型判断信息融合——将雷达坐标系下的目标投影到图像坐标系中，在图像中得到该目标对应的投影点，再以该投影点为中心，根据车距和车辆尾部尺寸的先验知识在图像中选取合适大小的矩形感兴趣区域，这样就将原来的整幅图像多目标分割任务分解成局部单目标分割任务。然后对每个ROI进行基于知识或者模板的识别方法，进而识别出目标的类型。如图4所示步骤S201 根据雷达数据接收和处理模块(5 所获取的雷达数据解算出所识别目标的相对坐标和速度；步骤S202 将目标的相对坐标进行透视变换；步骤S203 得到目标在图像上对应的坐标；步骤S204 利用图像数据接收和处理模块53获取图像数据；步骤S205 识别车道线；步骤S206 判断本车是否会存在车道偏离可能，如果判断结果为否，返回步骤 S204准备进行下一帧图像数据的处理；步骤S207 如果判断结果为真，发出车道偏离预警；步骤S208 结合步骤S203中的目标在图像上的对应坐标和步骤S205的车道位置信息，判断本车与目标是否处于同一车道，如果判断结果为否，返回步骤S208准备进行下一帧图像数据的处理；步骤S209 如果判断结果为真，在可能的目标在图像上对应的坐标周围建立可变大小的感兴趣区域ROI ；步骤S210 在步骤S209中建立的感兴趣区域ROI内进行目标识别，检验是否在该感兴趣区域ROI内识别出车辆；步骤S211 判断该目标的危险级别是否高于阈值；如果判断结果为否，返回步骤 S204准备进行下一帧图像数据的处理；步骤S212 如果判断结果为真，发出前向碰撞预警。以下是对上述步骤S202坐标变换(即完成空间上的数据融合)的进一步描述。通过求解摄像机外部参数的约束方程后，雷达、摄像机、图像和车体坐标系的相对关系可以完全确定，从而雷达扫描点可以通过摄像机模型投影至图像像素坐标系上。建立车体坐标系中物点P(xv，yv，zv)与图像像素坐标系中像点p(u，v)之间的转换关系，其像素级数据融合关系式如下(u，V，1)T = K (Rc (xv, yv, zv) T+Tc)(1)式(1)中，I 。为摄像机外部参数的旋转矩阵，T。为摄像机外部参数的平移向量，.fx、fy为χ和y方向的等效焦距，u0, Vtl为图像像素中心的坐标；式(2)中，K为摄像机内部参_t 矩阵7,0U0K =0fyV0(2)001通过式⑴和式⑵完成空间上的数据融合，其数据融合第一个目的是为了把雷达坐标系、摄像机坐标系、图像像素坐标系和车体坐标系统一起来。坐标系的统一和建立有利于环境感知传感器对环境和障碍物具体距离和方位的测量，摄像机外部参数的标定可以实现逆透视投影变换，为车辆视觉导航提供重要参数。另一个目的是为了把雷达扫描点投影到图像上，在图像坐标系上形成动态的感兴趣区域R0I，这样有利于缩小对前方车辆、行人或其他障碍物识别与跟踪的搜索区域，从而减少系统计算的时间，提高系统实时性。同时结合摄像机与雷达各自的感知特点，可以增强系统的鲁棒性，有效提高检测准确率，降低识别的虚警率。雷达对目标参数的描述采用的是二维的平面坐标系，视景图像中的目标参数则采用三维空间坐标系。摄像机拍摄的目标图像可以根据透视关系简化为目标在显示平面上的投影。车辆目标在三维空间的位移有一些固有的规律，通过对描述车辆移动规律的关键参数进行分析，可以确定目标二维参数在三维视景图像中的投影关系。实现雷达目标从二维平面坐标到三维视景坐标的转换的过程是首先，建立一个三维空间坐标系Ο-xyz件图5，y轴指向为车头方向，0点表示透视投影的焦点；在y轴上的0’点垂直于χ轴的平面上建立一个矩形表示显示平面，在ζ轴处垂直于ζ轴的平面上建立一个矩形表示道路平面；在这个简化模型中，用点的坐标描述车辆目标的位置参数， 设车辆目标点为三维空间坐标系Ο-xyz中的点R1,且该点位于道路平面Z1上，该点的坐标为R1 (xi; Y1, Z1)；设目标点R1在显示平面上的投影点为R2，因为R1和R2之间满足透视投影关系，所以&即线段OR1和显示平面的交点。如图5所示，假设雷达传感器和摄像机都安装在车辆左右正中的纵剖面上，设雷达目标点在以传感器位置为原点的二维平面坐标系中的坐标为Τ(χκ，yK)，雷达目标坐标系原点到焦点0的等效水平距离为d，焦点0相对于道路平面的等效高度为h，显示屏平面到焦点0的等效距离为1，根据其几何关系，可得[0071]
权利要求1.一种基于多传感器信息融合的前向碰撞及车道偏离的预警装置，包括毫米波雷达传感器(10)、USB-CAN通讯接口模块00)、前方CMOS摄像机(30)、图像采集模块00)、显示器(60)及报警模块(70)；其特征在于还包括车载处理单元(50)；所述毫米波雷达传感器(10)用于检测其视野范围内的所有障碍物，并测量出每个目标的相对距离、相对速度和方位角度值；所述USB-CAN通讯接口模块00)将雷达信息传给所述车载处理单元(50)进行处理； 所述前方CMOS摄像机(30)用于获取前方障碍物类型、在车道中的位置以及道路标线 fn息；所述图像采集模块GO)通过同轴电缆接收前方CMOS摄像机(30)拍摄到的电视图像画面，并对所获取的图像进行处理；所述车载处理单元(50)对来自于所述USB-CAN通讯接口模块00)和图像采集模块 (40)的雷达信号和机器视觉信息进行融合处理；所述车载处理单元(50)包含设备驱动模块(51)、雷达数据接收和处理模块(52)、图像数据接收和处理模块(53)、数据融合模块 (M)、雷达目标显示模块(5 以及图像显示模块(56)；所述显示器(60)及报警装置(70)是人机交互接口，其中，所述显示器用于提供已识别出的车道线和前方障碍物的图像和报警信息；所述报警装置用于发出语音报警信息，提示驾驶员注意保持安全距离。
2.根据权利要求1所述的基于多传感器信息融合的前向碰撞及车道偏离的预警装置， 其特征在于所述毫米波雷达传感器(10)的最大探测距离为175m。
3.根据权利要求1所述的基于多传感器信息融合的前向碰撞及车道偏离的预警装置， 其特征在于所述数据融合模块(54)同时具有时间和空间上的信息融合功能，其中所述时间上的信息融合是采用线程同步方式将雷达数据和摄像机数据实现时间上的同步；所述空间上的信息融合是结合雷达信息和图像信息实现预警信息融合和目标类型判断信息融
专利摘要本实用新型公开了一种基于多传感器信息融合的前向碰撞及车道偏离预警装置，包括毫米波雷达、通讯接口模块、摄像机、图像采集模块、显示及报警模块和车载处理单元；所述车载处理单元可实现对来自于所述通讯接口模块和图像采集模块的雷达信号和机器视觉信息进行融合处理；将上述预警装置用于防止车辆前向碰撞及车道偏离的预警，包括设备驱动；雷达数据及图像数据的接收与处理；信息融合；最后将融合信息进行显示。本实用新型通过雷达、摄像机发现车辆行驶中潜在的碰撞危险，为驾驶员提供警示信息。本实用新型预警装置采用视觉与雷达相结合，从根本上提高了汽车防撞防车道偏离的准确率，经过试验得出可以提高(5-20)％的准确度。
文档编号H04N7/18GK202163431SQ20112022932
公开日2012年3月14日 申请日期2011年6月30日 优先权日2011年6月30日
发明者何佳, 张殿明, 戎辉, 郑伟, 黄伟, 龚进峰 申请人:中国汽车技术研究中心