一种基于多传感器融合的弯道目标识别系统及方法与流程

本发明涉及智能终端领域，具体而言，涉及一种基于多传感器融合的高速公路弯道目标识别系统及方法。

背景技术

弯道处的目标识别、跟踪问题一直是环境感知领域一个重要的课题，对adas系统的发展具有重要意义。以acc系统为例，现有方法主要根据毫米波雷达信息，自动调节巡航车自身车速并维持与本车道前方车辆的安全距离。但在弯道路段，其前方通常会存在多个目标车辆，此时，系统经常会出现目标车混乱或丢失的现象，从而导致巡航车因非正常加速或减速而造成追尾事故。除此之外，考虑到雷达自身特性，弯道两侧的部分护栏、建筑物和标志牌等信息也会被雷达传递回来，这些目标可能会对车辆控制产生虚警。虚警一旦发生，可能会造成交通事故，影响高速公路正常运行。

现有方法大多采用机器视觉识别技术，或毫米波雷达数据的标志位(移动、新目标等指示位)对车辆前方目标进行识别，对于直道处的物体，有较高的识别率，但在弯道处，准确率会大大降低。若能结合车道线来确定车辆可行驶区域，对区域内物体进行分析，则能有效提高目标识别的准确率，但这就要求车道线的识别要足够准确。

现阶段车道线识别主要依靠视觉来完成，一般包括车道线检测与跟踪两部分内容。其中车道线检测大体可分为基于特征检测和基于模型检测两大类。基于特征检测的方法主要应用道路的如边缘、颜色等特征进行道路检测。这一类检测方法易受到周围环境的影响，难以适用于如存在车辆遮挡、光线变化等驾驶环境。基于模型的检测方法主要应用特定的参数模型来匹配车道线，如采用了双曲线模型进行车道线检测，该类算法在存在车道线缺失时等情况下能根据车道线约束关系进行车道线推算的优点，但计算量相对较大，并需要预先知道车道线模型，在光照变化的环境下准确率会降低。

技术实现要素：

为解决以上问题，本发明提供了一种基于视觉和毫米波雷达融合的高速公路弯道识别系统及方法，结合车辆当前车道可行驶区域对目标进行判断，存在准确率高、鲁棒性强等优点。

为实现上述目的，本发明提供的基于多传感器融合的弯道目标识别方法，包括以下步骤：

(1)基于机器视觉的车道线提取和拟合：相机安装标定后采集图像信息，对图像信息进行预处理，获取道路边缘信息，划分近、远视场，分别提取拟合近、远视场处的车道线，并获取其相关信息；

(2)基于毫米波雷达的车道线提取和拟合：雷达安装标定后采集信息，对雷达目标进行筛选和过滤，保留静止目标和运动目标，依据静止目标的位置、数量相关信息进行车道线拟合；

(3)可行驶区域确定：将图像信息处理输出的车道线信息与毫米波雷达信息处理输出的车道线信息进行融合，输出可行驶区域；

(4)基于视觉和毫米波雷达融合的目标识别：对于雷达所探测到的运动目标，结合可行驶区域进行有效目标初步判别，将有效目标点通过投影变换转到图像坐标系中，运用图像处理算法进行目标识别，输出最终的有效目标信息。对所述弯道近视场处的车道线，应用前帧检测结果，采用卡尔曼滤波模型对所述车道线进行跟踪。

对所述弯道远视场处的车道线，采用bp神经网络模型进行拟合。

根据本发明的另一个方面，还提供了基于多传感器融合的弯道目标识别系统，包括摄像头、毫米波雷达、数据处理单元，所述数据处理单元连接至所述摄像头、毫米波雷达，所述数据处理单元用于接收所述摄像头和毫米波雷达的检测信息，对所述检测信息进行处理，并输出最终结果。

所述毫米波雷达安装在车辆前端中心处，离地高度在35cm-65cm之间，使其安装平面尽量与地面垂直，与车体纵向平面垂直，即俯仰角和横摆角均接近0°。

所述摄像头安装在车辆内部后视镜底座正下方1-3厘米处，对摄像头俯仰角进行调节，当所处场景为直道时，使得图片下2/3区域为道路。

有益效果：(1)本发明识别系统，对弯道近视场处的车道线，应用前帧检测结果，采用卡尔曼滤波模型对车道线进行了跟踪，解决了车辆在行驶的过程中遇到的车道线缺失、磨损等车道线检测不到的问题。

(2)对弯道远视场处的车道线，采用bp神经网络模型进行拟合。选取了合适的网络结构后，网络便能经训练得到各节点之间的权值和阈值，得到拟合曲线，无需提前给定曲线表达式。

(3)综合考虑高速公路弯道特性和道路旁静止物体群分布规律，利用雷达返回的静止物体群的信息进行了车道线拟合，提高了雷达信息的利用率。

(4)在确定当前车道可行驶区域时，综合利用雷达和相机所采集的信息，并进行有效融合，提高了车道线的检测精度。

(5)结合当前车道可行驶区域与车道线类型，采用基于视觉和毫米波雷达的融合方法对弯道处目标进行识别，有效剔除了无效目标，解决目前acc、aeb系统弯道处前方目标混乱的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明一种基于视觉和毫米波雷达融合的高速公路弯道识别系统及方法的原理框架示意图；

图2为基于机器视觉的车道线提取和拟合的流程图；

图3为车道线模型；

图4为基于毫米波雷达的车道线提取和拟合的流程图；

图5为基于结合可行驶区域的视觉和毫米波雷达融合的目标识别的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本发明实施例提供的基于视觉和毫米波雷达融合的高速公路弯道识别系统及方法，它的原理框架示意图如图1所示。相机与毫米波雷达各自获取信息后进行信息预处理，对于雷达信息，过滤空信号、无效信号后保留静止目标信息与运动目标信息。考虑到对于高速公路而言，一般设置有护栏，它是按照一定的规律分布在道路的两旁，包含丰富的道路形状信息，并且通常会被雷达检测到。因此，可根据雷达所返回的静止目标的信息来推测较远处的车道线信息。对于图像信息，进行信息预处理后提取道路边缘，按照距离将道路分为近远视场，考虑到高速上车辆行驶速度及道路设计标准，认为近视场处的车道线为直线，采用hough变换进行直线拟合；对于远视场处的车道线，采用神经网络进行曲线拟合。结合视觉和毫米波雷达各自拟合的车道线信息进行信息融合，确定当前车道可行驶区域。对于雷达所探测到的运动目标信息，通过投影变换转换到图像坐标系中，若位于道路可行驶区域内，则进行目标融合，输出最终结果；若不在道路可行驶区域内，则考虑车道线类型，如果为虚线外侧，同样启动机器视觉目标识别模块，进行目标融合，否则认为该目标为“虚假”目标，进行滤除。具体来说：

(1)基于机器视觉的车道线提取和拟合，如图2所示。

当获取摄像头返回的图像信息后，考虑到图片上部一般为天空或其它信息，对研究车道线没有帮助，因此选取图片下2/3区域作为感兴趣区域(roi)进行研究。采用中值滤波消除由于噪声、光照不均匀等造成的噪点。为了提升处理速度，将图片转化为灰度图像，转化公式如下：

gray＝0.3b+0.59g+0.11r

其中，gray表示灰度图的亮度信息，r、g、b分别表示彩色图像的三个通道分量。在获取图像灰度图的基础上需要进行车道线边缘提取，本发明通过大津法自适应阈值(otsu)分割获取图像的二值图像，并采用多种sobel梯度过滤算法，如x轴方向、正切方向、向量值大小来滤除噪声。考虑到高速公路上黄线与白色水泥地的对比度太过接近，为了能够在保留黄线的同时滤除白色水泥，结合his颜色空间的s通道进行考虑，通常可将s通道的阈值设置在(110，130)之间。

完成图像预处理后，我们首先根据道路特征，建立结构化道路上的车道线约束模型：

其中，rd为机动车道的宽度约束量，wl为车道线线宽约束量，ll为车道线长度约束量，θ为车道线同纵向轴线的夹角，kl为对应的斜率。

考虑到车辆在高速行驶过程中，从驾驶员的视角观察到车道线近视场部分呈现为直线，远视场部分根据实际的道路情况会有直线与曲线之分，将感兴趣区域分为近视场区域a和远视场区域b部分。对于区域a用直线模型进行拟合，区域b用bp神经网络模型进行拟合，其车道线模型如图3所示，其中p0、p1分别为两车道线在两视场相接区域交点，q0、q1分别为近视场直线的另外两个端点。

对于区域a，其车道线模型可表示为：

xl＝cl×yl+dl

xr＝cr×yr+dr

上式中，cl和cr分别为左右两侧直道车道线的斜率，xl和xr分别为左右车道线的自变量，yl和yr分别为对应的因变量，dl和dr分别为车道线在x轴的截距。

综合考虑车道线的斜率，应用hough变换对图像下方1/2区域进行处理(预搜索区域)，通过比较提取hough变换后参数平面的峰值点，获得图像中左右车道线直线段的方程。根据方程确定两车道线的最低点和最高点，并求解两直线的交点(即消失点)。

考虑到车辆在行驶的过程中会遇到车道线缺失、磨损等车道线检测不到的情况，应用前帧检测结果对车道线进行跟踪。本发明中主要应用卡尔曼滤波器对如图3所示的近视场区域的检测到的直线的四个端点(p0,p1,q0,q1)的x坐标(x1,x2,x3,x4)进行跟踪。

该跟踪系统中系统的状态xk以及系统的观测值zk分别为：

xk＝[x1,x2,x3,x4,x1′,x2′,x3′,x4′]

zk＝[x1,x2,x3,x4]

x1,x2,x3,x4分别表示检测到的近视场区域直线的四个端点的x坐标，x1′，x2′，x3′，x4′分别表示坐标的变化率。系统矩阵a为：

系统的观测矩阵h为：

系统的预测方程为：

为k时刻系统的预测值，xk-1为k-1时刻系统的状态，b为系统的控制矩阵，uk是k时刻系统的控制量，本文中为0。

近视场直线拟合完成后，将车道线最低点与消失点间的直线段设为预搜索区域，从最低点按规定步长从下往上依次扫描，当搜索到一个黑色像素点，且已搜索到的白色像素点大于指定数量时，搜索停止，此时的像素点为该车道线直线段与曲线段的交点(即拐点)。在拐点与消失点间进行搜索，从下往上扫描，在图像每一行中，从对应车道线直线方程上的点开始，分别向左、右两侧各遍历5列，并统计直线段两侧白色像素点的个数。对两侧像素点个数进行比较来完成车道线弯曲方向判断。从当前车道线直线方程上的点开始，向该车道的弯曲方向遍历n列，考虑到车道线的宽度，当连续搜索到多个白色像素点时停止扫描，取扫到的第一个白色像素点作为车道线曲线段的特征点。将各特征点的x坐标作为输入，y坐标作为期望输出量，利用bp神经网络完成曲线拟合。

在利用bp神经网络进行曲线拟合前，需采集各类高速公路弯道视频数据对其进行训练。训练的基本原理是：输入信号xi通过中间节点作用于输出节点，经过非线性变换，产生输出信号yk。网络训练的每个样本包括输入向量x和期望输出量t，网络输出值y与期望输出值t之间的存在偏差，通过调整输入节点与隐层节点的联接强度wij和隐层节点与输出节点之间的联接强度tjk以及阈值，使得偏差沿梯度方向下降，经过反复学习训练，当偏差小于给定阈值或训练达到最大迭代次数时，停止训练，得到所需的bp神经网络模型。

训练函数选用lm算法，它基本思想是迭代过程中允许误差沿着恶化方向进行搜索，同时通过在梯度下降法与高斯-牛顿法之间的自适应调整，以达到优化网络权值和阈值的目的。它能够使网络有效的收敛，提高网络的泛化能力和收敛速度，它的基本形式如下所示：

x[j^t(x)j(x)+μi]^-1j^t(x)e(x)

其中，j(x)是雅克比矩阵，μ为阻尼系统，i为单位矩阵。

由于车道线的类型对判断车辆是否满足换道条件，同时对判断邻车道内障碍物是否对本车道车辆造成影响具有重要意义，所以在完成车道线识别后对车道线的类型进行进一步判断。将识别的车道线映射至图像预处理阶段的边缘图中，在边缘图中识别到的车道线上等间距的选取车道线上的点，并以车道线上的点为中心向左右两个方向分别延伸2个像素，若左右两侧2个像素的范围内存在边缘点，则将该区域记录为实线区域，反之记录为虚线区域。在完成整条车道线所选取的判断点的实线区域与虚线区域判断后，计算整条车道线的实线区域与整条车道线的比值，若比值大于设定的阈值则为实线，反之为虚线。

(2)基于毫米波雷达的车道线提取和拟合，如图4所示；

依据毫米波雷达的特性，其对道路护栏一类的静止物体具有较高的反射率，返回的目标中有很多会是护栏上的点；而护栏通常而言沿道路分配，从某种程度上可反应道路走向。因此，初步滤波后，我们可通过雷达所返回的静止物体相对本车的位置信息，来计算前方道路的曲率。

首先，从雷达检测信息中提取前方静止物体信息，包括：相对距离、方位角和相对速度。考虑到高速公路的曲率变化比较平缓，可根据雷达信息中静止物体的相关信息将静止物体分配到各自的道路边缘。计算分配到各自道路边缘的静止物体的数量，当数量达到阈值且分布符合一定条件，认为可利用这些信息计算出道路曲率信息，将有效标志位置为1。对于有效标志位为1的静止物体群，按照其沿道路分布的情况，分配不同的值，分布越均匀值越高，当值达到一定阈值时，认为其与真实道路曲率的契合度较高，并由此计算真实道路曲率：当所得静止物体的数量较多，则利用bp神经网络完成曲线拟合；当所得静止物体的数量较小，考虑到高速公路弯道的特征，可利用三次曲线模型完成曲线拟合。此时所得到的曲线大体上与车道线平行。

(3)当前车道可行驶区域确定；

通常而言，由于雷达的探测角有限，且探测范围较远，利用雷达拟合的通常为远视场处的车道线。因此，在确定可行驶区域时，以相机所拟合的近视场处的车道线作为近视场处的可行驶区域，将雷达所拟合的远视场处的车道线与相机所拟合的远视场处的车道线融合作为远视场处的可行驶区域。

由于要将雷达探测结果与相机探测结果进行融合，就需要进行传感器间的时空联合标定。考虑到雷达和相机获取信息的频率一般不同，可以以获取数据频率低的传感器为基准进行时序统一。在固定好相机雷达位置后，进行空间联合标定所得到的矩阵为：

其中，(xw,yw,zw)为世界坐标系坐标，(u,v)为图像像素坐标系坐标，(xc,yc,zc)为相机坐标系坐标，r表示旋转矩阵，t表示平移矩阵，f表示焦距，dx和dy表示图像物理坐标系的x方向和y方向的一个像素所占的长度单位，u0,v0表示图像的中心像素坐标(ο1)和图像原点像素坐标(ο0)之间相差的横向和纵向像素数。

在雷达拟合的曲线模型上分散取点，取足够多的点后通过相机与雷达联合标定所得到的矩阵将其投影变换到图像像素坐标系中，结合(1)中拐点所在的位置确定雷达探测点拟合曲线与车道线的偏移量以及远视场车道线的起点。对投影过后的点进行偏移校正后再次运用bp神经网络进行曲线拟合。运用加权平均法对刚得到的车道线与相机所拟合的车道线进行平均，作为远视场处的可行驶区域。

(4)结合可行驶区域的基于视觉和毫米波雷达融合的目标识别，如图5所示；

利用雷达获得运动物体的信息，将其进行坐标转换和时序统一后，投影到对应图像中，若投影点位于当前车道可行驶区域内，则以投影点为中心，确定感兴趣区域，利用图像处理算法完成目标识别，并输出目标的相应信息；若投影点位于当前车道可行驶区域外，则结合车道线类型进行进一步判别，如果目标处于虚线外侧，同样利用图像处理算法完成目标识别，输出目标相应信息，否则目标认为是“虚假”目标，进行舍弃。至此完成弯道处的目标识别。

本发明主要针对车辆在弯道处对前方目标检测的问题，利用相机和毫米波雷达，提出了一种基于多传感器融合的弯道目标识别系统及方法。将车道线分成近视场的直线部分和远视场的曲线部分，对于相机采集信息而言，利用霍夫变换和卡尔曼滤波完成近视场处的车道线拟合和跟踪，利用bp神经网络完成远视场处的曲线拟合，对于雷达采集信息，提取出静止物体群的信息，利用bp神经网络进行曲线拟合。通过时空对准后，将视觉采集的车道线信息与雷达所采集的车道线信息进行融合，确定车辆所在车道的可行驶区域，最后结合可行驶区域和车道线类型给出了基于相机和毫米波雷达融合的弯道目标识别算法，实现了对弯道处目标的检测。

在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述做出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

此外，上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。