面向自动驾驶的车道自检算法在环仿真控制方法和系统与流程

本发明涉及智能驾驶领域，具体涉及一种面向自动驾驶的车道自检算法在环仿真控制方法和系统。

背景技术：

基于摄像头硬件的自动驾驶环境感知系统是自动驾驶汽车智能化系统的最重要组成部分之一。自动驾驶智能化系统主要实现的功能包括：传感、感知、决策、控制等内容，自动驾驶汽车开发的工作中，80％的难题和挑战都来自于环境感知和计算机视觉部分。

智能驾驶环境感知系统是自动驾驶汽车与交通环境进行交互的核心内容，其相当于人类驾驶员的眼睛和大脑，不光要看到世界，更要对世界有正确的、深入的认知。

环境感知算法的开发内容分类，主要是依据交通环境由简单到复杂的变化过程，从单纯的交通道路行驶，到交通信号、交通标识的约束，到多车辆立体交通系统，到行人目标，再到更复杂、甚至不可预测的交通环境，其中基础、环境感知第一步也是本次专业要阐述的内容，就是车道检测。

一、汽车在城市交通中行驶，就意味着汽车将永远行驶在城市的机动车车道上，自动驾驶汽车的环境感知模块，必须具备完善的、稳定的车道检测能力，此为自动驾驶汽车上路的第一步，即车道检测是自动驾驶行为的功能基础；

二、车道检测也几乎是自动驾驶、智能驾驶辅助功能实现的技术基础，包括acc(自动巡航)、aeb(智能制动)、车道保持、车道跟随、换道辅助、自动换道等一系列内容，基于完成车道检测和感知的基础，开发更多的智能驾驶技术和模块。

技术实现要素：

针对上述现有技术存在的问题，本发明提出一种面向自动驾驶的车道自检算法在环仿真控制方法和系统来解决这个问题，通过构建运行良好的车道检测算法模型和相机在环仿真控制方法及系统，提供开发者根据实际需求的实验模拟场景，同时也对于后续的开发并测试个性化车道检测相关算法及程序提供借鉴作用。

本发明提供的一种面向自动驾驶的车道自检算法在环仿真控制方法，其特征在于，包括如下步骤：

步骤a：构建在环仿真实验平台，其包括：

实验区，所述实验区为由木板构建成封闭的长方体工作腔；

工作台，所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔；

所述工作台位于所示实验区的下端，通过实验区底部的木板支撑实验区，且所述工作台工作腔的底部设置有支撑工控机和电源的木板；

所述实验区的前端内侧设置有用于输出相机数据的显示屏，左右侧边内侧均水平设置有照明灯移动支架，所述照明灯移动支架设置有可调节亮度的照明灯，后端内侧水平设置运动支架，所述运动支架活动设置万向连接部，所述万向连接部设置有相机。

步骤b：实现面向自动驾驶的车道自检算法在环仿真控制方法，其包括：

b1，所述工控机、相机与显示屏均与电源电连接，且显示屏和相机均与所述工控机电连接；

b2，依次开启电源开关与工控机开关，电力驱动在环仿真实验平台工作；

b3，设置显示屏为工作状态，工控机运行在环仿真软件，生成实验用虚拟交通场景；

b4，设置照明灯为工作状态，调节照明灯至实验用环境亮度；

b5，设置相机为工作状态，运行工控机的相机数据采集软件，通过移动万向连接部延运动支架轴向运动调整相机的相对位置，设置相机相对万向连接部的角度调整相机的数据采集方向点，工控机实时采集显示屏输出的相机数据图像，上传数据至相机ecu进行检测分析；

b6，检测结果输出至行为决策模块进行决策工作，输出决策控制信号；

b7，根据获取的决策控制信号，在环仿真软件在虚拟交通场景通过车辆动力学控制模型执行对应的控制执行操作；

b8，面向自动驾驶的车道自检算法在环仿真开发实验的自动驾驶闭环形成，持续运行直至实验结束。

作为上述方案的进一步优化，所述相机ecu针对工控机上传的数据图像畸变矫正，包括如下：

相机标定，采集拍摄对象的数据图像，获取世界坐标系点以及与世界坐标系对应的图像点，通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量；

图像畸变矫正，获取目标图像的世界坐标系点和图像点，采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数，针对采集的相机数据图像畸变矫正，基于相机标定参数获取矫正图像。

作为上述方案的进一步优化，所述相机标定包括如下：

(31)设置世界坐标系xo1y，o1点作为所述坐标系的原点位置，所述坐标系x轴表示车辆右转；所述坐标系y轴表示车辆的驶向；

(32)设置世界坐标系uo2v，o2点作为所述坐标系的原点位置，所述坐标系u轴水平向左，表示图像上边的一行元素；所述坐标系v轴竖直向下，表示图像右边的一列像素；坐标系内任意像素点坐标(u，v)表示该点所处的图像数组的列数和行数

(33)纵向畸变矫正算法模型的构建，获取y轴方向，设定平面位置点i，所述点i在世界坐标系表示为(0，y)，在图像坐标系中i′点坐标为(u，v)，所述的点i在图像坐标系的映射点为i′，则有如下关系：

式(1)中，λ为摄像头的高度，μ为摄像头俯仰角，ε为摄像头张角，f为摄像头焦距；

(34)横向畸变矫正算法模型的构建，设定平面位置点i，所述点i在世界坐标系表示为(0，y)，在图像坐标系中i′点坐标为(u，v)，所述的点i在图像坐标系的映射点为i′，即u轴和x轴的对应关系为：

式(2)中，l为摄像头视野下部的宽度，δ为像素的总列数。

作为上述方案的进一步优化，所述数据图像经过图像畸变矫正后，构建初级视觉特征提取模型，提取数据图像的颜色特征和边缘特征，获取数据图像的显著图。

作为上述方案的进一步优化，基于数据图像的显著图和som神经网络，进行roi的提取，包括如下：

(51)初始化生成码书wi(0)以及领域nei(0)，(i＝0，1，...，n-1)，n为码书的大小；

(52)基于相机车辆车道的相对位置，标记车道的统计概率位置；

(53)基于som神经网络进行训练；

(54)计算2n个码矢的适应度函数s(w)；

(55)从2n个码矢中选择适应度大的n个码矢进入下一代，迭代计算直至收敛；

(56)基于k-means方法完成roi提取。

作为上述方案的进一步优化，所述相机采集的数据图像采用逆透视变换，即根据相机采集的数据图像构建的相机坐标系转换为世界坐标系，获取相机拍摄图像的鸟瞰图。

作为上述方案的进一步优化，所述相机ecu还针对工控机上传的数据图像进行结构化道路车道线检测，构建具有动态连接点的直线-抛物线模型，包括如下步骤：

(71)针对远视场的弯道检测，增强车道线的线性拟合长度评估；

(72)基于hough变换理论对直道或道路直线部分车道线检测；

(73)基于直线-抛物线模型对弯道车道线检测；

作为上述方案的进一步优化，所述基于hough变换理论对直道或道路直线部分车道线检测流程包括如下：

(81)构建空间为(ρ，θ)的二维数组，h(ρ，θ)作为所述空间的累加器；ρ为原点到直线的距离，θ表示以顺时针为正时直线的法线与x轴正半轴形成的夹角；

(82)设定数据图像为r行t列，所述数据图像的像素点空间为(yi，xi)，1≤yi≤r，1≤xi≤t，设定θ为所在轴线上允许的细分值，根据公式ρ＝xicosθ+yisinθ计算ρ值，且根据计算的ρ值进行四舍五入，作为ρ所在轴线上的允许的单元值；

(83)设定累加器最大的nh个值，对应的位置(ρh，θh)，1≤h≤nh即所在直线模型对应车道标志线的参数；

作为上述方案的进一步优化，所述基于直线-抛物线模型对弯道车道线检测流程包括如下：

(91)设定集合r为搜索得到的直道与曲道的任意连接点的坐标(xn，yn)：

r＝{(x1，y1)，(x2，y2)，(x3，y3)…(xn，yn)}(17)

(92)构建目标函数，计算二次曲线，α0、α1和α2均为所述二次曲线的常数系数；

x＝f(y)＝α0+α1y+α2y²(18)

针对任意连接点(xn，yn)，对应的目标函数误差为(xn，yn)δi＝f(yi)-xi，所有连接点的误差的平方和参见如下，使其取得最小值的函数x＝f(y)为连接点最吻合的二次曲线：

(93)列出方程组，拟合抛物线；

设定点(f(yn)，yn)在上述步骤(92)的二次曲线上，通过连接点处连续可微获取另外的方程，最终拟合弯道的抛物线所需的参数γ，τ，参加如下：

上式(20)中，α，β为线性车道拟合结果的斜率和截距，y0是连接点的纵坐标，且通过整理上式可知：

本发明采用上述的技术方案，与现有技术相比，本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，具有以下技术效果：

1.本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，通过设置一种在环仿真实验平台以及构建车道自动检测算法模型，自动进行车道检测和训练工作，全过程均在实验室内开展工作，大大减少实验消耗，节约资金、时间、人力成本。

2.本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，通过将输入的道路透视图像转换为鸟瞰图，与采用透视图象的车道线检测算法对比，鸟瞰图消除车道线的透视效应，更加有利于车道线的搜索检测和弯曲车道的曲率计算。

3.本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，基于虚拟场景生成目标全景图像，系统已经包含了完整的虚拟交通场景信息，不需要人力标注，可以自动进行车道的模拟和校验，大大降低了人力成本，也提高了实验效率。

4.本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，对于车道路检测应用具有动态连接点的直线-抛物线模型，分别对车道线的直线部分和曲线部分进行分类处理，应用抛物线模型模拟弯道轮廓线的数学模型，进而完成对车道线进行检测、曲率计算和车道绘制工作，既可以保证直道的简单快速，又可以保证弯道的准确可靠。

附图说明

图1为本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法的流程示意图；

图2为本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法的som神经网络原理图；

图3为本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法的som网络算法流程图；

图4为本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法的像素坐标系和相机平面坐标系；

图5为本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法的参数ρ，θ的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

实施例1

如图1-图4所示，本实施例提供了一种面向自动驾驶的车道自检算法在环仿真控制方法，包括如下步骤：

步骤a：构建在环仿真实验平台，其包括：

实验区，所述实验区为由木板构建成封闭的长方体工作腔；

工作台，所述工作台为由支撑杆构建成与实验区四条侧边匹配的长方体工作腔；

所述工作台位于所示实验区的下端，通过实验区底部的木板支撑实验区，且所述工作台工作腔的底部设置有支撑工控机和电源的木板；

所述实验区的前端内侧设置有用于输出相机数据的显示屏，左右侧边内侧均水平设置有照明灯移动支架，所述照明灯移动支架设置有可调节亮度的照明灯，后端内侧水平设置运动支架，所述运动支架活动设置万向连接部，所述万向连接部设置有相机。

步骤b：实现面向自动驾驶的车道自检算法在环仿真控制方法，其包括：

b1，所述工控机、相机与显示屏均与电源电连接，且显示屏和相机均与所述工控机电连接；

b2，依次开启电源开关与工控机开关，电力驱动在环仿真实验平台工作；

b3，设置显示屏为工作状态，工控机运行在环仿真软件，生成实验用虚拟交通场景；

b4，设置照明灯为工作状态，调节照明灯至实验用环境亮度；

b5，设置相机为工作状态，运行工控机的相机数据采集软件，通过移动万向连接部延运动支架轴向运动调整相机的相对位置，设置相机相对万向连接部的角度调整相机的数据采集方向点，工控机实时采集显示屏输出的相机数据图像，上传数据至相机ecu进行检测分析；

b6，检测结果输出至行为决策模块进行决策工作，输出决策控制信号；

b7，根据获取的决策控制信号，在环仿真软件在虚拟交通场景通过车辆动力学控制模型执行对应的控制执行操作；

b8，面向自动驾驶的车道自检算法在环仿真开发实验的自动驾驶闭环形成，持续运行直至实验结束。

具体的，相机ecu针对工控机上传的数据图像畸变矫正，包括如下：

相机标定，采集拍摄对象的数据图像，获取世界坐标系点以及与世界坐标系对应的图像点，通过世界坐标系点和图像点计算相机的畸变矩阵、内参数矩阵、旋转向量和位移向量；

图像畸变矫正，获取采集的相机数据图像的世界坐标系点和图像点，采用畸变矩阵、内参数矩阵、旋转向量和位移向量为计算参数，针对采集的相机数据图像畸变矫正，基于相机标定参数获取矫正图像。

具体的，相机标定包括如下：

(31)设置世界坐标系xo1y，o1点作为所述坐标系的原点位置，所述坐标系x轴表示车辆右转；所述坐标系y轴表示车辆的驶向；

(32)设置世界坐标系uo2v，o2点作为所述坐标系的原点位置，所述坐标系u轴水平向左，表示图像上边的一行元素；所述坐标系v轴竖直向下，表示图像右边的一列像素；坐标系内任意像素点坐标(u，v)表示该点所处的图像数组的列数和行数

(33)纵向畸变矫正算法模型的构建，获取y轴方向，设定平面位置点i，所述点i在世界坐标系表示为(0，y)，在图像坐标系中i′点坐标为(u，v)，所述的点i在图像坐标系的映射点为i′，则有如下关系：

式(1)中，λ为摄像头的高度，μ为摄像头俯仰角，ε为摄像头张角，f为摄像头焦距；

(34)横向畸变矫正算法模型的构建，设定平面位置点i，所述点i在世界坐标系表示为(0，y)，在图像坐标系中i′点坐标为(u，v)，所述的点i在图像坐标系的映射点为i′，即u轴和x轴的对应关系为：

式(2)中，l为摄像头视野下部的宽度，δ为像素的总列数；

数据图像经过图像畸变矫正后，构建初级视觉特征提取模型，提取数据图像的颜色特征和边缘特征，获取数据图像的显著图；

具体的，基于itti显著性模型进行颜色特征的提取模型的公式如下所示：

上式中，r为输入图像的红色通道分量，g为绿色通道分量，b为蓝色通道分量；

更具体的，为了优化itti显著性模型，在所述模型引入边缘特征提取，如下所示：

rg_by＝||r-g|-|b-y||(7)

通过在基于itti显著性模型颜色特征基础上，引入边缘特征的提取，能够有效保留显著目标更多的边缘信息，改善了高斯金字塔中多次的滤波造成的显著目标模糊问题，有效凸显目标轮廓；

具体的，基于数据图像的显著图和som神经网络，进行roi的提取，包括如下：

(51)初始化生成码书wi(0)以及领域nei(0)，(i＝0，1，...，n-1)，n为码书的大小；

(52)基于相机车辆车道的相对位置，标记车道的统计概率位置；

(53)基于som神经网络进行训练；

(54)计算2n个码矢的适应度函数s(w)；

(55)从2n个码矢中选择适应度大的n个码矢进入下一代，迭代计算直至收敛；

(56)基于k-means方法完成roi提取；

所述相机采集的数据图像采用逆透视变换，即根据相机采集的数据图像构建的相机坐标系转换为世界坐标系，获取相机拍摄图像的鸟瞰图；

具体的，所述逆透视变换包括如下：

设定存在一点(x，y，z)在世界坐标系表示为(x，y，z)ω，相机坐标系内表示为(x，y，z)c，则所述两个坐标系的变换如下式所示：

所述相机坐标系的原点即透视变换中的射线公共点，所有的射线从该点发出，穿过相机平面到达物体，则在相机平面上留下一个坐标，即相机平面坐标系的坐标，由于相机平面上的点的三维信息与现实场景下相机坐标系上的点的三维信息满足三角形的相似性，将相机坐标系原点与(x，y，z)c连接，在相机平面上经过点(x，y，1)；

相机平面坐标系的原点在相机平面的中心，即(x，y，z)c到(x，y，1)的映射如下：

上式中，f为焦距，即相机坐标系和相机平面坐标系原点之间的距离；

更具体的，从相机平面坐标系映射到像素坐标系进行转化，设定存在以像素为单位的像素坐标系uv以及以mm为单位的相机平面坐标系xy，所述两个坐标系关系如下所示：

上式中，dx与dy分别表示每mm存在的像素点数量，u0与v0为系数常量；

具体的，所述逆透视变换表示如下：通过使用矩阵c代表变换过程，设定存在道路，道路两侧的沿线在水平线处相聚，一边道路上存在点α的坐标为(xa，ya，zα)，所述道路沿线的方向向量为d，即(dx，dy，dz)，通过使用点α和方向向量d表示该条直线方程f(k)＝α+kd，k是方向向量d上的系数，且k越大，f(k)距离像素平面越远，距离无穷远点越近；

根据式(112)，采用无穷远的相聚点作为目标点，利用公式表示目标点在像素平面的坐标；

由于上式的k趋向无穷，则α点可直接消去，可得下式：

由于像素平面的无穷远点坐标可知，且通过相机标记获取中间变换c，解对应方程组得到对应坐标，即在世界坐标系下的坐标；

通过式(9)至式(16)的转换过程，结束逆透视变换，获取相机图像数据的鸟瞰图；

通过将输入的道路透视图像转换为鸟瞰图，与采用透视图象的车道线检测算法对比，有效消除车道线的透视效应，更加有利于车道线的搜索检测和弯曲车道的曲率计算；

相机ecu还针对工控机上传的数据图像进行结构化道路车道线检测，构建具有动态连接点的直线-抛物线模型，包括如下步骤：

(71)针对远视场的弯道检测，增强车道线的线性拟合长度评估；

(72)基于hough变换理论对直道或道路直线部分车道线检测；

(73)基于直线-抛物线模型对弯道车道线检测；

具体的，如图5所示，基于hough变换理论对直道或道路直线部分车道线检测流程包括如下：

(81)构建空间为(ρ，θ)的二维数组，h(ρ，θ)作为所述空间的累加器；ρ为原点到直线的距离，θ表示以顺时针为正时直线的法线与x轴正半轴形成的夹角；优选地，(ρmin，ρmax)以及(θmin，θmax)分别为ρ，θ对应取值范围，取-90°≤θ≤90°，-dmax≤ρ≤dmax，所述dmax为图像两个角之间的最远距离；

(82)设定数据图像为r行t列，所述数据图像的像素点空间为(yi，xi)，1≤yi≤r，1≤xi≤t，设定θ为所在轴线上允许的细分值，根据公式ρ＝xicosθ+yisinθ计算ρ值，且根据计算的ρ值进行四舍五入，作为ρ所在轴线上的允许的单元值；

(83)设定累加器最大的nh个值，对应的位置(ρh，θh)，1≤h≤nh即所在直线模型对应车道标志线的参数；

具体的，基于直线-抛物线模型对弯道车道线检测流程包括如下：

(91)设定集合r为搜索得到的直道与曲道的任意连接点的坐标(xn，yn)；

r＝{(x1，y1)，(x2，y2)，(x3，y3)…(xn，yn)}(17)

(92)构建目标函数，计算二次曲线，α0、α1和α2均为所述二次曲线的常数系数；

x＝f(y)＝α0+α1y+α2y²(18)

针对任意连接点(xn，yn)，对应的目标函数误差为(xn，yn)δi＝f(yi)-xi，所有连接点的误差的平方和参见如下，使其取得最小值的函数x＝f(y)为连接点最吻合的二次曲线：

(93)列出方程组，拟合抛物线；

设定点(f(yn)，yn)在上述步骤(92)的二次曲线上，通过连接点处连续可微获取另外的方程，最终拟合弯道的抛物线所需的参数γ，τ，参加如下：

上式(20)中，α，β为线性车道拟合结果的斜率和截距，y0是连接点的纵坐标，且通过整理上式可知：

本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，工控机、相机与显示屏均与电源电连接，且显示屏和相机均与所述工控机电连接；依次开启电源开关与工控机开关，电力驱动在环仿真实验平台工作；设置显示屏为工作状态，工控机运行在环仿真软件，生成实验用虚拟交通场景；设置照明灯为工作状态，调节照明灯至实验用环境亮度；设置相机为工作状态，运行工控机的相机数据采集软件，通过移动万向连接部延运动支架轴向运动调整相机的相对位置，设置相机相对万向连接部的角度调整相机的数据采集方向点，工控机实时采集显示屏输出的相机数据图像，上传数据至相机ecu进行检测分析；检测结果输出至行为决策模块进行决策工作，输出决策控制信号；根据获取的决策控制信号，在环仿真软件在虚拟交通场景执行对应的控制执行操作；面向自动驾驶的车道自检算法在环仿真开发实验的自动驾驶闭环形成，持续运行直至实验结束。本发明的一种面向自动驾驶的车道自检算法在环仿真控制方法和系统，自动进行车道检测和训练工作，全过程均在实验室内开展工作，大大减少实验消耗，节约资金、时间、人力成本。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。