一种车道线检测的逆透视变换方法及系统与流程

本发明涉及自动驾驶，特别是涉及一种车道线检测的逆透视变换方法及系统。

背景技术：

1、现有技术中，应用在自动驾驶领域的车道线检测算法方案大多数是基于图像进行车道线认知(包含传统的车道线特征提取方法和最近几年兴起的深度学习端到端车道线检测算法模型)的，紧接着根据图像中车道线检测的结果，将二维图像空间的车道线点序列拟投影至三维迪卡尔坐标系中，从而将车道线映射到自车的行驶空间中，这样才能与自动驾驶车辆的轨迹规划模块相互作用，实现车道自适应巡航(adaptivecruisecontrol，acc)车道保持辅助(lanekeepassistance，lka)等功能。

2、现有技术中的车道线点序列逆透视变换(inverseperspectivemapping，ipm)需要用到摄像机的内参以及外参模型，同时还有一个极其严格的假设：大地平面假设。即二维图像的点投影到三维自车坐标系空间中是一个射线，需要假设大地是一个平面，然后取射线与大地平面的交点来确定车道线中该点在三维空间中的具体位置。该假设在绝大多数场景下是不能保证的，因此车道线逆透视变换后的结果往往是距离自车车辆近距离的前方质量是可以接受的，但是在前方远处地面有起伏的时候将会变得极为不稳定以及不可靠。

3、因此，需要一种新的逆透视变换方法，以解决现有技术中二维图像中的车道线往三维迪卡尔坐标系中投影时大地是绝对平面的这一假设前提，从而实现了无论大地是否是平面(上坡，或者下坡)都可以得到可信的三维车道线描述方程。

技术实现思路

1、本发明的一个目的是要提供一种车道线检测的逆透视变换方法，无需假设大地是绝对平面的，对于非平面的大地，如上坡、下坡、斜坡等场景，车道线检测算法的逆透视变换模型仍可适用。

2、本发明一个进一步的目的是要使得车道线的检测性能在远处也具有较高的性能。

3、特别地，本发明提供了一种车道线检测的逆透视变换方法，包括以下步骤：

4、获取车辆周边的激光点云信息以及车辆的前视图像信息；

5、从所述前视图像信息中获取车道线的二维坐标信息，且对所述激光点云信息进行道路语义分割以得到大地激光点云；

6、对所述大地激光点云进行拟合计算以得到大地曲面方程；

7、将所述二维坐标信息投影至所述大地曲面方程内进行逆透视变换以得到地图信息；

8、根据所述地图信息进行道路轨迹规划。

9、进一步地，所述对所述大地激光点云进行拟合计算以得到大地曲面方程的步骤中包括：

10、建立自车坐标系，所述自车坐标系以自车的后轴中心为坐标原点，所述自车的正前方向为x轴正方向，所述自车的左侧方向为y轴正方向，所述自车的高度方向为z轴正方向；

11、根据所述自车坐标系将所述自车的周边区域划分成多个网格区域；

12、对每个所述网格区域内的所述大地激光点云进行拟合计算，以得到地面方程。

13、进一步地，每个所述网格区域通过最小二乘法或随机采样一致法进行拟合计算。

14、进一步地，所述将所述二维坐标信息投影至所述大地曲面方程内进行逆透视变换以得到地图信息的步骤中还包括：

15、获取车载相机的数据信息以获取变换矩阵；

16、将所述车道的所述二维坐标信息与所述变换矩阵进行计算，以得到所述车道在所述自车坐标系内的点坐标；

17、根据所述点坐标以计算得到所述地图信息。

18、进一步地，所述变换矩阵包括所述车载相机的内参矩阵i3×3、外参矩阵、旋转矩阵r3×3和平移矩阵t3×1。

19、进一步地，所述二维坐标信息中的点坐标为pi＝(u，v，1)t,该点对应在相机坐标系中的点为pc＝(xc，yc，zc)t,该点在所述自车坐标系中的位置表示为pw＝(xw，yw，zw)t；所述pi，所述pc和所述pw之间的关系如下：

20、pc＝r3×3pw-t3×1   公式一；

21、

22、结合所述公式一和所述所述公式二，可以得到：

23、

24、即：

25、

26、获取所述二维坐标信息在所述相机坐标系中的zc；

27、根据所述zc计算得到所述二维坐标信息在所述自车坐标系中的位置。

28、进一步地，所述获取所述二维坐标信息在所述相机坐标系中的zc的步骤中包括：

29、离散地获取所述zc；

30、根据所述zc计算出所述pw；

31、若所述pw落在所述网格区域内，则逆透视变换完成；

32、若所述pw不落在所述网格区域内，则重新获取所述zc，直至所述pw落在所述网格区域内。

33、进一步地，所述根据所述zc计算出所述pw的步骤中还包括：

34、若所述pw距离所述大地曲面方程中最近的距离α的绝对值小于预设值，则输出所述pw；

35、若所述pw距离所述大地曲面方程中最近的距离α的绝对值大于所述预设值且所述α小于0，则zc＝zc+δ；

36、若所述pw距离所述大地曲面方程中最近的距离α的绝对值大于所述预设值且所述α大于0，则zc＝zc-δ。

37、进一步地，所述δ为迭代步长。

38、本发明还公开了一种车道线检测的逆透视变换系统，包括控制装置，所述控制装置包括存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现上述所述的车道线检测的逆透视变换方法。

39、本发明通过激光点云来严格拟合大地曲面方程，从而摒弃了大地平面假设，通过将二维坐标信息投影至大地曲面方程上进行逆透视变换从而使得该数据在逆透视变换时的误差变小，进而解决了逆透视变换过程中二维图像中的车道线往三维迪卡尔坐标系中投影时大地是绝对平面的这一问题，从而实现了无论大地是否是平面(上坡，或者下坡)都可以得到可信的三维车道线描述方程。

40、根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

技术特征：

1.一种车道线检测的逆透视变换方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的逆透视变换方法，其特征在于，所述对所述大地激光点云进行拟合计算以得到大地曲面方程的步骤中包括：

3.根据权利要求2所述的逆透视变换方法，其特征在于，每个所述网格区域通过最小二乘法或随机采样一致法进行拟合计算。

4.根据权利要求1所述的逆透视变换方法，其特征在于，所述将所述二维坐标信息投影至所述大地曲面方程内进行逆透视变换以得到地图信息的步骤中还包括：

5.根据权利要求4所述的逆透视变换方法，其特征在于，所述变换矩阵包括所述车载相机的内参矩阵i3×3、外参矩阵、旋转矩阵r3×3和平移矩阵t3×1。

6.根据权利要求5所述的逆透视变换方法，其特征在于，所述二维坐标信息中的点坐标为pi＝(u，v，1)t,该点对应在相机坐标系中的点为pc＝(xc，yc，zc)t,该点在所述自车坐标系中的位置表示为pw＝(xw，yw，zw)t；所述pi，所述pc和所述pw之间的关系如下：

7.根据权利要求6所述的逆透视变换方法，其特征在于，所述获取所述二维坐标信息在所述相机坐标系中的zc的步骤中包括：

8.根据权利要求7所述的逆透视变换方法，其特征在于，所述根据所述zc计算出所述pw的步骤中还包括：

9.根据权利要求8所述的逆透视变换方法，其特征在于，所述δ为迭代步长。

10.一种车道线检测的逆透视变换系统，其特征在于，包括控制装置，所述控制装置包括存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现根据权利要求1-9中任一项所述的车道线检测的逆透视变换方法。

技术总结
本发明提供了一种车道线检测的逆透视变换方法及系统，属于自动驾驶领域。所述方法包括以下步骤：获取车辆周边的激光点云信息以及车辆的前视图像信息；从所述前视图像信息中获取车道线的二维坐标信息，且对所述激光点云信息进行道路语义分割以得到大地激光点云；对所述大地激光点云进行拟合计算以得到大地曲面方程；将所述二维坐标信息投影至所述大地曲面方程内进行逆透视变换以得到地图信息；根据所述地图信息进行道路轨迹规划。本发明解决了现有技术中二维图像中的车道线往三维迪卡尔坐标系中投影时大地是绝对平面的这一假设前提的问题。

技术研发人员：徐高伟,王逸平,于诗梦,王鑫琛,吴建康,董树才,邢少杰,张海平,张雨晴,陈大宇
受保护的技术使用者：浙江智马达智能科技有限公司
技术研发日：
技术公布日：2024/2/29