基于多传感器融合的车道线检测方法、系统、电子设备与流程

本发明涉及自动驾驶，尤其涉及一种基于多传感器融合的车道线检测方法、系统、电子设备。

背景技术：

1、在自动驾驶的环境要素中，车道线可以用来划定车辆的行驶区域，也是用来规划车辆行驶路径和策略的重要参考元素，用其检测结果和高精地图进行匹配还可以进行车辆定位的横向定位，因此车道线检测是无人驾驶中必不可少的重要技术。由于车辆行驶环境的复杂性，不同传感器在不同场景下对车道线的检测各有差异，单一的传感器检测并不能满足对车道线的检测需求，因此基于多传感器融合的车道线检测方法显得十分必要。

2、基于图像的车道线检测方法受限于光线影响，在黑暗场景以及类似隧道进出口等条件下检测效果一般不佳，而且图像坐标系下的检测结果最终投影到三维坐标系下需要依赖一个假设的平坦地面，道路坡度以及车辆颠簸都会影响最终的车道线检测结果。但是图像对车道线的检测有检测距离远、受天气状态影响小、可以区分车道线的颜色信息等优势。

3、基于激光雷达对车道线的检测，则在雨天或者雾霾天气下效果不佳，而且由于激光雷达的检测距离短以及不能识别车道线颜色信息等缺点，一般没有单纯用激光雷达进行成车道线检测的方案。但是激光雷达直接生成的是三维坐标系下的信息，而且其近处的检测精度比较高。

4、公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种基于多传感器融合的车道线检测方法、系统、电子设备。

2、本发明提供的一种基于多传感器融合的车道线检测方法，所述方法包括：

3、每获取一个传感器传来的数据帧，比较当前数据帧和上一数据帧的时间戳大小，其中，所述当前数据帧中包括车道线检测点集，所述车道线检测点集基于图像传感器获取或者基于激光雷达传感器获取，所述上一数据帧对应有第一车道线更新点集；

4、确定时间在后的数据帧，基于车辆运动补偿，将所述车道线检测点集和所述第一车道线更新点集统一至所述时间在后的数据帧的车体坐标系下；

5、在所述车体坐标系下，将所述车道线检测点集和所述第一车道线更新点集做匹配；

6、对于匹配成功的所述车道线检测点集，融合所述车道线点集和所述第一车道线更新点集，形成第一子车道线更新点集，基于匹配失败的所述车道线检测点集，形成第二子车道线更新点集，所述第一子车道线更新点集和所述第二子车道线更新点集的合集作为所述当前数据帧对应的第二车道线更新点集。

7、根据本发明提供的一种基于多传感器融合的车道线检测方法，对于匹配成功的所述车道线检测点集，融合所述车道线点集和所述第一车道线更新点集，形成第一子车道线更新点集，包括：

8、对于匹配成功的所述车道线检测点集，分为与所述第一车道线更新点集重合的第一部分点集、与所述第一车道线更新点集不重合的第二部分点集；

9、基于所述第一部分点集和与之重合的所述第一车道线更新点集，进行卡尔曼滤波融合，形成第三部分点集；

10、将所述第二部分点集整体平移，形成第四部分点集，所述第四部分点集与所述第三部分点集衔接形成所述第一子车道线更新点集。

11、根据本发明提供的一种基于多传感器融合的车道线检测方法，将所述第二部分点集整体平移，形成第四部分点集，所述第四部分点集与所述第三部分点集衔接形成所述第一子车道线更新点集，包括：

12、获取所述第三部分点集中与所述第二部分点集中最接近的点；

13、计算所述最接近的点相较于所述第一部分点集的平移量；

14、基于所述平移量，将所述第二部分点集整体平移，形成第四部分点集，所述第四部分点集与所述第三部分点集衔接形成所述第一子车道线更新点集。

15、根据本发明提供的一种基于多传感器融合的车道线检测方法，

16、假设所述车道线检测点集基于图像传感器获取，进行卡尔曼滤波融合时，为所述车道线检测点集中的检测点的横向位置设定第一观测噪声方差，

17、假设所述车道线检测点集基于激光雷达传感器获取，进行卡尔曼滤波融合时，为所述车道线检测点集中的检测点的横向位置设定第二观测噪声方差，

18、则所述第一观测噪声方差大于所述第二观测噪声方差。

19、根据本发明提供的一种基于多传感器融合的车道线检测方法，假设所述车道线检测点集基于图像传感器获取，则进行卡尔曼滤波融合时，对于纵向位置越远的所述车道线检测点集的检测点，为检测点的横向位置设定的观测噪声方差越大。

20、根据本发明提供的一种基于多传感器融合的车道线检测方法，进行卡尔曼滤波融合时，对于所述车道线检测点集的检测点，如果所述检测点与所述第一车道线更新点集的对应点在横向位置上相差越远，则为所述检测点的横向位置设定的观测噪声方差越大。

21、根据本发明提供的一种基于多传感器融合的车道线检测方法，基于所述第一部分点集和与之重合的所述第一车道线更新点集，进行卡尔曼滤波融合，包括：

22、基于所述车道线检测点集，形成二次曲线方程；

23、基于所述第一车道线更新点集的点的纵坐标，在所述的二次曲线方程上采样，形成与所述第一车道线更新点集的点相对应的所述车道线检测点集的检测点，作为所述第一部分点集。

24、根据本发明提供的一种基于多传感器融合的车道线检测方法，所述方法还包括：

25、获取传感器传来的多个数据帧，所述多个数据帧包括至少一个来自图像传感器的数据帧和至少一个来自激光雷达传感器的数据帧；

26、按照获取的时间顺序，依次基于所述数据帧对应处理形成车道线更新点集。

27、根据本发明提供的一种基于多传感器融合的车道线检测方法，确定时间在后的数据帧，基于车辆运动补偿，将所述车道线检测点集和所述第一车道线更新点集统一至所述时间在后的数据帧的车体坐标系下，包括：

28、如果所述上一数据帧的时间小于所述当前数据帧的时间，将所述上一数据帧车体坐标系下的所述第一车道线更新点集转换到所述当前数据帧的车体坐标系下；

29、如果所述上一数据帧的时间大于所述当前数据帧的时间，将所述当前数据帧的所述车道线检测点集转换到所述上一数据帧的车体坐标系下。

30、本发明还提供的一种基于多传感器融合的车道线检测系统，所述系统包括：

31、获取模块，用来每获取一个传感器传来的数据帧，比较当前数据帧和上一数据帧的时间戳大小，其中，所述当前数据帧中包括车道线检测点集，所述车道线检测点集基于图像传感器获取或者基于激光雷达传感器获取，所述上一数据帧对应有第一车道线更新点集；

32、补偿模块，用来确定时间在后的数据帧，基于车辆运动补偿，将所述车道线检测点集和所述第一车道线更新点集统一至所述时间在后的数据帧的车体坐标系下；

33、匹配模块，用来在所述车体坐标系下，将所述车道线检测点集和所述第一车道线更新点集做匹配；

34、更新模块，用来对于匹配成功的所述车道线检测点集，融合所述车道线点集和所述第一车道线更新点集，形成第一子车道线更新点集，基于匹配失败的所述车道线检测点集，形成第二子车道线更新点集，所述第一子车道线更新点集和所述第二子车道线更新点集的合集作为所述当前数据帧对应的第二车道线更新点集。

35、本发明提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述基于多传感器融合的车道线检测方法的步骤。

36、本发明还提供的一种车辆，所述车辆具备自动驾驶和/或辅助驾驶的功能，所述车辆包括所述的电子设备。

37、本发明还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于多传感器融合的车道线检测方法的步骤。

38、本发明提供的基于多传感器融合的车道线检测方法、系统、电子设备，通过实现图像传感器和激光雷达传感器的车道线融合，能够弥补单个传感器各自的缺点，实现更优的车道线检测结果。