车道线的识别方法、装置及电子设备与流程

1.本公开涉及人工智能技术领域中的无人驾驶、高精地图技术，尤其涉及一种车道线的识别方法、装置及电子设备。


背景技术：

2.增强现实(augmented reality，ar)导航是一种将地图、摄像头与ar技术深度结合的导航模式，通过摄像头将真实世界中的道路图像呈现在用户界面上，同时将识别的车道线以及导航的指示箭头等信息叠加在图像上，以引导方向。
3.目前，车道线识别通常是采用图像识别的方法，对采集的道路图像进行边缘提取，并基于霍夫曼变换从中提取车道线，由于这种方法中车道线识别的先验知识通常是以直线为主，容易导致弯道区域的车道线识别不准确。


技术实现要素：

4.本公开提供了一种提高了车道线识别准确性的车道线的识别方法、装置及电子设备。
5.根据本公开的一方面，提供了一种车道线的识别方法，包括：
6.判断车辆当前行驶的路线是否为弯道，若所述车辆当前行驶的路线为弯道，则根据从道路图像中提取的边缘候选集确定初始车道线中心线；
7.根据车辆的规划路线的形状点确定规划路线中心线和规划路线车道线；
8.根据所述初始车道线中心线和所述规划路线中心线，对所述规划路线车道线进行水平位移；
9.根据所述边缘候选集和进行水平位移后的所述规划路线车道线，确定车道线识别结果。
10.根据本公开的另一方面，提供了一种车道线的识别装置，包括：
11.第一确定模块，用于判断车辆当前行驶的路线是否为弯道，若所述车辆当前行驶的路线为弯道，则根据从道路图像中提取的边缘候选集确定初始车道线中心线；
12.第二确定模块，用于根据车辆的规划路线的形状点确定规划路线中心线和规划路线车道线；
13.位移模块，用于根据所述初始车道线中心线和所述规划路线中心线，对所述规划路线车道线进行水平位移；
14.识别模块，用于根据所述边缘候选集和进行水平位移后的所述规划路线车道线，确定车道线识别结果。
15.根据本公开的再一方面，提供了一种电子设备，包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
19.根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。
20.根据本公开的又一方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
21.根据本公开的技术方案，提高了车道线识别的准确性。
22.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
23.附图用于更好地理解本方案，不构成对本公开的限定。其中：
24.图1是根据本公开实施例提供的车道线的识别方法的流程示意图；
25.图2是根据本公开实施例提供的车道线的识别示意图；
26.图3是根据本公开实施例提供的车道线的识别装置的结构示意图；
27.图4是用来实现本公开实施例的车道线的识别方法的电子设备的示意性框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.本公开实施例的方案中，在车辆行驶过程中，针对弯道区域，结合车辆的规划路线来进行车道线识别，利用规划路线对初步识别的车道线进行优化，从而提高在弯道区域的车道线识别的准确性。
30.本公开提供一种车道线的识别方法、装置及电子设备，应用于人工智能技术领域的无人驾驶、高精地图等技术领域，具体可以应用于ar导航等场景中，以达到提高车道线识别准确性的目的。
31.下面，将通过具体的实施例对本公开提供的车道线的识别方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
32.图1是根据本公开实施例提供的车道线的识别方法的流程示意图。该方法的执行主体为车道线的识别装置，该装置可以通过软件和/或硬件的方式实现。如图1所示，该方法包括：
33.s101、判断车辆当前行驶的路线是否为弯道，若车辆当前行驶的路线为弯道，则根据从道路图像中提取的边缘候选集确定初始车道线中心线。
34.本步骤中，可以通过道路图像或者车辆的规划路线来判断车辆当前形势的路线是否为弯道。其中，道路图像是车辆的摄像头拍摄的当前视野内的图像，其中包括了车辆当前
所行驶的车道图像，通过对道路图像的识别确定当前行驶的路线为直线或弯道。车辆的规划路线即车辆行驶时的导航路线或导航路径，根据规划路线也可以判断当前形势的路线为直线或弯道。在车辆当前行驶的路线为弯道时，继续采用本实施例的方法进行车道线识别。
35.边缘候选集可以是在本步骤之前对道路图像进行边缘提取得到的，或者是在执行本步骤时对道路图像进行边缘提取得到的，本公开实施例中对此不做限定。边缘候选集中包括了通过边缘提取得到的道路曲线中的线段或曲线等，可以基于边缘候选集和霍夫曼变换等方法确定初始车道线中心线，该初始车道线中心线是车辆当前所在车道的中心线的初步识别结果。
36.s102、根据车辆的规划路线的形状点确定规划路线中心线和规划路线车道线。
37.车辆的规划路线可以是基于行驶目的地和地图确定的，规划路线的形状点通常仅包括一条道路线，因此将根据规划路线的形状点确定出的道路线确定为规划路线中心线，并根据规划路线的中心线确定两侧的规划路线车道线。
38.s103、根据初始车道线中心线和规划路线中心线，对规划路线车道线进行水平位移。
39.由于规划路线是从道路层面进行规划的，因此，s202中得到的规划路线中心线和规划路线车道线可能不在车辆当前行驶的车道上，或者在当前车道上但有一定的偏差，也就是s202中的规划路线中心线与s201中的初始车道线中心线可能有一定的水平位移，因此本步骤中根据初始车道线中心线和规划路线中心线之间的偏差，对规划路线车道线进行水平位移，以将规划路线车道线移至当前行驶车道的正确位置。
40.s104、根据边缘候选集和进行水平位移后的规划路线车道线，确定车道线识别结果。
41.在将规划路线车道线进行水平位移后，利用边缘候选集和规划路线车道线重新生成最终的车道线识别结果，从而提高车道线的准确性。
42.本公开实施例中的方法中，对于弯道的场景，利用车辆的规划路线形状点，结合边缘候选集来确定车道线，由于规划路线形状点可以体现路线的弯曲，从而能够避免仅通过边缘候选集确定车道线时对弯道识别效果较差的问题，提高了识别准确性。此外，该方法也能够避免由于摄像头畸变等因素导致的图像识别不准确的问题。
43.在上述实施例的基础上，对各步骤做进一步说明。
44.可选的，获取道路图像，并对道路图像进行预处理；对预处理后的道路图像进行边缘提取，得到边缘候选集。
45.其中，对道路图像的预处理可以包括图像灰度化处理、图像平滑处理等，从而能够降低道路图像的噪声、抹去道路图像中不必要的小细节，以提高后续的识别准确性。对预处理后的道路图像中，提取其中梯度变化明显的点，形成边缘候选集，该步骤可以参见相关技术中的处理方法，此处不再赘述。
46.可选的，根据车辆的当前定位点，获取与当前定位点的距离在预设范围内的规划路线的形状点；根据规划路线的形状点的位置判断车辆当前行驶的路线是否为弯道。
47.为了对道路图像中的车道线进行识别，在判断当前行驶的路线是否为弯道，其实质是判断摄像头当前拍摄到的道路图像中的车道是否为弯道，因此在通过规划路线的形状点判断当前形势的路线是否为弯道时，可以仅获取距离当前定位点的距离在预设范围内的
规划路线的形状点，也就是摄像头视野范围内的这一段距离内的规划路线的形状点，从而保证判断结果的准确性。若规划路线的形状点在一条直线上(或接近直线的线上)，则可以判断当前行驶的路线为直线，若规划路线的形状点在一条曲线上，则就可以判断车辆当前行驶的路线为弯道。
48.在车辆当前行驶的路线为弯道的情况下，可选的，根据边缘候选集确定初始车道线；根据初始车道线确定初始车道线中心线。
49.其中，根据边缘候选集，确定感兴趣区域(region of interest，roi)，并基于霍夫曼变换得到初始车道线，并根据初始车道线确定其中心线，即初始车道线中心线。示例的，如图2所示，图2中车道线201为道路图像中拍摄到的车辆当前行驶的实际的车道线，初始车道线202和初始车道线中心线203为本步骤采用霍夫曼变化识别得到的初始识别结果。可以看出，由于车道线201为弯道，在道路图像的远端部分，初始车道线202和初始车道线中心线203具有一定的偏差。因此，本公开实施例中进一步执行以下步骤，结合规划路线来得到更准确的识别结果。
50.可选的，将与车辆的距离在预设范围内的规划路线的形状点，转换至图像坐标系下，得到规划路线在道路图像上的规划路线中心线。
51.图像坐标系是指车辆的摄像头拍摄的道路图像的坐标系，由于规划路线的形状点是在世界坐标系下的，因此需要将其转换至图像坐标系下，可选的，根据拍摄道路图像的摄像头(相机)的外参和矩阵，将规划路线的形状点转换至图像坐标系下，从而将规划路线转换至道路图像上，也就是得到道路图像上的规划路线中心线。
52.根据车辆的规划路线的形状点，确定规划路线中心线之后，根据车道宽度和规划路线中心线，确定规划路线车道线，也就是确定规划路线中心线左右两侧的规划路线车道线。其中，车道宽度是根据道路图像确定的。规划路线对应规划路线车道线和规划路线中心线具有较高的置信度。示例的，参照图2，规划路线中心线204和规划路线车道线205是基于规划路线的形状点确定出的车道线。
53.由于根据规划路线的形状点确定出的车道线，在道路图像上可能与车辆当前行驶的车道有一定的水平方向的偏差，因此，需要对规划路线车道线进行水平位移。
54.可选的，将初始车道线中心线和规划路线中心线进行拟合，得到规划路线中心线的水平位移值，并按照水平位移值对规划路线车道线进行水平位移。参照图2，初始车道线中心线203是在车辆当前行驶的车道上的，只是可能在图像远端车道较弯曲的部分与手机车道有偏差，而在图像近端靠近车辆的部分相对准确，在将初始车道线中心线203和规划路线中心线204进行拟合时，可以将初始车道线中心线203靠近车辆的一段和规划路线中心线204进行拟合，从而确定规划路线中心线204的水平位移值，也就是规划路线中心线204的水平偏差，再根据该水平位移值对规划路线车道线205进行水平位，将规划路线车道线205位移至正确的车道位置，从而保证其准确性。
55.之后，再将边缘候选集和进行水平位移后的规划路线车道线进行拟合，得到车道线识别结果，利用规划路线车道线的准确性来提高车道线识别的准确性。
56.在上述实施例中对车辆当前行驶的路线为弯道的场景进行了说明。除此之外，本公开实施例中，对于车辆当前行驶的路线为直线的场景同样进行了优化。
57.在车辆当前行驶的路线为直道时，根据边缘候选集确定第一车道线；若第一车道
线的拟合置信度小于预设值，则采用边缘候选集中临近车辆的区域的部分候选集，重新确定第二车道线；若第二车道线的拟合置信度大于预设值，则将第二车道线确定为车道线识别结果。
58.其中，根据边缘候选集确定第一车道线的方法与前述的类似，即根据边缘候选集，先确定roi区域，再基于霍夫曼变换确定第一车道线。对第一车道线的拟合置信度可以通过第一车道线与边缘候选集的距离来进行判断，第一车道线距离边缘候选集中的线段的距离越大，则拟合置信度越低。若第一车道线的拟合置信度小于预设值，则表示第一车道线的准确性较差，此时，可以采用边缘候选集中临近车辆的区域的部分候选集，重新确定第二车道线，也就是将roi区域替换为道路图像中临近车辆的区域，即画面近端的区域，并再次基于霍夫曼变换确定第二车道线，由于临近车辆的区域的部分候选集准确性相对更高，受到相机畸变等的影响也较小，因此，第二车道线的准确性可能高于第一车道线，若第二车道线的拟合置信度大于预设值，则将第二车道线确定为车道线识别结果，而丢弃第一车道线。
59.图3是根据本公开实施例提供的车道线的识别装置的结构示意图。如图3所示，车道线的识别装置300包括：
60.第一确定模块301，用于判断车辆当前行驶的路线是否为弯道，若车辆当前行驶的路线为弯道，则根据从道路图像中提取的边缘候选集确定初始车道线中心线；
61.第二确定模块302，用于根据车辆的规划路线的形状点确定规划路线中心线和规划路线车道线；
62.位移模块303，用于根据初始车道线中心线和规划路线中心线，对规划路线车道线进行水平位移；
63.识别模块304，用于根据边缘候选集和进行水平位移后的规划路线车道线，确定车道线识别结果。
64.在一种实施方式中，位移模块303包括：
65.位移单元，用于将初始车道线中心线和规划路线中心线进行拟合，得到规划路线中心线的水平位移值，并按照水平位移值对规划路线车道线进行水平位移。
66.在一种实施方式中，识别模块304包括：
67.拟合单元，用于将边缘候选集和进行水平位移后的规划路线车道线进行拟合，得到车道线识别结果。
68.在一种实施方式中，第二确定模块302包括：
69.转换单元，用于将与车辆的距离在预设范围内的规划路线的形状点，转换至图像坐标系下，得到规划路线在道路图像上的规划路线中心线。
70.在一种实施方式中，第二确定模块302包括：
71.第一确定单元，用于根据车辆的规划路线的形状点，确定规划路线中心线；
72.第二确定单元，用于根据道路图像确定车道宽度；
73.第三确定单元，用于根据车道宽度和规划路线中心线，确定规划路线车道线。
74.在一种实施方式中，第一确定模块301包括：
75.第四确定单元，用于根据边缘候选集确定初始车道线；
76.第五确定单元，用于根据初始车道线确定初始车道线中心线。
77.在一种实施方式中，第一确定模块301包括：
78.获取单元，用于根据车辆的当前定位点，获取与当前定位点的距离在预设范围内的规划路线的形状点；
79.判断单元，用于根据规划路线的形状点的位置判断车辆当前行驶的路线是否为弯道。
80.在一种实施方式中，车道线的识别装置300还包括：
81.第六确定单元，用于若车辆当前行驶的路线为直道，则根据边缘候选集确定第一车道线；
82.第七确定单元，用于若第一车道线的拟合置信度小于预设值，则采用边缘候选集中临近车辆的区域的部分候选集，重新确定第二车道线；
83.第八确定单元，用于若第二车道线的拟合置信度大于预设值，则将第二车道线确定为车道线识别结果。
84.在一种实施方式中，车道线的识别装置300还包括：
85.预处理模块，用于获取道路图像，并对道路图像进行预处理；
86.边缘提取模块，用于对预处理后的道路图像进行边缘提取，得到边缘候选集。
87.本公开实施例的装置可用于执行上述方法实施例中的车道线的识别方法，其实现原理和技术效果类似，此处不再赘述。
88.根据本公开的实施例，本公开还提供了一种电子设备和存储有计算机指令的非瞬时计算机可读存储介质。
89.根据本公开的实施例，本公开还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
90.图4是用来实现本公开实施例的车道线的识别方法的电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
91.如图4所示，电子设备400包括计算单元401，其可以根据存储在只读存储器(rom)402中的计算机程序或者从存储单元408加载到随机访问存储器(ram)403中的计算机程序，来执行各种适当的动作和处理。在ram 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、rom 402以及ram 403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
92.设备400中的多个部件连接至i/o接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
93.计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工
智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如车道线的识别方法。例如，在一些实施例中，车道线的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由rom 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到ram 403并由计算单元401执行时，可以执行上文描述的车道线的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车道线的识别方法。
94.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
95.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
96.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
97.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
98.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
99.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
100.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
101.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。