车道识别方法、装置及存储介质与流程

1.本技术实施例涉及辅助驾驶技术领域，尤其涉及一种车道识别方法、装置及存储介质。


背景技术：

2.基于视觉图像的车道线分割拟合技术作为自动驾驶底层的技术，其准确性、稳定性、实时性受到较多的关注。车辆行驶环境的复杂、光照条件的差异等对车道识别带来挑战，存在信息识别不准确甚至无法识别的风险。


技术实现要素：

3.本技术实施例提供了一种车道识别方法，包括：
4.通过车道语义分割模型对车道图像的当前帧进行特征提取得到车道语义图；
5.利用车道线拟合模型对所述车道语义图的数据进行曲线拟合得到候选的车道线，从所述候选的车道线以及默认的车道线中选择满足筛选策略的左右车道线作为当前帧的目标左右车道线；其中，默认的车道线是曲线拟合系数为默认值的左右车道线；
6.确定当前帧的目标左右车道线的置信度；
7.根据当前帧以及当前帧之前的多帧的目标左右车道线的曲线拟合系数和置信度进行车道线历史数据的最优变权回归，获取当前帧的变权拟合车道线拟合系数；
8.根据当前帧的变权拟合车道线拟合系数更新当前帧的目标左车道线和目标右车道线，将所述更新后的目标左车道线和目标右车道线之间的车道作为当前帧的目标车道。
9.本技术实施例提供了一种车道识别装置，包括：存储器及处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现上述车道识别方法的步骤。
10.本技术实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述车道识别方法的步骤。
11.本技术实施例提供的车道识别方法，通过车道语义分割模型对车道图像的当前帧进行特征提取得到车道语义图；利用车道线拟合模型对所述车道语义图的数据进行曲线拟合得到候选的车道线，从所述候选的车道线以及默认的车道线中选择满足筛选策略的左右车道线作为当前帧的目标左右车道线；其中，默认的车道线是曲线拟合系数为默认值的左右车道线；确定当前帧的目标左右车道线的置信度；根据当前帧以及当前帧之前的多帧的目标左右车道线的曲线拟合系数和置信度进行车道线历史数据的最优变权回归，获取当前帧的变权拟合车道线拟合系数；根据当前帧的变权拟合车道线拟合系数更新当前帧的目标左车道线和目标右车道线，将所述更新后的目标左车道线和目标右车道线之间的车道作为当前帧的目标车道。上述车道识别方法提高了复杂环境下车道识别的准确度和可靠性。
12.在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
13.附图用来提供对本技术技术方案的理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
14.图1为本技术实施例的一种车道识别方法的流程示意图；
15.图2为本技术实施例的一种车道识别装置的结构示意图。
具体实施方式
16.本技术描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本技术所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
17.本技术包括并设想了与本领域普通技术人员已知的特征和元件的组合。本技术已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由所附权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由所附权利要求限定的独特的发明方案。因此，应当理解，在本技术中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
18.本技术实施例提供了一种车道识别方法。如图1所示，一种车道识别方法，包括：
19.步骤s10，通过车道语义分割模型对车道图像的当前帧进行特征提取得到车道语义图；
20.步骤s20，利用车道线拟合模型对所述车道语义图的数据进行曲线拟合得到候选的车道线，从所述候选的车道线以及默认的车道线中选择满足筛选策略的左右车道线作为当前帧的目标左右车道线；其中，默认的车道线是曲线拟合系数为默认值的左右车道线；
21.步骤s30，确定当前帧的目标左右车道线的置信度；
22.步骤s40，根据当前帧以及当前帧之前的多帧的目标左右车道线的曲线拟合系数和置信度进行车道线历史数据的最优变权回归，获取当前帧的变权拟合车道线拟合系数；
23.步骤s50，根据当前帧的变权拟合车道线拟合系数更新当前帧的目标左车道线和目标右车道线，将所述更新后的目标左车道线和目标右车道线之间的车道作为当前帧的目标车道。
24.本技术实施例提供的车道识别方法，通过车道语义分割模型对车道图像的当前帧进行特征提取得到车道语义图；利用车道线拟合模型对所述车道语义图的数据进行曲线拟合得到候选的车道线，从所述候选的车道线以及默认的车道线中选择满足筛选策略的左右车道线作为当前帧的目标左右车道线；其中，默认的车道线是曲线拟合系数为默认值的左右车道线；确定当前帧的目标左右车道线的置信度；根据当前帧以及当前帧之前的多帧的目标左右车道线的曲线拟合系数和置信度进行车道线历史数据的最优变权回归，获取当前帧的变权拟合车道线拟合系数；根据当前帧的变权拟合车道线拟合系数更新当前帧的目标
左车道线和目标右车道线，将所述更新后的目标左车道线和目标右车道线之间的车道作为当前帧的目标车道。上述车道识别方法提高了复杂环境下车道识别的准确度和可靠性。
25.在一些示例性的实施方式中，所述车道线拟合模型包括：二次曲线。在其他的实施方式中，所述车道线拟合模型也可以是其他曲线。
26.在一些示例性的实施方式中，所述筛选策略包括：
27.如果所述车道语义图不存在连通区域，则将默认的左车道线作为当前帧的目标左车道线，将默认的右车道线作为当前帧的目标右车道线；
28.如果候选的左车道线的曲线拟合系数在第一预设阈值范围外，则将默认的左车道线作为当前帧的目标左车道线；
29.如果候选的右车道线的曲线拟合系数在第一预设阈值范围外，则将默认的右车道线作为当前帧的目标右车道线；
30.如果候选的左车道线的曲线拟合系数在第一预设阈值范围内，且候选的左车道线只有一条，则将所述唯一的一条候选的左车道线作为当前帧的目标左车道线；
31.如果候选的右车道线的曲线拟合系数在第一预设阈值范围内，且候选的右车道线只有一条，则将所述唯一的一条候选的右车道线作为当前帧的目标右车道线；
32.如果候选的左车道线的曲线拟合系数在第一预设阈值范围内，且候选的左车道线有多条，则从所述多条候选的左车道线中选择距离当前车辆距离最近的一条候选的左车道线作为当前帧的目标左车道线；
33.如果候选的右车道线的曲线拟合系数在第一预设阈值范围内，且候选的右车道线有多条，则从所述多条候选的右车道线中选择距离当前车辆距离最近的一条候选的右车道线作为当前帧的目标右车道线。
34.其中，车道线的曲线拟合系数在第一预设阈值范围内可以保证车道线的形状满足要求，避免将拟合出的过度弯曲的曲线选择为目标车道线。
35.在一些示例性的实施方式中，所述确定当前帧的目标左右车道线的置信度，包括：
36.如果当前帧的目标左车道线是默认的左车道线，则将当前帧的目标左车道线的置信度cr_r_l(n)设置为0，将当前帧的目标左车道线的转向系数tr_l(n)设置为0；
37.如果当前帧的目标左车道线是候选的左车道线且当前帧之前的n-1帧的转向系数的累加和小于右向阈值且大于左向阈值，则将当前帧的目标左车道线的置信度cr_r_l(n)设置为0，将当前帧的目标左车道线的转向系数tr_l(n)设置为0；
38.如果当前帧的目标左车道线是候选的左车道线且当前帧之前的n-1帧的转向系数的累加和大于或等于右向阈值，则将当前帧的目标左车道线的置信度cr_r_l(n)设置为1，将当前帧的目标左车道线的转向系数tr_l(n)设置为1；
39.如果当前帧的目标左车道线是候选的左车道线且当前帧之前的n-1帧的转向系数的累加和小于等于左向阈值，则将当前帧的目标左车道线的置信度cr_r_l(n)设置为1，将当前帧的目标左车道线的转向系数tr_l(n)设置为-1；
40.如果当前帧的目标右车道线是默认的右车道线，则将当前帧的目标右车道线的置信度cr_r_r(n)设置为0，将当前帧的目标右车道线的转向系数tr_r(n)设置为0；
41.如果当前帧的目标由车道线是候选的右车道线且当前帧之前的n-1帧的转向系数的累加和小于右向阈值且大于左向阈值，则将当前帧的目标右车道线的置信度cr_r_r(n)
设置为0，将当前帧的目标右车道线的转向系数tr_r(n)设置为0；
42.如果当前帧的目标右车道线是候选的右车道线且当前帧之前的n-1帧的转向系数的累加和大于或等于右向阈值，则将当前帧的目标右车道线的置信度cr_r_l(n)设置为1，将当前帧的目标右车道线的转向系数tr_r(n)设置为1；
43.如果当前帧的目标右车道线是候选的右车道线且当前帧之前的n-1帧的转向系数的累加和小于或等于左向阈值，则将当前帧的目标右车道线的置信度cr_r_l(n)设置为1，将当前帧的目标右车道线的转向系数tr_r(n)设置为-1；
44.其中，置信度取值为0表示目标车道线不可信，置信度取值为1表示目标车道线可信；转向系数取值为1表示车道线向右弯曲，转向系数取值为0表示车道线弯曲方向不确定，转向系数取值为-1表示车道线向左弯曲。
45.在一些示例性的实施方式中，根据当前帧以及当前帧之前的多帧的目标左右车道线的曲线拟合系数和置信度进行车道线历史数据的最优变权回归，获取当前帧的变权拟合车道线拟合系数，包括：
46.确定第i帧的目标左车道线的曲线拟合系数cf_l(i)对应的权重wh_l(i)，计算n帧目标左车道线的曲线拟合系数的加权和sum_cf_l；确定第i帧的目标右车道线的曲线拟合系数cf_r(i)对应的权重wh_r(i)，计算n帧目标右车道线的曲线拟合系数的加权和sum_cf_r；
47.计算n帧目标左车道线的置信度累加和sum_cr_l和n帧目标右车道线的置信度累加和sum_cr_r；
48.如果n帧目标左车道线的置信度累加和sum_cr_l小于第一置信阈值且n帧目标右车道线的置信度累加和sum_cr_r大于第二置信阈值，则将当前帧的变权拟合左车道线拟合系数设置为n帧目标右车道线的曲线拟合系数的加权和sum_cf_r；
49.如果n帧目标右车道线的置信度累加和sum_cr_r小于第一置信阈值且n帧目标左车道线的置信度累加和sum_cr_l大于第二置信阈值，则将当前帧的变权拟合右车道线拟合系数设置为n帧目标左车道线的曲线拟合系数的加权和sum_cf_l；
50.如果n帧目标左车道线的置信度累加和sum_cr_l和n帧目标右车道线的置信度累加和sum_cr_r不满足第一条件，则将当前帧的变权拟合左车道线拟合系数设置为n帧目标左车道线的曲线拟合系数的加权和sum_cf_l，将当前帧的变权拟合右车道线拟合系数设置为n帧目标右车道线的曲线拟合系数的加权和sum_cf_r；
51.所述第一条件为：n帧目标左车道线的置信度累加和sum_cr_l小于第一置信阈值且n帧目标右车道线的置信度累加和sum_cr_r大于第二置信阈值，或者，n帧目标右车道线的置信度累加和sum_cr_r小于第一置信阈值且n帧目标左车道线的置信度累加和sum_cr_l大于第二置信阈值；
[0052][0053]
[0054][0055][0056]
0≤wh_l(i)≤1；wh_l(j)≤wh_l(k)；
[0057]
0≤wh_r(i)≤1；wh_r(j)≤wh_r(k)；
[0058]
1≤i≤n；1≤j≤n-1；2≤k≤n；j＜k；
[0059]
其中，cr_l(i)是第i帧的目标左车道线的置信度，cr_r(i)是第i帧的目标右车道线的置信度；n帧包括当前帧和当前帧之前的n-1帧；第一置信阈值小于第二置信阈值。
[0060]
在一些示例性的实施方式中，在当前帧之前的所有帧的总数小于预设帧数阈值时，n为当前帧之前的所有帧的总数加1；在当前帧之前的所有帧的总数大于或等于预设帧数阈值时，n为预设帧数阈值。比如，当预设帧数阈值为20帧时，如果当前帧之前的所有帧的总数a小于20，则n＝a+1；如果当前帧之前的所有帧的总数a大于或等于20，则n＝20。
[0061]
在一些示例性的实施方式中，确定第i帧的目标左车道线的曲线拟合系数cf_l(i)对应的权重wh_l(i)和第i帧的目标右车道线的曲线拟合系数cf_r(i)对应的权重wh_r(i)，包括：
[0062]
确定第i帧的目标左车道线的曲线拟合系数cf_l(i)对应的权重wh_l(i)和第i帧的目标右车道线的曲线拟合系数cf_r(i)对应的权重wh_r(i)，包括：
[0063]
第i帧的目标左车道线的曲线拟合系数cf_l(i)对应的权重wh_l(i)设置为：wh_l(i)＝i/sum_n；
[0064]
第i帧的目标右车道线的曲线拟合系数cf_r(i)对应的权重wh_r(i)设置为：wh_r(i)＝i/sum_n；
[0065]
其中，
[0066]
1≤i≤n；n帧包括当前帧和当前帧之前的n-1帧。
[0067]
在其他的实施方式中，每一帧的目标左车道线和目标右车道线的曲线拟合系数对应的权重也可以采用其他的方式进行确定，只要符合越靠近当前帧的图像帧的权重设置的越大即可。
[0068]
在一些示例性的实施方式中，根据当前帧的变权拟合车道线拟合系数更新当前帧的目标左车道线和目标右车道线，包括：
[0069]
用当前帧的变权拟合左车道线拟合系数更新当前帧的目标左车道线的曲线拟合系数；
[0070]
用当前帧的变权拟合右车道线拟合系数更新当前帧的目标右车道线的曲线拟合系数。
[0071]
在一些示例性的实施方式中，将所述更新后的目标左车道线和目标右车道线之间的车道作为当前帧的目标车道后，所述方法还包括：
[0072]
显示当前帧的目标车道。
[0073]
在一些示例性的实施方式中，将所述更新后的目标左车道线和目标右车道线之间的车道作为当前帧的目标车道后，所述方法还包括：
[0074]
确定当前车辆与目标左右车道线的距离，在当前车辆与目标左右车道线的距离小于距离阈值时进行预警提示。
[0075]
在一些示例性的实施方式中，通过车道语义分割模型对车道图像的当前帧进行特征提取得到车道语义图后，所述方法还包括：
[0076]
执行以下处理的至少一种：
[0077]
相机视图到鸟瞰图的转换、二值化、膨胀处理、连通区域计算和连通区域过滤。
[0078]
如图2所示，本公开实施例提供了一种车道识别装置，包括：存储器及处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现上述车道识别方法的步骤。
[0079]
本公开实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述车道识别方法的步骤。
[0080]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。