一种车道线的检测方法、装置及存储介质与流程

1.本发明涉及车道线检测技术领域，尤其涉及一种车道线的检测方法、装置及存储介质。


背景技术：

2.车道线检测的目的是为了识别车道线，并准确的回归车道线的位置。车道线检测技术主要应用于车辆的自动驾驶系统或辅助驾驶系统，以保证车辆在横向运动过程中的安全性。
3.相关技术中，可以通过传统图像处理的方法或深度学习分割方法检测车道线。其中，传统图像处理的方法是由人工设计车道线特征，这样得到的车道线检测模型的鲁棒性较低，使得检测结果的准确度较低。深度学习分割方法，是对大尺寸特征图中的每个像素进行分类，从而得到车道线，但是整个检测过程中的计算量较大，检测效率较低。


技术实现要素：

4.本发明提供一种车道线的检测方法、装置及存储介质，能够提高车道线的检测效率和检测准确度。
5.为达到上述目的，本发明采用如下技术方案：
6.第一方面，本发明提供一种车道线的检测方法，该方法包括：
7.对获取到的第一特征图进行四次特征提取，确定第一图像、第二图像、第三图像和第四图像，第一图像为单通道的第二特征图，第二图像和第三图像为(2m+2)个通道的第二特征图，第四图像为w个通道的第二特征图，第一特征图和第二特征图中包括车道线，w和m为正整数；
8.根据第一图像中每个像素的像素值，确定包含车道线特征的n个像素，n个像素中每个像素对应一条车道线；
9.根据第二图像的第一像素的(2m+2)个第一通道值，在第二图像的第一范围内确定n1个包含车道线特征的第二像素，并根据第三图像的第一像素的(2m+2)个第二通道值，在第三图像的第二范围内确定n2个第二像素，第一像素为n个像素中的任一像素，n1、n2为大于或等于0的整数，前(2m+1)个第一通道值和前(2m+1)个第二通道值用于指示一个像素中包含车道线特征的概率，第(2m+2)个第一通道值用于指示要扩大第一范围的概率，第(2m+2)个第二通道值用于指示要扩大第二范围的概率；
10.根据第四图像，确定n个像素组中的每个像素的w个目标特征点，每个像素组包括(n1+n2)个第二像素；
11.根据n个像素组中的每个像素的w个目标特征点，确定n条车道线，每个像素组包括(n1+n2)个第二像素。
12.采用本发明提供的车道线的检测方法，对第一特征图进行四次特征提取后，得到具有不同维度的第二特征图，即第一图像、第二图像、第三图像、第四图像。其中，第一图像
为单通道的第二特征图，根据第一图像中每个像素的像素值，将第二特征图中的所有像素分为包含车道线特征的像素，以及不包含车道线特征的像素，即对第二特征图中的所有像素进行全局分类，从而得到的第二特征图中的n个包含车道线特征的像素。第二图像和第三图像均为包含(2m+2)个通道的第二特征图，以n个包含车道线的像素中的每一像素为基础，将第二图像的第一范围内的像素分为包含车道线特征的像素，以及不包含车道线特征的像素，即以每个包含车道线特征的像素为基础，在第二图像的第一范围中确定出包含车道线特征的n2个像素；将第三图像的第二范围内的像素分为包含车道线特征的像素，以及不包含车道线特征的像素，即以每个包含车道线特征的像素为基础，在第三图像的第一范围中确定出包含车道线特征的n2个像素，这样就可以确定出n个像素中每个像素对应的车道线所包含的(n1+n2)个像素。即得到了n个像素组，一个像素组包含(n1+n2)个像素，对应了n条车道线。第四像素为包含w个通道的第二特征图，根据第四图像可以确定出每个像素组包含的(n1+n2)个像素中每个像素的w个目标特征点。即，一个像素组包含[(n1+n2)
×
w]个目标特征点。那么，根据[(n1+n2)
×
w]个目标特征点便可以确定出一条车道线。由上述可知，本发明对第二特征图中的像素进行了两次分类，确定出了第二特征图中n条车道线中每条车道线包含的像素。在这两次分类过程中，首先进行全局分类，确定出包含车道线特征的像素，再以每个包含车道线特征的像素为基础，在其局部区域内确定出形成一条车道线的一组像素。这样仅以包含车道线特征的像素为基础，做二次局部分类的方式确定组成一条车道线的像素，不但降低了计算量，提高车道线的检测效率，而且，局部分类的方式，缩小了查找范围，使得到的组成一条车道线的像素的准确度更高。且，在确定目标特征点时，也仅是确定形成一条车道线的一组像素中的目标特征点即可，这样进一步减少了计算量，使得车道线的检测效率更高。
[0013]
在一种可能的实现方式中，上述第一像素位于第二图像的第i行，第j列，根据第二图像的第一像素的(2m+2)个第一通道值，确定n1个包含车道线特征的第二像素，包括：
[0014]
从第二图像的第(i-1)行开始，确定第(i-1)行的前(2m+1)个第一通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i-1)的第二像素；
[0015]
如果第(i-1)行的第(2m+2)个第一通道值大于第一阈值，则确定第(i-1)行的上一行的第二像素。
[0016]
在一种可能的实现方式中，上述第一像素位于第三图像的第i行，第j列，根据第三图像的第一像素的(2m+2)个第二通道值，确定n2个第二像素，包括：
[0017]
从第三图像的第(i+1)行开始，确定第(i+1)行的前(2m+1)个第二通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i+1)的第二像素；
[0018]
如果第(i+1)行的第(2m+2)个第二通道值大于第一阈值，则确定第(i+1)行的上一行的第二像素。
[0019]
在一种可能的实现方式中，上述车道线的检测方法，还包括：
[0020]
根据每个像素组对应的前(2m+1)个第一通道值和前(2m+1)个第二通道值，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0021]
在一种可能的实现方式中，上述根据每个像素组对应的前(2m+1)个第一通道值和
前(2m+1)个第二通道值，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线，包括：
[0022]
根据每个像素组对应的前(2m+1)个第一通道值和前(2m+1)个第二通道值，确定每个像素组对应的车道线的置信度；
[0023]
根据每个像素组对应的车道线的置信度，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0024]
在一种可能的实现方式中，上述根据每个像素组对应的第一通道值和第二通道值，确定每个像素组对应的车道线的置信度，包括：
[0025]
将每个像素组中的n1个第二像素中每个第二像素对应的前(2m+1)个第一通道值的最大值确定为第一目标通道值；
[0026]
将每个像素组中的n2个第二像素中每个第二像素对应的前(2m+1)个第二通道值的最大值确定为第二目标通道值；
[0027]
根据每个像素组中的n1个第一目标通道值，以及n2个第二目标通道值的平均值，确定为每个像素组对应的车道线的置信度。
[0028]
在一种可能的实现方式中，上述根据每个像素组对应的车道线的置信度，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线，包括：
[0029]
根据每个像素组中的目标特征点，确定任意两条车道线的目标距离；
[0030]
如果任意两条车道线的目标距离大于第二阈值，则将任意两条车道线确定为目标车道线；
[0031]
如果任意两条车道线的目标距离小于第二阈值，则将任意两条车道线中置信度大的车道线确定为目标车道线。
[0032]
在一种可能的实现方式中，根据每个像素组中的目标特征点，确定任意两条车道线的目标距离，包括：
[0033]
确定任意两条车道线中的目标特征点的目标横轴坐标，所述目标横轴坐标对应的纵轴坐标相同；
[0034]
根据所有目标横轴坐标，确定任意两条车道线的第一距离；
[0035]
根据任意两条车道线的目标特征点中的起点横轴坐标，确定任意两条车道线的第二距离；
[0036]
根据任意两条车道线的目标特征点中的终点横轴坐标，确定任意两条车道线的第三距离；
[0037]
将第一距离、第二距离和第三距离中的最大距离，确定为目标距离。
[0038]
在一种可能的实现方式中，上述根据第一图像中每个像素的像素值，确定包含车道线特征的n个像素，包括：
[0039]
在第一图像中的像素的像素值大于第三阈值时，确定第一图像中的像素为包含车道线特征的像素。
[0040]
在一种可能的实现方式中，上述根据第四图像，确定n个像素组中的每个像素的w个目标特征点，包括：
[0041]
根据第四图像的n个像素组中的每个像素的w个初始特征点，以及每个初始特征点的第三通道值，确定每个像素的w个目标特征点，第三通道值用于指示像素的中点在目标图
像上的映射点与像素中每个初始特征点之间的横轴坐标的差值，第一特征图是由目标图像进行特征提取后得到的。
[0042]
第二方面，本发明提供一种车道线的检测装置，包括：
[0043]
第一确定单元，用于对获取到的第一特征图进行四次特征提取，确定第一图像、第二图像、第三图像和第四图像，第一图像为单通道的第二特征图，第二图像和第三图像为(2m+2)个通道的第二特征图，第四图像为w个通道的第二特征图，第一特征图和第二特征图中包括车道线，w和m为正整数；
[0044]
第二确定单元，用于根据第一图像中每个像素的像素值，确定包含车道线特征的n个像素，n个像素中每个像素对应一条车道线；
[0045]
第三确定单元，用于根据第二图像的第一像素的(2m+2)个第一通道值，在第二图像的第一范围内确定n1个包含车道线特征的第二像素，并根据第三图像的第一像素的(2m+2)个第二通道值，在第三图像的第二范围内确定n2个第二像素，第一像素为n个像素中的任一像素，n1、n2为大于或等于0的整数，前(2m+1)个第一通道值和前(2m+1)个第二通道值用于指示一个像素中包含车道线特征的概率，第(2m+2)个第一通道值用于指示要扩大第一范围的概率，第(2m+2)个第二通道值用于指示要扩大第二范围的概率；
[0046]
第四确定单元，用于根据第四图像，确定n个像素组中的每个像素的w个目标特征点，每个像素组包括(n1+n2)个第二像素，并根据n个像素组中的每个像素的w个目标特征点，确定n条车道线。
[0047]
在一种可能的实现方式中，上述第一像素位于第二图像的第i行，第j列。上述第三确定单元，具体用于：
[0048]
从第二图像的第(i-1)行开始，确定第(i-1)行的前(2m+1)个第一通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i-1)的第二像素；
[0049]
如果第(i-1)行的第(2m+2)个第一通道值大于第一阈值，则确定第(i-1)行的上一行的第二像素。
[0050]
在一种可能的实现方式中，上述第一像素位于第三图像的第i行，第j列。上述第三确定单元，具体用于：
[0051]
从第三图像的第(i+1)行开始，确定第(i+1)行的前(2m+1)个第二通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i+1)的第二像素；
[0052]
如果第(i+1)行的第(2m+2)个第二通道值大于第一阈值，则确定第(i+1)行的下一行的第二像素。
[0053]
在一种可能的实现方式中，上述第四确定单元还用于根据每个像素组对应的前(2m+1)个第一通道值和前(2m+1)个第二通道值，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0054]
在一种可能的实现方式中，上述第四确定单元，具体用于：
[0055]
根据每个像素组对应的前(2m+1)个第一通道值，以及前(2m+1)个第二通道值，确定每个像素组对应的车道线的置信度；
[0056]
根据每个像素组对应的车道线的置信度，以及每个像素组中的目标特征点，在n条
车道线中确定l条目标车道线。
[0057]
在一种可能的实现方式中，上述第四确定单元，具体用于：
[0058]
将每个像素组中的n1个第二像素中每个第二像素对应的前(2m+1)个第一通道值的最大值确定为第一目标通道值；
[0059]
将每个像素组中的n2个第二像素中每个第二像素对应的前(2m+1)个第二通道值的最大值确定为第二目标通道值；
[0060]
根据每个像素组中的n1个第一目标通道值，以及n2个第二目标通道值的平均值，确定为每个像素组对应的车道线的置信度。
[0061]
在一种可能的实现方式中，上述第四确定单元，具体用于：
[0062]
根据每个像素组中的目标特征点，确定任意两条车道线的目标距离；
[0063]
如果任意两条车道线的目标距离大于第二阈值，则将任意两条车道线确定为目标车道线；
[0064]
如果任意两条车道线的目标距离小于第二阈值，则将任意两条车道线中置信度大的车道线确定为目标车道线。
[0065]
在一种可能的实现方式中，上述第四确定单元，具体用于：
[0066]
确定任意两条车道线中的目标特征点的目标横轴坐标，目标横轴坐标对应的纵轴坐标相同；
[0067]
根据所有目标横轴坐标，确定任意两条车道线的第一距离；
[0068]
根据任意两条车道线的目标特征点中的起点横轴坐标，确定任意两条车道线的第二距离；
[0069]
根据任意两条车道线的目标特征点中的终点横轴坐标，确定任意两条车道线的第三距离；
[0070]
将第一距离、第二距离和第三距离中的最大距离，确定为目标距离。
[0071]
在一种可能的实现方式中，上述第二确定单元，具体用于：
[0072]
根据第四图像的n个像素组中的每个像素的w个初始特征点，以及每个初始特征点的第三通道值，确定每个像素的w个目标特征点，第三通道值用于指示像素的中点在目标图像上的映射点与像素中每个初始特征点之间的横轴坐标的差值，第一特征图是由目标图像进行特征提取后得到的。
[0073]
在一种可能的实现方式中，上述第二确定单元，具体用于：
[0074]
在第一图像中的像素的像素值大于第三阈值时，确定第一图像中的像素为包含车道线特征的像素。
[0075]
第三方面，本发明提供一种车道线的检测装置，该车道线的检测装置包括：处理器和存储器。存储器用于存储计算机程序代码，计算机程序代码包括计算机指令。当处理器执行计算机指令时，车道线的检测装置执行如第一方面及其任一种可能的实现方式的车道线的检测方法。
[0076]
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机指令，当计算机指令在车道线的检测装置上运行时，使得车道线的检测装置执行如第一方面或第一方面的可能的实现方式中任意一项的车道线的检测方法。
附图说明
[0077]
图1为本发明实施例提供的车道线的检测系统的结构示意图；
[0078]
图2为本发明实施例提供的车道线的检测装置的结构示意图之一；
[0079]
图3为本发明实施例提供的车道线的检测方法的流程示意图之一；
[0080]
图4为本发明实施例中第一像素在第二图像中的位置示意图；
[0081]
图5为本发明实施例提供的车道线的检测方法的流程示意图之二；
[0082]
图6为本发明实施例提供的车道线的检测方法的流程示意图之三；
[0083]
图7为本发明实施例提供的车道线的检测装置的结构示意图之二。
具体实施方式
[0084]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0085]
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
[0086]
为了提高车道线的检测效率和检测准确度，本发明实施例提供了一种车道线的检测方法、装置和存储介质。通过对第二特征图中的像素进行了两次分类，确定出了第二特征图中n条车道线中每条车道线包含的像素。在这两次分类过程中，首先进行全局分类，确定出第二特征图中包含车道线特征的像素，再以每个包含车道线特征的像素为基础，在其局部区域内确定出形成一条车道线的一组像素。这样仅以包含车道线特征的像素为基础，做二次局部分类的方式确定组成一条车道线的像素，不但降低了计算量，提高车道线的检测效率，而且，局部分类的方式，缩小了查找范围，使得到的组成一条车道线的像素的准确度更高。且，在确定目标特征点时，也仅是确定形成一条车道线的一组像素中的目标特征点即可，这样进一步减少了计算量，使得车道线的检测效率更高。
[0087]
本发明实施例提供的车道线的检测方法可以适用于车道线的检测系统。图1示出了该车道线的检测系统的一种结构示意图。如图1所示，该车道线的检测系统可以包括：多个图像采集设备11，以及电子设备12，每个图像采集设备11与电子设备12通过有线通信或者无线通信的方式建立连接。
[0088]
图像采集设备11，用于拍摄图像，并向电子设备12传输该图像。
[0089]
在一些实施例中，图像采集设备11的拍摄对象可以是道路，道路上设有车道线。
[0090]
在一些实施例中，图像采集设备11可以为具有拍摄功能的设备。例如，图像采集设备11可以为路上行驶的汽车、无人机等。当图像采集设备11为汽车时，可以通过自身的行车记录仪拍摄行驶过程中汽车前方的道路。对图像采集设备11拍摄的图像中包括的道路的车道线进行检测，可以确定汽车当前所处的位置与车道的位置关系。该位置关系能够用于无
人驾驶或辅助驾驶。
[0091]
电子设备12，用于对获取到的第一特征图进行四次特征提取，确定第一图像、第二图像、第三图像和第四图像，第一图像为单通道的第二特征图，第二图像和第三图像为(2m+2)个通道的第二特征图，第四图像为w个通道的第二特征图，第一特征图和第二特征图中包括车道线，w和m为正整数；还用于根据第一图像中每个像素的像素值，确定包含车道线特征的n个像素，n个像素中每个像素对应一条车道线；还用于根据所述第二图像的第一像素的(2m+2)个第一通道值，在第二图像的第一范围内确定n1个包含车道线的第二像素，并根据第三图像的第一像素的(2m+2)个第二通道值，在第三图像的第二范围内确定n2个第二像素，第一像素为n个像素中的任一像素，n1、n2为大于或等于0的整数，前(2m+1)个第一通道值和前(2m+1)个第二通道值用于指示一个像素中包含车道线特征的概率，第(2m+2)个第一通道值用于指示要扩大第一范围的概率，第(2m+2)个第二通道值用于指示要扩大第二范围的概率；还用于根据第四图像，确定n个像素组中的每个像素的w个目标特征点，每个像素组包括(n1+n2)个第二像素，并根据n个像素组中的每个像素的w个目标特征点，确定n条车道线。
[0092]
例如，电子设备12可以为终端设备或者服务器。该终端设备可以为智能手机、平板电脑或台式电脑等设备，在此不做限定。图1中以电子设备12为服务器为例示出。
[0093]
上述图像采集设备11和电子设备12的基本硬件结构类似，都包括图2所示车道线的检测装置所包括的元件。下面以图2所示的车道线的检测装置为例，介绍图像采集设备11和电子设备12的硬件结构。
[0094]
如图2所示，车道线的检测装置可以包括：处理器21、存储器22、通信接口23和总线24。处理器21、存储器22和通信接口23之间可以通过通信总线24连接。
[0095]
处理器21是车道线的检测装置的控制中心，可以是一个处理器21，也可以是多个处理元件的统称。例如，处理器21可以是一个通用的中央处理器(central processing unit，cpu)，也可以是其他通用处理器21等。其中，通用处理器21可以是微处理器21或者是任何常规的处理器21等。
[0096]
作为一种实施例，处理器21可以包括一个或多个cpu，例如，图2所示的cpu0和cpu1。
[0097]
存储器22可以是只读存储器22(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器22(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器22(electrically erasable programmable read-only memory，eeprom)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0098]
一种可能的实现方式中，存储器22可以独立于处理器21存在，存储器22可以通过总线24与处理器21相连接，用于存储指令或者程序代码。处理器21调用并执行存储器22中存储的指令或程序代码时，能够实现本发明下述实施例提供的车道线的检测方法。
[0099]
另一种可能的实现方式中，存储器22也可以和处理器21集成在一起。
[0100]
通信接口23，用于车道线的检测装置与其他设备通过通信网络连接，所述通信网络可以是以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。通信接口23可以包括用于接收数据的接收单元，以及用于发送数
据的发送单元。
[0101]
总线24，可以是工业标准体系结构(industry standard architecture，isa)总线24、外部设备互连(peripheral component interconnect，pci)总线24或扩展工业标准体系结构(extended industry standard architecture，eisa)总线24等。该总线24可以分为地址总线24、数据总线24、控制总线24等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线24或一种类型的总线24。
[0102]
需要指出的是，图2中示出的结构并不构成对该车道线的检测装置的限定，除图2所示部件之外，该车道线的检测装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0103]
本发明实施例提供的车道线的检测方法的执行主体为车道线的检测装置。该车道线的检测装置可以是电子设备，也可以是上述电子设备中的cpu，还可以是上述电子设备中用于检测车道线的控制模块，还可以是上述电子设备中用于检测车道线的客户端。本发明实施例以电子设备执行车道线的检测方法为例，对本发明提供的车道线的检测方法进行说明。
[0104]
下面结合附图对本发明实施例提供的车道线的检测方法进行描述。
[0105]
如图3所示，本发明实施例提供的车道线的检测方法包括以下步骤301～步骤306。
[0106]
301、对获取到的第一特征图进行四次特征提取，确定第一图像、第二图像、第三图像和第四图像。
[0107]
电子设备中预设有车道线检测模型，当需要通过该车道线检测模型检测车道线时，电子设备可以先接收图像采集设备发送的目标图像。电子设备接收到尺寸为(h
×
w)的目标图像后，车道线检测模型中的主干网络先对目标图像进行m倍下采样处理，得到高层抽象语义特征图，即得到尺寸缩小至[(h/m)
×
(w/m))]的第一特征图。然后，将第一特征图分别输入车道线检测模型中的4个分支网络中，4个分支网络分别对第一特征图通过卷积计算的方式再次进行特征提取，得到第一图像、第二图像、第三图像和第四图像。其中，第一图像为单通道的第二特征图，第二图像和第三图像为(2m+2)个通道的第二特征图，第四图像为w个通道的第二特征图，第一特征图和第二特征图中包括车道线，w和m为正整数。
[0108]
由上述可知，第一图像、第二图像、第三图像和第四图像的尺寸大小相同，但通道数不完全相同。且第一特征图、第二特征图的尺寸相同，且第一特征图、第二特征图的尺寸均比目标图像的尺寸小，在小尺寸的特征图上检测车道线，可以降低计算资源的开销，从而进而提高了车道线的检测效率。
[0109]
302、根据第一图像中每个像素的像素值，确定包含车道线特征的n个像素。
[0110]
n个像素中每个像素对应一条车道线。第一图像中的每个像素的像素值可以表示该像素中是否包含车道线特征，像素值越大，则表示该像素中包含车道线特征的概率越大。因此，可以将第一图像中的[(h/m)
×
(w/m))]个像素中每个像素的像素值与预设的第三阈值k进行比较。如果第一图像中的像素的像素值大于第三阈值k，则确定第一图像中的该像素为包含车道线特征的像素。
[0111]
由此可见，对第一图像中包含车道线特征的像素与不包含车道线特征的像素进行分类，即进行全局分类，筛选出包含车道线特征的像素。后续在检测车道线时，可以只对与包含车道线特征的n个像素相关的像素进行处理即可，进一步的提高了后续检测车道线的
效率。
[0112]
需要说明的是，由于第一图像、第二图像、第三图像和第四图像的尺寸均为[(h/m)
×
(w/m))]。也就是说，第一图像、第二图像、第三图像和第四图像均包含[(h/m)
×
(w/m))]个像素，那么从第一图像中确定出的n个像素，相当于在其他三个图像中也确定出了n个像素。
[0113]
303、根据第二图像的第一像素的(2m+2)个第一通道值，在第二图像的第一范围内确定n1个包含车道线特征的第二像素。
[0114]
其中，第一像素为n个像素中的任一像素，n1为大于或等于0的整数，前(2m+1)个第一通道值用于指示一个像素中包含车道线特征的概率，第(2m+2)个第一通道值用于指示要扩大第一范围的概率。
[0115]
可选的，以第一像素位于第二图像的第i行，第j列为例，确定n1个第二像素，可以包括以下步骤：首先，从第二图像的第(i-1)行开始，确定第(i-1)行的前(2m+1)个第一通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i-1)的第二像素。至于是否还需要继续在第(i-1)行的上一行中确定第二像素，则需要由第(i-1)行的第(2m+2)个第一通道值，与第一阈值s的大小确定。如果第(i-1)行的第(2m+2)个第一通道值大于第一阈值s，表明可以扩大第一范围，则继续在第(i-1)行的上一行确定第二像素。
[0116]
需要说明的是，第一像素位于第二图像的第i行，第j列，且位于第(m+1)个通道。确定第(i-1)行的上一行的第二像素的过程与确定第(i-1)行的第二像素的过程相同。如此循环，直至第二图像的第一行，或某一行的第(2m+2)个第一通道值小于第一阈值s。如果第i行为第二图像的第一行，则不存在第(i-1)行，即不需要执行上述过程，此时n1为0。
[0117]
示例性的，第(i-1)行的第二像素的列号可以通过以下公式(1)确定。
[0118]j′1＝j-m+index1ꢀꢀꢀ
(1)
[0119]
其中，j
′1表示第(i-1)行的第二像素的列号，index1表示第(i-1)行中的最大通道值对应的通道标识，且0≤index1≤2m+1。
[0120]
图4示出了第一像素在第二图像中的位置示意图。如图4所示，第一像素位于第i行，第j列的第(m+1)个通道上，第一像素的前面具有m个通道，第一像素的后面具有m+1个通道。第(i-1)行中的前(2m+1)个第一通道值中，第(m-1)个通道的第一通道值最大，则index1＝m-1。那么，第(i-1)行的第(m-1)个通道像素的列号则可以表示为j
′1＝j-m+(m-1)。
[0121]
由上述可知，在第二图像中，是对n个像素中的每个像素的上部区域的像素再次进行分类，筛选出n个像素中每个像素的上部区域中包含车道线特征的概率高的像素，从而分类出了组成每条车道线的部分像素。这种在全局分类后，再进行局部分类来确定与第一像素关联的n1个第二像素的方式，缩小了分类范围，使得分类出的组成每条车道线的部分像素的准确度更高。
[0122]
304、根据第三图像的第一像素的(2m+2)个第二通道值，在第三图像的第二范围内确定n2个第二像素。
[0123]
其中，n2为大于或等于0的整数，第二通道值用于指示一个像素中包含车道线特征的概率，第(2m+2)个第二通道值用于指示要扩大第二范围的概率。
[0124]
可选的，以第一像素位于第三图像的第i行，第j列为例，确定n2个第二像素，可以
包括以下步骤：首先，从第三图像的第(i+1)行开始，确定第(i+1)行的前(2m+1)个第二通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i+1)的第二像素。至于是否还需要继续在第(i+1)行的下一行中确定第二像素，则需要由第(i+1)行的第(2m+2)个第一通道值，与第一阈值s的大小确定。如果第(i+1)行的第(2m+2)个第二通道值大于第一阈值s，表明可以扩大第二范围，则继续在第(i+1)行的下一行确定第二像素。
[0125]
需要说明的是，确定第(i+1)行的下一行的第二像素的过程与确定第(i+1)行的第二像素的过程相同。如此循环，直至第三图像的最后一行，或某一行的第(2m+2)个第一通道值小于第一阈值s。如果第i行为第三图像的最后一行，则不存在第(i+1)行，即不需要执行上述过程，此时n2为0。
[0126]
示例性的，第(i+1)行的第二像素的列号可以通过以下公式(2)确定。
[0127]
j'2＝j-m+index2ꢀꢀꢀ
(2)
[0128]
其中，j'2表示第(i+1)行的第二像素的列号，index2表示第(i+1)行中的最大通道值对应的通道标识，且0≤index2≤2m。
[0129]
由上述可知，在第三图像中，是对n个像素中的每个像素的下部区域的像素再次进行分类，筛选出n个像素中每个像素的下部区域中包含车道线特征的概率高的像素，从而分类出了每条车道线的另一部分。
[0130]
305、根据第四图像，确定n个像素组中的每个像素的w个目标特征点。
[0131]
可选的，第四图像的每个像素中均包括车道线的w个初始特征点，以及每个初始特征点的第三通道值，一个第三通道值用于指示一个像素的中心点映射到目标图像的位置与该像素中w个初始特征点之间的横轴坐标的差值。根据第四图像的每个像素的w个初始特征点，以及每个初始特征点的第三通道值，确定每个像素的w个目标特征点。
[0132]
其中，一个像素中的w个初始特征点是指位于通过该像素的中心点的直线上的w个特征点。这w个初始特征点的横轴坐标不同，纵轴坐标是连续的。
[0133]
306、根据n个像素组中的每个像素的w个目标特征点，确定n条车道线，每个像素组包括(n1+n2)个第二像素。
[0134]
包含车道线特征的n个像素中的每个像素，都可以在第三图像中的第一范围(即n个像素中每个像素的上部区域)内再次确定出n1个第二像素，且在第四图像中的第二范围(即n个像素中每个像素的下部区域)内再次确定出n2个第二像素。第二像素均是包含车道线特征的概率高的像素。然后，将(n1+n2)个第二像素进行拼接，便可得到一个包含车道线特征的像素组，任一像素组中的每个像素都包括w个目标特征点，那么(n1+n2)
×
w个目标特征点的点集即为一条车道线。
[0135]
通过对第二特征图中的像素进行了两次分类，确定出了第二特征图中n条车道线中每条车道线包含的像素。在这两次分类过程中，首先进行全局分类，确定出第二特征图中包含车道线特征的像素，再以每个包含车道线特征的像素为基础，在其局部区域内确定出形成一条车道线的一组像素。这样仅以包含车道线特征的像素为基础，做二次局部分类的方式确定组成一条车道线的像素，不但降低了计算量，提高车道线的检测效率，而且，局部分类的方式，缩小了查找范围，使得到的组成一条车道线的像素的准确度更高。且，在确定目标特征点时，也仅是确定形成一条车道线的一组像素中的目标特征点即可，这样进一步
减少了计算量，使得车道线的检测效率更高
[0136]
结合图3，如图5所示，本发明实施例提供的车道线的检测方法还可以包括步骤501。
[0137]
501、根据每个像素组对应的第一通道值和第二通道值，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0138]
从一张目标图像中确定出的n条车道线中可能会存在重复的车道线，因此，需要将n条车道线中重复的车道线删除，最终得到的车道线便是该目标图像中的车道线，进一步的提高了检测到的车道线的准确度。
[0139]
结合图5，如图6所示，上述步骤501可以包括以下步骤601和步骤602。
[0140]
601、根据每个像素组对应的前(2m+1)个第一通道值和前(2m+1)个第二通道值，确定每个像素组对应的车道线的置信度。
[0141]
车道线的置信度，用于指示一个像素组确定出的车道线的可靠度，置信度越大，则表明一个像素组确定出的车道线的可靠度越高。可以根据如下过程确定每条车道线的置信度。
[0142]
首先，将每个像素组中的n1个第二像素中每个第二像素对应的前(2m+1)个第一通道值的最大值确定为第一目标通道值。并将每个像素组中的n2个第二像素中每个第二像素对应的前(2m+1)个第二通道值的最大值确定为第二目标通道值。然后，根据每个像素组中的n1个所述第一目标通道值，以及n2个所述第二目标通道值的平均值，确定为每个像素组对应的车道线的置信度。
[0143]
其中，通过n1个所述第一目标通道值，以及n2个所述第二目标通道值的平均值确定的一条车道线的置信度，利用到了组成该条车道线的每个像素的信息，这样能更好的反映出该条车道线的可靠度。
[0144]
602、根据每个像素组对应的车道线的置信度，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0145]
根据n条车道线中每条车道线的置信度，以及组成每条车道线的目标特征点，便可以确定出n条车道线中是否存在重复的车道线。如果不存在重复的车道线，则n＝l，即n条车道线全都是目标车道线。如果存在重复的车道线，则n》l，此时，需要在n条车道线中筛选出不存在重复的l条目标车道线。具体的，可以根据以下步骤确定n条车道线中是否存在重复的车道线。
[0146]
首先，根据每个像素组中的目标特征点，确定任意两条车道线的目标距离。然后，将任意两条车道线的目标距离进行比较。如果任意两条车道线的目标距离大于第二阈值，则将所述任意两条车道线确定为目标车道线。如果任意两条车道线的目标距离小于第二阈值，则将任意两条车道线中置信度大的车道线确定为目标车道线。也就是说，如果目标距离大于第二阈值，则表明这两条车道线是两条不同的车道线，均可以保留。如果目标距离小于第二阈值，则表明这两条车道线是同一条车道线，此时可以保留置信度大(即可靠性高)的车道线。
[0147]
可选的，确定任意两条车道线的目标距离，可以包括以下步骤：首先，确定任意两条车道线中的目标特征点的目标横轴坐标，目标横轴坐标对应的纵轴坐标相同。其次，根据所有目标横轴坐标，确定任意两条车道线的第一距离。再次，根据任意两条车道线的目标特
征点中的起点横轴坐标，确定任意两条车道线的第二距离。再次，根据任意两条车道线的目标特征点中的终点横轴坐标，确定任意两条车道线的第三距离。最后，将第一距离、第二距离和第三距离中的最大距离，确定为目标距离。
[0148]
示例性的，任意两条车道线的第一距离可以是，通过计算任意两条车道线中，y轴坐标相交部分点集的平均水平距离得到的。具体的，可以通过以下公式(3)确定任意两条车道线的第一距离。
[0149][0150]
其中，d1(p1',p2')表示第一距离；p1',p2'分别表示任意两条车道线y值相交(即y值同)部分点集；k表示相交点集中目标特征点的数量；分别表示p1',p2'中的x轴坐标。
[0151]
示例性的，可以通过以下公式(4)计算任意两条车道线的目标特征点中的起点横轴坐标确定第二距离。起点横轴坐标即组成一条车道线的多个目标特征点中的起始特征点的横轴坐标。
[0152][0153]
其中，d2(p1
start
,p2
start
)表示第二距离；p1
start
,p2
start
分别表示位于任意两条车道线的起点的目标特征点；分别表示位于任意两条车道线的起点横轴坐标。
[0154]
示例性的，可以通过以下公式(5)计算任意两条车道线的目标特征点中的终点横轴坐标确定第三距离。终点横轴坐标即组成一条车道线的多个目标特征点中的终止特征点的横轴坐标。
[0155][0156]
其中，d3(p1
end
,p2
end
)表示第三距离；p1
end
,p2
end
分别表示位于任意两条车道线的终点的目标特征点；分别表示位于任意两条车道线的终点横轴坐标。
[0157]
可选的，上述车道线检测模型的训练过程可以包括以下步骤：首先，获取一批样本图像，每张样本图像包括车道线，采用初始检测模型对每张样本图像进行车道线检测，得到每张样本图像中的车道线的预测数据，并获取用户标注的每张样本图像中的车道线的标准数据。然后，将样本图像中的车道线的预测数据与标准数据进行比较，并将比较结果输入初始检测模型中，通过反向传播优化的方式对初始检测模型进行优化训练，直至得到的检测模型检测到的车道线的准确度达到预设目标。
[0158]
初始检测模型中包括主干网络和4个分支网络。下面分别进行描述。
[0159]
示例性的，主干网络用于提取图像的特征，并缩小图像的尺寸。样本图像输入主干网络后得到目标特征图，目标特征图的尺寸小于样本图像。
[0160]
示例性的，第一个分支网络，用于目标特征图进行全局分类。第一个分支网络的损失函数可以通过以下公式(6)表示：
[0161][0162]
其中，loss1表示第一个分支网络的损失值；a表示分类的目标数量(像素的数量)；
t表示真值，t＝1表示当前像素包含车道线；c表示预测值，即当前像素包含车道线的概率，(1-c)可以表示不包含车道线的概率；c
t
表示预测当前像素是否包含车道线的概率；(1-c
t
)
γ1
是一个平衡困难样本和容易样本的系数γ1表示人为设定的预设常数，
[0163]
示例性的，第二个分支网络，用于回归目标特征图中对应位置的特征点的偏移量。第二个分支网络的损失函数可以通过以下公式(7)表示：
[0164][0165]
其中，loss2表示第二个分支网络的损失值；δ为预设常数。
[0166]
示例性的，第三个分支网络、第四个分支网络，均是用于预测关联位置包含车道线的概率，即对关联位置进行局部分类。第三个分支网络、第四个分支网络的损失函数可以通过以下公式(8)表示：
[0167][0168]
其中，loss3，loss4分别表示第三个分支网络、第四个分支网络的损失值；δ为预设常数。
[0169]
将上述每个分支网络的损失函数求和后，便可以得到初始检测模型的损失函数。初始检测模型的损失函数可以通过以下公式(9)表示：
[0170]
total_loss＝α
×
loss1+γ2
×
loss2+β
×
loss3+σ
×
loss4
ꢀꢀꢀ
(9)
[0171]
其中，total_loss表示初始检测模型的损失值，α、γ2、β、σ分别对应不同的损失函数的权值。
[0172]
图7示出了上述实施例中涉及的车道线的检测装置700的一种可能的组成示意图之二，如图7所示，该车道线的检测装置700可以包括：第一确定单元701、第二确定单元702、第三确定单元703和第四确定单元704。
[0173]
其中，第一确定单元701，用于对获取到的第一特征图进行四次特征提取，确定第一图像、第二图像、第三图像和第四图像，第一图像为单通道的第二特征图，第二图像和第三图像为(2m+2)个通道的第二特征图，第四图像为w个通道的第二特征图，第一特征图和第二特征图中包括车道线，w和m为正整数。
[0174]
第二确定单元702，用于根据第一图像中每个像素的像素值，确定包含车道线特征的n个像素，n个像素中每个像素对应一条车道线；
[0175]
第三确定单元703，用于根据第二图像的第一像素的(2m+2)个第一通道值，在第一范围内确定n1个包含车道线特征的第二像素，并根据第三图像的第一像素的(2m+2)个第二通道值，在第三图像的第二范围内确定n2个第二像素，第一像素为n个像素中的任一像素，n1、n2为大于或等于0的整数，前(2m+1)个第一通道值和前(2m+1)个第二通道值用于指示一个像素中包含车道线特征的概率，第(2m+2)个第一通道值用于指示要扩大第一范围的概率，第(2m+2)个第二通道值用于指示要扩大第二范围的概率；
[0176]
第四确定单元704，用于根据第四图像，确定n个像素组中的每个像素的w个目标特征点，每个像素组包括(n1+n2)个第二像素，并根据n个像素组中的每个像素的w个目标特征
点，确定n条车道线。
[0177]
可选的，上述第一像素位于第二图像的第i行，第j列。上述第三确定单元703，具体用于：
[0178]
从第二图像的第(i-1)行开始，确定第(i-1)行的前(2m+1)个第一通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i-1)的第二像素；
[0179]
如果第(i-1)行的第(2m+2)个第一通道值大于第一阈值，则确定第(i-1)行的上一行的第二像素。
[0180]
可选的，上述第一像素位于第三图像的第i行，第j列。上述第三确定单元703，具体用于：
[0181]
从第三图像的第(i+1)行开始，确定第(i+1)行的前(2m+1)个第二通道值中的最大通道值，并根据最大通道值对应的通道标识、第一像素的列号j和m确定第(i+1)的第二像素；
[0182]
如果第(i+1)行的第(2m+2)个第二通道值大于第一阈值，则确定第(i+1)行的下一行的第二像素。
[0183]
可选的，上述第四确定单元704还用于根据每个像素组对应的第一通道值和第二通道值，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0184]
可选的，上述第四确定单元704，具体用于：
[0185]
根据每个像素组对应的前(2m+1)个第一通道值和前(2m+1)个第二通道值，确定每个像素组对应的车道线的置信度；
[0186]
根据每个像素组对应的车道线的置信度，以及每个像素组中的目标特征点，在n条车道线中确定l条目标车道线。
[0187]
可选的，上述第四确定单元704，具体用于：
[0188]
将每个像素组中的n1个第二像素中每个第二像素对应的前(2m+1)个第一通道值的最大值确定为第一目标通道值；
[0189]
将每个像素组中的n2个第二像素中每个第二像素对应的前(2m+1)个第二通道值的最大值确定为第二目标通道值；
[0190]
根据每个像素组中的n1个第一目标通道值，以及n2个第二目标通道值的平均值，确定为每个像素组对应的车道线的置信度。
[0191]
可选的，上述第四确定单元704，具体用于：
[0192]
根据每个像素组中的目标特征点，确定任意两条车道线的目标距离；
[0193]
如果任意两条车道线的目标距离大于第二阈值，则将任意两条车道线确定为目标车道线；
[0194]
如果任意两条车道线的目标距离小于第二阈值，则将任意两条车道线中置信度大的车道线确定为目标车道线。
[0195]
可选的，上述第四确定单元704，具体用于：
[0196]
确定任意两条车道线中的目标特征点的目标横轴坐标，目标横轴坐标对应的纵轴坐标相同；
[0197]
根据所有目标横轴坐标，确定任意两条车道线的第一距离；
[0198]
根据任意两条车道线的目标特征点中的起点横轴坐标，确定任意两条车道线的第二距离；
[0199]
根据任意两条车道线的目标特征点中的终点横轴坐标，确定任意两条车道线的第三距离；
[0200]
将第一距离、第二距离和第三距离中的最大距离，确定为目标距离。
[0201]
可选的，上述第二确定单元702，具体用于：
[0202]
根据第四图像的n个像素像素组中的每个像素的w个初始特征点，以及每个初始特征点的第三通道值，确定每个像素的w个目标特征点，第三通道值用于指示像素的中点在目标图像上的映射点与像素中每个初始特征点之间的横轴坐标的差值，第一特征图是由目标图像进行特征提取后得到的。
[0203]
可选的，上述第二确定单元702，具体用于：
[0204]
在第一图像中的像素的像素值大于第三阈值时，确定第一图像中的像素为包含车道线特征的像素。
[0205]
当然，本发明实施例提供的车道线的检测装置700包括但不仅限于上述模块。
[0206]
在实际实现时，第一确定单元701、第二确定单元702、第三确定单元703和第四确定单元704可以由图2所示的处理器21调用存储器22中的程序代码来实现。其具体的执行过程可参考图3至图5所示的车道线的检测方法部分的描述，这里不再赘述。
[0207]
本发明另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当计算机指令在车道线的检测装置上运行时，使得车道线的检测装置执行上述方法实施例所示的方法流程中车道线的检测装置执行的各个步骤。
[0208]
本发明另一实施例还提供一种芯片系统，该芯片系统应用于车道线的检测装置。所述芯片系统包括一个或多个接口电路，以及一个或多个处理器21。接口电路和处理器21通过线路互联。接口电路用于从车道线的检测装置的存储器22接收信号，并向处理器21发送所述信号，所述信号包括所述存储器22中存储的计算机指令。当处理器21执行计算机指令时，车道线的检测装置执行上述方法实施例所示的方法流程中车道线的检测装置执行的各个步骤。
[0209]
在本发明另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括指令，当指令在车道线的检测装置上运行时，使得车道线的检测装置执行上述方法实施例所示的方法流程中车道线的检测装置执行的各个步骤。
[0210]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可
以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0211]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。