车道线检测方法、车道线检测装置和计算机可读存储介质与流程
本申请涉及图像处理领域，尤其涉及一种车道线检测方法、车道线检测装置和计算机可读存储介质。
背景技术：
地图导航技术的应用日益普及，已经成为人们日常出行必不可少的辅助工具之一。在地图导航中，车道线信息可以为用户提供提示和警告，以防止用户车辆驶离道路，因此，车道线信息的检测和定位是决定导航准确率的关键因素之一。
现有的车道线检测技术往往是通过图像处理的方式进行的。具体地，在现有技术中，可以对所获取的拍摄图像进行图像处理(例如二值化、边缘检测、噪声过滤等)，以完成车道线的定位和校准。但是，现有技术的车道线检测方法往往受限于图像的拍摄场景和条件，例如，当图像拍摄时有遮挡、阴影、曝光条件的各种影响时，会大大降低车道线检测的准确性。
技术实现要素：
为解决上述技术问题，根据本发明的一个方面，提供了一种车道线检测方法，包括：获取待检测图像；利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线；将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分；基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域；利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
根据本发明的另一个方面，提供了一种车道线检测装置，包括：获取单元，配置为获取待检测图像；道路分割单元，配置为利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线；第一划分单元，配置为将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分；第二划分单元，配置为基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域；车道线检测单元，配置为利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
根据本发明的另一个方面，提供一种车道线检测装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取待检测图像；利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线；将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分；基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域；利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
根据本发明的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取待检测图像；利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线；将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分；基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域；利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
根据本发明的上述车道线检测方法、车道线检测装置和计算机可读存储介质，能够根据训练得到的神经网络对图像进行道路边缘线检测，划分包含道路边缘线的感兴趣区域，并在所划分的感兴趣区域中通过端点检测神经网络来检测端点并确定车道线。本发明的车道线检测方法能够有效避免车道线误检，提高了车道线检测的准确率和处理效率。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出根据本发明一个实施例的车道线检测方法的流程图；
图2示出根据本发明一个实施例的边缘线区域的划分示意图；
图3示出根据本发明一个实施例的边缘线区域的划分示意图；
图4示出根据本发明一个实施例的边缘线区域的划分示意图；
图5示出根据本发明一个实施例的第一感兴趣区域划分示意图；
图6示出根据本发明一个实施例对边缘线进行线拟合及第二区域划分的示意图；
图7示出根据本发明一个实施例的车道线检测的一个示例；
图8(a)示出待检测图像的道路区域及道路边缘线分割结果；图8(b)示出将待检测图像划分出道路区域的示意图；图8(c)示出将图8(b)中的道路区域划分出多个第一感兴趣区域的示意图；图8(d)示出对图8(c)中的第一感兴趣区域分别划分出包含道路的边缘线的第二感兴趣区域的示意图；
图9示出根据本发明一个实施例的车道线检测装置的框图；
图10示出根据本发明一个实施例的车道线检测装置的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的车道线检测方法、车道线检测装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
下面将参照图1描述根据本发明一个实施例的车道线检测方法。本发明实施例的车道线检测方法既可以应用于静态图像，也可以应用于视频图像中的视频帧等，在此不做限制。图1示出该车道线检测方法100的流程图。
如图1所示，在步骤s101中，获取待检测图像。
在本步骤中，所获取的待检测图像可以是由运动对象(例如移动机器人、车辆等)配备的拍摄单元获取的静态图像，也可以是视频图像中的一帧视频帧。其中，拍摄单元可以为单目摄像机，当然也可以为双目或多目摄像机，在此不做限定。当用于获取视频图像的拍摄单元为双目相机或多目相机时，所得到的视频图像中的视频帧可以为左右两帧图像或多帧图像中的其中一帧。所述待检测图像可以至少包括道路区域，以应用于后续步骤的道路区域划分和车道线检测步骤。
在步骤s102中，利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线。
所述道路区域分割神经网络可以是通过预先得到的道路场景数据集训练得到的。在训练过程中，所述道路场景数据集可以包括当前道路所在场景的数据集。所述道路区域分割神经网络的具体训练过程可以例如为：首先，可以获得分类网络(例如可以为vgg16)在例如imagenet数据集上的训练权重；接下来，通过扩展前一步所使用的分类网络，得到对应的道路区域分割神经网络；随后，利用之前获得的训练权重对道路区域分割神经网络进行初始化，并利用各种不同的道路场景数据集对初始化后的道路区域分割神经网络进行训练；最后，采集和标注当前道路场景，并且基于此对训练后的道路区域分割神经网络进行微调，得到最终的道路区域分割神经网络。在上述过程中，可以通过连续的迁移学习对道路区域分割神经网络进行训练，并将训练得到的道路区域分割神经网络用于当前的大致道路区域和道路边缘线位置的估计。这种连续的迁移学习可以在数据集较小时加快神经网络训练的收敛速度，并取得较好的训练效果。并且，通过训练好的道路区域分割神经网络进行道路分割，可以尽量避免所获取的待检测图像中的遮挡、阴影、曝光条件的各种影响，提高了本发明车道线检测方法的准确性。
具体地，通过道路区域分割神经网络能够首先获取待检测图像的路面区域，并根据所述路面区域推导得出所述道路的边缘线。这里的道路边缘线仅为道路边缘所在位置的粗糙线条示意，而并非实际的道路准确边缘线(或车道线)。进一步地，在本步骤中，还可以根据道路的路面区域，来根据先验知识去除一些图像区域(如，远处为天空等先验知识)，从而截取出待检测图像中的道路区域。例如，所述道路区域可以为包括所有路面区域和道路的边缘线的，从待检测图像中划分出的规则区域(如矩形区域)。
在步骤s103中，将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分。
在本步骤中，可以首先将所述道路区域进行粗略划分，即划分出包括所述边缘线的至少一部分的一个或多个第一感兴趣区域。可选地，可以根据所述待检测图像中包含的道路的边缘线，来获知所述道路边缘线(或需要检测的车道线)在待检测图像中的数量，将所述道路区域划分出与所述边缘线数量对应的边缘线区域。图2-图4分别示出根据本发明一个实施例的边缘线区域的划分示意图。如图2-图4所示的每个待检测图像均包含两条道路边缘线，因此，在图2-图4所示的示例中，可以遵循拍摄单元所在的运动对象的运动方向(箭头所示)来划分边缘线区域，以在图2-图4中分别划分出由虚线间隔的两个边缘线区域。在得到与边缘线数量对应的边缘线区域之后，可以继续将每个所述边缘线区域划分出至少一个第一感兴趣区域，其中，在一个示例中，可以将所述边缘线区域按某个方向均分为多个第一感兴趣区域，例如，可以沿所述待检测图像的x轴方向或y轴方向将划分出的边缘线区域再进一步平均划分出多个第一感兴趣区域。图5示出根据本发明一个实施例的第一感兴趣区域划分示意图。图5所示的边缘线区域包含了待检测图像中的一条实线边缘线，在获取此边缘线区域的基础上，可以沿图5的x轴方向将其继续等间隔划分为5个第一感兴趣区域，以供后续的车道线检测步骤使用。当然，图5所示仅为示例，在实际应用中，还可以沿图5中的y轴方向或其他任意方向进行第一感兴趣区域的划分，在此不做限制。
在步骤s104中，基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域。
本步骤中，通过之前划分出的第一感兴趣区域和存在于第一感兴趣区域中的边缘线，可以对第一感兴趣区域继续进行划分，以得到至少一个第二感兴趣区域，从而使得后续的车道线检测结果更加精确，并提高处理效率。
具体地，在已知第一感兴趣区域和存在于第一感兴趣区域中的边缘线位置之后，可以对第一感兴趣区域中包含的边缘线进行线拟合，并根据所述线拟合的结果在所述第一感兴趣区域划分出至少一个第二感兴趣区域。在一个示例中，线拟合可以为直线拟合；在另一个示例中，线拟合也可以为曲线拟合。图6示出根据本发明一个实施例对边缘线进行线拟合及第二区域划分的示意图。具体地，可以对如图6所示的实线边缘线进行直线拟合，以得到虚线所示的拟合结果。在拟合后，可以基于图6拟合的边缘线在第一感兴趣区域中划分第二感兴趣区域。第二感兴趣区域可以基于图6中所示参数d1和d2确定。参数d1和d2与道路区域分割神经网络检测结果的准确性和/或道路边缘线的拟合端点所在的位置(例如在待检测图像中的行索引)相关。例如，如果道路区域分割神经网络检测结果的精度越高，则参数d1和d2越小。另外，在实际应用中，考虑到透视投影的影响，在所述待检测图像中，车道线所包围的车道的宽度一般会随着与获取待检测图像的拍摄单元的距离的增加而减小，因此可以根据道路边缘线的拟合端点所在的行索引调整所述参数d1和d2的取值。其中，如图6所示，所拟合直线的两个端点距所划分出的第二感兴趣区域的邻近顶点的距离可以分别为d1/2和d2/2。
在步骤s105中，利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
在本步骤中，可以首先在所述至少一个第二感兴趣区域中检测出边缘线的至少两个端点，并根据检测出来的端点获取所述第二感兴趣区域中的车道线(在一个示例中，可以为边缘车道线)；随后，可以根据所获取的至少一个第二感兴趣区域中的车道线得到所述待检测图像中的车道线检测结果。所述端点检测神经网络可以是通过预先输入的端点训练数据集训练得到的。在训练过程中，可以首先针对待训练的端点检测神经网络输入离线的端点训练数据集，并使得端点训练神经网络收敛。当所述端点检测神经网络训练完毕之后，就可以利用训练好的端点检测神经网络在第二感兴趣区域中检测出边缘线的端点。
可选地，当待检测图像中存在遮挡、阴影、曝光条件的各种影响，从而影响了其中一个或多个第二感兴趣区域的端点检测结果时，考虑到第二感兴趣区域的两个相邻的第二感兴趣区域与其共享车道线的端点，因此，可以根据与某个第二感兴趣区域相邻的至少一个相邻第二感兴趣区域的端点检测结果，修正对此第二感兴趣区域的端点检测结果，以提高检测的精确度。
在端点检测过程中，在一个示例中，可以在第二感兴趣区域中检测出两个端点，以获取由这两个端点连接的一条车道线。在另一个示例中，也可以在第二感兴趣区域中检测出多于两个的端点。图7示出根据本发明一个实施例的车道线检测的一个示例。考虑到实际的待检测图像中显示的车道线一般具有宽度，因此可以在图7所示的第二感兴趣区域中检测出四个端点，并将其两两连接而获取由近似平行的两条线段包围的一条具有宽度的车道线(图7中白色所示)。
在获取车道线检测结果之后，还可以判断待检测图像中的车道线检测结果是否符合预设的车道线约束条件；如果不符合所述车道线约束条件，可以对至少一个第二感兴趣区域继续进行区域划分和端点检测，以更新所述待检测图像的车道线检测结果。在如图7所示的车道线检测结果示意图中，可以根据端点检测得到包围车道线的左右两条线段。其中，组成左边线段的点表示为：
其中，δdi表示每对点的灰度梯度值之间的绝对误差，δ1表示每对点的灰度梯度值之间的容许误差。通过上式可以计算行索引从1到n的所有的点对的参数fi的和，并判断是否满足约束条件：
图8(a)-图8(d)示出根据本发明一个实施例的车道线检测方法的示意图，具体地，图8(a)-图8(d)示出基于图1所示方法的步骤对实际道路进行检测的示意图。其中，图8(a)示出待检测图像的道路区域及道路边缘线分割结果。图8(a)中的灰白色区域为利用道路区域分割神经网络对待检测图像进行分割得到的路面区域及推导得出的道路边缘线。图8(b)示出根据图8(a)中分割得到的路面区域和道路边缘线，根据先验知识将待检测图像截取出道路区域的示意图。图8(b)中的道路区域包含了在图8(a)中分割得到的所有的路面区域和道路边缘线。图8(c)示出将图8(b)的道路区域划分出多个第一感兴趣区域的示意图。具体地，如图8(c)所示，虚线示出根据道路区域的边缘线数量(两条)，将道路区域划分出与边缘线数量对应的两个边缘线区域。实线则示出对每个边缘线区域分别划分出等间隔的多个第一感兴趣区域。其中，左下角的区域不再包含道路的边缘线，可以不作为第一感兴趣区域进行后续处理，即可以认为图8(c)中的第一感兴趣区域共有七个。图8(d)示出对图8(c)中的七个第一感兴趣区域分别划分出包含道路的边缘线的第二感兴趣区域。在图8(d)的基础上，可以对每个第二感兴趣区域进行后续的端点检测并获取车道线检测结果。
根据本发明实施例的车道线检测方法能够根据训练得到的神经网络对图像进行道路边缘线检测，划分包含道路边缘线的感兴趣区域，并在所划分的感兴趣区域中通过端点检测神经网络来检测端点并确定车道线。本发明的车道线检测方法能够有效避免车道线误检，提高了车道线检测的准确率和处理效率。
下面，参照图9来描述根据本发明实施例的车道线检测装置。图9示出了根据本发明实施例的车道线检测装置900的框图。本发明实施例的车道线检测装置既可以应用于静态图像，也可以应用于视频图像中的视频帧等，在此不做限制。如图9所示，车道线检测装置900包括获取单元910、道路分割单元920、第一划分单元930、第二划分单元940和车道线检测单元950。除了这些单元以外，车道线检测装置900还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的车道线检测装置900执行的下述操作的具体细节与在上文中参照图1-图8描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
图9中的车道线检测装置900的获取单元910配置为获取待检测图像。
获取单元910所获取的待检测图像可以是由运动对象(例如移动机器人、车辆等)配备的拍摄单元获取的静态图像，也可以是视频图像中的一帧视频帧。其中，拍摄单元可以为单目摄像机，当然也可以为双目或多目摄像机，在此不做限定。当用于获取视频图像的拍摄单元为双目相机或多目相机时，所得到的视频图像中的视频帧可以为左右两帧图像或多帧图像中的其中一帧。所述待检测图像可以至少包括道路区域，以应用于后续步骤的道路区域划分和车道线检测操作。
道路分割单元920利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线。
所述道路区域分割神经网络可以是通过预先得到的道路场景数据集训练得到的。在训练过程中，所述道路场景数据集可以包括当前道路所在场景的数据集。所述道路区域分割神经网络的具体训练过程可以例如为：首先，可以获得分类网络(例如可以为vgg16)在例如imagenet数据集上的训练权重；接下来，通过扩展前一步所使用的分类网络，得到对应的道路区域分割神经网络；随后，利用之前获得的训练权重对道路区域分割神经网络进行初始化，并利用各种不同的道路场景数据集对初始化后的道路区域分割神经网络进行训练；最后，采集和标注当前道路场景，并且基于此对训练后的道路区域分割神经网络进行微调，得到最终的道路区域分割神经网络。在上述过程中，可以通过连续的迁移学习对道路区域分割神经网络进行训练，并将训练得到的道路区域分割神经网络用于当前的大致道路区域和道路边缘线位置的估计。这种连续的迁移学习可以在数据集较小时加快神经网络训练的收敛速度，并取得较好的训练效果。并且，通过训练好的道路区域分割神经网络进行道路分割，可以尽量避免所获取的待检测图像中的遮挡、阴影、曝光条件的各种影响，提高了本发明车道线检测装置对车道线检测的准确性。
具体地，道路分割单元920通过道路区域分割神经网络能够首先获取待检测图像的路面区域，并根据所述路面区域推导得出所述道路的边缘线。这里的道路边缘线仅为道路边缘所在位置的粗糙线条示意，而并非实际的道路准确边缘线(或车道线)。进一步地，道路分割单元920还可以根据道路的路面区域，来根据先验知识去除一些图像区域(如，远处为天空等先验知识)，从而截取出待检测图像中的道路区域。例如，所述道路区域可以为包括所有路面区域和道路的边缘线的，从待检测图像中划分出的规则区域(如矩形区域)。
第一划分单元930将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分。
第一划分单元930可以首先将所述道路区域进行粗略划分，即划分出包括所述边缘线的至少一部分的一个或多个第一感兴趣区域。可选地，第一划分单元930可以根据所述待检测图像中包含的道路的边缘线，来获知所述道路边缘线(或需要检测的车道线)在待检测图像中的数量，将所述道路区域划分出与所述边缘线数量对应的边缘线区域。图2-图4分别示出根据本发明一个实施例的边缘线区域的划分示意图。如图2-图4所示的每个待检测图像均包含两条道路边缘线，因此，在图2-图4所示的示例中，可以遵循拍摄单元所在的运动对象的运动方向(箭头所示)来划分边缘线区域，以在图2-图4中分别划分出由虚线间隔的两个边缘线区域。在得到与边缘线数量对应的边缘线区域之后，第一划分单元930可以继续将每个所述边缘线区域划分出至少一个第一感兴趣区域，其中，在一个示例中，可以将所述边缘线区域按某个方向均分为多个第一感兴趣区域，例如，可以沿所述待检测图像的x轴方向或y轴方向将划分出的边缘线区域再进一步平均划分出多个第一感兴趣区域。图5示出根据本发明一个实施例的第一感兴趣区域划分示意图。图5所示的边缘线区域包含了待检测图像中的一条实线边缘线，在获取此边缘线区域的基础上，可以沿图5的x轴方向将其继续等间隔划分为5个第一感兴趣区域，以供后续的车道线检测操作。当然，图5所示仅为示例，在实际应用中，还可以沿图5中的y轴方向或其他任意方向进行第一感兴趣区域的划分，在此不做限制。
第二划分单元940基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域。
第二划分单元940可以通过之前划分出的第一感兴趣区域和存在于第一感兴趣区域中的边缘线，对第一感兴趣区域继续进行划分，以得到至少一个第二感兴趣区域，从而使得后续的车道线检测结果更加精确，并提高处理效率。
具体地，在已知第一感兴趣区域和存在于第一感兴趣区域中的边缘线位置之后，可以对第一感兴趣区域中包含的边缘线进行线拟合，并根据所述线拟合的结果在所述第一感兴趣区域划分出至少一个第二感兴趣区域。在一个示例中，线拟合可以为直线拟合；在另一个示例中，线拟合也可以为曲线拟合。图6示出根据本发明一个实施例对边缘线进行线拟合的结果。具体地，可以对如图6所示的实线边缘线进行直线拟合，以得到虚线所示的拟合结果。在拟合后，可以基于图6拟合的边缘线在第一感兴趣区域中划分第二感兴趣区域。第二感兴趣区域可以基于图6中所示参数d1和d2确定。参数d1和d2与道路区域分割神经网络检测结果的准确性和/或道路边缘线的拟合端点所在的位置(例如在待检测图像中的行索引)相关。例如，如果道路区域分割神经网络检测结果的精度越高，则参数d1和d2越小。另外，在实际应用中，考虑到透视投影的影响，在所述待检测图像中，车道线所包围的车道的宽度一般会随着与获取待检测图像的拍摄单元的距离的增加而减小，因此可以根据道路边缘线的拟合端点所在的行索引调整所述参数d1和d2的取值。其中，如图6所示，所拟合直线的两个端点距所划分出的第二感兴趣区域的邻近顶点的距离可以分别为d1/2和d2/2。
车道线检测单元950利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
车道线检测单元950可以首先在所述至少一个第二感兴趣区域中检测出边缘线的至少两个端点，并根据检测出来的端点获取所述第二感兴趣区域中的车道线(在一个示例中，可以为边缘车道线)；随后，可以根据所获取的至少一个第二感兴趣区域中的车道线得到所述待检测图像中的车道线检测结果。所述端点检测神经网络可以是通过预先输入的端点训练数据集训练得到的。在训练过程中，可以首先针对待训练的端点检测神经网络输入离线的端点训练数据集，并使得端点训练神经网络收敛。当所述端点检测神经网络训练完毕之后，就可以利用训练好的端点检测神经网络在第二感兴趣区域中检测出边缘线的端点。
可选地，当待检测图像中存在遮挡、阴影、曝光条件的各种影响，从而影响了其中一个或多个第二感兴趣区域的端点检测结果时，考虑到第二感兴趣区域的两个相邻的第二感兴趣区域共享车道线的端点，因此，可以根据与某个第二感兴趣区域相邻的至少一个相邻第二感兴趣区域的端点检测结果，修正对此第二感兴趣区域的端点检测结果，以提高检测的精确度。
在端点检测过程中，在一个示例中，可以在第二感兴趣区域中检测出两个端点，以获取由这两个端点连接的一条车道线。在另一个示例中，也可以在第二感兴趣区域中检测出多于两个的端点。图7示出根据本发明一个实施例的车道线检测的一个示例。考虑到实际的待检测图像中显示的车道线一般具有宽度，因此可以在图7所示的第二感兴趣区域中检测出四个端点，并将其两两连接而获取由近似平行的两条线段包围的一条具有宽度的车道线(图7中白色所示)。
在获取车道线检测结果之后，还可以判断待检测图像中的车道线检测结果是否符合预设的车道线约束条件；如果不符合所述车道线约束条件，可以对至少一个第二感兴趣区域继续进行区域划分和端点检测，以更新所述待检测图像的车道线检测结果。在如图7所示的车道线检测结果示意图中，可以根据端点检测得到包围车道线的左右两条线段。其中，组成左边线段的点表示为：
其中，δdi表示每对点的灰度梯度值之间的绝对误差，δ1表示每对点的灰度梯度值之间的容许误差。通过上式可以计算行索引从1到n的所有的点对的参数fi的和，并判断是否满足约束条件：
根据本发明实施例的车道线检测装置能够根据训练得到的神经网络对图像进行道路边缘线检测，划分包含道路边缘线的感兴趣区域，并在所划分的感兴趣区域中通过端点检测神经网络来检测端点并确定车道线。本发明的车道线检测方法能够有效避免车道线误检，提高了车道线检测的准确率和处理效率。
下面，参照图10来描述根据本发明实施例的车道线检测装置。图10示出了根据本发明实施例的车道线检测装置1000的框图。如图10所示，该装置1000可以是计算机或服务器。
如图10所示，车道线检测装置1000包括一个或多个处理器1010以及存储器1020，当然，除此之外，车道线检测装置1000还可能包括输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图10所示的车道线检测装置1000的组件和结构只是示例性的，而非限制性的，根据需要，车道线检测装置1000也可以具有其他组件和结构。
处理器1010可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1020中所存储的计算机程序指令以执行期望的功能，可以包括：获取待检测图像；利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线；将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分；基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域；利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
存储器1020可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1010可以运行所述程序指令，以实现上文所述的本发明的实施例的车道线检测装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的车道线检测方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取待检测图像；利用道路区域分割神经网络对所述待检测图像进行分割，得到所述待检测图像中的道路区域及道路的边缘线；将所述道路区域划分出至少一个第一感兴趣区域，每个所述第一感兴趣区域包括所述边缘线的至少一部分；基于所述第一感兴趣区域和所述第一感兴趣区域中包含的边缘线，在所述第一感兴趣区域中划分出至少一个第二感兴趣区域；利用端点检测神经网络对所述至少一个第二感兴趣区域进行端点检测，根据端点检测的结果得到所述待检测图像中的车道线检测结果。
当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、asic、场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和微处理器的组合，多个微处理器、与dsp核协作的一个或多个微处理器或任何其他这样的配置。
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(ram)、只读存储器(rom)、快闪存储器、eprom存储器、eeprom存储器、寄存器、硬碟、可移动碟、cd-rom等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟(disk)和盘(disc)包括紧凑盘(cd)、激光盘、光盘、数字通用盘(dvd)、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如ram、rom、诸如cd或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
- 还没有人留言评论。精彩留言会获得点赞！