基于深度学习的车道线检测方法及其应用的系统与流程

本发明涉及一种图像检测方法，特别是涉及一种基于深度学习的车道线检测方法及其应用的系统。

背景技术：

当前正处于第四次科技革命的时代浪潮中，深度学习，人工智能极大促进了自动驾驶领域的发展。高级辅助驾驶是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。基于深度学习的车道线检测是从给定的车道线图像中检测出相对应的车道线，从而提示驾驶员当前汽车的保持情况，有利于提高驾驶员警觉性，提高驾驶员的安全驾驶水平。基于深度学习的车道线检测作为高级辅助驾驶一个的领域，近年来始终为广大科研工作者所热捧的方向。传统的基于深度学习的车道线检测方法需要手工提取特、算法复杂性高、缺乏鲁棒性和灵活性差，不适宜运用于高级辅助驾驶系统等对实时检测效果要求比较高的的环境，而传统的实语义分割，是对各个像素进行分类，没有充分考虑到像素与像素之间的关系，忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤。

综上所述，传统技术中的基于深度学习的车道线检测方法存在依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题。

技术实现要素：

鉴于以上现有技术中的基于深度学习的车道线检测方法存在依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，本发明的目的在于提供一种基于深度学习的车道线检测方法及其应用的系统，解决传统技术中的基于深度学习的车道线检测方法存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，一种基于深度学习的车道线检测方法，包括：获取车道线图像；预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本；使用训练样本训练出预设分层类型的神经网络；输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果。

于本发明的一实施方式中，获取车道线图像的步骤，包括：采集场景车道线视频流数据；根据预设参数提取车道线视频流数据中的帧提取数据；从帧提取数据中获取车道线图像。

于本发明的一实施方式中，预处理的步骤，包括：筛选车道线图像得合格图像；增益处理合格图像得预处理图像；对预处理图像进行分图层标注，获取并保存标记图像。

于本发明的一实施方式中，训练神经网络的步骤，包括：选取神经网络的分层类型，并选取预设层数的扩张卷积搭建神经网络；根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：

其中ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k列，xi、j、k为张量x的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数；根据如下公式调整神经网络的学习率lr：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；输入训练样本，经过神经网络中逐层传播得输出值；使用如下公式计算神经网络的的输出值与目标值之间的误差：

loss(xi，xlabel)＝-ωi[xlabellogxi+(1-xlabel)log(1-xi)]

其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重；判断误差是否大于预设期望值；若是，则使用神经网络计算误差梯度；若否，则固定神经网络参数，结束训练；若误差不在预设允许区间内，则根据误差更新权值，循环前述训练步骤。

于本发明的一实施方式中，使用神经网络测试测试样本的步骤，包括：获取当前的神经网络；调取测试样本；将测试样本输入至神经网络进行测试，获取测试结果并保存。

于本发明的一实施方式中，一种基于深度学习的车道线检测系统，包括：图像获取模块，用于获取车道线图像；图像样本模块，用于预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本，图像样本模块与图像获取模块连接；深度学习训练模块，用于使用训练样本训练出预设分层类型的神经网络，深度学习训练模块与图像样本模块连接；车道线检测模块，用于输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果，车道线检测模块与深度学习训练模块连接。

于本发明的一实施方式中，图像获取模块，包括：视频流采集模块，用于采集场景车道线视频流数据；帧提取模块，用于根据预设参数提取车道线视频流数据中的帧提取数据，帧提取模块与视频流采集模块连接；图像提取模块，用于从帧提取数据中获取车道线图像，图像提取模块与帧提取模块连接。

于本发明的一实施方式中，图像样本模块，包括：图像筛选模块，用于筛选车道线图像得合格图像；图像优化模块，用于增益处理合格图像得预处理图像，图像优化模块与图像筛选模块连接；分层标注模块，用于对预处理图像进行分图层标注，获取并保存标记图像，分层标注模块与图像优化模块连接；样本分类模块，用于将标记图像分为训练样本和测试样本，样本分类模块与分层标注模块连接。

于本发明的一实施方式中，深度学习训练模块，包括：神经网络预设模块，用于选取神经网络的分层类型，并选取预设层数的扩张卷积；向前计算模块，用于根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：

其中ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k列，xi、j、k为张量x的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数，向前计算模块与神经网络预设模块连接；学习率调整模块，用于根据如下公式调整神经网络的学习率lr：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度，学习率调整模块与神经网络预设模块连接；训练样本模块，用于输入训练样本，经过神经网络中逐层传播得输出值；误差计算模块，用于使用如下公式计算神经网络的的输出值与目标值之间的误差：

loss(xi，xlabel)＝-ωi[xlabellogxi+(1-xlabel)log(1-xi)]

其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重，误差计算模块与训练样本模块连接，误差计算模块与神经网络预设模块连接；误差判断模块，用于判断误差是否大于预设期望值，误差判断模块与误差计算模块连接；误差梯度模块，用于在误差大于预设期望值时，使用神经网络计算误差梯度，误差梯度模块与误差判断模块连接；参数调优完成模块，用于在误差不大于预设期望值时，固定神经网络参数，结束训练，参数调优完成模块与误差判断模块连接；训练调优循环模块，用于在误差不在预设允许区间内时，则根据误差更新权值，循环前述训练步骤，训练调优循环模块与误差计算模块连接。

与本发明的一实施方式中，车道线检测模块，包括：当前网络获取模块，用于获取当前的神经网络；测试样本模块，用于调取测试样本，测试样本模块与当前网络获取模块连接；测试结果模块，用于将测试样本输入至神经网络进行测试，获取测试结果并保存，测试结果模块与测试样本模块连接。

如上所述，通过本发明所提供的一种基于深度学习的车道线检测方法及其应用的系统，对于车道线特征的提取，直接采用基于深度学习的线检测模型，将大量图片输入网络进行训练得到检测模型，不需要手工提取复杂特征，检测效率高。本发明突破了传统手工制作的低级特征以及固定模型的约束，增强了针对恶劣条件下的检测能力，已经满足不了检测所需的实时性和精度要求，本发明提出的技术方案更加有利于复杂场景的灵活性和鲁棒性在卷积神经网络中充分利用了层间交流的信息，对车道线的分割更为细致。

综上，本发明提供一种基于深度学习的车道线检测方法及其应用的系统，解决了现有技术存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题。

附图说明

图1显示为本发明的基于深度学习的车道线检测方法步骤示意图。

图2显示为本发明的基于深度学习的车道线检测整体网络架构示意图。

图3显示为图1中步骤s1在一实施例中的具体流程图。

图4显示为图1中步骤s2在一实施例中的具体流程图。

图5显示为图1中步骤s3在一实施例中的具体流程图。

图6显示为图1中步骤s4在一实施例中的具体流程图。

图7显示为本发明的基于深度学习的车道线检测系统模块示意图。

图8显示为本发明的空间卷积神经网络示意图。

图9显示为图7中图像获取模块11在一实施例中的具体模块图。

图10显示为图7中图像获取模块12在一实施例中的具体模块图。

图11显示为图7中深度学习训练模块13在一实施例中的具体模块图。

图12显示为本发明的车道线卷积层整体示意图。

图13显示为图7中深度学习训练模块14在一实施例中的具体模块图。

图14显示为本发明的扩张卷积示意图。

图15显示为本申请实施例提供的电子设备的结构示意图。

元件标号说明

1基于深度学习的车道线检测系统

11图像获取模块

12图像样本模块

13深度学习训练模块

14车道线检测模块

111视频流采集模块

112帧提取模块

113图像提取模块

121图像筛选模块

122图像优化模块

123分层标注模块

124样本分类模块

131神经网络预设模块

132向前计算模块

133学习率调整模块

134训练样本模块

135误差计算模块

136误差判断模块

137误差梯度模块

138参数调优完成模块

139训练调优循环模块

141当前网络获取模块

142测试样本模块

143测试结果模块

110电子设备

1101处理器

1102存储器

步骤标号说明

s1～s4方法步骤

s11～s13方法步骤

s21～s24方法步骤

s31～s39方法步骤

s41～s43方法步骤

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图15，须知，本说明书所附图式所绘示的结构，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1和图2，显示为本发明的基于深度学习的车道线检测方法步骤示意图和基于深度学习的车道线检测整体网络架构示意图，如图1和图2所示，本发明的目的在于提供一种基于深度学习的车道线检测方法及其应用的系统，解决传统技术中的基于深度学习的车道线检测方法存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，一种基于深度学习的车道线检测方法，包括：

s1、获取车道线图像，通过车载摄像头获取包含多条车道线的道路的视频数据，再以一定帧速率对提取视频帧，从而得到车道线的图像，之后对图像进行筛选，优化和标注；

s2、预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本，并将所得到的图像样本划分为训练集和测试集两部分：将训练样本用于改进的空间卷积神经网络训练，将测试样本输入空间卷积神经网络测试；

s3、使用训练样本训练出预设分层类型的神经网络，直接对卷积神经网络进行分割，将改进的空间卷积神经网络的训练参数作为初始化结果；

s4、输入测试样本至神经网络，并使用神经网络测试测试样本，以获取车道线测试结果，将测试样本输送到已训练的改进的空间卷积神经网络进行测试，实现基于深度学习的车道线检测结果的输出。

请参阅图3，显示为图1中步骤s1在一实施例中的具体流程图，如图3所示，步骤s1包括：

s11、采集场景车道线视频流数据，从车载摄像头获取包含车道线的视频流，可使用前向车载摄像头获取感光图像；

s12、根据预设参数提取车道线视频流数据中的帧提取数据，对视频流按照一定帧速率提取视频帧，从而获得大量车道线图像，从机动车车载摄像头捕获抓拍到的视频流，按照一定帧速率提取视频帧。数据集包含晴天，阴天，傍晚，夜晚，等不同光照强度的下的车道线图像。有利于增强网络的鲁棒性以及各种车道环境下的检测能力；

s13、从帧提取数据中获取车道线图像，车道线图像中包含检测过程中的原始输入图像，为测试样本和训练样本的数据源，初始的图像中除车道线外还包含其他背景图像等无关像素。

请参阅图4，显示为图1中步骤s2在一实施例中的具体流程图，如图4所示，步骤s2包括：

s21、筛选车道线图像得合格图像，去除无车道线、过度模糊、过度遮挡等不合格图像，图片分辨率大小统一处理为例如1280*720的大小；

s22、增益处理合格图像得预处理图像，对包含车道线图像较暗的图像增加图像对比度、图像亮度的操作，图像预处理主要采用边缘检测算法对车道边缘进行提取，常用的边缘检测算子有canny、sobel、laplace等；

s23、对预处理图像进行分图层标注，获取并保存标记图像，可选的，对预处理后的图像统一使用autocad进行标注，将不同车道线使用不同的图层进行表示，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图；

s24、将标记图像分为训练样本和测试样本，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图。

请参阅图5，显示为图1中步骤s3在一实施例中的具体流程图，如图5所示，步骤s3包括：

s31、选取神经网络的分层类型，并选取预设层数的扩张卷积搭建所述神经网络，可选的，前述神经网络为空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)，改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)(iscnn，improvedspatialconvolutionalneuralnetwork)的预训练和改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)的参数调优两个步骤。训练过程中的样本来源于从车载摄像头获取的包含有车道线的图像，在卷积层适用区间内选取例如10层网络卷积神经网络作为一般卷积模块，用来提取车道区域的低级特征依次是卷积层conv1(卷积核使用3*3，步长为1)，卷积层conv2(卷积核使用3*3，步长为1)，最大池化层maxpool1(采样核为2*2，步长为2)，卷积层conv3(卷积核使用3*3，步长为1)，卷积层conv4(卷积核使用3*3，步长为1)，最大池化层maxpool2(采样核为2*2，步长为2)，卷积层conv5(卷积核使用3*3，步长为1)，卷积层conv6(卷积核使用3*3，步长为1)，卷积层conv7(卷积核使用3*3，步长为1)，最大池化层maxpool3(采样核为2*2，步长为2)，卷积层conv8(卷积核使用3*3，步长为1)，卷积层conv9(卷积核使用3*3，步长为1)，卷积层conv10(卷积核使用3*3，步长为1)。选用例如4层扩张卷积用来提高图像的分辨率，依次是扩张卷积模块1，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块2，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块3，卷积核数量为512，卷积核大小为3*3，步长为2，扩张卷积模块4，卷积核数量为1024，卷积大小为3*3，步长为4；

s32、根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：

其中ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k列，xi、j、k为张量x的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数relu：

选用空间卷积层，改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)是将特征图的行或者列视为一行，并应用卷积层、非线性激活以及求和运算从上到下、从左到右、依次计算。首先把特征图分为h片，每一片接受上一片传递来的信息，层中内部信息是以残差方式进行传递，通过捷径连接的方式，直接把输入h传到输出作为初始结果，输出结果为h(x)＝f(x)+x。将特征图最上面的一片作为运算初始值，首先进行从上到下的计算。将计算出的上一片的结果用于下一片作为初始值，接着下一片继续应用卷积，直到处理完所有的片，运算结束后将结果输出到两个分支，一个经过双线性差值上采样到原图大小输出车道预测的实例分割图像，另一个分类分支经过两层全连接网络对车道的存在性进行判断，输出可能存在的车道的位置顺序，用标记1代表存在车道，标记0代表不存在车道。若输出的标记文件为1110，则代表左侧共有三条车道，可选的，车道数不小于1；

s33、根据如下公式调整神经网络的学习率lr：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度，使用均值为0，标准差为0.01的高斯分布初始化网络权重。训练的批处理大小为batchsize为4，最大迭代次数设为例如60000次。动量momentum为0.9，可选的，设置初始学习率为0.001。在训练模型的时候采用poly策略。来对学习率进行调整；

s34、输入训练样本，经过神经网络中逐层传播得输出值，输入多张(例如30000张)车道图片样本集，其中车道图片大小可为1280*720，经过卷积层、扩张卷积层、改进空间卷积层的前向传播得到输出值；

s35、使用如下公式计算神经网络的的输出值与目标值之间的误差：

loss(xi，xlabel)＝-ωi[xlabellogxi+(1-xlabel)log(1-xi)]

其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重，空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)包含10个卷积层，3个池化层；然后是空洞卷积模块的构建，一共有2层空洞卷积模块。最后是空间卷积模块一共有2层.最后预测分支分为两块，一个经过双线性插值上采样到原图大小输出车道预测的实例分割图像，另外一个分类分支经过两层全连接网络对车道标记的存在性进判断，输出可能存在车道的位置顺序；

s36、判断误差是否大于预设期望值，期望值可在适用的期望值区间内选取，根据前述公式计算网络的输出值与目标值之间的分类分支训练损失以及分割分支训练损失误差，并与实际样本标签进行比较；

s37、若是，则使用神经网络计算误差梯度，当误差(其中可设置分割损失阈值例如为0.02，分割损失阈值从适用阈值区间内选取)大于期望值时，将误差传回网络中，依次求得改进空间卷积层，扩张卷积层，卷积层的误差梯度；

s38、若否，则固定神经网络参数，结束训练，当误差等于或小于期望值时，固定深度卷积神经网络参数，结束训练；

s39、若误差不在预设允许区间内，则根据误差更新权值，循环前述训练步骤，若误差不在允许范围即允许范围内，则根据求得误差进行权值更新，然后重复上述训练过程，可选的，允许范围根据前述训练过程中的分类分支训练损失以及分割分支训练损失误差记录分析得出。

请参阅图6，显示为图1中步骤s4在一实施例中的具体流程图，如图6所示，步骤s4包括：

s41、获取当前的神经网络，该神经网络为当前经过参数调优和预训练的深度卷积神经网络，可选的，车道检测算法根据对路况图像处理策略的不同，可分为基于特征的方法和基于模型的方法。基于特征的检测技术，主要是通过结合车道底层特征、车道边缘、车道颜色等信息定位图像中的车道。基于模型的方法是将车道抽象成一个恰当的几何模型，然后通过例如随机采样一致算法(ransac)、最小二乘法、霍夫变换等方法获得几何模型的参数来拟合相应的车道线区域，本发明使用训练改进的深度卷积神经网络进行车道线检测；

s42、调取测试样本，改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)的测试，对划分为测试集的数据喂入已经训练好的网络参数的改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)中；

s43、将测试样本输入至神经网络进行测试，获取测试结果并保存，可选的，输出的测试结果包括车道线顺序以及车道线像素数据。

请参阅图7和图8，显示为本发明的基于深度学习的车道线检测系统模块示意图和空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)示意图，如图7和图8所示，一种基于深度学习的车道线检测系统1，包括：图像获取模块11、图像样本模块12、深度学习训练模块13和车道线检测模块14；图像获取模块11，用于获取车道线图像，通过车载摄像头获取包含多条车道线的道路的视频数据，再以一定帧速率对提取视频帧，从而得到车道线的图像，之后对图像进行筛选，优化和标注；图像样本模块12，用于预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本两部分：将训练样本用于改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)训练，将测试样本输入空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)测试，图像样本模块12与图像获取模块11连接；深度学习训练模块13，用于使用训练样本训练出预设分层类型的神经网络，直接对卷积神经网络进行分割，将改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)的训练参数作为初始化结果，深度学习训练模块13与图像样本模块12连接；车道线检测模块14，用于输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果，将测试样本输送到已训练的改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)进行测试，实现车道线检测结果的输出，车道线检测模块14与深度学习训练模块13连接。

请参阅图9，显示为图7中图像获取模块11在一实施例中的具体模块图，如图9所示，图像获取模块11，包括：视频流采集模块111、帧提取模块112和图像提取模块113；视频流采集模块111，用于采集场景车道线视频流数据，从车载摄像头获取包含车道线的视频流，可使用前向车载摄像头获取感光图像；帧提取模块112，用于根据预设参数提取车道线视频流数据中的帧提取数据，对视频流按照一定帧速率提取视频帧，从而获得大量车道线图像，从机动车车载摄像头捕获抓拍到的视频流，按照一定帧速率提取视频帧。数据集包含晴天，阴天，傍晚，夜晚，等不同光照强度的下的车道线图像。有利于增强网络的鲁棒性以及各种车道环境下的检测能力，帧提取模块112与视频流采集模块111连接；图像提取模块113，用于从帧提取数据中获取车道线图像，车道线图像中包含检测过程中的原始输入图像，为测试样本和训练样本的数据源，初始的图像中除车道线外还包含其他背景图像等无关像素，图像提取模块113与帧提取模块112连接。

请参阅图10，显示为图7中图像获取模块12在一实施例中的具体模块图，如图10所示，图像样本模块12，包括：图像筛选模块121、图像优化模块122、分层标注模块123和样本分类模块124；图像筛选模块121，用于筛选车道线图像得合格图像，去除无车道线、过度模糊、过度遮挡等不合格图像，图片分辨率大小统一处理为例如1280*720的大小；图像优化模块122，用于增益处理合格图像得预处理图像，对包含车道线图像较暗的图像增加图像对比度、图像亮度的操作，图像预处理主要采用边缘检测算法对车道边缘进行提取，常用的边缘检测算子例如有canny、sobel、laplace等，图像优化模块122与图像筛选模块121连接；分层标注模块123，用于对预处理图像进行分图层标注，获取并保存标记图像，可选的，对预处理后的图像统一使用autocad进行标注，将不同车道线使用不同的图层进行表示，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图，分层标注模块123与图像优化模块122连接；样本分类模块124，用于将标记图像分为训练样本和测试样本，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图，样本分类模块124与分层标注模块123连接。

请参阅图11和图12，显示为图7中深度学习训练模块13在一实施例中的具体模块图和车道线卷积层整体示意图，如图11和图12所示，深度学习训练模块13，包括：神经网络预设模块131、向前计算模块132、学习率调整模块133、训练样本模块134、误差计算模块135、误差判断模块136、误差梯度模块137、参数调优完成模块138和训练调优循环模块139；神经网络预设模块131，用于选取神经网络的分层类型，可选的，前述神经网络为空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)，改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)(iscnn，convolutionalneuralnetwork)的预训练和改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)的参数调优两个步骤。训练过程中的样本来源于从车载摄像头获取的包含有车道线的图像，在卷积层适用区间内选取例如10层网络卷积神经网络作为一般卷积模块，用来提取车道区域的低级特征依次是卷积层conv1(卷积核使用3*3，步长为1)，卷积层conv2(卷积核使用3*3，步长为1)，最大池化层maxpool1(采样核为2*2，步长为2)，卷积层conv3(卷积核使用3*3，步长为1)，卷积层conv4(卷积核使用3*3，步长为1)，最大池化层maxpool2(采样核为2*2，步长为2)，卷积层conv5(卷积核使用3*3，步长为1)，卷积层conv6(卷积核使用3*3，步长为1)，卷积层conv7(卷积核使用3*3，步长为1)，最大池化层maxpool3(采样核为2*2，步长为2)，卷积层conv8(卷积核使用3*3，步长为1)，卷积层conv9(卷积核使用3*3，步长为1)，卷积层conv10(卷积核使用3*3，步长为1)。选用例如4层扩张卷积用来提高图像的分辨率，依次是扩张卷积模块1，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块2，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块3，卷积核数量为512，卷积核大小为3*3，步长为2，扩张卷积模块4，卷积核数量为1024，卷积大小为3*3，步长为4，并选取预设层数的扩张卷积搭建神经网络；向前计算模块132，用于根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：

其中ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k列，xi、j、k为张量x的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数relu：

选用空间卷积层，改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)是将特征图的行或者列视为一行，并应用卷积层、非线性激活以及求和运算从上到下、从左到右、依次计算。首先把特征图分为h片，每一片接受上一片传递来的信息，层中内部信息是以残差方式进行传递，通过捷径连接的方式，直接把输入h传到输出作为初始结果，输出结果为h(x)＝f(x)+x。将特征图最上面的一片作为运算初始值，首先进行从上到下的计算。将计算出的上一片的结果用于下一片作为初始值，接着下一片继续应用卷积，直到处理完所有的片，运算结束后将结果输出到两个分支，一个经过双线性差值上采样到原图大小输出车道预测的实例分割图像，另一个分类分支经过两层全连接网络对车道的存在性进行判断，输出可能存在的车道的位置顺序，用标记1代表存在车道，标记0代表不存在车道。若输出的标记文件为1110，则代表左侧共有三条车道，，可选的，车道数不小于1，向前计算模块132与神经网络预设模块131连接；学习率调整模块133，用于根据如下公式调整神经网络的学习率lr：

其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度，使用均值为0，标准差为0.01的高斯分布初始化网络权重。训练的批处理大小为batchsize为4，最大迭代次数例如为60000次。动量momentum为0.9，可选的，设置初始学习率为0.001。在训练模型的时候采用poly策略。来对学习率进行调整，学习率调整模块133与神经网络预设模块131连接；训练样本模块134，用于输入训练样本，经过神经网络中逐层传播得输出值，输入多张(例如30000张)车道图片样本集，其中车道图片大小可为1280*720，经过卷积层、扩张卷积层、改进空间卷积层的前向传播得到输出值；误差计算模块135，用于使用如下公式计算神经网络的的输出值与目标值之间的误差：

loss(xi，xlabel)＝-ωi[xlabellogxi+(1-xlabel)log(1-xi)]

其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重，空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)包含10个卷积层，3个池化层；然后是空洞卷积模块的构建，一共有2层空洞卷积模块。最后是空间卷积模块一共有2层.最后预测分支分为两块，一个经过双线性插值上采样到原图大小输出车道预测的实例分割图像，另外一个分类分支经过两层全连接网络对车道标记的存在性进判断，输出可能存在车道的位置顺序，误差计算模块135与训练样本模块134连接，误差计算模块135与神经网络预设模块131连接；误差判断模块136，用于判断误差是否大于预设期望值，期望值可在适用的期望值区间内选取，根据前述公式计算网络的输出值与目标值之间的分类分支训练损失以及分割分支训练损失误差，并与实际样本标签进行比较，误差判断模块136与误差计算模块135连接；误差梯度模块137，用于在误差大于预设期望值时，使用神经网络计算误差梯度，当误差(其中可设置分割损失阈值为0.02，分割损失阈值从适用阈值区间内选取)大于期望值时，将误差传回网络中，依次求得改进空间卷积层，扩张卷积层，卷积层的误差梯度，误差梯度模块137与误差判断模块136连接；参数调优完成模块138，用于在误差不大于预设期望值时，固定神经网络参数，结束训练，当误差等于或小于期望值时，固定深度卷积神经网络参数，结束训练，参数调优完成模块138与误差判断模块136连接；训练调优循环模块139，用于在误差不在允许区间内时，则根据误差更新权值，循环前述训练步骤，若误差不在允许范围即允许范围内，则根据求得误差进行权值更新，然后重复上述训练过程，可选的，允许范围根据前述训练过程中的分类分支训练损失以及分割分支训练损失误差记录分析得出，训练调优循环模块139与误差计算模块135连接。

请参阅图13和图14，显示为图7中深度学习训练模块14在一实施例中的具体模块图和扩张卷积示意图，如图13和图14所示，车道线检测模块14，包括：当前网络获取模块141、测试样本模块142和测试结果模块143；当前网络获取模块141，用于获取当前的神经网络，可选的，车道检测算法根据对路况图像处理策略的不同，可分为基于特征的方法和基于模型的方法。基于特征的检测技术，主要是通过结合车道底层特征、车道边缘、车道颜色等信息定位图像中的车道。基于模型的方法是将车道抽象成一个恰当的几何模型，然后通过随机采样一致算法、最小二乘法、霍夫变换等方法获得几何模型的参数来拟合相应的车道线区域，本发明使用训练改进的深度卷积神经网络进行车道线检测；测试样本模块142，用于调取测试样本，改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)的测试，对划分为测试集的数据喂入已经训练好的网络参数的改进的空间卷积神经网络(iscnn，improvedspatialconvolutionalneuralnetwork)中，测试样本模块142与当前网络获取模块141连接；测试结果模块143，用于将测试样本输入至神经网络进行测试，获取测试结果并保存，可选的，输出的测试结果包括车道线顺序以及车道线像素数据，测试结果模块143与测试样本模块142连接。

具体地，请参阅图15，图15为本申请实施例提供的一种电子设备的结构示意图，本发明还提供了一种电子设备110，包括处理器1101和存储器1102，所述存储器1102存储有程序指令，所述处理器1101运行程序指令实现上述的基于深度学习的车道线检测方法。

具体的，所述电子设备110可以为手机或平板电脑或台式电脑。

具体的，所述处理器1101可以为中央处理器(centralprocessingunit，cpu)或處理芯片，所述存储器1102可以为随机存取存储器(randomaccessmemory，ram)类型的内部存储器，所述处理器1101、存储器1102可以集成为一个或多个独立的电路或硬件，如：专用集成电路(applicationspecificintegratedcircuit，asic)。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述的基于深度学习的车道线检测方法。

综上所述，本发明提供的一种面向移动端设备指纹识别认证方法及其应用的系统、介质及设备，具有以下有益效果：对于车道线特征的提取，直接采用基于深度学习的线检测模型，将大量图片输入网络进行训练得到检测模型，不需要手工提取复杂特征，检测效率高。本发明突破了传统手工制作的低级特征以及固定模型的约束，增强了针对恶劣条件下的检测能力，已经满足不了检测所需的实时性和精度要求，本发明提出的技术方案更加有利于复杂场景的灵活性和鲁棒性在卷积神经网络中充分利用了层间交流的信息，对车道线的分割更为细致。

综上，本发明提供一种基于深度学习的车道线检测方法及其应用的系统，解决了现有技术存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，具有很高的商业价值和实用性。