基于深度学习多任务网络的交通车道线检测方法及装置与流程

本发明属于智能视频监控领域，具体涉及一种基于深度学习多任务网络的交通场景车道线检测方法及装置。

背景技术：

目前行业中对于车道线识别的主要方法为霍夫直线检测方法，上述方法首先需要将彩色图像转为灰度图像，丢失了图像中的颜色信息，再进行二值化处理，过程中不可避免地损失掉大量边缘细节，从而进一步降低了检测的准确率，同时，对于不同场景图像的适应性有明显缺陷，如雨后地面反光、夜间亮度较低、阴影覆盖和车辆遮挡等场景均不能较好的识别车道线。

技术实现要素：

本发明的目的是提供一种基于深度学习多任务网络的交通车道线检测方法及装置，基于多任务深度学习网络训练，在不同亮度、色温、天气环境下，以及各种复杂的交通场景中，均有很好的适应性，同时满足智能交通的实时性需求，具有准确、快速、适应性强的特点。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度学习多任务网络的交通车道线检测方法，包括：

s1、亮度与边缘信息收集：提取图像平均亮度信息并通过二维卷积算子提取图像边缘强度；

s2、图像自适应裁剪：根据图像平均亮度和边缘强度的比例关系，计算单位面积边缘强度阈值，从而自适应地裁剪图像，将图像分割成若干像块，准备进行图像归一化；

s3、图像归一化：对根据边缘强度阈值裁剪的图像按固定尺寸进行缩放，准备送入深度学习；

s4、深度学习：向复合卷积神经网络输入统一尺寸的图像块，由网络模型生成横向、纵向车道线和非车道线分类结果以及车道线坐标；

s5、类别分析和坐标复原：根据深度学习的网络模型输出的分类信息，分别提取车道线块的坐标，并按照该像块在原图中的尺寸，计算原图中的相应坐标值；

s6、车道线拟合：根据各像块分类信息和坐标值，利用各个像块的空间相关性，把同一车道线各个像块的坐标进行拟合，从而输出最终的车道线坐标。

进一步的，步骤s1的具体方法包括：

s11、基于实际场景图像中像素的空间相关性，将图像进行采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为w*h，则采样后得到的尺寸为(w/3)*(h/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：

s12、对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度：

进一步的，步骤s2的具体方法包括：求取分割图像尺寸s时，采用分段函数：

这里，smin＝112，smax＝224，裁剪的像块长宽均为s。

进一步的，步骤s4所述的深度学习网络，基于resnet和darknet网络演变而来，在每两个卷积和一个池化层的crp层后加入残差传递，并且参考mtcnn架构，加入多任务训练功能，输出横向、纵向车道线、非车道线3种分类结果和3个置信度，同时输出线段起点终点坐标，共10个输出参数。

进一步的，步骤s6的具体方法为：得到每个像块在原图中的位置和块内线段在原图中的坐标，然后在全图范围内进行聚类，得出斜率和空间位置相近的像块，用最小二乘法把同一类中的像块线段坐标拟合成直线，最终输出车道线坐标，完成车道线自动识别。

本发明的另一方面，还提供了一种基于深度学习多任务网络的交通车道线检测装置，包括：

亮度与边缘信息收集模块：提取图像平均亮度信息并通过二维卷积算子提取图像边缘强度；

图像自适应裁剪模块：根据图像平均亮度和边缘强度的比例关系，计算单位面积边缘强度阈值，从而自适应地裁剪图像，将图像分割成若干像块，准备进行图像归一化；

像图像归一化模块：对根据边缘强度阈值裁剪的图像按固定尺寸进行缩放，准备送入深度学习模型；

复合卷积神经网络模块：输入统一尺寸的图像块，由网络模型生成横向、纵向车道线和非车道线分类结果以及车道线坐标；

类别分析和坐标复原模块：根据深度学习网络模型输出的分类信息，分别提取车道线块的坐标，并按照该像块在原图中的尺寸，计算原图中的相应坐标值；

车道线拟合模块：根据各像块分类信息和坐标值，利用各个像块的空间相关性，把同一车道线各个像块的坐标进行拟合，从而输出最终的车道线坐标。

进一步的，所述亮度与边缘信息收集模块包括：

平均亮度值单元：基于实际场景图像中像素的空间相关性，将图像进行采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为w*h，则采样后得到的尺寸为(w/3)*(h/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：

平均边缘信息强度单元：对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度：

进一步的，所述图像自适应裁剪模块包括分段函数单元，求取分割图像尺寸s时，采用分段函数：

这里，smin＝112，3max＝224，裁剪的像块长宽均为s。

进一步的，所述复合卷积神经网络模块包括深度学习网络单元：基于resnet和darknet网络演变而来，在每两个卷积和一个池化层的crp层后加入残差传递，并且参考mtcnn架构，加入多任务训练功能，输出横向、纵向车道线、非车道线3种分类结果和3个置信度，同时输出线段起点终点坐标，共10个输出参数。

进一步的，所述车道线拟合模块包括聚类拟合单元：得到每个像块在原图中的位置和块内线段在原图中的坐标，然后在全图范围内进行聚类，得出斜率和空间位置相近的像块，用最小二乘法把同一类中的像块线段坐标拟合成直线，最终输出车道线坐标，完成车道线自动识别。

与现有技术相比，本发明具有如下的有益效果：

本发明基于多任务深度学习网络训练，在不同亮度、色温、天气环境下，以及各种复杂的交通场景中，均有很好的适应性，同时满足智能交通的实时性需求，具有准确、快速、适应性强的特点；相较于传统车道线检测方法，无论在适应性和正确率上都有明显提升。

附图说明

图1是本发明实施例的深度学习网络中的通用结构crp层结构示意图；

图2是本发明实施例的训练网络结构示意图；

图3书本发明实施例的整体结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明的基于深度学习多任务网络的交通场景车道线检测新方法，实现方式为：

在提取亮度和边缘信息时，基于实际场景图像中像素的空间相关性，先将图像进行下采样，采样率为1/(3*3)，即每3行3列采集中心点，若原图尺寸为w*h，则采样后得到的尺寸为(w/3)*(h/3)的缩略图，边缘不满足3*3的做padding处理，求取平均亮度值：再对图像进行二维卷积提取边缘信息，卷积算子基于scharr算子进行优化，增强了临近像素的相关性,主要分为水平和垂直两个方向：和边缘做padding处理，分别得到水平和垂直梯度，梯度合并后得到图像平均边缘信息强度图像亮度和边缘信息的相关性系数r＝bavg/lavg。根据实验数据得到，交通场景的亮度边缘相关性系数在0.75至3之间，低于0.75，表示图像噪声过多或细节丰富，高于3则表示图像场景较为单一。噪声和细节越丰富的场景，识别难度越大，需要分割送入深度学习模型的像块尺寸就越小，求取分割图像尺寸s时，采用分段函数：

这里，smin＝112，smax＝224，裁剪的像块长宽均为s，后经图像归一化，统一缩放成224*224，送入深度学习模型。

本发明所选取的深度学习网络，是基于resnet和darknet网络演变而来，在每两个卷积和一个池化层的crp层后加入了残差传递，在增加网络深度、充分提取图像特征的同时，有效避免了梯度弥散的问题，并且参考了mtcnn架构，加入了多任务训练功能，输出横向、纵向车道线、非车道线3种分类结果和3个置信度，同时输出线段起点终点坐标，共10个输出参数，网络结构如图1和图2所示，图1为本发明网络中的通用结构crp层，包含两层3*3convolution层、一层relu层和一层maxpooling层；图2为本发明训练网络结构图。

深度学习模型输出的分类和回归结果送入类别分析和坐标复原模块，得出每个像块在原图中的位置和块内线段在原图中的坐标，然后在全图范围内进行聚类，得出斜率和空间位置相近的像块，用最小二乘法把同一类中的像块线段坐标拟合成直线，最终输出车道线坐标，完成车道线自动识别的算法过程。

综上所述，本发明的基于深度学习多任务网络的交通场景车道线检测新方法，由亮度与边缘信息收集模块、图像自适应裁剪模块、图像归一化模块、深度学习网络特征提取模块、类别分析和坐标复原模块、车道线拟合模块等组成，基于多任务深度学习网络训练，在不同亮度、色温、天气环境下，以及各种复杂的交通场景中，均有很好的适应性，同时满足智能交通的实时性需求，具有准确、快速、适应性强的特点。基于深度学习多任务网络的交通场景车道线检测系统结构如图3所示。

本发明在业界主流的带有深度学习模块的嵌入式平台上均可实现，本发明的训练样本采用224*224大小的横、纵向车道线图片做正样本，交通场景中截取的其他图片作为负样本，正样本中各挑选20％作为回归坐标的样本，训练样本比例为：horlane：verlane:negsample:horlandmark:verlandmark＝5:5:15:1:1。在图1-2中，经过共同的特征提取层crp1^～crp3后，分类和回归任务在共同的featuremap上分别提取特征，分类网络特征提取路径为cpr4-1和5-1，回归网络特征提取路径为cpr4-2和5-2。分类训练损失评价函数采用稀疏交叉熵函数：

其中，k为分类数，pk为该类的置信度，经过softmax后的分类置信度0≤pk≤1，三类交叉熵总和即为分类的稀疏交叉熵损失值。回归坐标损失函数采用欧氏距离平方和函数：

其中xk、yk和xk、yk分别表示回归坐标的预测值和label标定的实际值，而最终的损失函数是分类和回归损失函数的加权和，这里添加了两种损失值的比例系数ξ，ξ的值在训练中取0.5：

经测试，本发明的基于深度学习多任务网络的交通场景车道线检测新方法，相较于传统车道线检测方法，无论在适应性和正确率上都有明显提升，在不同亮度、色温、天气环境下，以及各种复杂的交通场景中，均有很好的性能，同时满足智能交通的实时性需求，具有准确、快速、适应性强的特点，满足了当前交通产品前端设备的要求。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例公开如上，然而，并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当然会利用揭示的技术内容作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围内。