一种基于深度学习的车辆行车车道检测方法与流程

本发明属于智能交通领域，涉及一种基于深度学习的车辆行车车道检测方法。
背景技术：
：我国国土面积广大，高速公路里程不断增加，地域差异大，气象条件多变，增加道路行车安全隐患，尤其在低能见度等险危条件下，交通事故频发，检测交通事件难度增大。需要实时采集方法获取道路动态化、多样化的交通信息，为交通事件检测及诱导方案的提出提供依据。到目前为止，交通信息采集主要有感应线圈、视频、微波、超声波、红外、gps定位、电子标签等方式。视频检测数据量及计算量大，实时性差，并且容易受到外界气象环境的干扰；感应线圈影响道路使用寿命，且容易损坏；超声波检测精度受环境影响较大；gps和电子标签需要车辆配有相应的硬软件。利用视频检测车道线的方式通过算法来提高识别率，但是检测结果很容易受到环境条件的影响。而微波会出现车辆之间遮挡的情况而增大多车道车辆同时检测的难度。音频也是属于交通信息检测技术之一，车辆自发声是车辆行驶状态的一种表现形式(如不同行车道上的车辆在音频幅值上存在明显差别)，目前利用音频的研究较少。但在低能见度(如雾、雨、雪、夜间等)环境条件下通过拾音器采集道路车辆的音频信息几乎无影响，因此利用道路车辆的音频实现车辆行车车道的检测具有安装方便、对路面结构无损害、低能见度环境表现良好等优点。技术实现要素：有鉴于此，本发明的目的在于提供一种基于深度学习的车辆行车车道检测方法。为达到上述目的，本发明提供如下技术方案：一种基于深度学习的车辆行车车道检测方法，该方法包括以下步骤：s1：数据采集模块布设；s2：视频数据处理；s3：音频数据处理；s4：建立长短期记忆网络lstm进行训练及测试。进一步，所述步骤s1具体为：设摄像头c投影在路面f的点为o，oc为摄像机架杆g，ab是摄像头c能够检测的路面区域在路面的投影截面边缘点，拾音器id以及拾音器iie设置在ab上，ab的中点和de的中点重合；车辆行驶为b到a，ab之间的间距为20m，拾音器id和拾音器iie之间间隔为0.2m；同步启动摄像头和拾音器，采集一段时间内的道路数据。进一步，所述步骤s2具体为：s21将视频转化为图像设一辆车的行驶速度100km/h＝27.8m/s，摄像头拍摄一辆车的有效时间为0.7s，视频1s有24帧，占据视频中的24*0.7＝16.8帧，试取3张图片，视频中每隔4帧将视频转成图像，即帧数取5i,5(i+1),5(i+2),…,5(i+5)，i＝1,2,3…；s22进行图像识别首先对图像进行二值化和灰度处理，边缘检测方法采用canny，然后是进行开运算，消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用，接着是分析每个区域的图像特征参数，找出提取目标值的区域，得出识别结果；s23对识别的图像进行标签标注分析前后图片中目标物的坐标值，确定其为车道占用情况的类别，对不同类别进行编号标记。进一步，所述步骤s3具体为：s31图像处理结果与音频数据进行数据配对通过对图像识别得出车道占用情况，对一段时间的图像数据标记对应的车道占用情况标签信息，返回此时的帧数5i，确定此时的时间为(5i/24)s；摄像头拍摄同一时段车辆经过的有效时间为0.7s，经过de中点的时间为[(5i/24)-0.35]s，取[(5i/24)-0.7]～[(5i/24)]s的音频数据，得到的图像标签数据与音频数据形成一一对应的关系；s32音频数据数字化获取的音频数据是模拟信号时间段，进行ad转换变成数字信号(d1和d2)；采用将两段音频数据拼接的方式作为样本信息数据(d＝d1+d2)；在每一秒时间按照平均采样的方法采取100条数据，那么输入数据的大小k_size＝0.7*100*2＝140，将类别分为9类，即输出结果的大小为l_size＝9。进一步，所述步骤s4具体为：s41基于lstm模型的车辆车道检测训练学习利用预处理的数据搭建合适的深度网络模型，已经获取到音频数据和图像标签数据，深度学习模型采用的是长短期记忆网络lstm；输入层单元数大小是140，采用多个节点数相同的隐藏层，设置隐藏层单元数为80，输出层单元数是9，输入层与隐藏层之间的权重矩阵的大小为140*80；隐藏层与输出层之间权重矩阵的大小为80*9；隐藏层自身的权重矩阵的大小为80*80；输入的数据利用权重矩阵提取特征，通过激活函数非线性化映射，最后利用softmax分类器进行分类；分类器给出一个9位数的矢量，其中矢量的每一位分别对应不同的车辆行车车道占用情况的结果概率，将实际概率与真实值之间的误差进行反向传播来修正权重，进行大量带标签的训练，最后得到的是稳定的权重矩阵；s42基于lstm模型的车辆车道检测的实现训练时采用固定长度的音频时间段进行训练，在分类的时候首先是判断是否触发条件，收发信号通过混频、有源滤波和放大处理后实现有移动物体时产生触发，音频通过设定阈值的方式产生触发，一旦接收到的音频信号产生触发，将触发信息发送给控制器产生触发中断，此时控制器接收音频此后固定长度的音频时间的数据，然后通过数据处理，处理过程和训练数据音频处理方法一样，将处理后的数据输入到训练好的lstm模型中进行分类输出，输出编码结果，对应不同的车辆车道占用情况，实现车辆车道的检测。本发明的有益效果在于：本发明利用拾音器采集道路信息数据，利用摄像头采集的图像通过图像处理技术，识别道路交通状况作为标签数据，将道路信息数据添加标签数据进行有标签的深度学习，通过训练好的网络模型实现对车辆车道的检测，提高检测的精度。本发明具有对路面结构无破坏、险危环境表现良好、检测精度高等优点。本发明在低能见度和正常能见度道路环境下对行车车道检测具有良好的效果，在正常的能见度环境条件下进行学习和训练，摄像头处理后的标签信息用于前期训练。当网络训练好之后，不论是否是低能见度环境条件，不再需要图像标签的辅助作用都能实现车辆行车车道的检测。本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。附图说明为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：图1为模拟人的大脑工作原理示意图；图2为总体思路示意图；图3为数据处理流程图；图4为采集模块安放位置侧面图；图5为图像识别流程图；图6为实际道路区域标注；图7为lstm模型训练流程图；图8为基于lstm模型的车辆车道检测；图9为整体流程图。具体实施方式以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。如图1所示，当声源发出声音，通过介质传送到耳朵，耳朵将音频信号转换成神经信号，神经信号通过神经元传送至人的大脑，最后通过人体复杂的神经系统进行学习。本发明模仿人声音识别过程分析外界复杂的环境，拾音器是模仿人的耳朵，神经元将收集到的信号以电信号的方式在神经元上进行传输，而深度学习是模仿人的大脑，对传输来的数据进行信息的处理，提取深层信息。总体思路如图2所示，具体实现步骤如图3所示。1数据采集模块布设本发明以两车道加应急车道为实验对象，高速公路行驶车道宽度是3.75m，应急车道宽度是2.5m，中央隔离带一般为1m，能够实现单向车道车辆检测并且防止对向车道车辆的干扰的探测距离d的设置范围是：6.25(3.75+2.5)m≤d≤11(3.75*2+2.5+1)m，本发明设置探测距离d为10m，摄像机的拍摄清晰距离为10-30m，本文取20m，视角设定为60°。摄像头采用沿着车行方向采集视频图像，安放位置侧面图如图4所示。设摄像头c投影在路面f的点为o，oc为摄像机架杆g，ab是摄像头c能够检测的路面区域在路面的投影截面边缘点，拾音器id以及拾音器iie设置在ab上，ab的中点和de的中点重合；车辆行驶为b到a，ab之间的间距为20m，拾音器id和拾音器iie之间间隔为0.2m；同步启动摄像头和拾音器，采集一段时间内的道路数据。2视频数据处理2.1将视频转化为图像假设一辆车的行驶速度100km/h＝27.8m/s，所以摄像头拍摄一辆车的有效时间大约为0.7s，视频1s有24帧，占据视频中的24*0.7＝16.8帧，试取3张图片，视频中每隔4帧将视频转成图像，即帧数取5i、5(i+1)、5(i+2)……5(i+5)，(i＝1，2，3……)。2.2进行图像识别图像数据处理流程如图5所示：首先对图像进行二值化、灰度处理，边缘检测方法采用canny，然后是进行开运算，消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用，接着是分析每个区域的图像特征参数，找出提取目标值的区域，得出识别结果。2.3对识别的图像进行标签标注两车道加应急车道如图6所示，靠近隔离带的为行车道1，编号s1，其次是行车道2，编号s2，应急车道编号e，分类情况如表1所示：表1车辆占用车行道情况分类表车道占用情况类别编号(m)无100000000a1010000000a2001000000e000100000a1，a2000010000a1，e000001000a2，e000000100a1，a2，e000000010异常情况000000001分析前后六张图片中目标物的坐标值，确定其为车道占用情况的类别，对不同类别进行编号标记。占用情况有9种类别，在此处利用9*1维的数据进行编号标记。3音频数据处理3.1图像处理结果与音频数据进行数据配对通过对图像识别得出车道占用情况，对一段时间的图像数据标记对应的车道占用情况标签信息，返回此时的帧数5i，确定此时的时间为(5i/24)s。摄像头拍摄同一时段车辆经过的有效时间大约为0.7s，经过de中点的时间为[(5i/24)-0.35]s，取[(5i/24)-0.7]～[(5i/24)]s的音频数据，得到的图像标签数据与音频数据形成一一对应的关系。3.2音频数据数字化获取的音频数据是模拟信号时间段，进行ad转换变成数字信号(d1和d2)。采用将两段音频数据数据拼接的方式作为样本信息数据(d＝d1+d2)。在每一秒时间按照平均采样的方法采取100条数据。那么输入数据的大小k_size＝0.7*100*2＝140，将类别分为9类，即输出结果的大小为l_size＝9。4建立长短期记忆网络进行训练学习4.1基于lstm模型的车辆车道检测训练学习利用前面预处理的数据搭建合适的深度网络模型。现在已经获取到音频数据和图像标签数据，深度学习模型采用的是循环神经网络lstm(longshort-termmemory)。本设计使用的是多隐层的lstm模型，输入层单元数大小是140，采用多个(如3层)节点数相同的隐藏层，设置隐藏层单元数为80，输出层单元数是9，输入层与隐藏层之间的权重矩阵的大小为140*80；隐藏层与输出层之间权重矩阵的大小为80*9；隐藏层自身的权重矩阵的大小为80*80。卷积神经网络训练整体流程如图7所示。输入的数据利用权重矩阵提取特征，通过激活函数非线性化映射，最后利用softmax分类器进行分类。分类器给出一个9位数的矢量，其中矢量的每一位分别对应不同的车辆行车车道占用情况的结果概率，将实际概率与真实值之间的误差进行反向传播来修正权重，进行大量带标签的训练，最后得到的是几乎稳定的权重矩阵。4.2基于lstm模型的车辆车道检测的实现如图8所示，训练时采用固定长度的音频时间段(如0.7s)进行训练，在分类的时候首先是判断是否触发条件，收发信号通过混频、有源滤波和放大处理后实现有移动物体时产生触发，音频通过设定阈值的方式产生触发，一旦接收到的音频信号产生触发，将触发信息发送给控制器产生触发中断，此时控制器接收音频此后0.7s时间的数据，然后通过数据处理(如模数转换、数据格式转换等)，处理过程和训练数据音频处理方法一样，将处理后的数据输入到训练好的lstm模型中进行分类输出，输出编码结果，如表1所示，对应不同的车辆车道占用情况，实现车辆车道的检测。最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。当前第1页12