基于双目摄像头的汽车辅助驾驶系统及方法与流程

本发明涉及一种汽车辅助驾驶系统及方法，特别涉及一种基于双目摄像头的汽车辅助驾驶系统及方法。

背景技术：

近些年来，随着交通道路与经济的迅速发展以及私家车数量的日益增长，公路以成为了重要的通道，但同时公路上的交通事故也日益增多。虽然造成公路交通事故的成因很复杂，但其大多都源于驾驶员自身机体的反应机制，具体来讲，是驾驶员对周遭环境的变化不能在最短的时间内做出最合适的反应。如果采用某些措施，对驾驶员进行相应的驾驶辅助，无疑可以降低事故的发生率。另一方面，如今世界上著名的科技公司都在研发无人驾驶技术，我国作为一个世界大国，该领域对于国民经济和国家防务具有重大的意义，在这种情况下研究汽车的辅助驾驶系统具有深远意义，也将对我国未来的智能化交通发展具有重要的推进作用。

目前本领域公知的基于计算机视觉的辅助驾驶系统一般都采用普通的摄像头+红外激光的结构光方式，这种方式在在实际应用中还存在有体积庞大、功耗高、控制不精确以及工作性能不够可靠等缺陷，特别是在室外的汽车驾驶环境下受阳光的干扰非常大，甚至在强光下会失效，不能有效地弥补人类作为生物对环境的感知缺陷。

技术实现要素：

本发明的目的在于对现有技术存在的问题加以解决，提供一种基于双目摄像头的汽车辅助驾驶系统，该系统具有体积小、重量轻、功耗低、算法实时性强等优点，能在对取景范围内的所有车辆进行综合性的整体评估情况下给出本车行车合适的速度，从而极大地弥补驾驶员对环境感知缺陷。本发明同时还提供一种利用该基于双目摄像头的汽车辅助驾驶系统的汽车辅助驾驶方法，即基于双目摄像头的汽车辅助驾驶方法。

用于实现本发明目的的技术解决方案如下所述。

一种基于双目摄像头的汽车辅助驾驶系统，由双目摄像头、视觉分析模块和驾驶控制模块组成，所述的双目摄像头包括左摄像头和右摄像头，其输出端接至视觉分析模块的输入端，视觉分析模块的输出端与驾驶控制模块的一个输入端连接，驾驶控制模块的输出端通至汽车驱动器的输入端，驾驶控制模块的另一个输入端与汽车编码器的输出端连接。

上述基于双目摄像头的汽车辅助驾驶系统中，视觉分析模块采用基于嵌入式系统的arm微处理器，驾驶控制模块采用stm32微控制器。

利用该基于双目摄像头的汽车辅助驾驶系统的汽车辅助驾驶方法包括以下步骤：

1)通过双目摄像头采集汽车行驶前方左右侧图像，将左图像和右图像信号发送给视觉分析模块；

2)由视觉分析模块对双目摄像头采集的图像信号进行处理，计算出像素点的深度数据，并据此建立前方模型，通过对前方车辆的识别，分析汽车前方环境的状态，以获得车距、相对车速、前方车辆分布的数据，从而规划出汽车速度最优调节方案数据信号传输至驾驶控制模块；

3)由驾驶控制模块将视觉分析模块发来的速度最优调节方案数据信息与汽车编码器测得的汽车实时速度信息进行比较分析，使用pid算法将比较数据信号发送至汽车控制器，从而控制车速，同时确保人可以强制干涉车辆运行状态，达到辅助驾驶的目的。

上述基于双目摄像头的汽车辅助驾驶方法中，步骤2)中视觉分析模块计算出像素点的深度数据后，根据车辆识别算法，将前方车辆与环境分离，并使用pn学习算法提高系统的响应速度，从而计算出各车辆在地球坐标系中的距离以及与安装辅助系统的本车的相对位置，提取左右图像像素点进行特征匹配，获取像素点坐标，利用三角测距原理计算像素点的深度，并融合灰度图像，建立前方空间模型；通过对前方车辆相对空间坐标使用避障算法，以获得车距、相对车速、前方车辆分布的辅助驾驶的参数数据，从而规划出汽车速度最优调节方案数据信号，并发送给驾驶控制模块。

上述基于双目摄像头的汽车辅助驾驶方法中，步骤3)中驾驶控制模块对视觉分析模块发来的调节方案数据信号进行校验和执行，在调整加速度的可控范围内对行驶速度进行改变，并以汽车编码器测得的速度为反馈，对汽车电机进行pid调速，从而在最短的时间内使汽车达到调速方案的预期速度，将最优的速度控制方案输出到控制器。

与现有技术相比，本发明的优点是：

一、本发明采用双目摄像头和嵌入式系统的结构，相对于普通的摄像头+红外激光的结构方式，具有体积小、重量轻、功耗低、操作方便、辅助驾驶效果好等优点，可以适用于室外的复杂场景，并降低了成本；

二、本发明依据双目摄像头左右图像的匹配并计算得到图像的深度数据对行驶前方车辆相对速度及双方车距进行分析，分析深度数据更加精确；

三、本发明方法中应用pn学习算法，提高了车辆识别的响应速度。

四、本发明可以让车辆在行驶中在人可以强制干预的前提下由辅助驾驶系统更为精准、实时的控制车辆速度以及与其他车之间的距离，从而使驾驶更加安全。

附图说明

图1是本发明所述基于双目摄像头的汽车辅助驾驶系统的系统原理图。

图2是双目摄像头的测距示意图。

图3是汽车运动时图像随时间的变化规律示意图。

图4是pn学习算法原理图。

图1中各数字标记所指分别是：1－双目摄像头，2－视觉分析模块，3－驾驶控制模块，4－汽车驱动器，5－汽车编码器，6－电机。

具体实施方式

以下将结合附图及实施例对本发明内容做进一步描述。

参见图1，本发明所述的基于双目摄像头的汽车辅助驾驶系统包括由左摄像头和右摄像头组成的双目摄像头1、视觉分析模块2以及驾驶控制模块3。用于采集汽车行驶前方的左右图像(深度图像)的双目摄像头1设置在车体前部，其输出端接至视觉分析模块2的输入端，视觉分析模块2的输出端与驾驶控制模块3的一个输入端连接，驾驶控制模块3的输出端通至汽车驱动器4的输入端，驾驶控制模块3的另一个输入端与汽车编码器5的输出端连接。具体实施结构中，视觉分析模块2为采用基于嵌入式系统的arm微处理器，所述的驾驶控制模块3采用stm32微控制器。

本发明提供的基于双目摄像头的汽车辅助驾驶方法如下所述。

在汽车行驶过程中，首先通过系统的双目摄像头对场景进行捕捉并矫正，得到同一场景在不同视角下的两幅图像(左图像和右图像)，根据三角测距原理可对两幅图像匹配的所有像素点进行计算，来估算每一个像素点的深度。在这里，通过嵌入式系统(即基于arm微处理器的linux系统)构成视觉分析模块，对前方车辆的位置检测和运动估计由视觉分析模块进行实时处理。

视觉分析模块是本发明技术方案中的核心模块。主要功能如下：

1)接收双目摄像头的两个相机的图像数据，通过图像算法对左、右图像进行校正和匹配，根据三角测距原理计算像素点的深度，并融合灰度图像，得出像素点的相对空间坐标。

2)通过对前后两帧图像的像素点匹配，并对匹配像素点的相对空间坐标进行微分即可得出像素点的相对速度矢量；根据相对速度矢量与像素点的空间位置之间的几何关系对其进行归一化处理，可以得出环境像素点的相对速度矢量和前方车辆像素点的相对速度矢量。如果视觉分析模块得到的所有像素点的相对速度矢量都相同，则认为此时摄像范围内没有车辆，反之则分离出前方车辆的像素点，提取出前方车辆的相对空间坐标。

3)对上述功能2)中所得到的前车距离信息运用避障算法，即对获取的距离进行微分处理，计算出相对速度和相对加速度，从而得到最优的行驶轨迹调整方案，该方案由期望调整速度、调整加速度和调整角度组成，将这些参数实时传送到驾驶控制模块。

驾驶控制模块主要对视觉分析模块的调整方案进行校验和执行，在调整加速度的可控范围内对行驶速度进行改变。驾驶控制模块收到视觉分析模块发来的参数后，重新规划行驶的速度，并以编码器测得的速度为反馈，对电机进行pid调速，从而在最短的时间内达到调速方案的预期速度，稳定地控制车距，确保载体汽车的安全行驶。

以下重点介绍深度图像获取、车辆识别和pid调速的原理过程。

a、深度图像获取

参见图2，利用双目相机获取深度图像，即处理不同视角下获取的对同一场景的两幅图像，从而恢复出环境的三维几何信息，并得出空间距离z。具体来说就是首先通过双目摄像头对场景进行捕捉并矫正，获得到同一场景在不同视角下的两幅图像(ol和or)，之后根据相似三角形原理，对两幅图像匹配的像素点进行计算，估算每一个像素点的深度，z＝fbd，d＝pl-pr。图2及上式中，d为左图像和右图像中匹配的两个像素点的视差,pl和-pr分别为同一像素点在两幅图像中的x轴坐标，b为ol和or的距离，f为焦距。

b、车辆识别

首先对图像变化规律做出解释，汽车行驶时，t时刻摄像头采集的图像上任一点p(xt,yt)的速度方位角θ的描述如图3，图像尺寸为m×n，单位pix。

以此变化规律为基础，可将图像中的像素点相对运动的速度方位角与该点期望的速度方位角进行对比，从而分离出不符合速度方位角变化规律的像素点，由此可以识别为前方车辆。

为了降低处理器的计算量，以提高系统的工作效率，在这里使用pn学习算法对已识别区域的像素点进行追踪，即只匹配已识别区域的图像序列，在利用图像序列进行目标追踪过程中，将紧邻被追踪目标运动轨迹线的区域的像素点视为正标签，而远离轨迹线的区域的像素点视为负标签，之后在匹配阶段对其使用pn学习算法，以完成对目标的实时观测，如图4所示。

使用pn学习算法时，首先根据一些已有类别标记的样本，借助监督学习方法来训练，从而得到一个初始分类器；之后，通过迭代学习，利用上一次迭代得到的分类器对所有的未赋予标签的样本数据进行分类，而p-nexperts则找出那些错误分类的样本，并依此来对训练样本集做出修正，使得下一次迭代训练之后得到的分类器的性能有所改善。p-experts将那些被分类器标记为负样本，但根据结构性约束条件应该为正样本的那些样本赋予“正”的标签，并添加到训练样本集中；而n-experts则将那些被分类器标记为正样本，但根据结构性约束条件应该为负样本的那些样本赋予“负”的标签，并添加到训练样本集当中；这也就意味着，p-experts增加了分类器的鲁棒性，而n-experts则增加了分类器的判别能力。

c、pid调速

在这里将首先预选择比较保守的参数让系统工作，避免出现系统不稳定或超调量过大的情况。给定一个阶跃信号，根据输出波形获得系统的性能信息，如超调量和调节时间。如果阶跃响应的超调量太大，则逐步减小pid输出的比例部分，增大积分时间，反之如果阶跃响应没有超调量，但被控量上升过慢，则按相反的方式调整参数，反复调节。如果超调量仍然较大，则加入微分控制，微分时间逐步增大，根据pid参数与系统的性能关系反复调节。

以上所述仅是本发明的较佳实施案例，并非对本发明作任何限制，凡是根据本发明技术实质以上实施案例所作的任何简单性质的修改、变更以及等效措施变化，均仍属于本发明技术方案的保护范围内。