一种基于双目视觉的车辆路面高度识别系统的制作方法

本发明属于视觉系统设计技术领域，特别是涉及一种基于双目视觉的车辆路面高度识别系统。

背景技术：

随着国家经济的发展，我国车辆产业发展迅猛，人们对于车辆的性能要求不断提高。由于悬架系统对于改善车辆的行驶平顺性和操作稳定性有着极大的作用，因此人们对于悬架系统的研究日益加深。悬挂系统已从不可控悬架发展到可控悬架系统，于此同时多种控制算法也应用于可控悬架系统中。尽管以上研究可极大的改善悬架系统性能，但是由于车辆在行驶过程中高速移动，路面激励不断变化，控制器与执行器存在的时滞现象阻碍悬架性能的进一步提高。

技术实现要素：

为了解决上述存在的技术问题，本发明提供一种基于双目视觉的车辆路面高度识别系统，通过利用双目立体视觉将路面的高度信息提前送入到悬架控制系统中，进行进一步的改善悬架性能，进而避免了控制器与执行器在悬架系统的运行中产生的时滞现象。

为了实现上述目的，本发明采用的技术方案为：

一种基于双目视觉的车辆路面高度识别系统，包括以下步骤：

步骤1、通过双目相机采集和标定确定路面各点的距离信息；

步骤1.1、通过双目相机采集图像并标定相机参数，对摄像头进行标定，双目相机的标定结果包括相机的内参数矩阵、外参数矩阵和畸变系数；

所述畸变系数公式如(1)：

其中，θx(x，y)与θy(x，y)分别为x与y方向的非线性畸变值，r1和r2均为径向畸变因子，t1和t2均为切向畸变因子，p1和p2均为薄棱镜畸变因子

步骤1.2、将采集的图片进行畸变矫正、立体匹配和三维重建来确定路面各点的距离信息；所述立体匹配步骤为：1)确定匹配约束准则；2)匹配代价函数；3)计算视差；

所述匹配代价函数选用sgbm半全局匹配算法的方式，其步骤具体为：

1)预处理

通过预处理原图片得到图片的梯度信息，梯度信息会用于梯度代价计算；

2)代价计算

采用灰度差和代价函数求取原图像的匹配代价，灰度差和代价函数具体如式(2)：

其中，csad(p，d)为左图像点pl与右图像点pr之间视差取d时的匹配代价，q为p邻域np的像素点，i(q)为q点的灰度值；

3)代价聚合

半全局匹配算法的代价聚合是根据外极线顺序约束，通过在视差图像上寻找最小代价路径得到最终视差图的过程，最终每个像素的匹配代价都是多个方向的路径信息的叠加，最终匹配代价如式(3)：

式中lr为路径累加的代价函数，式中第三项可消除各个方向路径长度不同照成的影响，其中，p1和p2为像素点与相邻点视差存在较小与较大差异的平滑惩罚值；

4)后处理

sgbm半全局匹配算法后处理保证匹配点的准确性并对视差图做平滑性处理；

所述计算视差的过程为完成了空间中某点在两个成像面上的匹配之后，确定两个投影点横坐标的过程，最后求得的对应点的横坐标差值即得到了视差结果；

所述完成立体匹配之后，即确定了空间中各个点在两个成像面的视差值，即可通过下式完成三维重建：

其中，xl-xr为视差值，d为双目相机的基线，fx和fy为相机在x轴和y轴方向的焦距，(x0，y0)为图像坐标系原点，空间点p投影到左图像坐标系和右图像坐标系的坐标分别为(xl，yl)和(xr，yr)；

步骤2、根据双目相机与路面的几何关系和路面各点的距离信息计算路面的高度信息；

所述计算出的路面高度信息中，路面高度的计算公式如下：

zh＝zset-xdis×sincpit-d×sin(cpit+ccam+cobj)+∫adt(5)

式中，cpit为车辆的俯仰角，ccam为双目相机安装时与水平方向的夹角，cobj为路面上某点与相机的夹角，zdis为加速传感器距离地面的距离，xdis为双目相机与车辆质心的距离，a为车身垂向加速度，t为图片处理的采集时间；

步骤3、将计算出的路面高度信息通过通信程序无线传输给悬架控制器。

进一步地，所述外参数矩阵的标定结果为旋转矩阵和平移矩阵，所述畸变系数的标定结果为径向畸变系数和切向畸变系数。

进一步地，所述判定双目相机与路面几何关系的方式为通过加速度传感器传输判定。

进一步地，所述确定匹配约束准则为：

1)极线约束

2)一致性约束

3)连续性约束

4)相似性约束

5)唯一性约束

本发明的优点效果是：

本发明的有益效是利用双目立体视觉的测控量方法，通过将采集来的图片进行畸变矫正、立体匹配和三维重建来确定路面各点的距离信息，并通过将距离信息计算得来的路面高度信息通过通信程序无线传输给悬架控制器来进一步的改善悬架性能，将双目立体视觉与可控悬架系统有效的结合起来，解决了悬架系统中控制器与执行器之间存在的时滞现象问题，使得悬架系统的悬架性能的进一步提高，对于突破悬架系统的研究瓶颈具有十分重要的意义。

附图说明

图1为本发明提供的一种基于双目视觉的车辆路面高度识别系统的硬件结构图；

图2为本发明提供的一种基于双目视觉的车辆路面高度识别系统的整体结构框图；

图3为本发明提供的一种基于双目视觉的车辆路面高度识别系统中双目相机与路面的几何关系图；

图4为本发明提供的一种基于双目视觉的车辆路面高度识别系统中立体匹配的结构示意图；

图5为本发明提供的一种基于双目视觉的车辆路面高度识别系统的流程框图；

图6为本发明提供的一种基于双目视觉的车辆路面高度识别系统中立体匹配的流程框图；

图7为本发明提供的一种基于双目视觉的车辆路面高度识别系统中匹配代价函数的流程框图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施例1：

如图1-2所示，本发明提供了一种基于双目视觉的车辆路面高度识别系统，其中本发明设计识别的路面为车辆可正常行驶的常规路面，且双目摄像机固定在车辆前照灯附近，包括以下步骤：

步骤1、通过双目相机采集和标定确定路面各点的距离信息；

步骤1.1、通过双目相机采集图像并标定相机参数，对摄像头进行标定，双目相机的标定结果包括相机的内参数矩阵、外参数矩阵和畸变系数；

所述畸变系数公式如(1)：

其中，θx(x，y)与θy(x，y)分别为x与y方向的非线性畸变值，r1和r2均为径向畸变因子，t1和t2均为切向畸变因子，p1和p2均为薄棱镜畸变因子

步骤1.2、将采集的图片进行畸变矫正、立体匹配和三维重建来确定路面各点的距离信息；所述立体匹配步骤为：1)确定匹配约束准则；2)匹配代价函数；3)计算视差；

所述匹配代价函数可以检测两点之间的相似程度,相似度越高,匹配率越高；匹配代价函数选用sgbm半全局匹配算法的方式，其步骤具体为：

1)预处理

通过预处理原图片得到图片的梯度信息，梯度信息会用于梯度代价计算；

2)代价计算

采用灰度差和代价函数求取原图像的匹配代价，灰度差和代价函数具体如式(2)：

其中，csad(p，d)为左图像点pl与右图像点pr之间视差取d时的匹配代价，q为p邻域np的像素点，i(q)为q点的灰度值；

3)代价聚合

半全局匹配算法的代价聚合是根据外极线顺序约束，通过在视差图像上寻找最小代价路径得到最终视差图的过程，最终每个像素的匹配代价都是多个方向的路径信息的叠加，最终匹配代价如式(3)：

式中lr为路径累加的代价函数，式中第三项可消除各个方向路径长度不同照成的影响，其中，p1和p2为像素点与相邻点视差存在较小与较大差异的平滑惩罚值；

4)后处理

sgbm半全局匹配算法后处理保证匹配点的准确性并对视差图做平滑性处理；

所述计算视差的过程为完成了空间中某点在两个成像面上的匹配之后，确定两个投影点横坐标的过程，最后求得的对应点的横坐标差值即得到了视差结果；

所述完成立体匹配之后，即确定了空间中各个点在两个成像面的视差值，即可通过下式完成三维重建：

其中，xl-xr为视差值，d为双目相机的基线，fx和fy为相机在x轴和y轴方向的焦距，(x0，y0)为图像坐标系原点，空间点p投影到左图像坐标系和右图像坐标系的坐标分别为(xl，yl)和(xr，yr)；

步骤2、根据双目相机与路面的几何关系和路面各点的距离信息计算路面的高度信息；

所述计算出的路面高度信息中，路面高度的计算公式如下：

zh＝zset-xdis×sincpit-d×sin(cpit+ccam+cobj)+∫adt(5)

式中，cpit为车辆的俯仰角，ccam为双目相机安装时与水平方向的夹角，cobj为路面上某点与相机的夹角，zdis为加速传感器距离地面的距离，xdis为双目相机与车辆质心的距离，a为车身垂向加速度，t为图片处理的采集时间；

步骤3、将计算出的路面高度信息通过通信程序无线传输给悬架控制器。

所述外参数矩阵的标定结果为旋转矩阵和平移矩阵，所述畸变系数的标定结果为径向畸变系数和切向畸变系数。

所述判定双目相机与路面几何关系的方式为通过加速度传感器传输判定。

所述由于双目相机在复杂环境下采集路面信息，易受到光照不稳定、噪声、遮挡等干扰，因此需要在匹配过程中施加约束规则，以减小搜索范围，提高算法的精度和速度；确定匹配约束准则为：

1)极线约束

2)一致性约束

3)连续性约束

4)相似性约束

5)唯一性约束。

所述车辆路面高度识别系统zynq-7000平台中采用c++语言并结合开源图像处理库opencv与开源modbus通信库libmodbus实现软件设计；软件设计结构上分为畸变校正程序部分、立体匹配程序部分、三维重建程序部分、计算路面高度程序部分、modbustcp通信程序共5部分。

1)畸变校正程序部分

畸变校正程序部分包括实际标定与畸变矫正两部分；

2)立体匹配程序部分

立体匹配程序包括确定匹配约束准则，匹配代价函数和计算视差三部分；

3)三维重建程序部分

4)计算路面程序部分

5)通信程序部分

通信程序部分采用modbustcp协议；

所述畸变矫正、立体匹配、三维建模和将计算出的路面高度信息通过通信程序无线传输给悬架控制器过程均通过zynq-7000平台控制器完成，其中zynq-7000平台中采用c++语言并结合开源图像处理库opencv与开源modbus通信库libmodbus实现软件设计，所述双目相机的摄像头，采用500万快速自动对焦usb免驱动摄像头，其型号为rer-1mp2cam002-v90，画质清晰成像稳定，90度视角有畸变镜头；且双目相机的摄像头通过usb电缆与zynq-7000平台相连，所述加速度传感器选用mpu6050的三轴加速度传感器。

工作原理：本发明中的zynq-7000平台通过将双目相机摄像头采集的图片进行畸变校正、立体匹配和三维重建等一系列的处理，并通过加速度传感器发送信号，完成图像处理和计算路面高度的工作，并通过通信程序将计算的路面高度信息无线传输到悬架控制系统中。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。