一种基于视觉感知的智能汽车车身姿态控制方法及系统

1.本发明涉及智能汽车车身姿态控制及双目立体视觉感知技术领域，具体是一种基于视觉感知的智能汽车车身姿态控制方法及系统。


背景技术：

2.互联网技术的飞速发展，带动了智能网联汽车发展。根据国家发改委发布的《智能汽车创新发展战略》可知，智能汽车的感知需要依靠先进传感器，这促进了包括激光雷达、视觉摄像头在内的多种传感器的应用。双目立体视觉系统因其体积小巧、应用灵活、成本较低特点、采集信息丰富等特点，在汽车上具有广阔的应用前景。
3.传统汽车在行驶过程中遇到转弯、不平路面或侧向倾斜路面时，由于汽车无法预知路面状况，无法自主做出反馈调节，导致行驶时的车身姿态较差，使驾乘人员感到不安全、不舒适，甚至危及行车安全。


技术实现要素：

4.为了解决现有技术中存在的不足，本技术提出了一种基于视觉感知的智能汽车车身姿态控制方法及系统，本发明使用双目立体摄像头作为感知元件，以较低成本完成车道线检测与不平路面检测；本发明使用几个车身姿态控制器，应用模糊控制方法实现姿态控制；实现车身姿态预瞄控制，进而改善传统汽车在转弯、不平路面或侧向倾斜路面上行驶姿态较差的缺陷，提高智能汽车操控性、安全性和成员舒适度。
5.本发明所采用的技术方案如下：
6.一种基于视觉感知的智能汽车车身姿态控制方法，包括如下步骤：
7.s1、利用双目相机采集汽车前方路面特征图像；
8.s2、对所采集的汽车前方路面特征图像进行当前车道线预瞄检测，根据车道线预瞄检测结果判断前方是否存在弯道；若存在弯道，则分别对汽车前方路面特征图像进行立体匹配以及三角测量确定弯道的路面特征及该路面特征的空间位置；若不存在弯道，则对前方路面高度进行预瞄检测，即通过对汽车前方路面特征图像进行立体匹配以及三角测量确定路面特征的类型及路面特征的空间位置；路面特征的类型包括凹凸路面和倾斜路面；
9.s3、基于路面特征及路面特征相对于的相机坐标系的空间位置、实时车速信号预估到达路面特征的时间；
10.s4、设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；根据路面特征类型，通过三种车身姿态控制器的切换规则选择相应的控制器工作进行车身姿态控制。
11.进一步，三种车身姿态控制器的切换规则为：
12.当立体匹配识别预瞄图像中存在弯道，仅选择侧倾控制器进行车身姿态控制；侧倾控制器基于路面特征类型以及预估到达路面特征的时间输出控制力矩m
φ
；当立体匹配识别预瞄图像中没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂
向控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩m
φ
，俯仰控制器输出控制力矩m
θ
，垂向控制器输出悬架控制力fz。
13.当立体匹配识别预瞄图像中没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩m
φ
，俯仰控制器输出控制力矩m
θ
。
14.进一步，车道线预瞄检测的方法为：
15.对输入的汽车前方路面特征图像进行灰度化处理、平滑滤波的预处理；预处理后的图像应用sobel算子与3
×
3邻域像素进行平面卷积操作，获取车道线两侧灰度变化梯度幅值；设定t阈值并与图像每一行像素点幅值作比较，若多个连续像素点幅值大于t阈值，标记其中最大像素点作为边缘点；最后使用基于最小二乘法进行拟合，检测出弯道线。
16.进一步，立体匹配的过程为：
17.s2.2.1，应用census变换与hamming距离公式计算左右输入图像的匹配代价，即
18.census变换：
19.hamming距离公式：
[0020][0021]
其中，t(p)为矩形窗口内中心像素p的census变换结果，i(p),i(q)分别为矩形窗口内中心像素p和邻域像素q的灰度值，ξ为邻域像素q与中心像素p的比较结果，q为像素p的邻域像素，n
p
为像素p在矩形窗口内的邻域；x为左右图像对应像素点census变换所得二进制比特串做异或运算结果的二进制比特串，x1,x2分别为左右图像对应像素点census变换结果的二进制比特串，h表示hamming距离，x为x二进制比特串内每位二进制数字；
[0022]
s2.2.2，全局能量函数表示为：
[0023][0024]
其中，e(d)为待选图像视差d下的全局能量值，p为图像内的每一个像素点，c(p,d
p
)为像素p在待选图像视差d下的匹配代价，dq是像素p及其临域像素q的待选视差差值的绝对值；p1为左右图像对应像素点视差变化很小时的惩罚项，p2为视差变化较大时的惩罚项，t[
·
]为判断内容；
[0025]
s2.2.3，基于全局能量函数，应用赢家通吃规则为每个像素选取图像视差值，即选择全局能量函数取最小值时的图像视差值；
[0026]
s2.2.4，对s2.2.3中选取的图像视差值采用左右一致性法及中值滤波法处理，以减少误匹配；最终输出图像视差以及视差图，完成立体匹配。
[0027]
进一步，获得s3中路面特征相对于的相机坐标系的空间位置的方法为：
[0028]
根据双目相机基线距离b、双目相机焦距长度f、像素视差d以及像素在左相机成像平面坐标xr、yr计算p点相对相机坐标系位置(x,y,z)，即
[0029]
[0030][0031][0032]
由此获得路面特征相对于的相机坐标系的空间位置。
[0033]
进一步，预估到达路面特征的时间的方法为：
[0034]
应用坐标系变换将p点在相机坐标系中的坐标(x,y,z)变换到汽车车轮坐标系内，以此确定路面特征相对于汽车车轮的实际位置：
[0035][0036]
其中，p点相对左轮中心坐标系坐标为(x
l
,y
l
,z
l
)；基于p点相对左轮中心坐标位置，即可计算出路面特征相对于车轮位置之间的距离s，ecu采集的车速v，旋转矩阵r可由相机标定得出，平移矩阵t可由测量得到；
[0037]
根据p点相对车轮坐标系位置与ecu采集到的车速预估到达路面特征时间
[0038]
进一步，双目相机在使用前需要进行如下预处理：
[0039]
使用“张正友标定法”对双目相机进行标定，获取双目相机的内外参数；
[0040]
使用“八点算法”对双目相机进行极线校正，使左右图像对应点被限制在同一图像扫描线上；
[0041]
选择汽车顶部位置固定安装双目相机，记录双目相机左相机光心相对左右车轮空间位置。
[0042]
一种基于视觉感知的智能汽车车身姿态控制系统，具体包括：双目采集模块、视觉感知模块、时间预估模块和姿态控制模块；
[0043]
所述双目采集模块使用双目立体相机获取汽车前方路面特征图像；
[0044]
所述视觉感知模块接收双目采集模块采集的前方路面特征图像，并使用处理芯片对汽车前方路面特征图像进行弯道线预瞄检测、立体匹配以及三角测量，进而确定路面特征及路面特征的空间位置；
[0045]
所述时间预估模块，该模块分别接收视觉感知模块输出的路面特征及空间位置、汽车ecu获取的实时车速信号；时间预估模块根据路面特征及空间位置、实时车速信号预估出车辆到达路面特征的时间；
[0046]
所述姿态控制模块包括车身姿态控制器、底层控制器及执行器，车身姿态控制器、底层控制器及执行器三者之间通过信号连接；车身姿态控制器根据视觉感知模块的结果与时间预估模块的结果输出车身姿态控制信息，车身姿态控制信息主要包括主动悬架的阻尼控制量及刚度控制量；由底层控制器接收控制信息并分别驱动执行器动作，以调整汽车姿态。
[0047]
进一步，车身姿态控制器包括侧倾控制器、俯仰控制器和垂向控制器，根据视觉感知模块判断出的路面特征种类，三种车身姿态控制器执行相应的控制指令。
[0048]
进一步，处理芯片采用altera公司的cyclone iv系列芯片。
[0049]
本发明的有益效果：
[0050]
1、本发明使用双目立体摄像头作为感知元件，以较低成本完成车道线检测与不平路面检测。
[0051]
2、本技术基于模糊控制设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；根据路面特征类型实现控制器之间的工作切换，实现车身姿态预瞄控制，进而改善传统汽车在转弯、不平路面或侧向倾斜路面上行驶姿态较差的缺陷，提高智能汽车操控性、安全性和成员舒适度。
附图说明
[0052]
图1是本发明提供的一种智能汽车车身姿态控制流程图；
[0053]
图2是本发明提供的立体匹配流程图；
[0054]
图3是本发明提供的姿态控制模块流程图；
[0055]
图4是本发明提供的应用坐标系变换确定弯道位置p示意图。
具体实施方式
[0056]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0057]
本技术提出了一种基于视觉感知的智能汽车车身姿态控制方法，如图1和2所示包括如下步骤：
[0058]
s1、利用双目相机采集汽车前方路面特征图像；双目相机在使用前需要进行如下预处理：
[0059]
使用“张正友标定法”对双目相机进行标定，获取双目相机的内外参数，如旋转矩阵r等；
[0060]
使用“八点算法”对双目相机进行极线校正，使左右图像对应点被限制在同一图像扫描线上；
[0061]
选择汽车顶部位置固定安装双目相机，记录双目相机左相机光心相对左右车轮空间位置。
[0062]
s2、对所采集的汽车前方路面特征图像进行当前车道线预瞄检测，根据车道线预瞄检测结果判断前方是否存在弯道；若存在弯道，则分别对汽车前方路面特征图像进行立体匹配以及三角测量确定弯道的路面特征及该路面特征的空间位置；若不存在弯道，则对前方路面高度进行预瞄检测，即通过对汽车前方路面特征图像进行立体匹配以及三角测量确定路面特征的种类(凹凸路面或倾斜路面)及路面特征的空间位置。具体过程如下：
[0063]
s2.1，车道线预瞄检测的过程如下：
[0064]
提取车道线并识别弯道线完成弯道线预瞄检测。高性能处理芯片依靠特征检测方法对输入的汽车前方路面特征图像检测出感兴趣区域(roi)，即弯道线。在本实施例中，以汽车行驶在具有清晰车道线且道路平坦的结构化高速公路为例，高性能处理芯片对输入的汽车前方路面特征图像进行灰度化处理、平滑滤波的预处理；预处理后的图像应用sobel算子与3
×
3邻域像素进行平面卷积操作，获取车道线两侧灰度变化梯度幅值；设定t阈值并与
图像每一行像素点幅值作比较，若多个连续像素点幅值大于t阈值，标记其中最大像素点作为边缘点；最后使用基于最小二乘法进行拟合，检测出弯道线。
[0065]
s2.2，在弯道线预瞄检测后执行立体匹配，立体匹配主要作用是为了计算左右图像视差d。根据图2，立体匹配流程如下：
[0066]
s2.2.1，应用census变换与hamming距离公式计算左右输入图像的匹配代价，即
[0067]
census变换：
[0068]
hamming距离公式：
[0069][0070]
其中，t(p)为矩形窗口内中心像素p的census变换结果，i(p),i(q)分别为矩形窗口内中心像素p和邻域像素q的灰度值，ξ为邻域像素q与中心像素p的比较结果，q为像素p的邻域像素，n
p
为像素p在矩形窗口内的邻域；x为左右图像对应像素点census变换所得二进制比特串做异或运算结果的二进制比特串，x1,x2分别为左右图像对应像素点census变换结果的二进制比特串，h表示hamming距离，x为x二进制比特串内每位二进制数字。s2.2.2，应用基于全局能量函数最优化策略的代价聚合方法，以减少图像噪声影响，全局能量函数表示为
[0071][0072]
其中，e(d)为待选图像视差d下的全局能量值，p为图像内的每一个像素点，c(p,d
p
)为像素p在待选图像视差d下的匹配代价，dq是像素p及其临域像素q的待选视差差值的绝对值；p1为左右图像对应像素点视差变化很小，即|d
p-dq|＝1时的惩罚项，p2为视差变化较大，即|d
p-dq|＞1时的惩罚项，t[
·
]为判断内容。
[0073]
s2.2.3，基于全局能量函数，应用赢家通吃(wta)规则为每个像素选取图像视差值，图像视差值选取依据是：选择全局能量函数取最小值时的图像视差值；
[0074]
s2.2.4，对s2.2.3中选取的视差值采用左右一致性法及中值滤波法，减少误匹配；最终输出图像视差以及视差图，完成立体匹配。
[0075]
s2.3，应用三角测量的方法计算出路面特征相对相机坐标系的坐标，根据双目相机基线距离b、双目相机焦距长度f、像素视差d以及像素在左相机成像平面坐标xr、yr计算p点相对相机坐标系位置(x,y,z)，即
[0076][0077][0078][0079]
由此获得路面特征相对于的相机坐标系的空间位置。
[0080]
s3、基于路面特征及路面特征相对于的相机坐标系的空间位置、实时车速信号预
估到达路面特征的时间；具体过程如下：
[0081]
根据图4所示，应用坐标系变换将p点在相机坐标系中的坐标(x,y,z)变换到汽车车轮坐标系内，以此确定路面特征相对于汽车车轮的实际位置；根据p点相对车轮坐标系位置与ecu采集到的车速预估到达路面特征时间；三维坐标转换可依据如下进行，即
[0082][0083][0084]
p点相对左轮中心坐标系坐标为(x
l
,y
l
,z
l
)；基于p点相对左轮中心坐标位置，即可计算出路面特征相对于车轮位置之间的距离s，ecu采集的车速v，根据公式求出预估抵达时间。其中，旋转矩阵r可由相机标定得出，平移矩阵t可由测量得到。
[0085]
s4、根据图3，根据路面特征类型，设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；三种车身姿态控制器的选择规则如下：
[0086]
如果立体匹配识别预瞄图像中存在弯道，仅选择侧倾控制器进行车身姿态控制；侧倾控制器基于路面特征类型以及预估到达路面特征的时间输出控制力矩m
φ
；如果立体匹配识别预瞄图像中没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂向控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩m
φ
，俯仰控制器输出控制力矩m
θ
，垂向控制器输出悬架控制力fz。
[0087]
如果立体匹配识别预瞄图像中没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩m
φ
，俯仰控制器输出控制力矩m
θ
。
[0088]
在本实施例中，基于模糊控制规则设计出的三种车身姿态控制器，具体过程是：首先对基于被动悬架的车型进行不同路面特征仿真，依据结果最终确定输入和输出的基本论域和模糊论域。
[0089]
之后选取各变量的模糊子集。车身垂向控制器的输入和输出模糊集合都是采用七个模糊语言；其余模糊控制器(倾控制器与俯仰控制器)输入输出采用五个模糊语言。
[0090]
对这三种车身姿态控制器制定模糊控制规则。
[0091]
根据制定的模糊控制规则进行mamdani推理得到输入值对应的输出，再利用重心法将模糊的输出量精确化。
[0092]
利用遗传算法设计控制器协调系数；
[0093]
控制器协调系数涉及多目标优化问题，通过加权系数将多个控制目标转化为最终单目标控制量
[0094]
j＝ω1j1+ω2j2+ω3j3[0095]
其中，ωi为各个单个控制目标的加权系数，所有ωi之和为1；j和j1、j2、j3分别为最
终控制量和单目标控制量。ωi可根据经验选取。
[0096]
其次，设置子控制器约束函数，保证主动悬架参数在合理范围内变化。如设置主动悬架的动挠度以避免调节主动悬架时超出限位行程。
[0097]
设置子控制器协调系数λi搜索范围；
[0098]
设置遗传算法控制参数，如群体规模，最大遗传进化代数，交叉概率，变异概率，终止条件等。
[0099]
用遗传算法对子控制器协调系数不断迭代寻优后，得到最后优化结果。
[0100]
利用分配器对各个控制器输出的控制信息进行分流传递到各个主动悬架控制器；
[0101]
主动悬架控制器依照控制信息对执行器进行控制，从而改善汽车的车身姿态。
[0102]
为了实现上述智能汽车车身姿态控制方法，本发明提出的基于视觉感知的智能汽车车身姿态控制系统，利用车载双目立体相机，融合弯道检测结果及路面类型检测的结果，实现预瞄路况感知，依据此预估抵达目标路面时间，依靠预瞄感知结果、时间预估，对所设计的车身姿态控制器进行控制，以此达到改善汽车车身姿态，提高乘员舒适性及车辆操控性的目的。
[0103]
参照图1和3，本发明所提出的一种基于视觉感知的智能汽车车身姿态控制系统，具体包括：双目采集模块、视觉感知模块、时间预估模块和姿态控制模块；
[0104]
所述双目采集模块，该模块主要使用双目立体相机，用于获取汽车前方路面特征图像。
[0105]
所述视觉感知模块，该模块接收双目采集模块采集的前方路面特征图像，并使用高性能的处理芯片(如altera公司的cyclone iv系列芯片)对汽车前方路面特征图像进行弯道线预瞄检测、立体匹配以及三角测量，进而确定路面特征及路面特征的空间位置；路面特征分为弯道、凹凸路面和倾斜路面。
[0106]
所述时间预估模块，该模块分别接收视觉感知模块输出的路面特征及空间位置、汽车ecu获取的实时车速信号；时间预估模块根据路面特征及空间位置、实时车速信号预估出车辆到达路面特征的时间。
[0107]
所述姿态控制模块包括车身姿态控制器、底层控制器及执行器，车身姿态控制器、底层控制器及执行器三者之间通过信号连接。车身姿态控制器根据视觉感知模块的结果与时间预估模块的结果输出车身姿态控制信息，车身姿态控制信息主要包括主动悬架的阻尼控制量及刚度控制量；由底层控制器接收控制信息并分别驱动执行器动作，以调整汽车姿态。在本实施例中，车身姿态控制器是依靠模糊控制规则设计出的三种车身姿态控制器，分别是侧倾控制器、俯仰控制器和垂向控制器，根据视觉感知模块判断出的路面特征种类，三种车身姿态控制器执行相应的控制指令。更具体地，
[0108]
当路面特征判断为弯道时，仅选择侧倾控制器进行车身姿态控制；
[0109]
当路面特征判断没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂向控制器协同工作进行车身姿态控制；
[0110]
当路面特征判断没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制。
[0111]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依
据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。