一种多模态信息融合的智能车路面类型识别方法与流程

本发明属于智能汽车环境感知领域，具体涉及一种多模态信息融合的智能车路面类型识别方法。

背景技术：

不同路面类型可提供的最大摩擦系数、平整度存在较大差异，这对智能汽车决策运动轨迹、侧向加速度和速度、纵向加速和速度度等有决定性影响。因此智能车能否准确地识别道路路面类型并调整控制策略，对于提高智能车行驶的安全性和舒适性都具有重要的意义。

目前国内外采用的路面类型识别方法大致可分为两大类：一类基于车辆响应参数进行识别(effect－based)；另一类是通过传感器感知结合辨识算法进行识别(cause－based)。cause－based方法主要是利用激光雷达、机器视觉、声波和电磁波等传感器直接对路面类型进行探测。例如余卓平等在论文《基于激光雷达的无人车路面附着系数估计》中，高洁等在论文《基于视觉信息的移动机器人户外路面分类研究》中，李虹在论文《基于机器视觉路面状态识别关键技术研究》中，pieterl等在论文《anacousticsensorsystemfordeterminationofmacroscopicsurfaceroughness》中，brgesonj等人在论文《sensordatafusionbasedestimationoftire－roadfrictiontoenhancecollisionavoidance》中都分别采用了不同类型的传感器直接对路面信息进行感知，然后采用统计分析，模式识别，机器学习以及深度学习等方法完成路面类型的识别。

effect－based识别方法是通过测量和分析由于不同路面结构所引起的整车响应来识别路面类型，其中整车响应主要包括轮胎响应和车辆动力学响应。例如holzmannf等人在论文《predictiveestimationoftheroad－tirefrictioncoefficient》中根据轮胎噪声响应对路面类型进行识别；gurkane等在论文《estimationoftire–roadfrictioncoefficientusinganovelwirelesspiezoelectrictiresensor》中，tuononena等在论文《on－boardestimationofdynamictyreforcesfromopticallymeasuredtirecarcassdeflections》都通过测量胎面变形量来识别路面；而张进在论文《基于路面识别的车辆纵向动力学控制》中，裴晓飞等在论文《汽车纵向集成控制系统的路面识别方法》中都采用车辆纵向动力学响应实现路面的识别；郑宏宇等在论文《基于线控转向系统的路面参数估计》中，陈无畏等在论文《车辆转向工况下的路面附着系数估计算法》中则是通过车辆横向动力学响应来识别路面。另外为了提高路面类型的识别精度，很多学者和研究人员也尝试融合多种感知信息对路面类型进行识别，例如单添垚在论文《基于多源信息融合的不平路类型识别策略研究》中，孙觉非在论文《基于多源信息融合的试验场道路识别系统研究》中，王世峰等在论文《基于机器学习的车辆路面类型识别技术研究》中和专利cn104392245b中，都凯悦在论文《无人驾驶车辆的路面信息感知技术研究》中都尝试采用多感知信息融合的方法来提高路面识别的精度。

通过分析现有的路面类型识别方法，发现存在一些不够完善的地方，首先单一传感器感知信息不够完备，简单的传感器融合方案不能最大发挥传感器的优势，当遇到比较复杂的环境和路面情况时，系统识别精度不高；其次用于路面类型识别的感知信息是基于瞬态或者固定时间窗口采集的，片段化的特征提取割裂了感知信息上下文之间的连贯性，容易受到偶然误差的干扰，路面识别的鲁棒性有待提高。

技术实现要素：

为了解决上述问题，本发明提出了一种多模态信息融合的智能车路面类型识别方法，首先根据各个传感器采集的路面感知信息的特点和数据结构，分别对不同模态的感知信息采用不同的建模方法做特征提取，然后将各模态感知信息提取的特征向量进行特征级数据融合，最后采用长短期记忆神经网络(longshort-termmemory，lstm)将多模态融合特征转化成时间序列的分类问题，通过有监督的学习完成路面类型的识别。本发明充分发挥了cause－based和effect－based两种识别方法的优势，提高了各传感器的信息融合深度和路面识别精度；另外采用lstm时间序列分类模型能够有效地避免偶然误差所引发的频繁误检，进一步提高路面识别的鲁棒性和准确性。

本发明的目的是通过以下技术方案实现的：

一种多模态信息融合的智能车路面类型识别方法，主要用于提高智能车对不同路面类型识别的准确性和鲁棒性，主要包括以下的步骤：

步骤1、路面感知信息采集与特征提取：采用实测实验采集不同道路类型下的传感器感知信息，针对不同模态的感知信息采用不同的建模方法进行特征提取，且所有感知信息的采样频率设置相同；

步骤2、数据预处理与lstm道路类型识别模型建模：对步骤1中提取的特征向量进行预处理，构建lstm道路类型识别模型，完成模型的离线训练和验证；

步骤3、模型部署与在线识别：将通过步骤2训练好的lstm道路类型识别模型部署到边缘计算设备，并使用训练好的lstm道路类型识别模型对路面类型进行在线识别。

进一步地，所述步骤1路面感知信息采集与特征提取分别包括：

步骤1.1、轮胎胎噪特征提取：收集轮胎的胎噪信息，分别采用统计分析，功率谱特征分析，mfcc算法提取29维轮胎胎噪信息；

步骤1.2、激光雷达路面特征提取：从激光雷达的点云数据提取路面信息，采用统计分析的方法从激光雷达的感知信息提取10维度特征；

步骤1.3、图像路面特征提取：采用迁移学习的alexnet模型对不同路面类型的图像进行特征提取，然后采用pca算法对提取的特征进行降维处理获得路面图像的特征向量；

步骤1.4、车辆动力学响应特征提取：从车载can信号和车载gps及惯导系统中提取10维车辆响应特征。

进一步地，所述步骤1.1轮胎胎噪特征提取具体包括以下步骤：

步骤1.1.1、从声学传感器收集胎噪原始信号，将原始的双通道音频修改为单通道音频；

步骤1.1.2、通过标定实验采集在不同发动机转速下的发动机噪声，并记录不同转速下噪声的频域特性；

步骤1.1.3、根据当前发动机转速噪声的频域特性，采用带通滤波器对原始的胎噪信息进行降噪处理；

步骤1.1.4、对降噪后的胎噪信号采用统计分析的方法提取12维特征向量，分别包括：均值特征、中值特征、标准差特征、平均绝对偏差、四分位数、偏态系数、峰度、香农熵、谱熵；

步骤1.1.5、采用快速傅里叶变换将胎噪信号转化为频域信号，从频域信号的功率谱中提取3维特征，分别包括：主频值，主频振幅，主频比；

步骤1.1.6、采用mfcc算法从胎噪信号中提取14维特征向量，分别为：mfcc1—mfcc14。

步骤1.1.7、将胎噪的统计特征、谱功率特征、mfcc算法提取的特征向量组合成29维的胎噪特征向量，完成胎噪特征的提取。

进一步地，所述步骤1.2激光雷达路面特征提取具体包括以下步骤：

步骤1.2.1、采用实车实验分别采集不同路面类型激光雷达的点云感知信息，并对不同道路的点云数据进行标注；

步骤1.2.2、确定点云横向位置的分割阈值wlimit；

步骤1.2.3、对处理后点云的回波信息采用统计分析的方法提取10维特征向量，分别包括：均值特征、中值特征、标准差特征、平均绝对偏差、四分位数、极差、标准分。

进一步地，所述步骤1.3图像路面特征提取具体包括以下步骤：

步骤1.3.1、采用实车实验采集不同道路的路面图像，并对不同的道路图像进行裁剪和标注；

步骤1.3.2、利用图像处理方法对原始图像进行增广，加载预训练好的alexnet模型，采用迁移学习对模型进行改进和再训练；

步骤1.3.3、从模型倒数第二个全连接层提取所有图像的特征向量；

步骤1.3.4、采用pca算法对全连接层的特征向量进行降维，降维后的特征向量共计10维。

进一步地，所述步骤1.4车辆动力学响应特征提取具体包括如下步骤：

步骤1.4.1、根据车载信息的解析协议，从车辆can信号中提取车辆在不同道路环境实验下的7维响应特征，分别包括：车速，左右车轮转速，转速差，方向盘转角，踏板力，节气门开度；

步骤1.4.2、从车载gps及惯导系统中提取车辆在x，y，z三个方向的加速度响应特征，分别包括：横向加速度，垂向加速度，纵向加速度；

步骤1.4.3、将步骤1.4.1和步骤1.4.2中提取的车辆特征进行组合，生成10维车辆动力学响应特征，并根据不同的道路类型对响应特征进行标注。

进一步地，所述步骤2数据预处理与lstm道路类型识别模型建模包括以下步骤：

步骤2.1、数据预处理，包括数据归一化，时间序列分割；

步骤2.2、时间序列lstm道路分类模型建模：lstm模型的输入层设置为特征向量的维度；隐含层神经元选用双向长短期存储器；全连接层设置为代表道路类型的数量；一层softmaxlayer用于计算每一次道路类型预测的置信概率；最后一层是分类层，用于输出道路类型的识别结果；

步骤2.3、模型训练参数设置，包括模型优化算法，初始学习率，最大迭代周期，mini-batchsize以及模型训练环境；

步骤2.4、时间序列lstm道路类型识别模型建模训练与测试；

进一步地，所述步骤3模型部署与在线识别包括以下步骤：

步骤3.1、采用tensort优化器将训练好的lstm道路类型识别模型转化为边缘计算设备的推理引擎，将生成后的推理引擎部署到边缘计算设备；

步骤3.2、定义好各个传感器与边缘计算设备的通信接口，设置采样频率，采用时间戳对齐的方式确保各传感器的道路感知信息时间同步；

步骤3.3、采用所述步骤1的方法对各传感器的感知信息进行特征提取和数据预处理，每30个采样周期作为一个时间序列输入到lstm道路类型识别模型，lstm道路类型识别模型根据感知信息对道路类型进行在线识别。

通过上述方案，本发明可带来如下有益效果：

(1)充分融合了智能车各个传感器的路面感知信息，针对每一种模态的感知信息采用不同的特征提取方法，建立了特征级信息融合的特征矩阵，有效地提高了路面感知信息融合的深度和精度。

(2)采用lstm深度学习网络将多模态融合特征转化成时间序列的分类问题，充分利用了感知信息在时间序列上的关联性，能够有效地避免偶然误差所引发的频繁误检,进一步提高路面识别的鲁棒性和准确性。

附图说明

图1为本发明一种多模态信息融合的智能车路面类型识别方法流程图

图2为激光雷达与相机安装示意图

图3为路面图像裁剪与归一化示意图

图4为pca特征降维贡献率统计图

图5为时间序列感知信息分割示意图

具体实施方式

以下结合附图进一步介绍本发明的技术方案：

如图1所示，本发明提出了一种多模态信息融合的智能车路面类型识别方法，主要用于提高智能车对不同路面类型识别的准确性和鲁棒性，主要包括以下的步骤：

步骤1、路面感知信息采集与特征提取。采用实测实验采集不同道路类型(沥青路面，砂石路面，冰雪路面，涉水路面)下的传感器感知信息，针对不同模态的感知信息采用不同的建模方法进行特征提取，且所有感知信息的采样频率设置为10hz，具体包括以下步骤：

步骤1.1、轮胎胎噪特征提取。收集轮胎的胎噪信息，分别采用统计分析，功率谱特征分析，梅尔频率倒谱系数(melfrequencycepstrumcoefficient,mfcc)算法提取29维轮胎胎噪信息，具体包括以下步骤：

步骤1.1.1、从声学传感器收集胎噪原始信号，将原始的双通道音频修改为单通道音频。

步骤1.1.2、通过标定实验采集车辆在不同发动机转速下的发动机噪声，并记录不同转速下噪声的频域特性。

步骤1.1.3、根据当前发动机转速噪声的频域特性，采用带通滤波器对原始的胎噪信息进行降噪处理。

步骤1.1.4、对降噪后的胎噪信号采用统计分析的方法提取12维特征向量，分别包括：均值特征、中值特征、标准差特征、平均绝对偏差、四分位数(4维)、偏态系数、峰度，香农熵，谱熵。

步骤1.1.5、采用快速傅里叶变换将胎噪信号转化为频域信号，从频域信号的功率谱中提取3维特征，分别包括：主频值，主频振幅，主频比。

步骤1.1.6、采用mfcc算法从胎噪信号中提取14维特征向量，分别为：mfcc1—mfcc14。

步骤1.1.7、将胎噪的统计特征、谱功率特征、mfcc算法提取的特征向量组合成29维的胎噪特征向量，完成胎噪特征的提取。

步骤1.2、激光雷达路面特征提取。从激光雷达的点云数据提取路面信息，采用统计分析的方法从激光雷达的感知信息提取10维度特征，具体包括以下步骤：

步骤1.2.1、采用实车实验分别采集不同路面类型激光雷达的点云感知信息，并对不同道路的点云数据进行标注，主要包括以下步骤：

(1)激光雷达布置安装。四线激光雷达固定在车辆前保险杠的中央处，雷达发射面与水平面夹角为θ，如图2所示，确保激光雷达的点云信息都来自地面。

(2)收集不同道路类型的雷达感知信息，并对每一条实验数据的路面类型进行标注。

步骤1.2.2、为了消除本车道以外点云数据的干扰，需要确定点云横向位置的分割阈值wlimit。我国一级公路的车道宽度为3.75m，因此只保留横向位置在[-1.9,1.9]范围内的点云数据。

步骤1.2.3、对处理后点云的回波信息采用统计分析的方法提取10维特征向量，分别包括：均值特征、中值特征、标准差特征、平均绝对偏差、四分位数(4维)，极差，标准分。

步骤1.3、图像路面特征提取。采用迁移学习的alexnet模型对不同路面类型的图像进行特征提取，然后采用主成分分析(principalcomponentanalysis，pca)对提取的特征进行降维处理获得路面图像的特征向量。具体包括以下步骤：

步骤1.3.1、采用实车实验采集不同道路的路面图像，并对不同的道路图像进行裁剪和标注，主要包括以下步骤：

(1)相机布置与安装。将摄像头通过支架固定在车辆顶部中央，为保证相机尽可能捕获路面信息并与雷达感知信息空间同步，摄像头向地面倾斜固定角度β。

(2)为了避免周围环境对图像感知信息的干扰，以原始图像底边为延伸线裁剪45％的中心像素区域，然后将裁剪的后图像归一化成227×227的标准图像，如图3所示，并对每一帧图像的道路类型进行标注。

步骤1.3.2、利用图像处理的方法对原始图像进行增广，加载预训练好的alexnet模型，采用迁移学习对模型进行改进和再训练，获得道路类型识别分类模型，主要包括以下步骤：

(1)为了增加训练数据，防止模型训练出现过拟合，提高模型训练精度。本发明采用以下四种图像处理方法对训练样本进行增广，具体包括：镜像翻转、改变对比度、改变亮度、自适应灰度增强。经过样本增广处理后，原始训练图像由36800张增加到128000张。

(2)加载在imagenet数据集训练好的alexnet模型，保持模型其他参数不变，将最后一个全连接层的神经元由4096修改为4，其中4代表四类道路类型的输出。

(3)采用双路rtx2080tigpu对模型进行再训练，mini-batchsize设置为32，最大迭代周期为10，初始学习率为10^-3，每经过两个迭代周期学习率降为原学习率的0.5倍。

(4)模型训练时90％的数据用作训练集，10％的数据用作测试集，训练结束后使用测试集对模型进行测试，整个模型的测试准确率为86.7％。

步骤1.3.3、从模型倒数第二个全连接层提取所有图像的特征向量image_feature1—image_feature4096。

步骤1.3.4、采用pca算法对全连接层的特征向量进行降维，只保留累积贡献率超过95％的特征向量，降维后的特征向量共计10维，分别是：image_pca1—image_pca10，如图4所示。

步骤1.4、车辆动力学响应特征提取。从车载can信号和车载gps&惯导系统中提取10维车辆响应特征，具体包括如下步骤：

步骤1.4.1、根据车载信息的解析协议，分别从车辆can信号中提取车辆在不同道路环境实验下的7维响应特征，分别包括：车速，左右车轮转速，转速差，方向盘转角，踏板力，节气门开度。

步骤1.4.2、从车载gps&惯导系统中提取车辆在x，y，z三个方向的加速度响应特征，分别包括：横向加速度，垂向加速度，纵向加速度。

步骤1.4.3、将步骤1.4.1和步骤1.4.2中提取的车辆特征进行组合，生成10维车辆动力学响应特征，并根据不同的道路类型对响应特征进行标注。

步骤2、数据预处理与lstm道路类型识别模型建模。对步骤1中提取的特征向量进行预处理，构建lstm道路类型识别模型，完成模型的离线训练和验证。

步骤2.1、数据预处理。对提取特征后的数据进行时间对齐和归一化处理，主要包括以下步骤：

步骤2.1.1、采用时间戳对齐的方式对不同道路下的传感信息进行时间同步，确保传感器采集的信息处在同一个时间序列。

步骤2.1.2、将所有的感知数据归一化到[-1,1]，确保不同传感器的数据范围处于同一数量级。

步骤2.1.3、对时间序列数据进行分割，每个序列片段包含30个采样周期(3s)，每个序列片段都包含一个30×59的特征矩阵，每相邻的两个序列片段的重叠时间为10个采样周期(1s)，如图5所示。

步骤2.2、时间序列lstm道路分类模型建模。具体包括：lstm模型的输入层为59，代表特征向量的维度；隐含层神经元为100，选用双向长短期存储器；全连接层设置为4，代表道路类型的数量；一层softmaxlayer，用于计算每一次道路类型预测的置信概率；最后一层是分类层，用于输出道路类型的识别结果。

步骤2.3、模型训练参数设置。具体包括：采用适应性矩估计(adaptivemomentestimation，adam)算法对网络进行训练，初始学习率为10^-3，每5个迭代周期将学习率降低为0.5倍。将训练的最大迭代周期设置为20，mini—batchsize设置为32，模型训练环境设置为gpu＝1。

步骤2.4、时间序列lstm道路类型识别模型建模训练与测试。具体包括以下步骤：

(1)实验数据被随机分成两份，80％的数据为训练样本，20％的数据为测试样本。其中所有的训练样本再被平均地分成4份用于交叉验证。

(2)训练结束后对模型进行测试评估，如果道路类型识别准确率大于95％就导出保存模型，如果不满足识别精度就重新对模型和训练参数进行调整，直到模型的准确率达到要求。

步骤3、模型部署与在线识别。将训练好的lstm道路类型识别模型部署到jetsonagxxavier边缘计算设备，使用训练好的lstm道路类型识别模型对路面类型进行在线识别，主要包括以下步骤：

步骤3.1、采用tensort优化器将训练好的lstm道路类型识别模型转化为边缘计算设备的推理引擎，将生成后的推理引擎部署到jetsonagxxavier。

步骤3.2、定义好各个传感器与jetsonagxxavier的通信接口，采样频率设置为10hz，采用时间戳对齐的方式确保各传感器的道路感知信息时间同步。

步骤3.3、采用步骤1的方法对各传感器的感知信息进行特征提取和数据预处理，每30个采样周期作为一个时间序列输入到lstm道路类型识别模型，lstm道路类型识别模型根据感知信息对道路类型进行在线识别。