基于深度卷积神经网络的车载视觉系统自身运动确定方法与流程

本发明涉及车载视觉系统，特别是一种基于深度卷积神经网络的车载视觉系统自身运动确定方法。

背景技术：

智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域的应用日益广泛。单双目前视、后视以及360度环视系统已经成为了现有高级辅助驾驶系统的主流感知器件，随着人工智能技术的发展以及嵌入式平台运算能力的提升，辅助驾驶系统的自动化等级日益提升。视觉感知系统的主要作用包括：道路交通场景目标及可行驶区域识别、场景视深估算以及车辆自身状态估算等。此类问题在现有的视觉感知系统中均有涉及，现有方法由于受人工涉及的图像特征描述算子限制，其应用场景以及效果均具有一定的局限性。

现有车辆姿态计算或测量方法主要包括如下几类：基于gps及惯性导航设备的方法，此类系统测量精度高，但系统成本太过昂贵，因而只少量用于车辆测试以及标定，无法批量应用于量产车型中；基于视觉测量的方法，利用视觉场景中离散或稠密的时序特征算子提取与匹配，计算相应的相机运动矢量，现有此类系统应用具有一定的局限性(如安装以及应用场景等)，并且不便与其他车载视觉感知系统集成。

技术实现要素：

本发明的目的是提供一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，该方法模型结构简单，模型大小以及运算量具备低功耗平台实时运行的可行性，降低了成本。

为解决现有技术存在的问题，本发明提供一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，所述方法包括：

s1，采集车载视觉系统的参数配置信息和图像信息；

s2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；

s3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；

s4，输出确定的车载视觉系统自身运动信息。

优选的，还包括深度卷积神经网络模块进行离线训练的步骤，所述步骤包括：

采集各类道路驾驶场景数据，提取时序连续训练样本集，并利用rt设备输出对训练样本集进行标定；

利用视频数据时间戳信息与rt设备高频采集信号匹配，积分采集周期内的x,y,z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，所述输出标签参考数据为六自由度车辆与转动信息。

优选的，所述深度卷积神经网络模块离线训练步骤采用基于迷你批量方式额梯度下降方法，所述方法的每个循环内，基于反向地推对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成，所述损失函数loss计算公式为：

其中，zj表示输出向量的每个元素；zt，i表示对应训练样本标签；αt,αr为平动、转动损失函数权重系数。

优选的，还包括对深度卷积神经网络模块设备移植的步骤，所述深度卷积神经网络模块设备移植的步骤包括：

对离线训练步骤所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩操作，包括稀疏化与量化；

验证压缩后神经网络精度，若精度损失小于预设的阈值，则确定应用压缩后深度卷积神经网络模块；若神经精度损失大于预设的阈值，则在当前离线训练集上重新离线训练至精度损失小于预设的阈值。

优选的，所述深度卷积神经网络模块的图像输入层的时序rgb格式图片，大小为640*360*6，为2帧连续固定间隔图片叠加的尺寸。

优选的，所述深度卷积神经网络模块的卷积层：采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1。

优选的，所述深度卷积神经网络模块的池化层，用于对神经网络内浅层特征进行降采样，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。

优选的，所述深度卷积神经网络模块包括激活层，所述激活层所使用的激活方程为修正线性单元，其表达式为max(0，x)，其中，x为该神经元输入。

优选的，所述深度卷积神经网络模块还包括正则化层，所述正则化层在每个迷你批量中计算得到相应的均值与方差，并以所述均值和方差正则化迷你批量样本。

优选的，所述深度卷积神经网络模块包括全连接层，所述全连接层用于自动丢弃全连接层内使深度卷积神经网络过拟合的神经元。

本发明的通过神经网络模块对输入图像进行分析，从而输出车载视觉系统自身运动的信息，并经后处理后可输出辅助驾驶及自动驾驶系统相关应用自身车辆运动信息，为其他感知算法模块以及车辆操作规划与决策提供依据。该神经网络模块所采用的神经网络架构具备如下优势：模型结构简单，模型大小以及运算量具备低功耗平台实时运行的可行性；模型所基于的共享图像特征应用延展性强，适用于与其他任务深度卷积神经网络并行，降低了成本。

另外，本发明基于多任务深度卷积神经网络架构替代传统视觉里程计，鲁棒性以及准确性都大幅提升。并且本发明所依赖的共享图像特征描述子可与其他复用感知任务复用，从而节约额外图像描述算子的提取时间，提升整体感知系统的运算效率。并且本方法可以在训练阶段借助rt设备(gps/ins组合设备)进行监督训练所需的样本标签自动生成，而在推理应用阶段只需基于图像输入与神经网络模型分析，从而达到自动驾驶/辅助驾驶需求精度的自身运动信息的输出。

附图说明

图1是本发明一种基于深度卷积神经网络的车载视觉系统自身运动确定方法的一种实施例的流程示意图；

图2是本发明一种基于深度卷积神经网络的车载视觉系统自身运动确定方法中的深度卷积神经网络模块的拓扑结果示意图。

具体实施方式

下面结合附图对本发明进行详细说明。

参考图1，该图是本发明一种基于深度卷积神经网络的车载视觉系统自身运动确定方法的一种实施例的流程示意图，该流程包括：

步骤s1，采集车载视觉系统的参数配置信息和图像信息；

步骤s2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；

步骤s3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；

步骤s4，输出确定的车载视觉系统自身运动信息。

下面对本发明实施例中的深度卷积神经网络模块进行详细说明。

本发明实施例所采用的神经网络模块的输入为6通道车载视觉图像(2*3，连续两帧rgb)，输出为6维向量(三个转动自由度以及三个平动自由度)。所包括的具体内容如下：

深度运动卷积神经网络模块(mot-net)架构设计：设计运动估计卷积神经网络结构如图2所示，模型输入为6通道rgb图像数据，输出为6通道运动信息，特征层部分(即图2中的卷积层)由conv+relu+bn组合层构成，其余网络结构还包括池化、全连接以及输出层：下面进行详细说明

图像输入层：为时序rgb格式图片，大小为640*360*6(2帧连续固定间隔图片叠加)。

卷积层(conv)：对于任意卷积操作，均采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1，每个卷积层的深度如图2所示。

池化层：对于此网络内浅层特征进行降采样操作，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。

激活层(relu)：应用于每个卷积层后，所使用的激活方程为修正线性单元(relu)，其表达式为：max(0，x)。其中，x为该神经元输入。

正则化层(bn)：在每个迷你批量(mini-batch)中计算得到相应均值与方差，并以之正则化mini-batch样本。

全连接层(fc)：防止模型过拟合，自动丢弃该全连接层内一定比例的神经元，参数设置为0.5。

输出层：输出对应车辆自身运动信息(输出为6维向量，对应6自由度运动信息)。

另外，深度卷积神经网络模块还包括离线训练的步骤，下面进行详细说明。

训练数据采集与标定：离线采集各类道路驾驶场景数据，提取时序连续训练样本集若干，利用rt设备输出对上述训练样本集进行标定。利用视频数据时间戳信息与rt设备高频采集信号匹配，积分采集周期内的x，y，z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，即六自由度车辆平动与转动信息。

损失函数以及训练参数设置：训练过程采用基于迷你批量(mini-batch)方式的梯度下降方法：即每个循环内，基于反向递推(bp)的方法对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成。损失函数loss计算公式为：

其中，zj为输出向量的每个元素(1-3为平动信息，4-6为转动信息)；zt，i为对应训练样本标签；αt,αr为平动、转动损失函数权重系数。

用户可设置参数有迷你批量样本大小n(可取用最大值由内存上限决定)、学习速率lr(决定收敛速率)、权重衰退系数wd(防止过拟合)、动量系数m(可加快学习速率)以及学习循环数(i)。

另外，深度卷积神经网络模块还包括嵌入式设备移植的步骤，具体的该步骤包括：

离线训练所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩的操作，包括稀疏化与量化。在验证集验证压缩后网络精度，若精度损失小于可应用阈值(默认值为1-2％压缩前精度)，则可直接应用压缩后网络进行前向推理；若精度损失大于可应用阈值，则在训练集上重新训练至达到精度损失要求。

在实际应用中，本发明实施例中的深度卷积神经网络模块经过上述嵌入式设备移植步骤的压缩后可导入前端嵌入式平台flash，通过初始化读入内存或相关硬件加速单元的对应内部数据读写硬件中。神经网络模块输出的6自由度运动信息，利用基于特定运动规律假设的单体运动学模型进行时序模型输出滤波(也可用常用低通滤波代替，截止频率为可配置参数，由滤波器实际调试可得)。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。