一种单目车载视觉系统立体目标检测方法与流程

本发明涉及一种单目车载视觉系统，特别涉及一种单目车载系统立体目标检测方法。

背景技术：

智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域应用越来越广。单双目前视、后视以及360度环视系统已经成为了现有高级辅助驾驶系统的主流感知器件。现有此类视觉感知系统可以提供结构化道路信息(各类型车道线等)，以及特定种类的目标信息(各类交通标识、车辆、行人等)。基于上述感知输出结果衍生出相应的预警系统以及主动安全系统。

随着人工智能技术的发展以及嵌入式平台运算能力的提升，辅助驾驶系统的自动化等级日益提升。对于相应感知系统的准确率与探测范围要求也随之提升，传统驾驶系统的自动化等级日益提升。对于相应感知系统的准确率与探测范围要求也随之提升，传统的视觉感知算法检测能力有限，难以满足高级辅助驾驶系统需求。

现有商用车载视觉系统感知功能主要包括行人、车辆、交通标识以及结构化道路标识线的检测与识别。其算法层面大多基于传统的视觉处理与及其学习的方法，包括基础的图像特征算子、霍夫变换、adaboost或svm分类器、特征匹配等。此类方法的效果取决于图像特征描述算子的设计，并且应用的鲁棒性以及可移植性较差。其局限性以及应用难点在于：比如行人、车辆、交通标识等不同类别的目标检测需要设计不同的图像特征描述算子，白天夜间的算法目标检测架构与方法需要区分调整，对于非结构化道路边界难以识别，立体视觉依赖于双镜头等。

技术实现要素：

本发明的目的提供一种单目车载视觉系统立体目标检测方法，提高了目标检测的准确性。

为解决现有技术存在的问题，本发明提供一种单目车载视觉系统立体目标检测方法，该方法包括：

s1，深度卷积神经网络模块根据共享特征图谱，获取驾驶场景中出现目标的三维尺寸信息；

s2，深度卷积神经网络模块根据共享特征图谱，获取驾驶场景中出现目标在图片中的局部方向；

s3，深度卷积神经网络模块根据共享特征图谱，对驾驶场景中出现目标进行二维目标框检测；

s4，后处理模块根据深度卷积神经网络模块输出的目标三维尺寸、局部方向和二维目标框检测结果，通过投影变换和数值优化获取目标三维空间位置信息。

本技术方案的单目车载视觉系统立体目标检测方法通过共享特征图谱，分别获取驾驶场景中的三维尺寸信息、目标在图片中的局部向以及二维目标框检测结果，实现了同等感知精度条件下，大幅降低算法耗费的时间，提高了检测准确性和鲁棒性。

优选的，所述深度卷积神经网络模块包括目标检测分支模块，所述步骤s3包括：

目标检测分支模块根据输入目标的3尺寸共享卷积层特征，输出驾驶场景中的目标类别、目标左上角点横坐标、目标左上角纵坐标、目标宽度和目标高度，并通过置信度阈值过滤以及极大值抑制，获取合并后目标类别和相应的二维目标框检测结果。

优选的，所述深度卷积神经网络模块还包括方向预测分支模块，所述步骤s2具体包括：

所述方向预测分支模块根据输入目标的3尺寸共享卷积层特征，输出目标在图片中的局部方向。

优选的，还包括对所述深度卷积神经网络模块进行离线训练的步骤，所述离线训练的步骤包括：

离线采集各类道路驾驶场景数据，提取离散时序训练样本；

采用所述生成的训练样本以及训练损失函数为loss1＝α1*l_det+α2*l_dims+α3*l_oris，训练浅层共享卷积特征；

其中，α1，α2，α3为可配置参数，默认值均为1；l_det表示目标检测损失函数，l_dims表示尺寸预测损失函数；l_oris表示方向预测损失函数；

优选的，所述目标检测的损失函数l_det包含目标定位损失l_loc和目标分类l_class两部分，相应的公式为l_det＝l_loc+l_class。

优选的，所述尺寸预测损失函数l_dims利用预测结果和真实尺寸之间的欧式距离进行量化。

优选的，所述方向预测损失函数l_oris利用预测结果和真实方向之间的欧式距离进行量化。

本发明实施例将应用基于多任务深度卷积神经网络架构替代传统视觉感知算法，鲁棒性以及准确性都大幅提升。本发明实施例所采用的多任务网络架构基于共享的多尺度特征图谱，相比于两个线程并行的独立子网络模型，可以在实现同等感知精度的条件下，大幅降低算法的耗时以及模型大小。本发明实施例利用深度卷积网络获取目标尺寸、局部方向信息和二维检测结果，并利用射影变换理论，获取目标三维空间位置信息，相比于传统基于双目立体视觉的方法，能够大幅度节省计算量，提高本方法的适用范围。

附图说明

图1是本发明一种单目车载视觉系统立体目标检测方法的一种实施例的流程示意图；

图2是本发明一种单目车载视觉系统立体目标检测方法的深度卷积神经网络模块的示意图。

具体实施方式

下面结合附图对本发明进行详细说明。

参考图1，该图是本发明提出一种单目车载视觉系统立体目标检测方法的一种实施例的流程示意图，该检测方法应用的单目车载视觉系统包括深度卷积神经网络模块(下面称为深度卷积神经网络)和后处理模块(下面称为后处理)，该检测方法包括：

步骤s1，深度卷积神经网络模块根据共享特征图谱，获取驾驶场景中出现目标的三维尺寸信息；

步骤s2，深度卷积神经网络模块根据共享特征图谱，获取驾驶场景中出现目标在图步骤片中的局部方向；

步骤s3，深度卷积神经网络模块根据共享特征图谱，对驾驶场景中出现目标进行二维目标框检测；

步骤s4，后处理模块根据深度卷积神经网络模块输出的目标三维尺寸、局部方向和二维目标框检测结果，通过投影变换和数值优化获取目标三维空间位置信息。

另外，还包括图像采集与预处理的步骤：包括采集参数配置，该参数配置可以为自动曝光、自动白平衡等以及图像预处理，图像预处理包括畸变矫正、抖动去除以及平滑滤波的处理过程；

具体实现时，该深度卷积神经网络为多任务深度卷积神经网络，如图2所示，包括共享特征模块(共享特征层)10、目标检测分支模块(目标检测分支网络)11、方向预测分支模块(方向预测分支网络)12和尺寸预测分支模块(尺寸预测分支网络)13。

目标检测分支网络11，该分支网络包含卷积以及softmax层，输入为3尺度共享卷积层特征，原始输出为1*5向量，即[目标类别，目标左上角点横坐标，目标左上角点纵坐标，目标宽度，目标高度]，经后处理(后处理模块)进行置信度阈值过滤以及极大值抑制后，可得合并后目标类别和相应的二维目标框检测结果；

尺寸预测分支网络12：该分支网络属于全卷积层，输入为3尺度共享卷积层特征，原始输出为1*3向量，即[目标在三维空间的高度、宽度、长度]；

方向预测分支网络13：该分支网络包含卷积以及softmax层，输入为3尺度共享卷积层特征，原始输出为1*1向量，即[目标在图片中局部方向]；

另外，还包括深度卷积神经网络进行离线训练的步骤，该步骤包括：

训练数据采集与标定步骤：离线采集各类道路驾驶场景数据，提取离散时序训练样本100，000张，并生成样本标签。标签内容包含：目标类别(0-背景，1-小型车辆，2-行人,3-骑行)，目标区域(x,y,w,h)，目标尺寸(height，width，length)和目标在图片中局部方向。利用图像色域、亮度、对比度和翻转，进行样本扩充(若采集样本进一步扩充，此步骤可省略)；

多任务联合训练步骤：首先训练浅层共享卷积特征，采用2.1中所生成训练样本，训练损失函数设置如下(α1，α2，α3为可配置参数，默认值均为1)：loss1＝α1*l_det+α2*l_dims+α3*l_oris；之后以该损失函数训练更新分支网络重系数；

其中，目标检测的损失函数l_det主要包含目标定位损失l_loc和目标分类l_class两部分，其具体公式为l_det＝l_loc+l_class。尺寸预测损失函数l_dims利用预测结果和真实尺寸之间的欧式距离进行量化。方向预测损失函数l_oris利用预测结果和真实方向之间的欧式距离进行量化。

另外，还包括对离线训练所生成的多任务深度卷积神经网络进行稀疏化与量化压缩的步骤，验证压缩后网络精度，进行道路驾驶场景分析。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。