一种基于栅格卷积神经网络的车辆姿态检测方法及系统与流程

本发明涉及机器视觉技术领域，尤其是涉及一种基于栅格卷积神经网络的车辆姿态检测方法及系统。

背景技术：

随着科技和经济的快速发展，汽车已经成为人们日常出行的重要交通工具。与此同时，越来越多的交通事故为社会的健康发展带来了不小的压力，数据表明一定比例的交通事故是由于驾驶员对周围车辆的行驶状况估计不足而导致，而车辆的姿态信息可以为驾驶员提供重要的数据参考。

车辆姿态信息在人类驾驶汽车时同样是重要的决策依据之一。人脑利用视觉信息判断前方车辆的姿态，如果其朝向不与车道线平行，可以预见其必然发生转向或侧移，更大的转角可能意味着车辆将要掉头等等。同时观察前方车辆朝向是否改变也是判断自身车辆能否安全超车的重要依据。现有的车辆姿态检测方法利用摄像头采集到的图像信息对其中拍摄到的车辆进行检测，确定其位置和姿态信息是实现自动化目标车辆姿态感知的解决方案之一，且不需要额外的传感器，部署成本较低。传统的车辆姿态检测方法采用估计网络，多采用卷积层进行分类或回归，但这种全连接网络的参数量巨大，难以训练。此外，检测方法的精度决定着信息的可靠程度，足够精确的位姿信息才能为驾驶决策提供可靠的依据，从而实现安全驾驶。然而其中的挑战一方面是精确度，另一方面就是运算速度，现有的车辆姿态检测方法的精确度及运算速度仍不够高，无法满足实际需要。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于栅格卷积神经网络的车辆姿态检测方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于栅格卷积神经网络的车辆姿态检测方法，该方法包括下列步骤：

步骤一、构建带有标注信息的车辆姿态信息数据：

通过车载相机录制视频，并对所拍摄的视频进行筛选，将视频转换为图片序列后，采用人工标注方法将图像中车辆的姿态信息用6d坐标标出，即3d坐标x，y，z和3d空间姿态角pitch，yaw，roll。

步骤二、搭建ssd神经网络模型，并在回归分类层中构建姿态估计卷积层。

步骤三、将ssd神经网络中用于姿态估计的卷积层替换为部分连接层。

步骤四、构建栅格卷积层及栅格网络：

传统的卷积方法都是对整个卷积层进行卷积，由于本发明所应用的是车辆姿态检测，而卷积层往往在横向上的特征比较丰富。基于此，本发明构建栅格卷积，即只对卷积层的某一方向进行卷积。

栅格卷积的单张特征图由多个卷积核卷积得到，卷积核个数由卷积方向和输入大小决定。对于同一个栅格卷积层，可以有多个特征图，但所有特征图的卷积方向保持一致(全横向或全纵向)。栅格卷积将不同卷积层上同一方向的特征，拼接到同一卷积层上。

在保留单方向(横向或纵向)权重独立的前提下对栅格卷积层垂直方向的权重采取共享方式，并利用栅格卷积层替换部分连接层得到栅格卷积神经网络。

步骤五、将步骤一获取的数据分为训练数据集和测试数据集，基于模型迁移学习进行栅格卷积神经网络的训练，迭代训练结束后，保存网络参数。

步骤六、对待检测的图像根据rpn(regionproposalnetwork，区域生成网络)生成若干个候选图像区域，通过栅格卷积神经网络模型的特征提取和分类回归得到图像的region(区域)和object(目标)信息，如果region和object的重叠区域占比超过0.7，则判断其区域内存在车辆。

步骤七、对判断存在车辆的候选区域，采用基于窗口的nms(non-maximumsuppression，非极大值抑制)的方法进行窗口融合，最终得到精确的车辆目标位置(x,y,w,h,分别表示目标检测框的左顶角坐标位置与宽高)和姿态信息(δ)。

一种基于栅格卷积神经网络的车辆姿态检测系统，该系统包括车辆姿态采集模块和处理模块，车辆姿态采集模块与处理模块连接。

车辆姿态采集模块包括设于车辆驾驶舱内部、风挡玻璃窗上的mindvision车载相机、nvidiajetsontk2及其附件。处理模块包括构建辆姿态检测的系统环境的ubuntu16.04以及用以生成栅格卷积网络、并利用栅格卷积网络对车辆姿态信息进行检测的opencv、tensorflow和cuda软件库。

与现有技术相比，本发明具有以下优点：

一、本发明方法针对车辆姿态检测问题，因卷积层在横向上的特征较丰富，设计了栅格卷积层和新的网络结构，栅格卷积将不同卷积层上同一方向的特征，拼接到同一卷积层上，提高了模型单方向提取特能的能力，使得检测效果实现进一步提升，车辆姿态检测网络为智能驾驶决策和目标车辆行为预测提供有力的信息依据，可应用于智能驾驶领域，有利于提高车辆行驶的主动安全性；

二、本发明将传统ssd机构中的部分连接层替换为两层栅格卷积层，不仅使得模型减少了参数，降低了过拟合的风险，同时由于垂直方向上权重的共享，使得单个卷积核可以获得更充分的训练，同样数量的训练数据下更容易获得泛化特征，反向传播到更浅层网络的影响也更加合理；

三、本发明在栅格卷积层的设计上，将ssd神经网络中用于姿态估计的卷积层替换为部分连接层，以消除透视歧义对结果带来的影响；并在保留单方向权重独立的前提下对其垂直方向的权重采取共享的方式，既能解决透视歧义的影响，又能成倍降低网络中的参数含量，使得网络更加鲁棒，减少过拟合现象的发生几率。

附图说明

图1为本发明方法的流程图；

图2为本发明中部分连接姿态检测网络结构图；

图3为本发明所设计的栅格卷积层的卷积方式图；

图4为本发明所基于栅格卷积层所设计的栅格卷积神经网络结构图；

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明涉及一种基于栅格卷积神经网络的车辆姿态检测方法，该方法包括下列步骤：

(1)、构建带有标注信息的车辆姿态信息数据：

通过车载相机录制视频，并对所拍摄的视频进行筛选，将视频转换为图片序列后，采用人工标注方法将图像中车辆的姿态信息用6d坐标标出，即3d坐标x，y，z和3d空间姿态角pitch，yaw，roll。

(2)、搭建ssd神经网络模型，并在回归分类层中构建姿态估计卷积层。

将用于姿态估计的部分连接层加入到与ssd原本的anchorbox、softmax、locationregression层并列的位置，并设置对应个数的featuremap，这样就实现了自然的目标检测位置与姿态回归位置的对应，如图2所示。

将部分连接姿态检测网络命名为lc-pose(locallyconnected，局部卷积)。其结构如图1所示，图像输入后，像素值归一化到[-1，1]，再经过14个卷积层提取特征，并插入batch-normalization(批标准化)层以减少过拟合，激活函数选用elu。将14个卷积层的倒数4层的feature-map(特征图)取出，分别接入处理分类、定位和姿态估计的两个卷积层和一个部分连接层。由于特征提取卷积层的不同层中每个像素对应着输入图像中不同大小的感受野，越深的层对应着越大的感受野，因此取用不同深度层的特征等价于处理不同大小的目标。在计算时，分类、定位与姿态估计层的大小相同，结果一一对应，使得姿态估计结果很自然的对应到正确的检测目标之上。

(3)、将ssd神经网络中用于姿态估计的卷积层替换为部分连接层。

(4)、构建栅格卷积层及栅格卷积神经网络：

图3为本发明的栅格卷积层的卷积结构，传统的卷积方式的单张特征图只由一个卷积核卷积得到，而栅格卷积的单张特征图由多个卷积核卷积得到，卷积核个数由卷积方向和输入大小决定。对于同一个栅格卷积层，与传统卷积相同，可以有多个特征图，但所有特征图的卷积方向保持一致(全横向或全纵向)。而栅格卷积将不同卷积层上同一方向的特征，拼接到同一卷积层上。

在保留单方向(横向或纵向)权重独立的前提下对栅格卷积层垂直方向的权重采取共享方式，并利用栅格卷积层替换部分连接层得到栅格卷积神经网络。

(5)、将步骤(1)获取的数据分为训练数据集和测试数据集，基于模型迁移学习进行栅格卷积神经网络的训练，迭代训练结束后，保存网络参数。

(6)、对待测量车辆的图像根据rpn(regionproposalnetwork，区域生成网络)生成若干个候选图像区域，通过栅格卷积神经网络模型的特征提取和分类来判断候选区域中是否存在车辆。

(7)、采用基于窗口的nms(non-maximumsuppression，非极大值抑制)的方法进行窗口融合，最终得到精确的车辆目标位置和姿态信息。

如图4所示，本发明利用栅格卷积神经网络网络来优化姿态估计效果。输入大小480x300，3通道，输入图像的像素值归一化到[-1，1]，后接14层卷积层，每层接批归一化层，激活函数选用elu。卷积层的第8、10、12、14层的特征图接入定位、分类和姿态估计网络。姿态估计网络使用栅格卷积层，卷积方向为纵向，共两层，第一层卷积核大小为3x3，步长为3，激活函数采用elu，第二层卷积核大小为1x1，步长为1，无激活函数。这种两层的结构的设计是为了增加网络的建模能力(相比单层网络)。

本发明方法针对车辆姿态检测问题，设计了栅格卷积层和新的网络结构，提高了模型单方向提取特能的能力，使得检测效果实现进一步提升，车辆姿态检测网络为智能驾驶决策和目标车辆行为预测提供有力的信息依据，可应用于智能驾驶领域，有利于提高车辆行驶的主动安全性。

本发明还涉及一种基于栅格卷积神经网络的车辆姿态检测系统，该系统包括车辆姿态采集模块和处理模块，车辆姿态采集模块与处理模块连接。车辆姿态采集模块包括设于车辆驾驶舱内部、风挡玻璃窗上的mindvision车载相机、nvidiajetsontk2及其附件。处理模块包括构建辆姿态检测的系统环境的ubuntu16.04以及用以生成栅格卷积网络、并利用栅格卷积网络对车辆姿态信息进行检测的opencv、tensorflow和cuda软件库。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。