一种面向自动驾驶的车辆目标检测方法

本发明涉及计算机视觉应用，尤其涉及一种面向自动驾驶的车辆目标检测方法。

背景技术：

1、随着物联网和人工智能技术的日臻完善，自动驾驶技术也已经开始从理论研究转为实际研发阶段。自动驾驶是指车辆在不需要人为干预的情况下，依靠传感器等终端设备自主感测车周围的环境信息，进而保证车辆完成自动驾驶任务。其包含的四大核心技术分别是自主感知、自主定位、自主规划和自主控制。其中自主感知是自动驾驶的基础，该部分通过分析终端设备输入的数据，自主感知车辆周围的环境信息。目标检测又是自主感知的前提和基础，因此只有对车周围的目标障碍物实现精准的定位和识别，才能保证汽车更好地完成自动驾驶任务。一阶段检测算法如现有的rcnn（regions with cnn features）算法检测性能相比于可变形部件模型方法（deformable part based model, dpm）目标检测精度提高近 30%。空间金字塔网络（spatial pyramid pooling network, spp-net）在 rcnn算法的基础上引入空间金字塔结构，保证输入候选区域 由单一尺度转变为任意尺度。受spp-net 启发，fast rcnn 算法采用感兴趣区域池化结构（region of interestingpooling, roi pooling）取代空间金字塔结构,并在网络中引入多损失函数，将分类和位置的损失函数一并学习训练，进而保证分类和回归操作可以共享卷积层的特征。faster rcnn算法首次采用全卷积神经网络的思想，且实现了目标检测端到端的训练模式。基于区域的全卷积神经网络算法（ region-based fully convolutional network, rfcn）实现了整个网络参数的完全共享。mask rcnn 算法可以同时实现语义分割和目标检测任务。这些算法以检测速度为核心导向，其满足自动驾驶中对于检测实时性的要求，但存在目标检测精度低的问题。

2、两阶段检测算法如yolo（you only look once）算法中的图片仅需一次卷积操作即可得到目标的分类和回归得分。该算法的出现标志着以检测速度为核心的一阶段目检测算法的出现。yolo v2算法借鉴 faster rcnn 算法中的锚框的思想，在每个卷积层后增添批标准化（batch normalization, bn）结构，从根本上解决训练难度大的问题。yolo v3算法在修改特征提取网络和分类器的基础上，采用多尺度预测的方式来预测目标。yolo v4算法引入诸多的目标检测技巧，提高目标检测的精度。而ssd（single shot multiboxdetector）算法是另一种直接得到目标类别和位置信息的一阶段目标检测算法。该算法充分利用深浅特征图的特性实现多尺度目标的检测。dssd（deconvolutional single shotdetector）算法通过反卷积的方式融合检测特征图，增强检测特征图的特征表达能力，进而解决特征孤岛的问题。rssd 算法同时采用池化和反卷积操作，通过彩虹操作连接深浅层次不同的特征图。不仅解决重复框的问题，而且可提升小尺度目标的检测精度。这些模型网络结构复杂，提取特征较为充分，目标检测精度较高，但无法满足自动驾驶对于检测速度的要求。综上，目前主流的经典目标检测算法均无法同时满足自动驾驶中对于检测精度和速度的实际需求。

技术实现思路

1、针对上述问题，本发明针对性地提出一种面向自动驾驶的车辆目标检测方法。

2、本发明的技术方案如下：一种面向自动驾驶的车辆目标检测方法，建立面向自动驾驶的车辆目标检测模型，所述面向自动驾驶的车辆目标检测模型包括特征金字塔模块、特征融合模块fm和多分支预测模块pm；

3、所述特征金字塔模块为基于双向连接的特征金字塔模块，其包括多层连续的特征提取层；输入图片经特征金字塔模块进行特征提取得到不同尺寸的检测特征图；

4、前四层特征提取层提取的检测特征图分为两组，每组分别经两种尺寸的特征融合模块进行特征融合，得到四个融合的检测特征图；所述融合的检测特征图以及其他特征提取层得到的检测特征图分别经多分支预测模块得到位置信息和分类信息。

5、所述基于双向连接的特征金字塔模块选择conv4-3、conv7、conv8-2、conv9-2、conv10-2 和 conv11-2 进行由浅到深的六层检测特征图构建；所述conv4-3和conv8-2构建的检测特征图为浅层特征图，所述conv7和conv9-2构建的检测特征图为深层特征图；conv7构建的检测特征图经反向连接模块上采样后，与conv4-3构建的检测特征图共同于特征融合模块融合，得到融合的检测特征图fu-conv4-3；conv4-3构建的检测特征图经正向连接模块下采样后，与conv7构建的检测特征图共同于特征融合模块融合，得到融合的检测特征图fu-conv7；conv8-2构建的检测特征图，与conv9-2构建的检测特征图经反向连接模块上采样后，共同于特征融合模块融合，得到融合的检测特征图fu-conv8-2；conv9-2构建的检测特征图，与conv8-2构建的检测特征图经正向连接模块下采样后，共同于特征融合模块融合，得到融合的检测特征图fu-conv9-2。

6、所述特征融合模块包括加权特征融合机制；

7、所述加权特征融合机制为每一个输入的检测特征图设置一个融合权重值，对输入的检测特征图进行加权融合操作：

8、               （1）

9、其中，表示检测特征图，表示卷积操作，表示改变检测特征图尺寸的操作，表示待调整尺寸的检测特征图，表示融合权重值，表示连接操作；

10、所述融合权重值由公式（2）的归一化融合公式进行获取；起始时设置所有输入检测特征图的权重值均相同，在训练过程中对权重值进行调整；

11、                              （2）

12、其中，是一个可学习的参数；是加权特征融合机制输出融合的检测特征图、是输入的检测特征图，，。

13、所述多分支预测模块pm包括多感受野融合模块和预测模块；

14、多感受野融合模块以inception 网络为基础，首先通过 1×1 的瓶颈卷积降低检测特征图的通道数，通过不同尺度的卷积操作后各分支的检测特征图叠加输出得到融合特征图；预测模块获取多感受野融合模块中对检测特征图进行不同空洞率、不同大小的空洞卷积操作后得到的多感受野的融合特征图；随后对多感受野的融合特征图进行1×1 的卷积操作得到分类信息得分和位置信息得分；

15、多感受野融合模块包括4个并行分支结构，各分支结构通过不同的空洞率获取不同感受野下的特征信息；

16、多感受野融合模块中的输入特征图、四个并行分支结构的输出特征图和最终输出的融合特征图依次记为，其尺寸均为；表示卷积核尺寸为的常规卷积，表示空洞率为，卷积核大小为的空洞卷积，表示矩阵拼接操作，表示卷积运算，表示使用卷积完成特征图的跳层连接；

17、输入特征图和输出特征图之间的运算关系如下：

18、                        （3）

19、首先利用1×1卷积对输入特征图进行降维操作，随后采用3×3卷积进行特征变换操作，分支0得到输出特征图，其尺寸为；

20、分支1中输入特征图和输出特征图之间的运算关系如下：

21、                 （4）

22、分支1结构以尺寸为的特征图为输入，首先利用1×1卷积将特征图的维度降低为原来的1/2；随后依次采用1×3卷积、空洞率为3，卷积核尺寸为 3×3的空洞卷积进行卷积运算，进而得到尺寸为的输出特征图；

23、分支2中输入特征图图和输出特征图之间的运算关系如下：

24、                 （5）

25、分支2中对输入特征图首先依次采用1×1卷积、3×1卷积进行卷积操作，随后采用空洞率为3，卷积核尺寸为3×3的空洞卷积进行运算来扩大其感受野大小，进而得到输出特征图，其尺寸为；

26、分支3中输入特征图图和输出特征图之间的运算关系如下：

27、                             （6）

28、分支3结构将输入特征图通过1×1的卷积运算直接得到输出特征图；

29、分支0、分支1和分支2三个分支融合得到融合特征图的过程如下所示：

30、                 （7）

31、将前三分支上的输出特征图在其通道维度上进行特征融合操作，随后将得到的特征图进行操作使其信息充分融合，结构依次采用1×1卷积、和操作，得到前三分支的融合特征图；

32、最终的输出融合特征图运算过程如下所示：

33、                        （8）

34、为权重；将最终的输入特征图和通过加权融合的方式得到最终的输出融合特征图；最后将得到的融合特征图输入到多分支预测模块进行预测。

35、所述预测模块中提出一种基于iou方式的k-means++聚簇锚框得到数据集内真实目标的纵横比系数；首先统计各数据集内目标的尺度信息并将数据集中的图像划分为等大小的网格，预先为每个网格设定尺度不同、纵横比各异的锚框；预设锚框的中心点为每个网格的中心，训练过程中目标的预测边界框和真实框的位置坐标均以锚框为基准进行换算；预测框的位置坐标信息为，其中和表示预测框的中心点坐标信息，和表示预测框的宽信息和高信息；锚框的中心点及宽和高位置信息表示为，真实框的基本信息记为，则输出预测框位置信息的值输出的计算方式如下：

36、              （9）

37、目标在检测特征图内的真实位置如下：

38、                    （10）

39、基于 iou 方式的 k-means++聚簇锚框得到真实道路上目标真实框的实际纵横比系数，随后根据其预设出锚框的纵横比；

40、特征金字塔模块得到的六层检测特征图尺寸分别为 38×38、19×19、10×10、5×5、3×3和1×1，每个网格中锚点坐标的计算公式如下所示：

41、                 （11）

42、其中，分别为检测特征图对应点的坐标，为检测特征图尺寸，为检测特征图个数，；引入缩放系数对锚框尺寸进行缩放，其计算方式如下所示：

43、                 （12）

44、其中，表示检测特征图第一个锚框尺寸，，，；检测特征图的第一层缩放系数为 0.1，第二层缩放系数为 0.2；根据缩放系数计算公式和输入图片的尺寸得到锚框尺寸，其中包含两个正方形框，其尺寸分别为、，矩形框的尺寸分别为、，其中为人工提前预设的锚框的纵横比系数，由此得到大小各异、纵横比不同的锚框；

45、基于 iou 方式来计算交通场景图片数据集内目标样本框到锚框的距离，进而计算得出锚框纵横比，计算方式如下所示：

46、                   （13）

47、其中，表示使用聚簇算法得到的预测框的尺寸，表示数据集内目标样本的真实框尺寸，表示数据集中目标样本真实框与聚簇锚框的交并比系数；首先读取数据集中的图片和目标框的尺寸，然后将图片和目标框等比例缩放至指定尺寸，再筛选尺寸小于两个像素的目标框；之后，使用算法随机选取一个数据点作为聚簇锚框，并使用轮盘法确定个聚簇锚框，根据欧氏距离分配所有的点，重新计算聚簇中心直到不再发生改变，确定最终的个聚簇锚框使用遗传算法随机对聚簇锚框的宽高值进行变异处理，采用锚框适应度和召回率评估对变异结果进行评价，变异结果优于变异前结果时，则将变异结果重新赋值给锚框尺寸，否则跳过；最后将变异得到的锚框尺寸按纵横比升序的排列方式输出最终结果。

48、所述特征金字塔模块和特征融合模块之间的正向连接模块如下：

49、正向连接模块包括两个分支；第一分支为浅层特征图经过空洞卷积层增大其感受野范围，通过空洞卷积层在核元素间填充零元素来扩大卷积核尺寸，以达到在不损失特征图信息的前提下增大其感受野，为空洞率，经空洞卷积后卷积核尺寸和原始卷积核尺寸关系如下所示：

50、                              （14）

51、其中，是指输出的空洞卷积核尺寸，是指原始卷积核的尺寸；

52、第二分支为深层特征图通过常规卷积操作层实现特征重组操作；

53、正向连接模块中的输入特征图为和，其尺寸分别为和；表示卷积核尺寸为的常规卷积，表示卷积核大小为，空洞率为的空洞卷积，和操作用于防止梯度出现爆炸或消失，表示矩阵拼接操作，表示卷积运算；

54、第一分支空洞卷积的计算过程如下所示；

55、             （15）

56、第一分支首先对输入特征图使用尺寸为，空洞率为的空洞卷积进行卷积运算，随后使用3×3的卷积进行特征变换，最后使用和操作得到尺寸为的输出特征图；

57、第二分支中输入特征图为，依次进行 3×3 卷积变换、和操作卷积得到输出特征图，计算过程如下所示：

58、                  （16）

59、两个分支输出的特征图经矩阵拼接的连接操作融合，融合后的特征经1×1卷积和bn层进行特征重组操作，得到融合特征图的维度为；卷积过程如下所示：

60、                       （17）

61、最后，由于正向连接的特征图是浅层特征图的位置信息叠加到深层特征图上，故最终得到的融合特征图的维度应该与输入特征图的通道数保持一致，因此需要使用1×1 卷积将融合特征图通道维度降至，实现对融合特征图的特征重组操作，输入到多分支预测模块用于特征融合；其卷积过程如下所示：

62、                     （18）。

63、所述特征金字塔模块和特征融合模块之间的反向连接模块如下：

64、反向连接模块包括两个分支，第一分支中浅层特征图经常规卷积操作融合，第二分支中深层特征图经反卷积操作扩大其尺寸；两个分支输出的特征图经矩阵元素相加的方式将检测特征图融合成融合特征图；

65、反向连接模块中的输入特征图为和，其尺寸分别为和；表示卷积核尺寸为的常规卷积，表示卷积核大小为的反卷积，表示卷积运算，表示矩阵元素相加的连接操作；

66、第一分支中输出特征图和输入特征图之间的运算关系如下所示：

67、                     （19）

68、输入特征图依次进行3×3卷积变换、和操作得到输出特征图；

69、第二分支中输入特征图和输出特征图运算关系如下所示：

70、                （20）

71、输入特征图首先通过反卷积操作将其特征扩大到原来的2倍，随后进行3×3卷积变换、和操作得到尺寸为输出特征图；之后将分辨率相同的特征图和通过矩阵元素相加操作连接起来得到融合特征图；矩阵拼接操作得到融合特征图的维度为，其卷积过程如下所示：

72、                 （17）

73、分别为特征图和设置权重系数和，得到融合特征图。

74、本发明的有益效果：本发明在满足实际道路场景中对于检测实时性要求的前提下，尽可能提高自动驾驶汽车对于车身周围道路上可能妨碍安全驾驶的目标检测性能。该发明通过基于双向连接的特征融合机制，在满足自动驾驶中对于检测实时性要求的前提下，提高了算法对实际道路场景中目标的检测精度。通过基于多感受野的多分支预测模块，在保证自动驾驶中检测实时性的前提下，提升了算法对复杂道路上目标的检测性能。通过基于 iou 方式的 k-means++聚簇生成锚框算法，在节约了算法训练和测试的时间的同时，提升了算法对于目标的检测精度。综上，该发明能够同时满足自动驾驶系统中对于检测速度和精度的要求，以保证顺利安全完成驾驶任务。