基于Yolov3优化模型的自动驾驶目标检测方法、系统及介质

本发明属于图像处理及目标检测的，具体涉及一种基于yolov3优化模型的自动驾驶目标检测方法、系统及介质。

背景技术：

1、生活质量的逐步提升，道路交通工具已经成为人们生活不可代替的设备。科技的发展正是不断推动道路交通更为便捷的重要方式，并且人工智能技术的发展对于科技与社会生活的融入更为全面。自动驾驶技术也被各大汽车制造公司所提出并融入到汽车中，这对于驾驶员有极大的帮忙，不仅有效的减缓驾驶疲劳，也提高了道路出行的便捷性。

2、人工智能技术的引入促使智能化交通得到快速发展，保证人工智能算法模型作用和保证准确且高效的检测识别，成为无人驾驶技术推广的重要基石。目标检测属于深度学习网络模型的模块分支。通过对目标图片的检测分析，能快速有效的检测得到目标物体，并标注矩形方框及置信度(表明对该物资的识别概率高低)。传统机器学习方法包括有三种：viola-jones(vj)检测、histogram of oriented gradient(hog)检测及deformable partmodel(dpm)检测；但检测的准确率及效率都较低，无法满足时效性较高的自动驾驶检测需求，有待进一步优化。随着深度学习网络模型的发展，卷积神经网络通过参考人体神经传输过程的结构化学习方式；利用各个不同的网络化模块层，层级化的学习目标数据的特征，最终提取目标数据的有用特征，并进行检测、分类等。深度学习网络模型由2012年alexnet的提出而得到广泛的发展与延伸，随之得到resnet等经典却高效的模型，这些模型对于整个目标检测领域的发展起到不可代替的作用。

3、目标检测划分为一阶段方式及二阶段方式。一阶段方式在2015年yolo提出，直接通过深度模型学习图像，减少冗余模块，检测效率得到巨大提升，但存在检测精度不高等问题；随之yolo的发展，各种yolo变形的目标检测模型得到快速的发展，在各个行业也得到广泛的应用。二阶段方式在2014年r-cnn模型的提出，推动目标检测的分类任务效果，但是其检测效率慢，进而fasterr-cnn模型的提出，采用特征金字塔的方式提高整体目标检测效果但是检测的效率还是需要进一步优化。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于yolov3优化模型的自动驾驶目标检测方法、系统及介质，选择yolov3作为基准算法，通过非极大值抑制算法结合高斯函数消除yolov3优化模型输出的冗余候选框，使用ciou损失提高边界框回归准确率。

2、为了达到上述目的，本发明一方面提供一种基于yolov3优化模型的自动驾驶目标检测方法，包括下述步骤：

3、获取车辆图像数据并进行预处理得到车辆图像集；

4、以yolov3网络为基准网络，在yolov3网络的三个预测层前引入空间金字塔池化模块增大感受野，构建yolov3优化模型；

5、将车辆图像集输入yolov3优化模型中进行迭代训练，采用k-means++算法对车辆图像集中的标注框进行重新聚类，得到先验框；使用非极大值抑制算法结合高斯函数消除yolov3优化模型输出的冗余候选框，得到预测框；采用边界框回归损失函数计算yolov3优化模型的损失值优化模型参数，得到训练好的yolov3优化模型；

6、在自动驾驶车辆部署训练好的yolov3优化模型，对车辆行驶过程中的目标进行智能检测。

7、作为优选的技术方案，所述yolov3优化模型以yolov3网络为基准网络，引入空间金字塔池化模块进行改进得到，包括特征提取层、空间金字塔池化模块和预测层；

8、所述特征提取层用于提取输入图像的图像特征，输出三种不同尺度的图像特征，其由卷积层和池化层组成；所述卷积层使用卷积核在输入图像上进行卷积操作；所述卷积核的大小和步幅是可调整的超参数；所述池化层进行池化操作，用于降低图像特征的空间分辨率，减少计算量，同时保留重要特征；

9、所述空间金字塔池化模块为三个，均包括依次连接的输入层、四个并行的最大池化层、concatnate层和输出层，用于对图像特征进行池化操作得到特征向量；

10、所述预测层基于空间金字塔池化模块得到的特征向量，输出三种不同尺度的特征图；

11、所述三个空间金字塔池化模块的输入层分别对应连接特征提取层的输出层，三个空间金字塔池化模块的输出层分别对应连接预测层。

12、作为优选的技术方案，所述特征提取层采用draknet-53网络；

13、所述四个并行的最大池化层的核大小分别为1*1、5*5、9*9和13*13；

14、所述空间金字塔池化模块的输入层和输出层为1*1核大小的卷积。

15、作为优选的技术方案，所述采用k-means++算法对车辆图像集中的标注框进行重新聚类，得到先验框，具体为：

16、1)在所有车辆图像集中的标注框中随机选取一个作为聚类中心，计算每个标注框xi到该聚类中心的距离d(xi)，计算xi是下个聚类中心的概率p(xi)，重复执行从所有车辆图像集中的标注框中选出k个聚类中心；

17、所述距离d(xi)计算公式为：

18、d(xi)＝1-iou(box，centroid)

19、其中，iou(box，centroid)表示标注框xi到该聚类中心的平均交并比，box为标注框xi的大小，centroid为目标框与聚类中心交集的中心点，平均交并比越接近1，则表示标注框xi到该聚类中心的距离越小；

20、所述概率p(xi)计算公式为：

21、

22、其中，x为车辆图像集中所有的标注框集合；

23、2)将k个聚类中心作为k个类，计算除k个聚类中心外的其他标注框距离k个类的平均交并比，平均交并比越大，表示距离越小，将距离越小的标注框划分为一类；

24、3)针对每个类更新聚类中心，重复步骤2)，直到聚类中心不再变化，输出最终结果作为先验框，即聚类中心对应锚框的宽高值。

25、作为优选的技术方案，所述使用非极大值抑制算法结合高斯函数消除yolov3优化模型输出的冗余候选框，得到预测框，具体为：

26、1)通过目标检测算法得到一组候选框，并计算其对应的置信度分数；

27、2)按照候选框的置信度分数进行降序排序，从排序后的候选框列表中选择置信度最高的候选框，将其加入预测框列表中；

28、3)对于剩余的候选框，引入高斯函数计算其与预测框列表中的预测框之间的重叠度；

29、4)根据设定的阈值，判断剩余候选框与预测框列表中预测框之间的重叠度是否高于阈值；如果是，则将该剩余候选框排除，否则将其加入预测框列表中；

30、5)重复步骤3)和4)，直至所有候选框处理完毕，得到最终的预测框列表。

31、6、根据权利要求5所述的基于yolov3优化模型的自动驾驶目标检测方法，其特征在于，所述边界框回归损失函数lciou表示为：

32、

33、

34、

35、

36、其中，b为最终预测框列表中预测框的中心点坐标，bgt为先验框的中心点坐标；ρ(b，bgt)表示最终预测框列表中预测框与先验框之间的欧氏距离；w和h分别为预测框的宽和高；wgt和hgt分别为先验框的宽和高；iou为预测框与先验框的交并比，表示为：

37、

38、式中，b＝(bx，by，w，h)为预测框；为先验框。

39、另一方面提供一种基于yolov3优化模型的自动驾驶目标检测系统，应用于上述的基于yolov3优化模型的自动驾驶目标检测方法，包括数据获取模块、模型构建模块、模型训练模块及部署应用模块；

40、所述数据获取模块用于获取车辆图像数据并进行预处理得到车辆图像集；

41、所述模型构建模块用于以yolov3网络为基准网络，在yolov3网络的三个预测层前引入金字塔池化模块增大感受野，构建yolov3优化模型；

42、所述模型训练模块用于将车辆图像集输入yolov3优化模型中进行迭代训练，采用k-means++算法对车辆图像集中图像的标签进行重新聚类，得到先验框；使用非极大值抑制算法结合高斯函数消除yolov3优化模型输出的冗余候选框，得到预测框；采用边界框回归损失函数计算yolov3优化模型的损失值优化模型参数，得到训练好的yolov3优化模型；

43、所述部署应用模块用于在自动驾驶车辆部署训练好的yolov3优化模型，对车辆行驶过程中的目标进行智能检测。

44、作为优选的技术方案，所述模型构建模块中，yolov3优化模型以yolov3网络为基准网络，引入金字塔池化模块进行改进得到，包括特征提取层、金字塔池化模块和预测层；

45、所述特征提取层用于提取输入图像的图像特征，输出三种不同尺度的图像特征，其由卷积层和池化层组成；所述卷积层使用卷积核在输入图像上进行卷积操作；所述卷积核的大小和步幅是可调整的超参数；所述池化层进行池化操作，用于降低图像特征的空间分辨率，减少计算量，同时保留重要特征；

46、所述金字塔池化模块为三个，均包括输入层、四个并行的最大池化层、concatnate层和输出层，用于对图像特征进行池化操作得到特征向量；

47、所述预测层基于金字塔池化模块得到的特征向量，输出三种不同尺度的特征图；

48、所述三个金字塔池化模块的输入层分别对应连接特征提取层的输出层，三个金字塔池化模块的输出层分别对应连接预测层。

49、作为优选的技术方案，所述模型训练模块中，采用k-means++算法对车辆图像集中的图像标签进行重新聚类，得到先验框，具体为：

50、1)在所有车辆图像集中的图像标签中随机选取一个作为聚类中心，计算每个图像标签xi到该聚类中心的距离d(xi)，计算xi是下个聚类中心的概率p(xi)，重复执行从所有车辆图像集中的图像标签中选出k个聚类中心；

51、所述距离d(xi)计算公式为：

52、d(xi)＝1-iou(box，centroid)

53、其中，iou(box，centroid)表示图像标签xi到该聚类中心的平均交并比，box为标注框xi的大小，centroid为目标框与聚类中心交集的中心点，平均交并比越接近1，则表示图像标签xi到该聚类中心的距离越小；

54、所述概率p(xi)计算公式为：

55、

56、其中，x为车辆图像集中所有的图像标签集合；

57、2)将k个聚类中心作为k个类，计算除k个聚类中心外的其他图像标签距离k个类的平均交并比，平均交并比越大，表示距离越小，将距离越小的图像标签划分为一类；

58、3)针对每个类更新聚类中心，重复步骤2)，直到聚类中心不再变化，输出最终结果作为先验框，即聚类中心对应锚框的宽高值；

59、所述使用非极大值抑制算法结合高斯函数消除yolov3优化模型输出的冗余候选框，得到预测框，具体为：

60、1)通过目标检测算法得到一组候选框，并计算其对应的置信度分数；

61、2)按照候选框的置信度分数进行降序排序，从排序后的候选框列表中选择置信度最高的候选框，将其加入预测框列表中；

62、3)对于剩余的候选框，引入高斯函数计算其与预测框列表中的预测框之间的重叠度；

63、4)根据设定的阈值，判断剩余候选框与预测框列表中预测框之间的重叠度是否高于阈值；如果是，则将该剩余候选框排除，否则将其加入预测框列表中；

64、5)重复步骤3)和4)，直至所有候选框处理完毕，得到最终的预测框列表。

65、还一方面提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于yolov3优化模型的自动驾驶目标检测方法。

66、本发明与现有技术相比，具有如下优点和有益效果：

67、1、针对检测速度的实时性要求以及模型放大的经济性问题，选择yolov3作为基准算法，通过非极大值抑制算法结合高斯函数消除yolov3优化模型输出的冗余候选框，使用ciou损失提高边界框回归准确率。

68、2、采用金字塔方法对网络的宽度、深度和输入图像分辨率进行统一放大，增加卷积神经网络的容量，从而提高特征提取能力以及检测准确率。在训练过程中使用冻结训练策略，大幅缩短时间并节省内存成本。

69、3、对检测模型做出一定的调优并修改相关卷积层，将其迁移至车辆检测的应用范围，极大简化耗时的模型训练过程，实现对算力资源的最大限度利用。