一种基于神经网络的被遮挡车辆尾框回归方法、装置及存储介质与流程

1.本发明涉及一种基于神经网络的被遮挡车辆尾框回归方法、装置及存储介质，属于辅助驾驶技术领域。


背景技术：

2.在车载辅助驾驶系统中，我们需要依据车载摄像头获取前方道路目标车辆的成像，然后通过对图像中目标车辆的各种属性进行分析，从而获取车辆的运动状态。依据目标车辆尾框的位置、目标车辆现实场景中的车尾宽度、摄像头的成像参数，可以精确的计算目标车辆在现实场景中的位置，从而为后续的运动状态判断提供依据。那么其中核心的一环在于如何获取精准的车辆尾框。按照常规的流程，首先需要通过检测网络对道路上的车辆进行检测，然后对检测后的目标车辆进行精细化的特征点定位，依据车身上的特征点的位置，获取目标车辆的车宽和接地点的位置。但是当目标车辆被遮挡时，现有的检测网络存在特征点定位精度差的问题。


技术实现要素：

3.本发明的目的在于克服现有技术中的不足，提供一种基于神经网络的被遮挡车辆尾框回归方法、装置及存储介质，能够提升整个特征点定位的环节的精确度，从而生成车辆尾框，提升车辆运动状态判断的精确度来提升整个车载辅助驾驶系统的决策性能。
4.为达到上述目的，本发明是采用下述技术方案实现的：
5.第一方面，本发明提供了一种基于神经网络的被遮挡车辆尾框回归方法，包括：
6.采集车辆前方车况的视频片段，并从视频片段中提取含有车辆尾框的目标图像；
7.基于预设的yolov5目标检测框架获取目标图像中的目标车辆的位置信息；
8.基于位置信息从目标图像中裁剪出目标车辆图像，并对目标车辆图像进行预处理；
9.将预处理后的目标车辆图像输入训练好的深度神经网络得到目标车辆尾部被遮挡信息、车辆尾部特征点位置信息以及车辆尾部中线位置信息；
10.基于车辆尾部被遮挡信息和车辆尾部特征点位置信息筛选出未被遮挡的车辆尾部特征点；
11.基于未被遮挡的车辆尾部特征点和车辆尾部中线位置信息生成车辆尾框。
12.可选的，所述深度神经网络的训练过程包括：
13.获取目标车辆图像的历史数据，并分别对目标车辆图像中的车辆尾部特征点进行标注，并对目标车辆图像进行预处理生成训练集；
14.将训练集中的训练样本输入深度神经网络，得到车辆尾部特征点预测信息；
15.基于车辆尾部特征点预测信息和标注信息计算深度神经网络的损失；
16.根据深度神经网络的损失行反向传播迭代深度神经网络的网络参数，直至到达预
设迭代次数或损失收敛，完成深度神经网络的训练。
17.可选的，所述对目标车辆图像中的车辆尾部特征点进行标注包括：
18.车辆尾框的左上顶角和右上顶角分别标注为特征点6和特征点1；
19.车辆尾框的左下顶角和右下顶角分别标注为特征点5和特征点2；
20.车辆左后轮与地面交线的左端点和车辆右后轮与地面交线的右端点分别标注为特征点4和特征点3。
21.可选的，若特征点中存在被遮挡的情况，则根据经验对被遮挡的特征点进行标注，并对所有特征点添加被遮挡和未被遮挡的标注，对车辆尾部中线进行标注。
22.可选的，所述车辆尾部特征点预测信息包括车辆尾部被遮挡预测信息、车辆尾部特征点位置预测信息以及车辆尾部中线位置预测信息；
23.所述基于车辆尾部特征点预测信息和标注信息计算深度神经网络的损失包括：
24.通过交叉熵损失函数计算目标车辆尾部被遮挡预测信息的损失loss：
[0025][0026]
其中，sigmoid(
·
)为sigmoid函数，yn是目标车辆尾部被遮挡信息，目标车辆尾部被遮挡预测信息；
[0027]
通过smooth l1损失函数计算车辆尾部中线位置预测信息的损失l1_loss1：
[0028][0029]
其中，x为车辆尾部中线标注信息与车辆尾部中线位置预测信息的差值；
[0030]
通过smooth l1损失函数计算车辆尾部特征点位置预测信息的损失l1_loss2：
[0031]
l1_loss2＝l1_loss1*k
[0032]
其中，当特征点被遮挡时，k＝0，当特征点未被遮挡时，k＝1。
[0033]
第二方面，本发明提供了一种基于神经网络的被遮挡车辆尾框回归装置，所述装置包括：
[0034]
图像获取模块，用于采集车辆前方车况的视频片段，并从视频片段中提取含有车辆尾框的目标图像；
[0035]
位置获取模块，用于基于预设的yolov5目标检测框架获取目标图像中的目标车辆的位置信息；
[0036]
裁剪处理模块，用于基于位置信息从目标图像中裁剪出目标车辆图像，并对目标车辆图像进行预处理；
[0037]
信息获取模块，用于将预处理后的目标车辆图像输入训练好的深度神经网络得到目标车辆尾部被遮挡信息、车辆尾部特征点位置信息以及车辆尾部中线位置信息；
[0038]
信息筛选模块，用于基于车辆尾部被遮挡信息和车辆尾部特征点位置信息筛选出未被遮挡的车辆尾部特征点；
[0039]
尾框生成模块，用于基于未被遮挡的车辆尾部特征点和车辆尾部中线位置信息生成车辆尾框。
[0040]
第三方面，本发明提供了一种基于神经网络的被遮挡车辆尾框回归装置，包括处理器及存储介质；
[0041]
所述存储介质用于存储指令；
[0042]
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
[0043]
第四方面，本发明提供了计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
[0044]
与现有技术相比，本发明所达到的有益效果：
[0045]
本发明提供的一种基于神经网络的被遮挡车辆尾框回归方法、装置及存储介质，可以利用深度神经网络同时获得下面三个信息：目标车辆尾部被遮挡信息、车辆尾部特征点位置信息以及车辆尾部中线位置信息。利用神经网络的特征共享，同步学习上述三个特征点的状态信息，这样的网络设计有助于节省系统在该模块的计算资源。依据尾部特征点被遮挡信息判断该特征点的可信度，从而对特征点进行筛选。依据筛选后的特征点位置和尾部中线生成相对精准的车辆尾框。当车尾被遮挡时，给出相关特征点的是否被遮挡的标记，让深度神经网络不学习被遮挡特征点的位置信息。可以保证神经网络学习的都是标注准确的特征点，在联合学习车尾未遮挡车辆的特征点时，不会对未遮挡车辆的学习造成负面影响。通过上述方案，既能保证未遮挡车辆的特征点定位，也能获取被遮挡车辆相对精确的特征点定位，同时整合相关任务到同一个深度学习神经网络，有效提升整个模块的运行效率。
附图说明
[0046]
图1是本发明实施例提供的一种基于神经网络的被遮挡车辆尾框回归方法的流程图；
[0047]
图2是本发明实施例对目标车辆图像中的车辆尾部特征点进行标注示意图；
[0048]
图3是本发明实施例对有遮挡情况的目标车辆图像中的车辆尾部特征点进行标注示意图。
具体实施方式
[0049]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0050]
实施例一：
[0051]
如图1所示，本发明实施例提供了一种基于神经网络的被遮挡车辆尾框回归方法，包括以下步骤：
[0052]
(1)采集车辆前方车况的视频片段，并从视频片段中提取含有车辆尾框的目标图像；
[0053]
在具体实施中，可以把车载单目摄像头安装在车窗玻璃上，采集车辆行驶过程中本车正前方的车况信息。采集图片的输入尺寸为1280*720p。通过对视频图像进行逐帧解压，从而获取需要进行处理的图像。
[0054]
(2)基于预设的yolov5目标检测框架获取目标图像中的目标车辆的位置信息。
[0055]
(3)基于位置信息从目标图像中裁剪出目标车辆图像，并对目标车辆图像进行预处理；预处理主要将目标车辆图像缩放到128*128。
[0056]
(4)将预处理后的目标车辆图像输入训练好的深度神经网络得到目标车辆尾部被
遮挡信息、车辆尾部特征点位置信息以及车辆尾部中线位置信息；
[0057]
(5)基于车辆尾部被遮挡信息和车辆尾部特征点位置信息筛选出未被遮挡的车辆尾部特征点；
[0058]
(6)基于未被遮挡的车辆尾部特征点和车辆尾部中线位置信息生成车辆尾框。
[0059]
具体的，深度神经网络的训练过程包括：
[0060]
获取目标车辆图像的历史数据，并分别对目标车辆图像中的车辆尾部特征点进行标注，并对目标车辆图像进行预处理生成训练集；
[0061]
将训练集中的训练样本输入深度神经网络，得到车辆尾部特征点预测信息；
[0062]
基于车辆尾部特征点预测信息和标注信息计算深度神经网络的损失；
[0063]
根据深度神经网络的损失行反向传播迭代深度神经网络的网络参数，直至到达预设迭代次数或损失收敛，完成深度神经网络的训练。
[0064]
具体的，如图2所示，对目标车辆图像中的车辆尾部特征点进行标注包括：
[0065]
车辆尾框的左上顶角和右上顶角分别标注为特征点6和特征点1；
[0066]
车辆尾框的左下顶角和右下顶角分别标注为特征点5和特征点2；
[0067]
车辆左后轮与地面交线的左端点和车辆右后轮与地面交线的右端点分别标注为特征点4和特征点3。
[0068]
此外，如图3所示，若特征点中存在被遮挡的情况，则根据经验对被遮挡的特征点进行标注，并对所有特征点添加被遮挡和未被遮挡的标注，对车辆尾部中线进行标注。
[0069]
具体的，车辆尾部特征点预测信息包括车辆尾部被遮挡预测信息、车辆尾部特征点位置预测信息以及车辆尾部中线位置预测信息；
[0070]
基于车辆尾部特征点预测信息和标注信息计算深度神经网络的损失包括：
[0071]
通过交叉熵损失函数计算目标车辆尾部被遮挡预测信息的损失loss：
[0072][0073]
其中，sigmoid(
·
)为sigmoid函数，yn是目标车辆尾部被遮挡信息，目标车辆尾部被遮挡预测信息；
[0074]
通过smooth l1损失函数计算车辆尾部中线位置预测信息的损失l1_loss1：
[0075][0076]
其中，x为车辆尾部中线标注信息与车辆尾部中线位置预测信息的差值；
[0077]
通过smooth l1损失函数计算车辆尾部特征点位置预测信息的损失l1_loss2：
[0078]
l1_loss2＝l1_loss1*k
[0079]
其中，当特征点被遮挡时，k＝0，当特征点未被遮挡时，k＝1。
[0080]
实施例二：
[0081]
本发明实施例提供了一种基于神经网络的被遮挡车辆尾框回归装置，装置包括：
[0082]
图像获取模块，用于采集车辆前方车况的视频片段，并从视频片段中提取含有车辆尾框的目标图像；
[0083]
位置获取模块，用于基于预设的yolov5目标检测框架获取目标图像中的目标车辆的位置信息；
[0084]
裁剪处理模块，用于基于位置信息从目标图像中裁剪出目标车辆图像，并对目标车辆图像进行预处理；
[0085]
信息获取模块，用于将预处理后的目标车辆图像输入训练好的深度神经网络得到目标车辆尾部被遮挡信息、车辆尾部特征点位置信息以及车辆尾部中线位置信息；
[0086]
信息筛选模块，用于基于车辆尾部被遮挡信息和车辆尾部特征点位置信息筛选出未被遮挡的车辆尾部特征点；
[0087]
尾框生成模块，用于基于未被遮挡的车辆尾部特征点和车辆尾部中线位置信息生成车辆尾框。
[0088]
实施例三：
[0089]
基于实施例一，本发明实施例还提出一种基于神经网络的被遮挡车辆尾框回归装置，包括处理器及存储介质；
[0090]
存储介质用于存储指令；
[0091]
处理器用于根据指令进行操作以执行根据上述方法的步骤。
[0092]
实施例四：
[0093]
基于实施例一，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
[0094]
本发明提供的一种基于神经网络的被遮挡车辆尾框回归方法、装置及存储介质，主要应用于车载辅助驾驶系统中被遮挡目标车辆的车尾框生成。通过对视频中被检测到的目标车辆进行分析，从而对目标车辆生成相对精准的车辆尾框。本文提出来的方法既不会影响无遮挡车辆的尾框生成，同时也能生成被遮挡车辆相对精准的尾框。而且，我们采用同一个深度学习网络来来处理所有的目标车辆，从而避免增加系统整体的运算量，保证了整个系统的运行速度。
[0095]
首先通过车载摄像头对车辆前方道路场景进行图像采集，从而得到当前需要处理的前向视角的道路场景。然后我们利用基于yolov5的目标检测方法对图像中存在的目标车辆进行检测。然后对所有目标车辆被遮挡的状态进行判断，最后利用深度学习神经网络获取相对精确的特征点和车尾中线位置信息，利用上述信息生成较为精确的车辆尾框。通过上述方法，有效的提升车载辅助驾驶系统中车辆尾框的准确度，从而有效提升整个辅助驾驶系统决策性能。
[0096]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0097]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0098]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0099]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0100]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。