一种车辆检测跟踪方法和装置与流程

本发明实施例涉及自动驾驶技术领域，尤其涉及一种车辆检测跟踪方法和装置。

背景技术：

随着移动互联网的流量天花板逐渐见顶，互联网与实体行业如农业、工业、建筑行业和服务行业等传统行业的数字融合将成为新的趋势，产业互联网结合5g和云计算等技术将加快实体经济转型。汽车作为产业互联网场景下必不可少的智能移动设备，随着新一代的汽车技术革命如新能源、智能网联、自动驾驶的创新，将结合不同落地场景打造可复制循环的商业模式闭环。

自动驾驶是指智能汽车通过安装配备在车上的传感器设备(包括2d摄影视觉感知、激光雷达、毫米波雷达等)感知汽车周围的驾驶环境，结合导航的高精度地图，进行快速的运算与分析，在不断模拟和深度学习潜在的路况环境并作出判断，进一步借助算法规划汽车最理想或最合适的行驶路线及方式，再通过芯片反馈给控制系统进行刹车、方向盘控制等实际操作动作。

自动汽车在行驶过程中，需要对周边环境进行一个采样、处理及反馈的过程，以使得汽车行驶的状态能够应对周边环境，检测周围车辆并测距是无人自动驾驶中不可或缺的功能。目前主流的方法是采用单目摄像头采集数据，利用检测算法检测出车辆，再利用跟踪算法跟踪目标区域，大量缩短时间以达到实时检测效果。同时采用小孔成像原理，计算目标车辆的相对位置，过近时报警或者采取制动功能。该方法比较成熟，但在跟踪阶段，由于复杂环境的干扰，跟踪效果往往不佳，必须经常检测校正，同时单目测距的精度较差，也很难准确估计与周围车辆的距离。

技术实现要素：

本发明实施例提供一种车辆检测跟踪方法和装置，用以解决现有技术中由于复杂环境的干扰，跟踪效果往往不佳，必须经常检测校正，同时单目测距的精度较差，也很难准确估计与周围车辆的距离的问题。

第一方面，本发明实施例提供一种车辆检测跟踪方法，包括：

获取周边环境图像，并基于已训练的车辆检测模型检测跟踪周边车辆，获取周边车辆的位置信息和大小信息；

基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，并基于毫米波雷达测距对所述相对位置信息进行修正。

作为优选的，基于已训练的车辆检测模型检测跟踪周边车辆前，还包括：

获取周边车辆的图像信息并进行背景分割，分割出车辆区域图像，对所述车辆区域图像进行前景背景分离处理，得到车体部分图像；

对所述车体部分图像进行图像增强处理，以扩充车体部分图像样本，并基于所述车体部分图像样本进行机器学习，得到车辆检测模型。

作为优选的，所述图像增强处理包括平移、旋转和缩放。

作为优选的，基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，具体包括：

基于获取的周边车辆的位置信息及大小信息和相机参数信息，通过小孔成像原理算出与周边车辆的相对位置信息。

作为优选的，并基于毫米波雷达测距对所述相对位置信息进行修正，具体包括：

对同一时刻通过周边环境图像获取到的周边车辆的相对位置信息，以毫米波雷达获取的位置数据为基准进行修正；

若当前时刻毫米波雷达无位置数据，则以前一时刻通过周边环境图像获取的相对位置信息为基准进行修正。

作为优选的，还包括：

基于设定若干帧以内的相对位置信息分析判断自车与周边车辆的相对位置关系以及相对速度变化，并发送给车辆控制单元。

作为优选的，还包括：

每间隔设定时间段重新获取周边环境图像，以检测是否有新增的周边车辆出现。

第二方面，本发明实施例提供一种车辆检测跟踪装置，包括：

车辆检测模块，用于获取周边环境图像，并基于已训练的车辆检测模型检测跟踪周边车辆，获取周边车辆的位置信息和大小信息；

车辆跟踪模块，用于基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，并基于毫米波雷达测距对所述相对位置信息进行修正。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述车辆检测跟踪方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述车辆检测跟踪方法的步骤。

本发明实施例提供的一种车辆检测跟踪方法和装置，通过深度学习算法检测出周围车辆，获取其位置和大小信息，在训练阶段，通过对图像采用数据增强、前后景分离等手段，增加前景比例，排除环境干扰，提高跟踪效果，对检测出的物体进行了图像增强，扩充样本量，提升跟踪精度；同时采用和毫米波雷达融合的方式，提高测距精度，图像计算的距离和毫米波雷达测得的距离进行融合，既有毫米波雷达精确度高的优点，又有高速摄像头帧率高的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供的车辆检测跟踪方法流程框图；

图2为根据本发明实施例提供的车辆检测跟踪方法具体流程图；

图3为根据本发明实施例提供的设备实施例结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自动汽车在行驶过程中，需要对周边环境进行一个采样、处理及反馈的过程，以使得汽车行驶的状态能够应对周边环境，检测周围车辆并测距是无人自动驾驶中不可或缺的功能。目前主流的方法是采用单目摄像头采集数据，利用检测算法检测出车辆，再利用跟踪算法跟踪目标区域，大量缩短时间以达到实时检测效果。同时采用小孔成像原理，计算目标车辆的相对位置，过近时报警或者采取制动功能。该方法比较成熟，但在跟踪阶段，由于复杂环境的干扰，跟踪效果往往不佳，必须经常检测校正，同时单目测距的精度较差，也很难准确估计与周围车辆的距离。

因此，本发明实施例通过深度学习算法检测出周围车辆，获取其位置和大小信息，在训练阶段，通过对图像采用数据增强、前后景分离等手段，增加前景比例，排除环境干扰，提高跟踪效果，对检测出的物体进行了图像增强，扩充样本量，提升跟踪精度；同时采用和毫米波雷达融合的方式，提高测距精度，图像计算的距离和毫米波雷达测得的距离进行融合，既有毫米波雷达精确度高的优点，又有高速摄像头帧率高的特点。以下将通过多个实施例进行展开说明和介绍。

图1和图2为根据本发明实施例提供一种车辆检测跟踪方法，包括：

s11、获取周边环境图像，并基于已训练的车辆检测模型检测跟踪周边车辆，获取周边车辆的位置信息和大小信息；

s12、基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，并基于毫米波雷达测距对所述相对位置信息进行修正。

在本实施例中，结合图像处理跟踪和毫米波修正，首先通过获取的周边环境图像，提取其中的周边车辆，具体的，可以通过预先训练的车辆检测模型直接从周边环境图像周提取周边车辆，利用相机参数和周边车辆的位置信息和大小信息，基于小孔成像原理迅速计算出与各周边车辆的相对位置信息，包括相对距离，该步骤的相对位置信息计算速度可达数百帧每秒。

在本实施例中，作为一种可选的实施方式，将图像计算的距离和毫米波雷达测得的距离进行融合，既有毫米波雷达精确度高的优点，又有高速摄像头帧率高的特点，提高测距精度。同时利用毫米波雷达同步测量车辆的距离，对通过相机计算出的距离进行补偿更新。由于相机频率高于毫米波雷达，在毫米波雷达测量的间隙，依然能够通过相机计算出的距离掌握与周围车辆的相对位置和速度关系。

在上述各实施例的基础上，基于已训练的车辆检测模型检测跟踪周边车辆前，还包括：

获取周边车辆的图像信息并进行背景分割，分割出车辆区域图像，对所述车辆区域图像进行前景背景分离处理，得到车体部分图像；

对所述车体部分图像进行图像增强处理，以扩充车体部分图像样本，并基于所述车体部分图像样本进行机器学习，得到车辆检测模型。

在本实施例中，作为一种可选的实施方式，将车辆图像分割出来，对样本进行前景背景分离处理，然后利用图像增强的方式增加样本量，将扩充样本作为学习样本进行机器学习，利用追踪算法追踪车辆。通过数据增强和前景背景分离的方式，增加了目标样本数量，减小了图像噪声，有效地提高了目标追踪的精度。

在本实施例中，作为一种可选的实施方式，安装好相机后对相机进行棋盘格标定，获取相机的内外参数。利用yolov3深度学习算法，对相机拍摄的图像进行检测，获取周围车辆的位置和大小信息，将车辆区域的图像分割出来，进行前景背景分离处理，只保留车体部分，背景部分进行涂黑处理。对前后景分离完成的样本，通过平移、旋转、缩放的方法进行数据增强，扩充目标样本数量。在跟踪算法阶段，采用csr-dcf算法对扩充样本进行小规模的机器学习并跟踪目标。

在上述各实施例的基础上，所述图像增强处理包括平移、旋转和缩放。

在上述各实施例的基础上，基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，具体包括：

基于获取的周边车辆的位置信息及大小信息和相机参数信息，通过小孔成像原理算出与周边车辆的相对位置信息。

在本实施例中，作为一种可选的实施方式，利用检测和跟踪算法获取的车辆位置及大小信息，通过小孔成像原理迅速算出与车辆的相对距离，该速度可达数百帧每秒。由于相机频率高于毫米波雷达，在毫米波雷达测量的间隙，依然能够通过相机计算出的距离掌握与周围车辆的相对位置和速度关系。

本实施例中，基于图像与毫米波雷达融合的方式，在能够精确检测与周围车辆的前提下，提高了检测频率，可实时监控自车与周围车辆的相对位置和速度关系，提高了驾驶安全性。

在上述各实施例的基础上，并基于毫米波雷达测距对所述相对位置信息进行修正，具体包括：

对同一时刻通过周边环境图像获取到的周边车辆的相对位置信息，以毫米波雷达获取的位置数据为基准进行修正；

若当前时刻毫米波雷达无位置数据，则以前一时刻通过周边环境图像获取的相对位置信息为基准进行修正。

在本实施例中，作为一种可选的实施方式，同时利用毫米波雷达检测周围车辆位置信息。对同一时刻通过图像获取到的车辆位置信息以毫米波雷达的数据为基准进行修正，对毫米波雷达无信息时间段通过图像获取的位置信息，以前一时刻通过图像获取的位置信息为基准进行修正。图像与毫米波雷达融合的方式，在能够精确检测与周围车辆的前提下，提高了检测频率，可实时监控自车与周围车辆的相对位置和速度关系，提高了驾驶安全性,解决跟踪算法容易受环境干扰追踪效果不佳及测距不准的问题。

在上述各实施例的基础上，还包括：

基于设定若干帧以内的相对位置信息分析判断自车与周边车辆的相对位置关系以及相对速度变化，并发送给车辆控制单元。

在上述各实施例的基础上，还包括：

每间隔设定时间段重新获取周边环境图像，以检测是否有新增的周边车辆出现。

第二方面，本发明实施例提供一种车辆检测跟踪装置，基于上述各实施例中的车辆检测跟踪方法，包括：

车辆检测模块，用于获取周边环境图像，并基于已训练的车辆检测模型检测跟踪周边车辆，获取周边车辆的位置信息和大小信息；

车辆跟踪模块，用于基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，并基于毫米波雷达测距对所述相对位置信息进行修正。

图3示例了一种电子设备结构示意图，如图3所示，该服务器可以包括：处理器(processor)810、通信接口(communicationsinterface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：

获取周边环境图像，并基于已训练的车辆检测模型检测跟踪周边车辆，获取周边车辆的位置信息和大小信息；

基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，并基于毫米波雷达测距对所述相对位置信息进行修正。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述各实施例中所述车辆检测跟踪方法的步骤。例如包括：

获取周边环境图像，并基于已训练的车辆检测模型检测跟踪周边车辆，获取周边车辆的位置信息和大小信息；

基于相机成像原理和周边车辆的位置信息、大小信息获取与周边车辆的相对位置信息，并基于毫米波雷达测距对所述相对位置信息进行修正。

综上所述，本发明实施例提供的一种车辆检测跟踪方法和装置，通过深度学习算法检测出周围车辆，获取其位置和大小信息，在训练阶段，通过对图像采用数据增强、前后景分离等手段，增加前景比例，排除环境干扰，提高跟踪效果，对检测出的物体进行了图像增强，扩充样本量，提升跟踪精度；同时采用和毫米波雷达融合的方式，提高测距精度，图像计算的距离和毫米波雷达测得的距离进行融合，既有毫米波雷达精确度高的优点，又有高速摄像头帧率高的特点。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。