一种前车距离检测方法及系统与流程

本发明涉及距离检测技术领域，尤其涉及一种前车距离检测方法及系统。

背景技术：

随着经济的发展汽车的保有量也随之逐年增加，安全驾驶已成为一个不可忽视的问题，经统计分析汽车追尾事故占交通总事故的比例居高不下，而为了减少汽车追尾事故的发生，车距检测预警技术应运而生，其检测预警的原理是当车距过近触碰阈值时会对驾驶员进行碰撞提醒或者自动采取制动措施，以减少追尾事故的发生。

常用的车距检测预警技术包括两类，第一种为基于普通摄像头的视觉解决方案先进行目标识别，然后根据单目或双目测距算法得到前车距离并预警；第二种是通过毫米波雷达向前方区域发送电磁波并接收回波以测得前方物体的距离、速度和角度，得到前车距离并预警，这两种预警技术各有优劣，基于普通摄像头的解决方案成本较低，可以精准识别前车在视野中的位置，提供了更多的语义信息，但视觉解决方案的测距距离和测距精度远不如毫米波雷达，与之相反，毫米波雷达虽然测距精度高，但视野相对较窄，也不能返回任何语义信息，在二维空间中难以准确识别前车位置。可见，采用上述车距检测预警技术在测距精度和定位准确度上不能够同时兼得，已不能够满足日益发展的汽车技术的需要。

技术实现要素：

本发明的目的在于提供一种前车距离检测方法及系统，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题。

为了实现上述目的，本发明的一方面提供一种前车距离检测方法，包括：

采集本车前方视角的rgb图像和深度图像；

基于rgb图像识别其中的全部车辆，提取各车辆对应的宽高数据；

建立坐标系，提取rgb图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；

在rgb图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；

基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；

从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

可选地，采集本车前方视角的rgb图像和深度图像的方法包括：

利用安装在本车车头的深度摄像头同时采集前方视角的rgb图像和深度图像；或者，

利用安装在本车车头的2d摄像头采集前方视角的rgb图像，以及利用安装在本车车头的毫米波雷达/距离传感器采集前方视角的深度图像。

优选地，提取rgb图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框的方法包括：

以深度摄像头或者2d摄像头为原点在rgb图像中构建虚拟坐标系；

基于虚拟坐标系提取rgb图像中各车辆的左上角点坐标，并根据获取到对应车辆的宽高数据，在rgb图像中绘制包括所述车辆的矩形约束框。

较佳地，在rgb图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点的方法包括：

从rgb图像中选取深度摄像头或者2d摄像头的正前方梯形区域作为目标区域框；

选取目标区域框的中心点定义为靶点。

优选地，基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比的方法为：

采用交并比公式计算各车辆与目标区域的交并比iou，其中，car表示车辆的约束框面积，roi表示目标区域框面积。

优选地，基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离的方法包括：

采用归一化距离公式计算各车辆与目标区域框的归一化距离；

其中car.x表示约束框的中心点的横坐标值，car.y表示约束框的中心点的纵坐标值，target.x表示靶点的横坐标值，target.y表示靶点的纵坐标值，car.width表示对应车辆的宽数据，car.height表示对应车辆的高数据。

优选地，从各车辆对应的交并比和归一化距离数据中，筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距的方法包括：

分别统计rgb图像中各车辆对应的交并比iou和归一化距离dist_norm；

从rgb图像中筛选第一目标车辆集合大于高通阈值或者归一化距离dist_norm小于距离阈值的车辆，得到第一目标车辆集合；

从第一目标车辆集合中筛选出交并比iou大于低通阈值的车辆，得到第二目标车辆集合；

从第二目标车辆集合中筛选出交并比iou值最大的车辆输出为前车目标车辆，同时从深度图像中提取该车辆对应的车距输出为前车目标车辆车距。

进一步地，在筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距之后还包括：

对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；

对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。

与现有技术相比，本发明提供的前车距离检测方法具有以下有益效果：

本发明提供的前车距离检测方法中，通过安装在本车车头的图像采集单元实时采集本车前方视角的rgb图像和深度图像，其中，rgb图像中包括当前视角拍摄的所有车辆，深度图像能够提取rgb图像中各车辆与本车的车距信息，接着采用车辆检测算法识别rgb图像中的全部车辆，并对应提取各车辆的宽高数据，然后通过建立坐标系，定位rgb图像中各车辆左上角对应的横纵坐标，并将其与对应车辆的宽高数据匹配后在rgb图像中绘制各车辆的约束框，另外，rgb图像中本身预设有目标区域框，且目标区域框中筛选一固定点作为靶点，其中，目标区域框的设定一般选在本车的正前方，表示前车可能出现的区域，靶点则代表前车约束框中心点出现的期望位置，之后，对上述获取的数据进行特征计算，即基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离，统计分析后采用无监督前车筛选算法锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

可见，采用本发明提供的前车距离检测方法，采用的是rgb图像和深度图像相结合的方式能够准确定位rgb图像中各车辆的位置和距离，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题，另外，基于各车辆的交并比和归一化距离采用无监督前车筛选算法锁定前车目标车辆，同时结合深度图像输出前车目标车辆车距，实现了对前车距离的精准、快速检测。

本发明的另一方面提供一种前车距离检测系统，应用于上述技术方案所述的前车距离检测方法中，所述系统包括：

图像采集单元，用于采集本车前方视角的rgb图像和深度图像；

图像识别单元，用于基于rgb图像识别其中的全部车辆，提取各车辆对应的宽高数据；

约束框生成单元，用于建立坐标系，提取rgb图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；

目标区域选定单元，用于在rgb图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；

特征计算单元，用于基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；

筛选输出单元，用于从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

优选地，还包括运动滤波单元；

所述运动滤波单元用于对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；以及，

用于对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。

与现有技术相比，本发明提供的前车距离检测系统的有益效果与上述技术方案提供的前车距离检测方法的有益效果相同，在此不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例一中前车距离检测方法的流程示意图；

图2为本发明实施例二中前车距离检测系统的结构框图。

附图标记：

1-图像采集单元，2-图像识别单元；

3-约束框生成单元，4-目标区域选定单元；

5-特征计算单元，6-筛选输出单元；

7-运动滤波单元。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

图1为本发明实施例一中前车距离检测方法的流程示意图。请参阅图1，本实施例提供一种前车距离检测方法，包括：

采集本车前方视角的rgb图像和深度图像；基于rgb图像识别其中的全部车辆，提取各车辆在图像中对应的宽高数据；建立坐标系，提取rgb图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；在rgb图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

本实施例提供的前车距离检测方法中，通过安装在本车车头的图像采集单元实时采集本车前方视角的rgb图像和深度图像，其中，rgb图像中包括当前视角拍摄的所有车辆，深度图像能够提取rgb图像中各车辆与本车的车距信息，接着采用车辆检测算法识别rgb图像中的全部车辆，并对应提取各车辆的宽高数据，然后通过建立坐标系，定位rgb图像中各车辆左上角对应的横纵坐标，并将其与对应车辆的宽高数据匹配后在rgb图像中绘制各车辆的约束框，另外，rgb图像中本身预设有目标区域框，且目标区域框中筛选一固定点作为靶点，其中，目标区域框的设定一般选在本车的正前方，表示前车可能出现的区域，靶点则代表前车约束框中心点出现的期望位置，之后，对上述获取的数据进行特征计算，即基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离，统计分析后采用无监督前车筛选算法锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

可见，采用本实施例提供的前车距离检测方法，采用的是rgb图像和深度图像相结合的方式能够准确定位rgb图像中各车辆的位置和距离，解决了现有技术中的车距检测预警技术在测距精度和定位准确度上不能够同时兼得的问题，另外，基于各车辆的交并比和归一化距离采用无监督前车筛选算法锁定前车目标车辆，同时结合深度图像输出前车目标车辆车距，实现了对前车距离的精准、快速检测。

具体地，上述实施例中采集本车前方视角的rgb图像和深度图像的方法包括：

利用安装在本车车头的深度摄像头同时采集前方视角的rgb图像和深度图像；或者，利用安装在本车车头的2d摄像头采集前方视角的rgb图像，以及利用安装在本车车头的毫米波雷达/距离传感器采集前方视角的深度图像。

在具体实施的过程中，若选择深度摄像头，则采集到的本车前方视角的rgb图像和深度图像已自动完成匹配，也即从深度图像中可直接提取各车辆的车距，无需在深度摄像头安装时对其再次匹配调整；若选择2d摄像头和毫米波雷达/距离传感器的组合方案，在安装2d摄像头和毫米波雷达/距离传感器时，需对其进行专业的匹配校正，使其输出的rgb图像和深度图像能够匹配对应。示例性地，深度摄像头为英特尔realsense主动红外立体深度摄像头d435。

进一步地，上述实施例中建立坐标系，提取rgb图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框的方法包括：

以深度摄像头或者2d摄像头为原点在rgb图像中构建虚拟坐标系；基于虚拟坐标系提取rgb图像中各车辆的左上角点坐标，并根据获取到对应车辆的宽高数据，在rgb图像中绘制包括所述车辆的矩形约束框。具体实施时，由于车辆左上角点坐标是可以获取的，且车辆的宽高数据也是已知的，因此基于车辆左上角点，以车辆在图像中的宽作为矩形约束框的宽，以车辆在图像中的高作为矩形约束框的长，可快速的在rgb图像中绘制出车辆所对应的矩形约束框。

另外，上述实施例中基于rgb图像识别其中的全部车辆，提取各车辆对应的宽高数据的方法为：

采用预训练的车辆检测模型获取rgb图像中的全部车辆，并识别其中各车辆的宽高数据，其中，车辆检测模型采用的是现有的目标检测算法利用coco数据集训练得到的，例如fasterrcnn、ssd、yolo等目标检测算法，需要说明的是，由于本实施例采用的车辆检测模型为本领域公知的模型训练技术，本实施例在此不再对其进行赘述。

优选地，上述实施例中在rgb图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点的方法包括：从rgb图像中选取深度摄像头或者2d摄像头的正前方梯形区域作为目标区域框；选取目标区域框的中心点定义为靶点。当然在实际操作过程中，也可根据工程师的经验对目标区域框和靶点的设置进行微调，例如，当深度摄像头安装在车头左前方时，目标区域框和靶点可选择设置在rgb图像中部偏左的位置。

示例性地，上述实施例中基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比的方法为：

采用交并比公式计算各车辆与目标区域的交并比iou，其中，car表示车辆的约束框面积，roi表示目标区域框面积。

基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离的方法包括：

采用归一化距离公式计算各车辆与目标区域框的归一化距离；

其中car.x表示约束框的中心点的横坐标值，car.y表示约束框的中心点的纵坐标值，target.x表示靶点的横坐标值，target.y表示靶点的纵坐标值，car.width表示对应车辆的宽数据，car.height表示对应车辆的高数据。

具体实施时，通过交并比公式和归一化距离公式可分别计算出各车辆对应的交并比和归一化距离，进而可以从得到的这些数据中采用无监督前车筛选算法锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

上述实施例所述的无监督前车筛选算法如下：

分别统计rgb图像中各车辆对应的交并比iou和归一化距离dist_norm；

从rgb图像中筛选第一目标车辆集合大于高通阈值或者归一化距离dist_norm小于距离阈值的车辆，得到第一目标车辆集合；

从第一目标车辆集合中筛选出交并比iou大于低通阈值的车辆，得到第二目标车辆集合；

从第二目标车辆集合中筛选出交并比iou值最大的车辆输出为前车目标车辆，同时从深度图像中提取该车辆对应的车距输出为前车目标车辆车距。

需要说明的是，上述实施例除了可以采用无监督前车筛选算法定位前车目标车辆，也可以采用神经网络前车筛选算法定位前车目标车辆，具体方法为：

通过事先训练生成带标注的训练样本集s＝{xi,yi}筛选前车目标车辆，其中，xi表示车辆特征，包括了三个维度向量，分别为交并比iou、归一化距离dist_norm和与本车的车距，yi表示前车目标车辆筛选结果，yi会根据xi中的三个维度向量值，自动输出识别结果，例如，当yi输出为1时则表示该车辆是前车目标车辆，当yi输出为0时则表示该车辆不是前车目标车辆，分类器可以选择不同的神经网络框架对样本集进行训练，神经网络框架可以为alexnet、vgg等，由于基于神经网络前车筛选算法训练样本集为本领域技术人员常用的技术手段，故本实施例再次不对其进行赘述。

进一步地，上述实施例中在筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距之后还包括：

对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。

需要说明的是，由于目标检测算法的精度并非100％，会因一些前后帧跳变的孤立噪点导致一定的误检率，而孤立噪点可以利用中值滤波过滤平滑掉。其中，中值滤波是常用的时序滤波算法，因目标检测算法误检所造成的孤立噪声类似椒盐噪声，呈现出脉冲的特性，采用中值滤波可对其进行去除，即在以当前时刻为中心的长度为tn的时间窗口中，对前车目标车辆车距排序后选择中位数作为当前时刻的滤波后距离，示例性地，tn一般设为5效果比较好。

因相邻车道干扰等因素导致的筛选误差时有发生，现有通过阈值比较法对上述干扰因素进行过滤，会存在较大的误筛选概率，经过实验发现，该误筛选在检测结果中表现为一段维持时间为te的孤立窗口(区别于中值滤波中的噪点)，同时该孤立窗口前后时刻的值近似连续。通过异常窗口检测对孤立窗口前后的前车目标车辆车距采用三阶多项式函数拟合，并用该函数的插值计算结果代替孤立窗口内的值，从而实现对上述干扰因素的精准过滤。

经过了中值滤波与异常窗口检测，由rgb图像识别所造成的视觉误差已经基本消除，而由深度图像测量导致的测量误差，本实施例采用卡尔曼滤波来消除。卡尔曼滤波是一种最优化自回归数据处理算法，在一个状态近似线性变化、测量结果受高斯噪声干扰的动态系统中，该回归数据处理算法在状态转移方程和测量方差均已知的情况下对测量值进行滤波，被广泛应用于机器人导航、控制、传感器数据融合、雷达导弹追踪、以及计算机图形处理领域。卡尔曼滤波的状态转移方程如下所示：

x(k)＝ax(k-1)+bu(k)+w(k)

x(k)表示k时刻系统的状态变量，即为本实施例中的前车目标车辆车距和前车目标车辆车速，a是状态转移矩阵，采用简单的一阶恒速度模型可得出，bu(k)表示外部控制项，w(k)是由于其他未知干扰而引起的状态变化，在没有更多信息的情况下，我们仍以已知方差的高斯噪声替代，方差设置的越大，代表我们对该状态方程的信心越小，即认为前车距离的运动随机程度较高。

具体实施时，误检和漏检所维持的时间窗口约为1-15帧，呈现出类似峰值噪声的性质，本实施例通过对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，能够去除误检漏检噪声，提高前车目标车辆筛选的准确度，对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距，能够保证输出的前车车距的测量精度。

实施例二

请参阅图1和图2，本实施例提供一种前车距离检测系统，包括：

图像采集单元1，用于采集本车前方视角的rgb图像和深度图像；

图像识别单元2，用于基于rgb图像识别其中的全部车辆，提取各车辆对应的宽高数据；

约束框生成单元3，用于建立坐标系，提取rgb图像中各车辆左上角对应的横纵坐标，将其与对应车辆的宽高数据匹配后绘制各车辆的约束框；

目标区域选定单元4，用于在rgb图像中预设一目标区域框，并在目标区域框中选择一固定点作为靶点；

特征计算单元5，用于基于各车辆的约束框面积和目标区域框面积，对应计算各车辆与目标区域的交并比，以及基于各车辆的宽高数据、约束框的中心点坐标和靶点坐标，对应计算各车辆与目标区域框的归一化距离；

筛选输出单元6，用于从各车辆对应的交并比和归一化距离数据中筛选锁定前车目标车辆，并结合深度图像得到前车目标车辆车距。

进一步地，还包括运动滤波单元7；

所述运动滤波单元用于对输出的前车目标车辆依次进行中值滤波和异常窗口检测处理，去除误检漏检噪声；以及，

用于对输出的前车目标车辆的车距进行卡尔曼滤波去除，输出优化后的前车目标车辆车距。

与现有技术相比，本发明实施例提供的前车距离检测系统的有益效果与上述实施例一提供的前车距离检测方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。