一种基于路端单目摄像头的目标实时测距方法与流程

本发明属于目标测距技术领域，具体涉及一种基于路端单目摄像头的目标实时测距方法。

背景技术：

目前大多数的目标测距都是基于车端，即在自身车辆顶端或前端安装小型雷达，对前方或侧前方的其他目标进行短距离模糊测距，比如倒车防撞雷达。对于路端而言，目标测距有着很大的发展空间，是目标测速的前提依据，也是实现车路协同的重要基础。但目前路端目标测距的系统还不成熟，虽然雷达具有体积、重量轻、测量精确且稳定的优点，但由于价格昂贵而往往无法得到普及；而双目摄像头测距法由于算法复杂，在应用上有许多限制。并且在摄像头存在一定俯仰角的情况，目标测距问题一直没有得到解决。

技术实现要素：

本发明的目的在于提供一种基于路端单目摄像头的目标实时测距方法，该方法检测速度快，准确度高，实现简单。

为实现上述目的，本发明采用的技术方案是：一种基于路端单目摄像头的目标实时测距方法，包括以下步骤：

步骤s1：获取用于网络训练的带有目标信息标签的图像，形成训练数据集；

步骤s2：将训练数据集中的图像缩放到合适的尺寸；

步骤s3：搭建用于目标检测的深度神经网络，并将经过步骤s2处理后的训练数据集中图像输入到深度神经网络进行训练，得到训练好的深度神经网络；

步骤s4：在路端安装焦距为f的单目摄像头，测量出其安装高度h，然后计算所述单目摄像头的俯仰角θc；

步骤s5：通过安装的单目摄像头采集视频图像；

步骤s6：将采集到的视频图像输入训练好的深度神经网络中，输出检测到的目标框在图像中的坐标(x1，y1，x2，y2)，其中(x1，y1)为目标框左上角的顶点坐标，(x2，y2)为目标框右下角的顶点坐标，获取目标底部到图像底部的距离d；

步骤s7：根据如下的投影公式进行目标测距，得到目标到单目摄像头的水平距离d：

进一步地，所述步骤s1中，从kitti官网获取用于网络训练的图像及其对应的目标信息标签文件，形成训练数据集。

进一步地，所述步骤s4具体包括以下步骤：

步骤s41：将焦距为f的单目摄像头安装在路端上，对其进行初始化，并测量出所述单目摄像头离地面的安装高度h；

步骤s42：采集地面图像，经过图像处理获取平行车道线，计算出所述单目摄像头的俯仰角θc。

进一步地，所述步骤s42具体包括以下步骤：

步骤s421：利用安装好的单目摄像头采集地面图像f；

步骤s422：先对采集到的地面图像f进行预处理，将rgb图像转为灰度图，再通过滤波去除椒盐噪声干扰，然后进行图像二值化，接着使用canny算子提取图像中的边缘，而后采用开运算操作处理图像，去除小边缘，最后在限定角度上用hough算法提取平行车道线；

步骤s423：根据两条平行车道线消隐点在图像上的投影点，即检测到的平行车道线在图像中的交点(u，v)和图像中心点(cx，cy)，计算得到固定的单目摄像机的俯仰角为

进一步地，所述步骤s6具体包括以下步骤：

步骤s61：将步骤s5采集到的视频序列拆分成图像序列，图像的高度为h；

步骤s62：将图像序列输入到步骤s3训练好的深度神经网络中进行目标检测，输出检测到的目标框在图像中的坐标(x1，y1，x2，y2)；

步骤s63：提取目标回归框底部的纵坐标y2，计算目标底部到图像底部的距离d＝h-y2。

进一步地，所述步骤s7中，投影公式的计算方法为：

已知单目摄像头的焦距f、安装高度h、俯仰角θc以及目标所在图像的高度h和图像中目标底部到图像底部的距离d，则有：

d＝h·tan(θv)＝h·tan(90-θc+β)

其中，θv表示目标与单目摄像头所在位置的连线与竖直方向的夹角，β表示目标与单目摄像头所在位置的连线与单目摄像头中心线的夹角；

进而得到投影公式如下：

相较于现有技术，本发明具有以下有益效果：该方法单纯利用安装于路端的单目摄像头和几何投影信息，不依靠其它设备就能进行准确地对目标实施测距，具有准确度高、检测速度快、对设备依赖少、实现简单等优点，能够有效解决实际环境中目标测距的问题。本发明为目标测距提供了新思路，可移植性强，可广泛应用于需要进行测距的领域，具有很强的实用性和广阔的应用前景。

附图说明

图1是本发明实施例的方法实现流程图。

图2是本发明实施例中单目摄像机几何投影目标测距示意图。

图3是本发明实施例中从kitti官网获取的部分图像示意图。

图4是本发明实施例中从kitti官网获取的部分标签文件示意图。

图5是本发明实施例中提取平行车道线的实现流程图。

图6是本发明实施例中通过提取到的平行车道线计算单目摄像头俯仰角的示意图。

图7是本发明实施例中通过几何投影关系计算得到各个车辆与摄像机水平距离的示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供一种基于路端单目摄像头的目标实时测距方法，作用是在路端场景下使用单目摄像头对检测出来的目标进行测距，本实施例中以车辆作为目标进行举例，但不局限于车辆。本发明首先用kitti数据集训练一个用于车辆目标检测的深度神经网络；然后将焦距已知的单目摄像头安装在路端，测量出安装高度后，初始化得到俯仰角；接着用固定好的单目摄像头采集视频序列；而后将其输入到训练好的深度神经网络中得到图像中车辆底部与图像最底端的距离；最后利用几何投影关系计算出识别出的车辆与摄像头之间的水平距离。该方法除了单目摄像头外，不需要额外的设备就能实现高精度的车辆实时测距，原理简单且实现方便。特别的，本实施例涉及深度神经网络搭建与训练模块、路端单目摄像头安装与初始化模块、视频序列采集模块、车辆目标检测结果处理模块和几何投影关系测距模块。

深度神经网络搭建与训练模块先从kitti官网上下载数据集和对应的标签网络，然后选取合适的框架搭建深度学习网络架构，接着基于车辆目标检测对数据集进行训练，最后保存训练好的网络架构和权重参数。

路端单目摄像头安装与初始化模块是将视场角已知的摄像头固定安装后，测量其垂直距离，即安装高度，并通过初始化采集图像计算出俯仰角。

其中俯仰角计算是通过检测出平行车道线计算的，首先将初始化采集的图像进行图像处理操作，具体包括图像灰度化、中值滤波去除椒盐噪声、图像二值化、canny算子提取边缘、开运算操作去除小块面积、hough算法提取平行车道线，然后通过平行车道线在平面内的消隐点计算出固定摄像头的俯仰角。

视频序列采集模块是使用固定的路端单目摄像头对路况交通进行视频拍摄保存。

车辆目标检测结果处理模块是将采集到的视频序列转换为有序的图像序列，将其输入到训练好的深度神经网络中，输出车辆目标在图像中的位置，同时计算图像中车辆底部离图像最底端的像素距离。

几何投影关系测距模块是通过摄像头小孔成像原理，根据先前步骤已知的参数计算各个车辆与摄像头的水平距离，实现车辆测距。

本发明基于路端单目摄像头的目标实时测距方法的实现流程如图1所示，其中，图1(a)为深度神经网络的训练过程，图1(b)为基于单目摄像头的目标测距过程。该方法具体包括以下步骤：

步骤s1：获取用于网络训练的带有目标信息标签的图像，形成训练数据集。

在本实施例中，从kitti官网上获取7481张带有车辆信息标签的图像，形成训练数据集。获取的部分图像如图3所示，其对应的标签文件如图4所示。

步骤s2：将训练数据集中的图像缩放到设定的尺寸。

步骤s3：搭建基于resnet-18的深度神经网络，用于目标检测，并将经过步骤s2处理后固定尺寸的图像和对应的标签文件输入到深度神经网络进行训练，训练结束后保存网络架构和各项权重值，得到训练好的深度神经网络。

该网络的实现具体可参考fasterr-cnn网络框架(rens，hek，girshickr，etal.fasterr-cnn：towardsreal-timeobjectdetectionwithregionproposalnetworks[c].advancesinneuralinformationprocessingsystems.2015：91-99.)。

步骤s4：在路端安装焦距为f的单目摄像头，测量出其安装高度h，然后计算所述单目摄像头的俯仰角θc。具体包括以下步骤：

步骤s41：将焦距为f的单目摄像头安装在路端上，对其进行初始化，并测量出所述单目摄像头离地面的安装高度h。

步骤s42：采集地面图像，经过图像处理获取得到如图6所示的平行车道线，计算出所述单目摄像头的俯仰角θc。

如图5所示，在本实施例中，步骤s42具体包括以下步骤：

步骤s421：利用安装好的单目摄像头采集地面图像f；

步骤s422：先对采集到的地面图像f进行预处理，将rgb图像转为灰度图，再通过滤波去除椒盐噪声干扰，然后进行图像二值化，接着使用canny算子提取图像中的边缘，而后采用开运算操作处理图像，去除小边缘，最后在限定角度上用hough算法提取平行车道线，图6中的直线即提取到的平行车道线；

步骤s423：根据两条平行车道线消隐点在图像上的投影点(u，v)(即检测到的平行车道线在图像中的交点，即图6中上侧的实心点)和图像中心点(cx，cy)(即图6中下侧的实心点)，计算得到固定的单目摄像机的俯仰角为

步骤s5：通过安装的单目摄像头采集视频图像。

步骤s6：将采集到的视频图像输入训练好的深度神经网络中，输出检测到的目标框在图像中的坐标(x1，y1，x2，y2)，其中(x1，y1)为目标框左上角的顶点坐标，(x2，y2)为目标框右下角的顶点坐标，获取目标底部到图像底部的距离d。具体包括以下步骤：

步骤s61：将步骤s5采集到的视频序列拆分成图像序列，图像的高度为h；

步骤s62：将图像序列输入到步骤s3训练好的深度神经网络中进行目标检测，输出检测到的目标框在图像中的坐标(x1，y1，x2，y2)；

步骤s63：提取目标回归框底部的纵坐标y2，计算目标底部到图像底部的距离d＝h—y2。

在图像采集成像领域，建立的坐标是以图像左上角为原点(0，0)，横坐标从左往右递增，纵坐标从上往下递增，因此，目标框底部到图像底部的距离，是用图像的高度减去目标框底部的纵坐标。

步骤s7：根据如下的投影公式进行目标测距，得到目标到单目摄像头的水平距离d：

其中，投影公式的计算方法为：

如图2所示，已知单目摄像头的焦距f、安装高度h、俯仰角θc以及目标所在图像的高度h和图像中目标底部到图像底部的距离d，则有：

d＝h·tan(θv)＝h·tan(90-θc+β)

其中，θv表示目标与单目摄像头所在位置的连线与竖直方向的夹角，β表示目标与单目摄像头所在位置的连线与单目摄像头中心线的夹角；

进而得到投影公式如下：

最后的实际测距效果如图7所示，从图中可以看出，安装在路端的单目摄像头能够通过图像进行精确测距，验证了本发明的实用性。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。