面向压路机施工过程的障碍物识别测距系统及方法与流程

本发明涉及一种障碍物识别测距系统及方法，具体涉及一种面向压路机施工过程的障碍物识别测距系统及方法。

背景技术：

机器视觉是利用视觉传感器获取图片并利用图像处理系统进行各种测量和判断，是计算机学科的一个重要分支，综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。

在自动驾驶系统的研究中，目标检测与测距是自动驾驶系统的重要组成部分，直接影响了整个系统的安全性和可靠性，因此对其实时性以及准确性提出了较高的要求。而相对于汽车的自动驾驶系统来说，压路机施工环境要素相对较少，需识别的障碍物包括施工人员、车辆、设施等。然而，施工区域内障碍物识别准确性要求高，障碍物检测与测距的准确性将直接影响施工过程的安全性。现有的目标测距技术大致可以分为两类，一类是基于视觉的目标测距方法，利用摄像头等图像传感器获取图像数据计算目标距离，常用的是双目测距方法；另一类是利用毫米波雷达、激光雷达、超声波、红外线等传感器直接进行距离测量。其中，超声波、红外线测距由于其在复杂环境下的适应性与稳定性较低，因此在自动驾驶系统中的应用不多。毫米波雷达在现有自动驾驶系统中运用较多，但其成本较高。而单独依靠双目摄像头或者激光雷达进行测距，存在易受外界复杂环境影响，导致测量精度较低等问题。中国cn104966064a提出了一种基于视觉的前方行人测距方法，该方法中单独依靠图像数据实现前方行人测距，对图像处理技术要求严格，测量精度也受到图像处理技术的限制；中国专利2903176u提出了一种激光辅助机器视觉测距装置，在该装置中使用的是激光点源发射装置，虽然在一定程度上减小了计算量，提高了响应速度，但其测量精度不能满足施工过程要求。

技术实现要素：

发明目的：本发明的目的是提供一种面向压路机施工过程的障碍物识别测距系统及方法，解决碍物识别不准，测量精度低的问题。

技术方案：本发明所述的面向压路机施工过程的障碍物识别测距系统，包括嵌入式工控机，压路机的驾驶舱顶部四周设置有工业相机，压路机的前侧与后侧分别设置激光雷达，所述工业相机和激光雷达均与工控机电连接，所述工业相机和激光雷达之间通过ros系统建立节点间通信。

其中，所述激光雷达为16线激光雷达。

本发明所述的面向压路机施工过程的障碍物识别测距系统的测距方法，包括以下步骤：

(1)采集压路机施工行进方向图像数据和激光点云数据，利用相机激光联合标定方法，获得激光和相机之间的转移矩阵；

(2)由压路机行进方向的控制信号开启激光雷达与相机，利用图像检测方法对图像数据实时在线目标检测，获得障碍物图像位置信息与类别信息；

(3)对步骤(1)中得到的点云数据进行滤波处理，投影到相机采集的图像中，获得对应的像素位置，并根据障碍物在图像中的检测边界，确定目标的三维点云数据；

(4)通过工作的激光雷达和压路机行进方向前侧轮之间的位置关系，利用获取的障碍物对应点云计算其相对压路机距离。

其中，所述步骤(1)中相机标定采用张正友标定算法，得到相机的内参矩阵，相机与激光间标定通过标记点匹配方法，即记录视频关键帧以及其对应激光点云数据中相应的若干特征点坐标，采用梯度下降法求解出特征点间的最优转换矩阵。所述步骤(2)具体为：先利用标定后的工业相机采集大量压路机施工区域的图像数据，制作深度神经网络模型训练数据集，标记图像中障碍物的像素坐标以及障碍物种类，然后通过深度学习对压路机施工环境数据集进行模型训练，利用输出模型实现多目标的实时检测，通过ros节点发布障碍物的像素坐标以及类别信息。所述步骤(3)中具体为：首先通过移除地面反射点云数据对点云数据进行滤波处理，然后根据步骤(1)所得的转换坐标矩阵，建立三维点云数据坐标与二维图像坐标转换关系将点云数据投影到二维图像上。所述步骤(4)具体为：首先将点云数据通过坐标转换投影到对应的图像帧中，提取图像帧中相应的障碍物检测框内的点云数据坐标，然后根据激光雷达的安装角度，对提取的点云坐标进行坐标转换，.进而确定激光雷达和压路机行进方向前侧轮之间的位置关系，获得障碍物相对压路机距离。

有益效果：本发明融合图像与点云数据，实现压路机施工过程中的障碍物识别测量，该系统具有施工环境全覆盖、目标识别准确率高、障碍位置测量精度高、实时性优、抗干扰能力强的特点，适合无人压路机施工作业。

附图说明

图1为本发明的系统结构示意图；

图2为本发明测距方法流程示意图；

图3为本发明障碍物距离解算示意图。

具体实施方式

下面结合附图对本发明进行进一步说明。

如图1-3所示，面向压路机施工过程的障碍物识别测距系统，包括两台16线激光雷达、四台工业相机和一台接入压路机施工指令的嵌入式工控机。压路机1的驾驶舱内架设工控机2，在压路机的驾驶舱顶部四周安装用于获取压路机施工区域图像信息的工业相机3，压路机1的前侧与后侧分别设置16线激光雷达4。相机与激光雷达分别通过工控机的扩展网口与工控机连接，相机与激光雷达之间通过robotoperatingsystem(ros)系统建立节点间通信。

采用该系统测距的方法，首先通过系统采集压路机行进方向图像数据和激光点云数据，利用相机激光联合标定方法，获得激光和相机之间的转移矩阵。其次，由压路机行进方向的控制信号开启前/后向的激光雷达与相机，利用图像检测方法对图像数据实时在线目标检测，获得障碍物图像位置信息与类别信息。然后，将通过滤波处理的点云数据投影到图像中，获得对应的像素位置，并根据障碍物在图像中的检测边界，确定目标的三维点云数据。最后，通过工作的激光雷达和压路机行进方向前侧轮之间的位置关系，利用获取的障碍物点云数据，计算其相对压路机距离。相机标定采用张正友标定算法，得到相机的内参矩阵，相机与激光间标定通过标记点匹配方法，即记录图像关键帧以及其对应激光点云数据中相应的若干特征点坐标，采用梯度下降法求解出特征点间的最优转换矩阵。其中相机与激光雷达间的数据融合的过程，主要包括图像数据与激光点云数据同步，根据时间戳同步图像与点云数据；点云数据滤波处理，移除地面反射点云数据；.根据相机与激光雷达联合标定所得的转换坐标矩阵，建立三维点云数据坐标与二维图像坐标转换关系。压路机行进方向上障碍物的测距方法，主要包括：将点云数据通过坐标转换投影到对应的图像帧中；提取视频帧中相应的目标检测框内的点云数据坐标；根据激光雷达的安装角度，对提取的点云坐标进行坐标转换；确定激光雷达和压路机行进方向前侧轮之间的位置关系，获得障碍物相对压路机距离。

其中，相机的标定包括以下步骤具体为：

a.制作方格数量为5×7的棋盘格标定板，其中每个方格大小为10cm×10cm；

b.通过相机采集多张不同角度下的棋盘格图像，采用张正友标定算法计算出相机内部参数；

其标定原理为图像上一个像素点坐标为m＝(u，v)^t，其对应的标定板上某一点的空间坐标为m＝(x，y，z)^t，它们对应的齐次坐标分别为则满足下列关系式：

式1-1中，r，t分别表示相机的旋转矩阵和平移矩阵，即为相机的外参数矩阵；s为尺度因子；k为相机的内参数矩阵，其中fx，fy为相机焦距，cx，cy为相机的主点。

假设世界坐标系xy平面与标定板平面重合，即z＝0，则对于标定板上的点存在下列关系：

由式1-2可得，单应变换矩阵为h＝k·[r1r21]。张正友标定法的标定过程为：首先根据单应变换求得相机的内参数矩阵，然后根据旋转向量之间的正交归一化关系计算相机的外参数矩阵，最后根据畸变模型求得相机镜头的畸变参数k1，k2，k3，p1，p1。

c.根据相机内参数矩阵以及畸变参数调整图像数据，获取畸变校正图像数据。

采用两台16线激光雷达采集施工区域内的激光点云数据，利用相机激光雷达联合标定方法，获得激光雷达和相机之间的转移矩阵，该过程具体包括以下步骤：

首先选取图像的关键帧以及与其对应的点云数据，找出关键帧与对应的点云数据中的若干特征点，记录特征点i的像素坐标(ui，vi)以及点云坐标(xi，yi，zi)，则对应点的坐标应满足下列关系式

式1-3中，即为所求的转换矩阵。对若干个特征点采用梯度下降法得出最优转换矩阵，因此引入下列损失函数：

argmin||p(rx+t)-p||²(1-4)

式1-4中，p表示在图像平面上从3d到2d的投影操作，x表示特征点的3d点云坐标，p表示特征点在2d图像中的像素点坐标。

采用图像检测方法实现压路机施工过程中障碍物的识别，该过程具体包括以下步骤：

a.利用标定后的工业相机采集大量压路机施工区域的图像数据，制作深度神经网络模型训练数据集，标记图像中障碍物的像素坐标以及障碍物种类；

b.通过深度学习对压路机施工环境数据集进行模型训练，常用的目标检测深度神经网络包括yolo、sdd、r-cnn、fasterr-cnn等网络模型结构，利用输出模型实现多目标的实时检测，通过ros节点发布检测目标的像素坐标(umin，vmin，umax，vmax)以及目标类别信息，包括施工人员、施工车辆、施工装备等。

实现施工区域内障碍物的距离测量具体包括以下步骤：

a.建立三维点云数据坐标与二维图像坐标间映射关系，将点云数据通过坐标转换投影到对应的图像帧中：

b.通过ros订阅对应图像帧中障碍物检测的像素坐标(umin，vmin，umax，vmax)以及该目标类别信息；

c.若umin≤u≤umax且vmin≤v≤vmax，则提取该点云坐标(xi，yi，zi)；

d.解算障碍物相对压路机距离，如图3所示，假设激光雷达的安装角度为α，oxyz坐标系激光雷达坐标系，o’x’y’z’坐标系中z轴垂直于地平面，且原点o’与原点o重合，oxyz坐标系中点i的坐标为(xi，yi，zi)，对应的在o’x’y’z’坐标系下的坐标(x′i，y′i，z′i)，则：

压路机行进方向前侧沿到激光雷达坐标系原点o的距离为d(x方向)，则障碍物到压路机行进方向前侧轮的距离d为：

θ＝tan^-1(y′i/x′i)(1-8)

式中n表示障碍物检测框内包含的点云数，θ为x′i与y′i之间的夹角。