基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法

1.本发明涉及巷道顶板支护技术领域，尤其涉及一种基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法。


背景技术：

2.煤矿智能化建设是实现煤炭开采少人化、无人化的必由之路。目前掘进智能化仍处于起步阶段，普遍存在采掘失衡、掘支失衡问题，严重影响煤炭的安全高效生产。其中，巷道顶板支护所用时间约占掘进作业时间的一半以上，掘进快而支护慢已成为巷道掘进速度提高的瓶颈。为了提高煤矿井下掘进速度，首先要解决的就是巷道的顶板支护问题。当前大多数煤矿掘进巷道顶板支护仍需要工人手动作业，不仅支护效率低、工人劳动强度大，而且人工钻孔成孔效果差，影响锚固质量。唯有实现支护过程自动化，自动钻锚机器人代替人工钻锚作业，才能提高煤矿井下掘进效率。钻孔识别是实现自动钻锚的核心技术问题。井下环境恶劣、光照条件差，尤其针对地质条件较差的煤矿，还需要利用锚梁支护即钢带+锚网配合锚杆实现锚固，锚护孔位识别更加困难。因此，如何实现巷道顶板支护钢带钻孔的精确识别与定位是实现掘进巷道全自动支护亟需解决的关键技术问题。
3.专利202011315046.4提供了一种基于单目视觉的锚护用钢带钻孔与锚网识别方法及装置，其通过在锚杆钻机钻架前段设置单目视觉系统，采集当前巷道顶板视觉图像，通过图像检测算法识别钻孔位置，然后计算钻孔与锚网实际位置，为锚杆钻机生成钻孔目标方位信息。专利202210465629.8提供了一种基于激光扫描仪的矿井巷道顶板钢带钻孔的定位方法和系统，通过激光扫描仪对巷道顶板钢带进行采样得到采样云点信息，采用点云分割算法提取钻孔边界点云，通过椭圆聚类拟合计算得到锚孔中心三维坐标，传输给钻臂控制系统进行锚杆支护作业。
4.综上，目前针对煤矿井下钻锚机器人进行锚护作业时，识别巷道顶板支护钢带的孔位方法主要是基于单目视觉或者激光扫描实现的。单目视觉方法主要是通过视觉系统采集图像经过图像目标检测算法获得目标孔位的图像坐标信息，这种方法的缺点是易受环境干扰，煤矿井下环境复杂，光照度低、粉尘浓度大，容易造成图像识别不准，可靠性低，而且单目视觉识别无法获得目标深度信息，不能获取准确的位置信息。激光扫描方法主要是通过激光扫描仪或激光雷达获取目标三维激光点云数据，对点云数据经过算法提取可以获得目标三维位置信息，但是这种方法的缺点是点云数据量单一，而且具有稀疏性和不规则性，无法获得目标的外观特征信息，难以实现目标准确检测。


技术实现要素：

5.为解决上述技术问题，本发明提供一种基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法。本发明的技术方案如下：
6.一种基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法，钻锚机器人的钻臂前端安装有工业相机与激光雷达的组合传感系统，所述方法包括以下步骤：
7.s1，通过工业相机采集当前位置的巷道顶板支护钢带视觉图像，利用图像目标检测算法确定钻孔视觉检测结果；
8.s2，通过激光雷达扫描当前位置巷道顶板获得三维激光点云数据，利用点云数据处理算法提取得到钻孔边界点云；
9.s3，利用激光雷达和工业相机联合标定外参矩阵将钻孔边界点云投影至工业相机的像素坐标系下，得到二维点云数据；
10.s4，将投影得到的二维点云数据与钻孔视觉检测结果进行关联，保留正确的钻孔检测结果，并融合钻孔检测结果得到钻孔的三维坐标信息。
11.可选地，所述s1在利用图像目标检测算法确定钻孔视觉检测结果时，包括如下步骤：
12.s11，获取工业相机在不同位置、不同角度采集的巷道顶板支护钢带钻孔图像，构建钻孔图像数据集，对钻孔图像数据集进行钻孔标注，构建完整的神经网络训练数据集；
13.s12，采用神经网络训练数据集对fasterrcnn图像目标检测网络进行训练，获得网络权重文件，得到钻孔图像识别网络模型；
14.s13，将巷道顶板支护钢带视觉图像输入钻孔图像识别网络模型，得到巷道顶板支护钢带视觉图像上钻孔的矩形检测框并计算得到矩形检测框中心点像素坐标。
15.可选地，所述s2在利用点云数据处理算法提取得到钻孔边界点云时，包括如下步骤：
16.s21，采用体素滤波器对三维激光点云数据进行滤波处理，去除噪声点和离群点，得到滤波后的三维激光点云数据；
17.s22，通过ransac算法对滤波后的三维激光点云数据进行拟合平面剔除顶板背景点云和钻孔内部点云，保留钢带点云数据；
18.s23，利用点云法线估计方法对钢带点云数据进行边界提取，得到钢带边界点云和钻孔边界点云；
19.s24，利用kd树算法对钢带边界点云和钻孔边界点云进行聚类分割，得到钻孔边界点云。
20.可选地，所述s3在利用激光雷达和工业相机联合标定外参矩阵将钻孔边界点云投影至工业相机的像素坐标系下时，包括如下步骤：
21.s31，将激光雷达和工业相机的安装位置固定，并调整工业相机和激光雷达采集频率一致，保证采样数据空间时间一致性；
22.s32，利用工业相机标定算法计算工业相机内参矩阵，利用激光雷达和工业相机联合标定算法求得外参矩阵，外参矩阵包括旋转矩阵和平移矩阵；
23.s33，利用旋转矩阵、平移矩阵和工业相机内参矩阵将激光雷达得到的钻孔边界点云投影至工业相机的像素坐标系下。
24.可选地，所述s4在将投影得到的二维点云数据与钻孔视觉检测结果进行关联，保留正确的钻孔检测结果，并融合钻孔检测结果得到钻孔的三维坐标信息时，包括如下步骤：
25.s41，将钻孔视觉检测结果中钻孔的矩形检测框与二维点云数据进行匹配关联，若二维点云数据中不少于80％的点都落在任一矩形检测框内，则判定关联正确，该矩形检测框及边界点云均为钻孔检测结果，可执行下一步；否则判定关联不正确，则放弃本次融合等
待下一次检测结果；
26.s42，将该矩形检测框内所有点云反向投影到相机坐标系，计算得到其平均深度值作为钻孔相对于工业相机的深度值，然后将矩形检测框中心点像素坐标通过坐标转换到相机坐标系下，得到钻孔的三维坐标信息，实现矿井巷道顶板支护钢带的钻孔定位。
27.可选地，所述s22在通过ransac算法对滤波后的三维激光点云数据进行拟合平面剔除顶板背景点云和钻孔内部点云，保留钢带点云数据时，包括如下步骤：
28.s221，在滤波后的三维激光点云数据中随机选择三个点，计算其对应的平面模型ax+by+cz+d＝0，并计算滤波后的三维激光点云数据中所有点至该平面的代数距离di＝|axi+byi+czi+d|；设定阈值t，若di≤t，则确定该点为该平面模型内点，否则确定该点为该平面模型外点；其中，t为经验值；
29.s222，重复s221，并对各平面模型内点数量进行比较，选择内点数量最多的平面模型为钢带拟合平面的最佳拟合平面；
30.s223，判断滤波后的三维激光点云数据到最佳拟合平面的距离，若任一点到最佳拟合平面的距离小于阈值t，则认为其属于钢带点云数据并保留，任一点到最佳拟合平面的距离不小于阈值t，则对其进行剔除，最终得到钢带点云数据。
31.可选地，所述s23在利用点云法线估计方法对钢带点云数据进行边界提取，得到钢带边界点云和钻孔边界点云时，包括如下步骤：
32.s231，从钢带点云数据中随机选择一个点p，设定与点p邻近的k1个点组成k1邻域，点p与它邻近的k1个点组成邻域集合n，对邻域集合n内的所有点利用最小二乘法拟合出一个微切面，并计算得到该微切面在点p处的法向量；
33.s232，重复s231，遍历所有钢带点云数据，得到所有钢带点云数据的法向量；
34.s233，计算点p的法向量与邻域集合n内其余各点的法向量之间的夹角并设定角度阈值θ，θ为经验值；若或则认为该法线对应的点为边界点保留，否则作为内点剔除；重复以上步骤，遍历所有钢带点云数据，得到钢带边界点云和钻孔边界点云。
35.可选地，所述s24在利用kd树算法对钢带边界点云和钻孔边界点云进行聚类分割，得到钻孔边界点云时，包括如下步骤：
36.s241，从钢带边界点云和钻孔边界点云中随机选择一个点q，设定与点q邻近的k2个点组成k2邻域集合m，计算点q到其k2邻域集合m中各个点的欧氏距离r，设定阈值s；若r≤s，则放入聚类集qi；s为经验值；
37.s242，重复s241，遍历钢带边界点云和钻孔边界点云，直到聚类集qi中的点不再增加，最终获得聚类集q1和q2，其中数量较小的聚类集为钻孔边界点云。
38.上述所有可选地技术方案均可任意组合，本发明不对一一组合后的结构进行详细说明。
39.借由上述方案，本发明的有益效果如下：
40.通过利用图像目标检测算法确定工业相机的钻孔视觉检测结果，并利用点云数据处理算法提取激光雷达扫描获得的三维激光点云数据得到钻孔边界点云，进而利用激光雷达和工业相机联合标定外参矩阵将钻孔边界点云投影至工业相机的像素坐标系下得到二维点云数据后，将二维点云数据与钻孔视觉检测结果进行关联，并融合钻孔检测结果得到
钻孔的三维坐标信息，从而实现钻孔的定位，提供了一种基于激光雷达和视觉融合的基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法，该方法结合视觉和激光雷达目标检测各自优势，对图像和点云识别目标特征点信息匹配融合，避免单一传感器可能出现的误检、漏检问题，提高了目标检测准确率，并利用激光雷达准确的三维坐标信息为钻孔视觉检测结果特征赋予深度信息，实现了钻孔准确识别和精准定位。
41.综上，本发明实施例具有如下优点：
42.本发明对图像视觉和激光雷达的目标检测结果进行融合，相比于仅用激光雷达或工业相机检测而言，不仅避免了单一传感器可能出现的误检、漏检问题，而且降低了环境因素的影响，可以在光照条件恶劣的煤矿井下稳定工作。
43.本发明基于工业相机的图像目标检测算法采用深度学习方法，检测精度高，在复杂恶劣环境下鲁棒性好，基于激光雷达的点云数据处理算法采用传统算法，复杂度低，可靠性高。
44.本发明可以通过调整算法和标定参数，调整激光雷达和工业相机的安装位置，可以迁移应用于多种不同工况、不同支护条件的巷道环境，适应性强。
45.本发明采用多传感器融合定位方法，定位精度高，可进一步实现钻锚机器人锚杆支护作业自动化，减少支护作业人数，提高煤矿掘进效率。
46.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
47.图1是本发明的流程图。
48.图2是本发明实施例的实施环境示意图。
49.图3是本发明实施例的一种钻孔视觉检测结果示意图。
50.图4是本发明实施例采样得到的一种三维激光点云数据的示意图。
51.图5是本发明实施例提取到的钢带边界点云和钻孔边界点云的示意图。
52.图6是本发明实施例的一种坐标转换示意图。
53.图7是本发明实施例的一种激光雷达和工业相机联合标定效果示意图。
54.图8是本发明实施例的定位结果示意图。
具体实施方式
55.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
56.如图1所示，本发明提供的基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法，该方法在钻锚机器人的钻臂前端安装有工业相机与激光雷达的组合传感系统。如图2所示，其为本发明实施例提供方法的实施环境示意图，矿井巷道顶板1上铺设有支护钢带2，支护钢带2上横向排列的圆形钻孔3。钻锚机器人4的钻臂5上装有工业相机6和激光雷达7。本发明提供的基于雷达与视觉融合的巷道顶板支护钢带钻孔定位方法包括以下步骤s1至s4。
57.s1，通过工业相机采集当前位置的巷道顶板支护钢带视觉图像，利用图像目标检测算法确定钻孔视觉检测结果。
58.在具体实施时，钻锚机器人4控制钻臂5移动到矿井巷道顶板1中支护钢带2待钻孔位置正下方处，工业相机6工作，采集当前位置的巷道顶板支护钢带视觉图像，并对巷道顶板支护钢带视觉图像利用图像目标检测算法确定钻孔视觉检测结果。
59.可选地，所述s1在利用图像目标检测算法确定钻孔视觉检测结果时，包括但不限于通过如下步骤s11至s13来实现：
60.s11，获取工业相机在不同位置、不同角度采集的巷道顶板支护钢带钻孔图像，构建钻孔图像数据集，对钻孔图像数据集进行钻孔标注，构建完整的神经网络训练数据集。
61.其中，对钻孔图像数据集进行钻孔标注时，可以通过labelimg实现。钻孔标注完成后，可以将标注后的钻孔图像数据集按8:2比例随机划分为训练数据集和测试数据集，
62.s12，采用神经网络训练数据集对fasterrcnn图像目标检测网络进行训练，获得网络权重文件，得到钻孔图像识别网络模型。
63.具体地，通过训练数据集对fasterrcnn图像目标检测网络进行迭代训练，并用测试数据集对训练好的钻孔图像识别网络模型进行测试验证，以获得准确度最高的网络权重文件。当然，钻孔图像识别网络模型除了为fasterrcnn图像目标检测网络外，还可以采用其它网络模型，本发明实施例对此不作具体限定。
64.s13，将巷道顶板支护钢带视觉图像输入钻孔图像识别网络模型，得到巷道顶板支护钢带视觉图像上钻孔的矩形检测框并计算得到矩形检测框中心点像素坐标。
65.如图3所示，其为一种钻孔视觉检测结果示意图。
66.s2，通过激光雷达扫描当前位置巷道顶板获得三维激光点云数据，利用点云数据处理算法提取得到钻孔边界点云。
67.在具体实施时，在具体实施时，钻锚机器人4控制钻臂5移动到矿井巷道顶板1中支护钢带2待钻孔位置正下方处，激光雷达7工作，对巷道顶板钢带进行充分扫描采样，采样得到的三维激光点云数据如图4所示。
68.具体地，所述s2在利用点云数据处理算法提取三维激光点云数据，得到钻孔边界点云时，包括但不限于通过如下步骤s21至s24来实现。
69.s21，采用体素滤波器对三维激光点云数据进行滤波处理，去除噪声点和离群点，得到滤波后的三维激光点云数据。
70.具体地，该步骤在采用体素滤波器对三维激光点云数据进行滤波处理时，设置体素栅格边长cell，将采样点云x、y、z三个坐标轴均等化分为m、n、l份，则将三维激光点云划分为m*n*l个体素栅格，计算每个体素栅格重心即体素栅格内所有数据点之和取平均，以重心代替该体素栅格内的所有点，实现对三维激光点云数据的滤波处理。
71.s22，通过ransac算法对滤波后的三维激光点云数据进行拟合平面剔除顶板背景点云和钻孔内部点云，保留钢带点云数据。
72.在具体实施时，所述s22在通过ransac算法对滤波后的三维激光点云数据进行拟合平面剔除顶板背景点云和钻孔内部点云，保留钢带点云数据时，可以如下步骤s221至s223。
73.s221，在滤波后的三维激光点云数据中随机选择三个点，计算其对应的平面模型ax+by+cz+d＝0，并计算滤波后的三维激光点云数据中所有点至该平面的代数距离di＝|axi+byi+czi+d|；设定阈值t，若di≤t，则确定该点为该平面模型内点，否则确定该点为该
平面模型外点；其中，t为经验值。
74.s222，重复s221，并对各平面模型内点数量进行比较，选择内点数量最多的平面模型为钢带拟合平面的最佳拟合平面。
75.s223，判断滤波后的三维激光点云数据到最佳拟合平面的距离，若任一点到最佳拟合平面的距离小于阈值t，则认为其属于钢带点云数据并保留，任一点到最佳拟合平面的距离不小于阈值t，则对其进行剔除，最终得到钢带点云数据。
76.另外，ransac算法也可以替换为其它平面拟合算法，如最小二乘法等。
77.s23，利用点云法线估计方法对钢带点云数据进行边界提取，得到钢带边界点云和钻孔边界点云。
78.所述s23在利用点云法线估计方法对钢带点云数据进行边界提取，得到钢带边界点云和钻孔边界点云时，可以包括如下步骤s231至s233。
79.s231，从钢带点云数据中随机选择一个点p，设定与点p邻近的k1个点组成k1邻域，点p与它邻近的k1个点组成邻域集合n，对邻域集合n内的所有点利用最小二乘法拟合出一个微切面，并计算得到该微切面在点p处的法向量。
80.s232，重复s231，遍历所有钢带点云数据，得到所有钢带点云数据的法向量。
81.s233，计算点p的法向量与邻域集合n内其余各点的法向量之间的夹角并设定角度阈值θ，θ为经验值；若或则认为该法线对应的点为边界点保留，否则作为内点剔除；重复以上步骤，遍历所有钢带点云数据，得到钢带边界点云和钻孔边界点云。
82.另外，点云法线估计方法也可以为其它边界提取算法，本发明实施例对此不作具体限定。
83.如图5所示，其为本发明实施例提取到的钢带边界点云和钻孔边界点云的示意图。
84.s24，利用kd树算法对钢带边界点云和钻孔边界点云进行聚类分割，得到钻孔边界点云。
85.在具体实施时，所述s24在利用kd树算法对钢带边界点云和钻孔边界点云进行聚类分割，得到钻孔边界点云时，可以包括如下步骤s241和s242。
86.s241，从钢带边界点云和钻孔边界点云中随机选择一个点q，设定与点q邻近的k2个点组成k2邻域集合m，计算点q到其k2邻域集合m中各个点的欧氏距离r，设定阈值s；若r≤s，则放入聚类集qi；s为经验值。
87.s242，重复s241，遍历钢带边界点云和钻孔边界点云，直到聚类集qi中的点不再增加，最终获得聚类集q1和q2，其中数量较小的聚类集为钻孔边界点云。
88.当然，在具体实施时，kd树算法也可以用其它聚类算法替代，本发明实施例对此不作具体限定。
89.s3，利用激光雷达和工业相机联合标定外参矩阵将钻孔边界点云投影至工业相机的像素坐标系下，得到二维点云数据。
90.在具体实施时，所述s3在利用激光雷达和工业相机联合标定外参矩阵将钻孔边界点云投影至工业相机的像素坐标系下时，可以包括如下步骤s31至s33。
91.s31，将激光雷达和工业相机的安装位置固定，并调整工业相机和激光雷达采集频率一致，保证采样数据空间时间一致性。
92.具体在调整时，可以以激光雷达7的采样频率为基准，调整工业相机6和激光雷达7的采样频率一致，实现采样数据的空间和时间同步性。
93.s32，利用工业相机标定算法计算工业相机内参矩阵，利用激光雷达和工业相机联合标定算法求得外参矩阵，外参矩阵包括旋转矩阵和平移矩阵。
94.具体地，可以利用相机标定算法张正友标定法，对工业相机进行标定得到工业相机内参矩阵即投影矩阵，实现数据在相机坐标系与像素坐标系间的转换。
95.s33，利用旋转矩阵、平移矩阵和工业相机内参矩阵将激光雷达得到的钻孔边界点云投影至工业相机的像素坐标系下。
96.s33在具体投影时，将步骤s2得到的钻孔边界点云先利用矩阵和平移矩阵变换至相机坐标系，再利用工业相机内参矩阵将钻孔边界点云在相机坐标系下的点投影至工业相机的像素坐标下，实现钻孔边界点云投影至工业相机的像素坐标系。如图6所示，其为本发明实施例的一种坐标转换示意图。图6中，(x
l
，y
l
，z
l
)是激光雷达坐标系下的坐标点；(xc，yc，zc)是相机坐标系下的坐标点；(u，v)为像素坐标系下的坐标点；矩阵a为工业相机内参矩阵，其中(f
x
，fy)为焦距，(u0，v0)为图像中心像素坐标；矩阵b为外参矩阵，其中r为旋转矩阵，t为平移矩阵。如图7所示，其为一种激光雷达和工业相机联合标定效果示意图。
97.s4，将投影得到的二维点云数据与钻孔视觉检测结果进行关联，保留正确的钻孔检测结果，并融合钻孔检测结果得到钻孔的三维坐标信息。
98.在具体实施时，所述s4在将投影得到的二维点云数据与钻孔视觉检测结果进行关联，保留正确的钻孔检测结果，并融合钻孔检测结果得到钻孔的三维坐标信息时，可以包括如下步骤s41和s42。
99.s41，将钻孔视觉检测结果中钻孔的矩形检测框与二维点云数据进行匹配关联，若二维点云数据中不少于80％的点都落在任一矩形检测框内，则判定关联正确，该矩形检测框及边界点云均为钻孔检测结果，可执行下一步；否则判定关联不正确，则放弃本次融合等待下一次检测结果。
100.s42，将该矩形检测框内所有点云反向投影到相机坐标系，计算得到其平均深度值作为钻孔相对于工业相机的深度值，然后将矩形检测框中心点像素坐标通过坐标转换到相机坐标系下，得到钻孔的三维坐标信息，实现矿井巷道顶板支护钢带的钻孔定位。
101.如图8所示，其为本发明实施例的定位结果示意图。
102.本发明采用基于相机和激光雷达组合传感系统实现矿井巷道顶板支护钢带钻孔定位，稳定性高，检测结果准确度更高。利用图像目标检测算法识别锚孔属性并获得矩形检测框位置，利用激光雷达的点云数据处理算法获取钻孔边界点云，融合激光雷达与相机的检测结果对矿井巷道顶板支护钢带钻孔进行检测、识别与定位，能够获得准确的钻孔三维坐标信息。
103.以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。