一种基于双目立体视觉感知的矿石破碎方法

本发明涉及矿石破碎，具体涉及一种基于双目立体视觉感知的矿石破碎方法。

背景技术：

1、为实现矿山企业安全生产和经济效益，矿山智能化程度不断提高，智能矿山可大幅提升生产效率、降低运营成本。在矿山企业的矿石破碎流程中常在矿仓入料口安装筛网来控制破碎机的入料粒径，以此提高破碎机的工作效率，对于未通过筛网的大矿石采用人工操作机械臂进行破碎，利用工人的双眼确定待破碎堵塞矿石的大致位置，然后操作控制台改变机械臂的位置以及姿态，利用机械臂尖端的冲击锤破碎矿石。

2、现有的方法具有以下缺点：

3、(1)破碎现场环境恶劣，会对工人的身体健康造成伤害，工人不能24小时不间断的工作，且操作机械手破碎需要耗费大量人力，效率低，影响后续破碎流程。

4、(2)现有的二维矿石分割算法模型复杂度高，内存占用大，计算复杂度高，且需要大量的训练数据才能达到较好的性能，在矿山采集大量数据的难度较大，并且对于矿山企业来说，计算资源有限，现有深度学习方法需要的计算资源较大。

5、(3)现有的利用双目相机对矿石进行三维重建的方法是采用sift特征点提取与匹配，现有方法计算量大，处理速度较慢，不适合在实时环境中使用。

6、(4)由于矿石体积较大且外形不规则，现有方法只能定位矿石的破碎点三维坐标，从垂直方向利用破碎锤进行击打，而无法根据矿石外形特征确定破碎锤的击打角度，当矿石存在尖点以及斜面时，破碎锤会产生滑移而不能有效的破碎矿石。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种基于双目立体视觉感知的矿石破碎方法，能够通过双目感知现场待破碎矿石的位置，提供给机械手破碎矿石所需要的三维坐标以及破碎方向，再利用机械手对矿石进行破碎，减少操作工人的负担，提高破碎的效率。

2、为了解决上述技术问题，本发明实施例提供了这样一种基于双目立体视觉感知的矿石破碎方法，包括如下步骤：

3、s1、利用matlab工具箱对双目相机进行标定，获取内外参数以及畸变系数，利用双目相机拍摄左右图像，利用立体校正算法对拍摄的左右图像进行立体校正以去除畸变，最后将图像传输到矿石检测模块中。

4、s2、在矿石检测模块中利用训练好的mask rcnn实例分割网络对图像中矿石进行检测，分割矿石区域，去除图像中其他区域的像素，并计算每个矿石的二维形心位置，以便简化后续计算。

5、s3、将包含矿石区域的左右图像利用sgm立体匹配算法进行立体匹配，获得包含矿石区域的视差图。

6、s4、根据双目立体相机的参数对视差图进行三维重建，获取矿石的三维点云，三维点云是由大量的三维坐标点组成的集合，每个点都有其在三维空间中的坐标和属性信息。这些点可以表示真实世界中的矿石表面每个位置的三维坐标；并通过双目相机成像原理，将矿石三维点云坐标由相机坐标转化为机械手坐标。

7、s5、先利用向量法求出每个矿石的质心坐标，然后将三维点云存储为kd-tree数据结构并搜索质心指定半径球域内的点云，对搜索出来的点云采用ransac算法进行平面拟合，拟合出的平面的中心即为破碎点，拟合出的平面的法线作为破碎锤的破碎方向。

8、s6、根据步骤s5获得的破碎点以及破碎锤的破碎方向，对机械手进行轨迹规划并控制破碎锤对矿石进行破碎。

9、作为本发明的一些实施例，步骤s1中利用立体校正算法对拍摄的左右图像进行立体校正以去除畸变的具体操作为：

10、s11、准备标定板：选择一个已知尺寸和形状的标定板，如棋盘格标定板，确保标定板在整个相机视野范围内都可见，并且标定板的角点可以被准确检测到。

11、s12、拍摄标定图像：使用双目相机拍摄一系列包含标定板的图像，在拍摄过程中，应该保持相机位置和姿态的变化，以覆盖不同的视角和距离，将左右相机的图像分别保存。

12、s13、进行相机标定：将左右相机的图像和标定板的信息导入到matlab中，使用matlab的相机标定工具箱对左右相机进行标定。

13、在标定完成后，可以查看包括旋转矩阵和平移向量等外参信息的标定结果。

14、s14、立体校正：根据对左右相机的标定信息，使用matlab的stereorectify函数对左右相机进行立体校正(stereorectify是对标定过的摄像机进行校正，该函数是开源视觉库opencv的库函数)，从而去除畸变。

15、作为本发明的一些实施例，步骤s2中，对mask rcnn实例分割算法采用制作的数据集进行训练后，可以识别矿石的位置，并为每个矿石分配一个掩膜，通过计算掩膜的形心，即可估计获得矿石的二维形心坐标，具体过程为：

16、s21、模型建立：mask rcnn算法的损失函数是：

17、loss＝lrpn+lfast-rcnn+lmask

18、

19、其中，loss表示分类损失(class loss)，用于区分不同类别的物体；lrpn表示区域提议网络损，包括对区域建议的分类(是物体还是背景)和边界框回归损失；lfast-rcnn和rpn类似，也包括分类和边界框回归；lmask表示对每个类别的掩膜的交叉熵损失；lcls表示交叉熵类别损失，用于区分正类和负类提议；λ表示平衡分类损失和回归损失的权重系数；lreg()表示边界框回归损失，用于精确地调整提议框的位置；pi表示第i个anchor预测为真实标签的概率；当为正样本时为1，当为负样本时为0；ti表示预测第i个anchor的边界框回归参数；表示第i个anchor对应的gtbox的边界框回归参数；ncls表示一个mini-batch中的所有样本的数量；nreg表示anchor位置的个数。

20、采用二值交叉熵损失进行计算：

21、

22、

23、

24、其中，表示在边界框回归中常用的损失函数；ti包含四个量，分别是候选框到预测框的中心点x方向偏移量、中心点y方向偏移量、长度偏移量和宽度偏移量；也包含四个量，分别是候选框到真实标签中框的中心点x方向偏移量、中心点y方向偏移量、长度偏移量和宽度偏移量：

25、tx＝(x-xa)/wa ty＝(y-ya)/ha,

26、tw＝log(w/wa) th＝log(h/ha),

27、

28、

29、其中，(xa,ya,wa,ha)是rpn网络得到的建议框的尺寸，(x,y,w,h)是预测框的尺寸，(x*,y*,w*,h*)是真实的标签中框的尺寸。

30、fast-rcnn损失为：

31、lfast-rcnn(p,u,tu,v)＝lcls(p,u)+λ[u≥1]lloc(tu,v)

32、其中，p是分类器预测的softmax概率分布，p＝(p0,...,pk)；u对应目标真实类别标签；tu对应边界框回归器预测的对应类别u的回归参数v对应真实目标的边界框回归参数(vx,vy,vw,vh)；lcls(p,u)＝-log(pu)，pu表示p＝(p0,...,pk)中类别为u的概率。

33、

34、其中，lloc表示定位损失(localization loss)，用于量化模型预测的边界框与真实边界框之间的误差。

35、针对每个像素计算出它属于矿石类别的概率，概率为矿石的区域生成蒙板。

36、在上述的mask rcnn算法中，mask分支用于生成目标实例的精确分割掩码，为了计算mask分支的损失，需要使用两个关键步骤：掩码生成和损失计算。首先，掩码生成是将roi(感兴趣区域)特征映射通过一个卷积操作，将其转换为一个小尺寸的特征图，这个特征图表示了每个roi的像素级别的分类，然后，对于每个roi，我们使用双线性插值对特征图进行上采样，以恢复与输入图像相同的尺寸，接下来，我们将生成的掩码与真实的目标掩码进行比对来计算损失，使用二进制交叉熵损失来测量生成掩码与真实掩码之间的差异(在maskrcnn中，用于计算mask分支损失的常用方法是使用二进制交叉熵损失(binary crossentropy loss))。即假设模型生成的掩码是m，真实的目标掩码是g，假设掩码的尺寸是h×w，表示为二维矩阵，则，mask损失的计算公式如下：

37、

38、其中，g和m都是二维矩阵，对应于目标的真实掩码和生成的掩码。

39、上述公式可以解释为：对于每个像素位置，将相应的目标掩码和生成掩码的值分别作为概率，计算它们之间的交叉熵，然后将所有像素位置的交叉熵求和并取平均，得到最终的mask损失。

40、具体地说，将生成的掩码视为概率图，其中每个像素都表示属于目标类别的概率，对于真实的目标掩码，我们将其二值化为0和1。然后，我们使用二进制交叉熵损失来计算两个分布之间的差异。最后，将所有roi的mask分支损失相加，并与其它分支(如分类分支和边界框回归分支)的损失相结合，形成最终的损失函数。这样，模型可以同时优化目标的分类、位置和掩码生成的准确性。

41、s22、算法训练：用双目相机获取矿石图像，利用图像标注工具labelme对图像进行标注，制作100张数据，包含原图像，以及标注文件，对数据集进行数据增强，然后对maskrcnn网络进行训练。

42、s23、矿石分割：利用训练好的模型对矿石图像进行实例分割，之后对于掩码以外的区域进行去除，剩下矿石区域，再对剩下的掩码进行形心计算，从而获得各个矿石的二维形心坐标。

43、作为本发明的一些实施例，步骤s3中利用sgm立体匹配算法进行立体匹配过程有如下四步：首先第一步利用census模板获取匹配代价，由于代价计算步骤只考虑了局部的相关性，对噪声非常敏感，无法直接用来计算最优视差，所以第二步通过代价聚合步骤，使聚合后的代价值能够更准确的反应像素之间的相关性，然后第三步，每个像素选择最小聚合代价值所对应的视差值作为最终视差，最后第四步进行视差优化，目的是为了对通过视差计算得到的视差图进一步的优化处理，剔除错误视差，提高视差精度，使视差值更可靠、更精确。将每个像素经过立体匹配得到最终视差后，存储在视差图中，视差图存储立体校正后单视图所有像素视差值的二维图像。

44、本步骤的目的是利用之前步骤获取的双目相机的左右矿石图像，对左右图像进行立体匹配，立体匹配的主要目的是通过分析一对立体图像，确定图像中的对应点，并计算出它们之间的深度或距离。这可以用于创建立体视觉效果、进行三维重建、计算物体的位置和形状等应用。立体匹配算法的目标是在两个图像中找到对应点，即在一个图像中找到与另一个图像中的某个点在同一位置的点，然后计算视差值。在进行极限极线校正后，左右图像符合极线约束，这样左右图像的同名点对在同一水平线上，可以将视图中的特征点(或像素)的搜索范围限定在其对应的极线上，从而减少了搜索空间，提高了匹配的准确性和效率。立体匹配算法就是要在极线校正的基础上，搜索左图像像素在右图像上的对应点，然后就可以根据几何关系就可以求得目标点的三维坐标。

45、s31、初始census代价计算

46、代价值代表左右图像对应像素的相似程度，代价值越小的位置越可能是对应点，采用census法计算代价，在左右的对应点固定一个7×7的窗口，用窗口中的其他位置像素灰度值与窗口中心像素灰度值进行比较，大于中心点则为1，小于中心点则为0：

47、

48、其中，ζ表示指示函数，比较两个值并根据值之间的关系返回特定的结果；im(p)表示中心点p的灰度值，im(q)表示窗口中其他点的灰度值，用其他点的灰度值和中心点灰度值比较，若im(q)>im(p)，则为0；若im(q)≤im(p)，则为1。比较完领域之后，按顺序排列邻域中的点，就可以获得一串二进制。

49、然后将结果展开为比特串。左右图像的比特串再进行亦或操作，获得一个比特串，该比特串中的1的个数则为该像素该视差位置的匹配代价，也称汉明距离。

50、

51、其中ccen(p)表示比较中心点后获得的二进制字符串，表示按位串联操作，n表示中心点的邻域。

52、cc(x,y,d)＝hammig[ccenl(p),ccenr(p-d)]

53、其中cc(x,y,d)表示census匹配成本；ccenl(p)表示左图像对应的匹配点的cencus字符串，ccenr(p-d)表示左图像匹配点对应在右图中视差值为d匹配点的census字符串。

54、s32、代价聚合

55、首先，使用全局能量优化策略来找到最小化的能量函数，然后可以找到最优的聚合成本，能量函数公式如下：

56、

57、其中dp表示像素点p的视差；q表示像素点p领域内的像素点；dq表示像素点q点的视差；p1和p2表示惩罚系数；方程右侧第一项表示视差为d时所有像素的匹配成本之和；第二项和第三项指像素p的领域n中的所有像素受到的惩罚值；其中p2>p1；当视差变化为1时，用p1t进行惩罚，而当视差变化大于1时，用p2t进行惩罚。

58、具体的，本发明采用像素沿着某个方向的路径成本的计算公式如下所示：

59、

60、其中，lr(p,d)表示路径r的条件下，视差为d时像素p的聚合成本；c(p,d)表示像素p的匹配代价值；公式右侧的第二项表示路径r上的聚合成本是与不应用惩罚或应用惩罚值p1和p2时的最小成本对应的值；第三项的存在是为了防止路径成本过大；即

61、l≤cmax+p2

62、

63、其中，s(p,d)表示总聚合成本，它是所有方向成本的总和。

64、为了防止代价成本过大，根据公式得

65、s≤4(cmax+p2)

66、由于采用7×7窗口，所以cmax最大不超过49(因为census变换后的比特串最大有效长度为49)。而当p2≤65535/16-49时，s可以只用两个字节来存储，因为存储代价的c和s空间大小是w×h×d，w是图像的水平像素个数，h是图像的垂直像素个数，d是视差的搜索范围，当影像尺寸较大时，对内存的占用是巨大的，所以减少元素存储所需要的字节数是必要的。

67、p1和p2的具体取值需要根据实际情况进行调试和优化，一般来说，可以先尝试一些常用的初始取值，然后通过实验和观察视差图的效果来进行调整。

68、s33、视差计算

69、经过前面的步骤，获得了一个代价成本的矩阵s，存储代价s的空间大小是w×h×d，获得一个匹配代价s，视差计算采用每个像素选择最小聚合代价值所对应的视差值作为最终视差，最终获得一个w×h的矩阵，每个位置对应图像中的每个像素，存储的值为该位置的视差值。

70、s34、视差优化

71、视差优化的目的是为了对通过视差计算得到的视差图进行进一步的优化处理，剔除错误视差，提高视差精度，使视差值更可靠、更精确。通过子像素拟合、左右一致性检验、中值滤波进行视差优化。

72、s341、子像素拟合采用一元二次曲线对视差进行拟合，具体的，若要拟合某一像素点的视差，首先取三个值，第一个值为该像素点视差为d的代价c0，d是步骤s33所得矩阵w×h对应位置的视差值，第二个值为该像素点视差为d-1时所对应的代价c1，第三个值为该像素点视差为d+1时所对应的代价c2，组成三个点(d,c0),(d-1,c1),(d+1,c2)，对这三个点进行一元二次插值拟合，取一元二次曲线的最低点所对应的横坐标向上取整作为该点的视差值，其计算公式为

73、

74、s342、左右一致性检验就是将左右图像对调，重新计算一个视差值，然后和未对调前计算出来的视差进行对比，如果超出阈值则对应视差为无效值，具体步骤为：

75、获取左右视差图；

76、对左视差图的每个像素a，计算出同名点在右视差图中的像素位置b；

77、判断a和b的视差值之差的绝对值是否小于一个阈值(设置为1个像素)；

78、如果超过阈值，则一致性检查不通过，把对应位置的视差变为无效值。

79、s343、最后再对视差图进行中值滤波：中值滤波对孤立的噪声像素即椒盐噪声、脉冲噪声具有良好的滤波效果，可以保持图像的边缘特性，不会使图像产生显著的模糊，具体步骤：

80、用一个5×5的移动窗口，并将模板中心与图中某个像素位置重合；

81、读取模板下各对应的像素灰度值从小到大排序；

82、选取灰度序列中，中间的一个像素的灰度值；

83、将中间值赋给模板中心位置的像素。

84、作为本发明的一些实施例，步骤s4中利用视差图进行三维重建获取矿石三维点云的具体步骤为：

85、用f表示左右相机的焦距；ol和or分别表示左右相机的光学中心；olzl和orzr分别表示左右相机的光轴。在理想的双目相机模型中，b表示两个相机的平行光轴之间的距离；点p在以左相机光学中心为原点的坐标系xlolylzl中的坐标为p(xc,yc,zc)；xlolyl表示左相机的成像面，xroryr表示右相机的成像面。点p在两个成像平面上的成像点分别为p1(x1,y1)和p2(x2,y2)。在理想成像模型中pl和pr的纵坐标是相同的，当已知相机的各个参数，以及坐标点在成像平面中的成像坐标后，便可以求解出三维坐标点的坐标信息。

86、为了便于计算，两个成像点的纵坐标相同，横坐标距离通过几何计算得：

87、d＝b-(xl-xr)

88、其中(xl-xr)表示视差；b表示相机基线长度；假设p点到相机基线的垂直距离为z，则根据相似三角形的原理：

89、

90、

91、根据物体距离z，可以推导出p点在世界坐标的其他两个坐标x和y：

92、

93、

94、根据相似三角形的原理，pl(x1,y1)、pr(x2,y2)和p(xc,yc,zc)的关系如下：

95、

96、从表达式中可以明显看出，在双目立体视觉中获得目标的3d坐标的关键是获得视差值。

97、根据步骤s3所获得的视差带入上述公式即可求得在左相机光学中心为原点的坐标系中的三维坐标，矿石的所有三维坐标点的集合即形成了矿石的三维点云。

98、获取矿石的三维点云后，利用手眼标定，获取相机坐标到机器人坐标的转换矩阵，将以相机坐标下的点云转变为机器人坐标下的点云。一般情况下，机械臂坐标系的z轴垂直于地面，x轴朝前。

99、作为本发明的一些实施例，手眼标定的具体步骤如下：

100、准备标定板：选择一个已知尺寸和特征的棋盘格标定板。确保标定板在相机视野内能够清晰可见；

101、安装标定板：将标定板固定在机械手末端，并保持相机视野内可见。标定板的位置和姿态应覆盖到机器人可能的工作空间；

102、采集图像：在不同的机器人位姿下，使用相机采集图像。通过改变机器人的位姿，可以采集到包含标定板的多个视角的图像；

103、提取特征点：对每张图像进行图像处理，提取出标定板上的特征点。特征点可以是角点、圆心等可重复检测的类似结构；

104、匹配特征点：将每张图像提取得到的特征点与标定板的世界坐标系中的特征点进行匹配；

105、计算相机位姿：根据匹配到的特征点对，通过相机标定算法计算相机在每个位姿下的位姿，即相机的外参；

106、记录机器人位姿：对于每个位姿，记录机器人的姿态参数；

107、解算手眼转换：通过将相机位姿和机器人位姿进行配对，使用手眼标定算法计算相机坐标系到机器人坐标系的转换矩阵。

108、作为本发明的一些实施例，步骤s5的具体步骤如下：

109、s51、利用向量法求出每个矿石的质心坐标：

110、将矿石点云表示为一个向量集合，即每个矿石点都有一个位置向量，可以使用三维坐标(x,y,z)表示，对于每个矿石点的位置向量，可以将其视为从原点(0,0,0)到该点的向量，再将所有的位置向量相加，得到一个总向量，然后将总向量除以矿石点的数量，得到平均向量，所获平均向量的坐标即为矿石质心的坐标，其计算公式为：

111、

112、s52、将三维点云存储为kd-tree数据结构：

113、将点云用kd-tree进行存储的好处是可以使搜索指定点领域的点时间复杂度降低为o(logn)(常规做法复杂度为o(n))，具体做法是，每个点云都是一个三维点，包含三个坐标系，kd-tree的组织形式是，对每个元组(x,y,z)从0开始赋予序号(x为第0项，y为第1项，z为第2项)，在树的第n层中，每个节点的坐标的第n％3项作为该节点的key值，比如节点(2,3,7)在第2层，则层数n＝2，n％3＝2,则利用第2项3作为该节点的key值。然后，对于每个节点，该节点的key值为a，a的key值所在序号为b，要求左子叶坐标中序号为b的值要小于a，右子叶序号为b的值要大于a。利用以上规则将点云数据展开为kd-tree。

114、选择x轴或者y轴对数据进行划分，将数据集中的点分成两个子集，左子集中的点都小于等于划分点，右子集中的点都大于划分点，然后递归地对子集进行划分，直到每个子集中只有一个点或者为空。

115、s53、利用kd-tree进行半径搜索：

116、半径搜索是指在kd-tree中搜索距离给定点一定半径范围内的所有数据点，在进行kd-tree半径搜索之前，要对球心进行处理，不能把质心当作搜索的球心，因为质心和点云之间存在距离，直接用质心作为球心进行搜索可能会使得搜索的球领域和矿石点云没有交集，所以将质心的位置向垂直于地面的方向上(即z轴方向)寻找点云，将寻找到的点云作为搜索的球心。

117、作为本发明的一些实施例，kd-tree半径搜索的实现可以通过以下步骤进行：

118、s531、创建一个空的结果列表，用于存储搜索到的数据点；

119、s532、从根节点开始，递归地遍历kd-tree的每个节点；

120、s533、对于当前节点，如果节点的范围与给定的半径范围没有交集，则跳过该节点；

121、如果节点是叶子节点，检查叶子节点中的每个数据点是否在给定的半径范围内，如果是，则将该数据点添加到结果列表中；

122、如果节点不是叶子节点，则根据当前维度选择一个子节点进行递归搜索；

123、s534、在递归搜索子节点之前，根据当前维度计算给定点到当前节点的距离，如果该距离小于等于给定的半径，则递归搜索该子节点；

124、s535、重复步骤s534，直到遍历完所有节点；

125、s536、返回结果列表，其中包含所有在给定半径范围内的数据点。

126、作为本发明的一些实施例，搜索半径可以根据现场矿石大小确定，可以设置为小于矿石尺寸的1/3。

127、s54、对搜索出来的矿石点云采用ransac算法进行平面拟合：

128、s541、输入矿石点云数据：给定一组数据点，每个数据点包含三维坐标(x,y,z)；

129、s542、设置算法参数：设置迭代次数n＝50、阈值t＝100、距离阈值k＝100mm和样本数量m＝30。其中，迭代次数n表示算法将进行多少次迭代，阈值t表示一个数据点被认为是平面内的点的最大距离，样本数量m表示每次迭代时从数据集中随机选择的点的数量；

130、s543、迭代过程：

131、从数据集中随机选择样本数量m个点，称为内点集合；

132、使用内点集合并采用最小二乘法拟合一个平面模型，平面方程的一般表达式为：

133、ax+by+cz+d＝0(c≠0)

134、将其变换为如下形式：

135、

136、令：

137、

138、则：

139、z＝a0x+a1y+a2

140、此时对应的最小二乘矩阵形式：

141、

142、内点(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)为输入的三维坐标；

143、套用正规方程组的解x＝(at)-1atb，即可求得(a0a1a2)；

144、对于数据集中的每个点，计算其到拟合平面的距离，采用欧氏距离：

145、

146、对于每个点，如果其到拟合平面的距离小于阈值k，则将其添加到内点集合中；

147、如果当前内点集合的大小大于之前的最大内点集合的大小，更新最大内点集合；

148、重复以上步骤，直到达到设定的迭代次数n；

149、s544、使用最大内点集合重新拟合一个平面模型，得到最终的拟合结果；

150、s545、输出结果：输出最终的拟合平面模型参数，例如平面的法向量和平面上的一个点；

151、用拟合平面的内点利用向量法计算破碎点：

152、

153、平面的法向量就是破碎锤击打的方向，假设拟合平面为：

154、ax+by+cz+d＝0(c≠0)

155、则法线方向为(a,b,c)。

156、步骤s5中，如果缺少将三维点云存储为kd-tree数据结构的步骤，搜索并拟合出的平面可能会严重偏离质心，导致不能有效破碎。

157、与现有技术相比，本发明的有益效果在于：

158、1、自动化程度高。本发明采用双目立体视觉感知技术，通过机器人手臂实现矿石的自动破碎，减少了操作工人的劳动强度，提高了破碎效率，同时减少了意外伤害的风险。

159、2、精度高。采用双目立体视觉感知技术可以获取更加精确的三维坐标和破碎方向信息，从而可以更加准确地进行矿石破碎。

160、3、实时性好。本发明采用的是实时的感知方法，可以在短时间内完成矿石的感知和破碎操作，提高了生产效率。

161、4、高效可靠。采用机器人手臂进行矿石破碎，破碎效率高，并且可以实现无间断持续作业，避免了因为人工疲劳或疏忽而引起的错误。

162、5、成本低。相比手工操作，本发明需要的人力成本低，而且可以长期稳定运行，节省了人力成本和维护成本。

163、6、矿石定位精确：通过mask rcnn算法进行实例分割，可以准确地识别出图像中的矿石位置。mask rcnn能够对矿石进行像素级别的分割，从而能够准确地辨别出矿石的边界，并生成对应的掩膜。

164、8、矿石的形心获取效率高：通过计算掩膜的形心，可以得到矿石的二维形心坐标。形心是掩膜内部像素的平均坐标，可以作为矿石位置的近似估计。这样做可以快速获取矿石的位置信息，为进一步的分析和处理提供基础。采用mask rcnn不需要大量的训练数据集便可以实现较好的效果，适合矿山这种数据采集难的场景。分割准确率高，分割算法的mpa值约为94.61％，处理速度快。

165、7、立体匹配效果好：通过使用census模板获取匹配代价，考虑了像素之间的局部相关性，可以更好地对应图像的纹理和结构信息，从而提高了匹配的准确性。减少噪声影响：代价计算步骤只考虑局部相关性会受到噪声的影响，而通过代价聚合步骤，可以将局部代价聚合成全局代价，从而减少噪声对匹配结果的影响。选择最优视差值：通过选择每个像素的最小聚合代价值所对应的视差值，可以得到每个像素的最终视差，从而得到视差图。这样做可以有效地确定每个像素的深度信息。视差优化：通过视差优化步骤，可以进一步处理通过视差计算得到的视差图，剔除错误视差，提高视差精度。这样可以使视差值更可靠、更精确，提高立体匹配的效果。

166、8、破碎点与破碎锤破碎方向获取快速：通过利用kd-tree数据结构和ransac算法，可以高效地搜索并估计出破碎点所在平面及其法线方向，这样可以快速准确地确定需要进行破碎的位置和破碎方向，提高了破碎效率。考虑点云的局部特征：通过利用kd-tree搜索半径球域内的点云，可以将破碎点的选择限定在一个局部区域内，这样做有助于减少噪声的影响，更准确地估计破碎点所在的平面。自适应性：采用ransac算法进行平面拟合可以适应不同形状和噪声水平的点云数据，ransac算法可以通过随机采样和迭代找到最佳拟合平面，具有较强的鲁棒性和自适应性。减少计算复杂度：通过利用kd-tree数据结构，可以高效地进行点云的搜索和查询操作，大大减少了计算复杂度和运行时间。