一种基于采矿过程的矿石三维坐标获取方法及其装置与流程

本发明涉及采矿技术领域，特别涉及一种基于采矿过程的矿石三维坐标获取方法及其装置。

背景技术：

目前，在采矿行业中，多数地底矿井施工区内，由于环境空间狭小，隧道地面崎岖，不适合大型采矿机器作业，如果采用人工挖矿的方式，则会耗费大量的劳动力，而且作业效率不高。因此，市面上出现了一种小型的采矿机器人，能够实现自动识别、移动和采矿操作，但是市面上的采矿机器人对矿石的位置识别不够精准，从而会影响其进行采矿作业。

技术实现要素：

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于采矿过程的矿石三维坐标获取方法及其装置，能够精准识别矿石的坐标位置，提高采矿效率。

本发明的第一方面，提供一种基于采矿过程的矿石三维坐标获取方法，包括以下步骤：

获取矿石图片；

采用yolact算法和nms算法对所述矿石图片进行处理，得出预测掩码图；

根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；

获取彩色图和红外深度图；

将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；

选取目标物体的轮廓，计算所述轮廓上所有点的x轴和y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；

计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；

将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；

结合所述二维坐标和所述深度信息，得出矿石的三维坐标。

本发明的第二方面，提供一种基于采矿过程的矿石三维坐标获取装置，包括：

第一图片获取单元，用于获取矿石图片；

预测掩码图输出单元，用于采用yolact算法和nms算法对所述矿石图片进行处理，得出预测掩码图；

二维坐标输出单元，用于根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；

第二图片获取单元，用于获取彩色图和红外深度图；

轮廓输出单元，用于将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；

重心输出单元，用于选取目标物体的轮廓，计算所述轮廓上所有点的x轴和y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；

仿射变换单元，用于计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；

深度信息输出单元，用于将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；

三维坐标输出单元，用于结合所述二维坐标和所述深度信息，得出矿石的三维坐标。

本发明的第三方面，提供一种基于采矿过程的矿石三维坐标获取设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。

本发明的第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。

本发明的第五方面，提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。

本发明的一种基于采矿过程的矿石三维坐标获取方法及其装置至少具有以下有益效果：本发明包括以下步骤：获取矿石图片；采用yolact算法和nms算法对所述矿石图片进行处理，得出预测掩码图；根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；获取彩色图和红外深度图；将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；选取目标物体的轮廓，计算所述轮廓上所有点的x轴和y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；结合所述二维坐标和所述深度信息，得出矿石的三维坐标。本发明通过二维坐标和深度信息相结合得出矿石的三维坐标，能够精准识别矿石的坐标位置，提高采矿效率。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明一个实施例所提供的一种基于采矿过程的矿石三维坐标获取方法的流程图；

图2是本发明一个实施例所提供的一种基于采矿过程的矿石三维坐标获取装置的结构示意图；

图3是本发明一个实施例所提供的一种基于采矿过程的矿石三维坐标获取设备的结构示意图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明的第一方面，提供一种基于采矿过程的矿石三维坐标获取方法，包括以下步骤：

s1a：获取矿石图片；当采矿机器人到达采矿目标位置后，开启深度摄像头对矿石进行识别。

s1b：采用yolact算法和nms算法对所述矿石图片进行处理，得出预测掩码图；识别算法是采用基于深度学习的yolact实时实例分割算法对采集到的矿石图片进行分割，生成高质量的掩码。yolact实施分割算法旨在现有的one-stage型检测器上添加一个人mask分支来达到实例分割的目的，但这一个过程中不希望引用特征定位步骤，提高分割的速度。使用了由resnet101和pfn(featurepyramidnetwork)组成的主干监测器，得到多尺度的特征图，这样能够生成更高质量的掩码。为了保证速度，设计了两个分支网络分别为protonet和predicitionhead并行运作。其中，第一个分支使用fcn去产生一系列独立于单一实例原型mask；第二个分支在检测分支上添加额外的头去预测mask系数，以用于编码一个实例在原型mask空间的表示。在nms算法步骤后，通过将两分支的输出结果进行线性组合来得到最后的预测掩码图，在基于掩码图上，然后再经过非极大抑制算法来选出多余的框，找到最佳的物体检测位置。

s1c：根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；在基于生成的矿石的预测掩码图绘制一个矩形框，通过求矩形框的中心点得到一个二维坐标。

s2a：获取彩色图和红外深度图；所述彩色图可以为三通道彩色图。

s2b：将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；

s2c：选取目标物体的轮廓，计算所述轮廓上所有点的x轴和y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；先将彩色图传入预训练模型中进行识别，预训练模型返回图像多种物体识别的轮廓和物体标签，选取目标物体标签的轮廓，轮廓计算轮廓上所有点的x和y轴的坐标之和，除以点的个数，得到物体的重心。

s2d：计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；以x轴正向为正方向，图像中心点为原点，再计算目标物体的重心和原点的距离。

s2e：将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；

结合所述二维坐标和所述深度信息，得出矿石的三维坐标。

本实施例中通过二维坐标和深度信息相结合得出矿石的三维坐标，能够精准识别矿石的坐标位置，提高采矿效率。

参照图2，本发明的第二方面，提供一种基于采矿过程的矿石三维坐标获取装置100，包括：

第一图片获取单元110，用于获取矿石图片；

预测掩码图输出单元120，用于采用yolact算法和nms算法对所述矿石图片进行处理，得出预测掩码图；

二维坐标输出单元130，用于根据所述预测掩码图绘制矩形框，并通过所述矩形框的中心点得出矿石的二维坐标；

第二图片获取单元140，用于获取彩色图和红外深度图；

轮廓输出单元150，用于将所述彩色图传入至预训练模型中进行识别，获得物体的轮廓；

重心输出单元160，用于选取目标物体的轮廓，计算所述轮廓上所有点的x轴和y轴的坐标之和，再将所述坐标之和除以所述轮廓上点的个数，得出目标物体的重心；

仿射变换单元170，用于计算目标物体的重心和原点的距离，得出目标物体的极坐标，并通过仿射变换，将所述彩色图的中心点和所述红外深度图的中心点进行对齐，得出所述彩色图在所述红外深度图中的缩放比例；

深度信息输出单元180，用于将所述极坐标的长度乘以所述缩放比例，得到所述彩色图中的点所对应所述红外深度图中的点，从而获取所述红外深度图中的点的深度信息；

三维坐标输出单元190，用于结合所述二维坐标和所述深度信息，得出矿石的三维坐标。

需要说明的是，由于本实施例中的xxxx装置与上述的xxxx方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。

参照图3，本发明的第三方面，提供一种基于采矿过程的矿石三维坐标获取设备200，该矿石三维坐标获取设备200可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体地，该矿石三维坐标获取设备200包括：一个或多个控制处理器210和存储器220，图3中以一个控制处理器210为例。

控制处理器210和存储器220可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的一种基于采矿过程的矿石三维坐标获取方法对应的程序指令/模块，例如，图2中所示的单元100-190。控制处理器210通过运行存储在存储器220中的非暂态软件程序、指令以及模块，从而执行一种基于采矿过程的矿石三维坐标获取装置100的各种功能应用以及数据处理，即实现上述方法实施例的一种基于采矿过程的矿石三维坐标获取方法。

存储器220可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种基于采矿过程的矿石三维坐标获取装置100的使用所创建的数据等。此外，存储器220可以包括高速随机存取存储器220，还可以包括非暂态存储器220，例如至少一个磁盘存储器220件、闪存器件、或其他非暂态固态存储器220件。在一些实施方式中，存储器220可选包括相对于控制处理器210远程设置的存储器220，这些远程存储器220可以通过网络连接至该一种基于采矿过程的矿石三维坐标获取设备200。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器220中，当被所述一个或者多个控制处理器210执行时，执行上述方法实施例中的一种基于采矿过程的矿石三维坐标获取方法，例如，执行以上描述的图1中的方法步骤s1a-s1c、s2a-s2e和s3，实现图2中的单元100-190的功能。

本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器210执行，例如，被图3中的一个控制处理器210执行，可使得上述一个或多个控制处理器210执行上述方法实施例中的一种基于采矿过程的矿石三维坐标获取方法，例如，执行以上描述的图1中的方法步骤s1a-s1c、s2a-s2e和s3，实现图2中的单元100-190的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(readonlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

本发明的第五方面，提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的一种基于采矿过程的矿石三维坐标获取方法。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。