一种基于多模态矿石异物智能识别方法与流程

本发明属于矿石生产领域，涉及矿石异物识别技术，具体是一种基于多模态矿石异物智能识别方法。

背景技术：

1、传统的矿石处理和采集操作需要大量的人力和时间，同时难以保证准确性和效率。基于多模态矿石异物智能识别方法的提出，可以借助多传感器数据，结合深度学习和机器学习算法，实现对矿石中异物的自动识别和智能分类。这种方法可以提高矿石采集和加工的效率，降低人力成本，并且减少误差和损失。因此，基于多模态矿石异物智能识别方法具有重要的应用前景和实际意义。

2、现有矿石异物智能识别技术多为仅对矿石图像进行采集，并通过采集的图像识别矿石中的异物，难以融合多种信号，单一的图像信号难以发现掩盖在内部的异物以及表面形态与矿石相似的异物，影响识别方案的整体识别性能。例如，专利cn112989931b中，公开了一种地铁轨道异物智能识别方法,通过5个步骤对地铁轨道异物进行智能识别。该地铁轨道异物智能识别方法能降低人工巡检时漏检概率，节省人力成本，提高工作效率。现有技术的深度学习算法需要提前训练已知的异物种类，并不能穷举地铁轨道异物进行识别，而本发明使用深度学习和传统图像处理技术方法进行识别，可以提高异物识别覆盖性。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种基于多模态矿石异物智能识别方法，用于解决难以考虑多种因素，单一的图像信号难以发现掩盖在内部的异物以及表面形态与矿石相似的异物，影响识别方案的整体识别性能技术问题，本发明通过融合多种信号的多模态模型解决了上述问题。

2、为实现上述目的，本发明的第一方面提供了一种基于多模态矿石异物智能识别方法，包括以下步骤：

3、收集矿石异物，通过3d工业相机采集矿石异物的3d图像和x光探测器采集矿石异物的x射线透射图像，通过电磁传感器采集矿石异物的电磁信号和高光谱仪采集矿石异物的光谱特征信号；

4、通过3d工业相机采集的3d图像和x光探测器采集的x射线透射图像分别训练深度卷积神经网络模型，并通过电磁传感器采集的电磁信号和高光谱仪采集的光谱特征信号，分别训练多层感知机模型；

5、通过将深度卷积神经网络模型和多层感知机进行融合，建立多模态模型异物识别模型；

6、通过数据采集模块的3d工业相机、x光探测器、电磁传感器和高光谱仪同时进行图像采集；

7、将数据采集模块采集的3d图像信号、x射线透射图像信号、电磁信号和光谱特征信号进行对齐，并通过建立的多模态模型异物识别模型识别矿石中的异物。

8、作为本发明进一步的方案：所述3d工业相机采集的3d图像和x光探测器采集的x射线透射图像，分别训练的深度卷积神经网络模型分别输出异物识别特征图像。

9、作为本发明进一步的方案：所述电磁传感器采集的电磁信号和高光谱仪采集的光谱特征信号，分别构建的多层感知机模型分别输出对应的特征向量。

10、作为本发明进一步的方案：通过将深度卷积神经网络模型和多层感知机进行融合，建立多模态模型异物识别模型，包括以下步骤：

11、将深度卷积神经网络模型输出的异物识别特征图像和多层感知机输出的特征向量进行融合，并通过融合后的特征进行训练新的神经网络模型；

12、通过将深度卷积神经网络模型、多层感知机和训练后的新的神经网络模型结合，建立多模态模型异物识别模型。

13、作为本发明进一步的方案：将深度卷积神经网络模型输出的异物识别特征图像和多层感知机输出的特征向量进行融合，并通过融合后的特征进行训练新的神经网络模型，包括以下步骤：

14、将3d工业相机采集的3d异物识别特征图像和x光探测器采集的x射线透射异物识别特征图像，进行图像融合，得到异物特征融合图像；

15、将电磁传感器采集的电磁信号和高光谱仪采集的光谱特征信号训练的多层感知机输出的特征向量进行融合，得到融合向量；

16、将异物特征融合图像和融合向量进行特征对齐；

17、将对齐后的异物特征融合图像和融合向量进行特征融合，融合成一个新的特征表示；

18、通过融合后的特征训练新的神经网络模型。

19、作为本发明进一步的方案：将异物特征融合图像和融合向量进行特征对齐，包括以下步骤：

20、将通过电磁信号和光谱特征信号训练的多层感知机模型进行融合，并在融合模型的最后一层添加一个全连接层，通过全连接层来扩展融合向量的维度，将融合向量的维度映射到与异物特征融合图像相同的维度。

21、作为本发明进一步的方案：将数据采集模块采集的3d图像信号、x射线透射图像信号、电磁信号和光谱特征信号进行对齐，并通过建立的多模态模型异物识别模型识别矿石中的异物，包括以下步骤：

22、将数据采集模块采集的3d图像信号、x射线透射图像信号、电磁信号和光谱特征信号进行空间校准和时间对准；

23、通过将空间校准和时间对准的3d图像信号、x射线透射图像信号、电磁信号和光谱特征信号输入到建立的多模态模型异物识别模型中进行异物识别。

24、作为本发明进一步的方案：将数据采集模块采集的3d图像信号、x射线透射图像信号、电磁信号和光谱特征信号进行空间校准和时间对准，包括以下步骤：

25、对于3d工业相机和x光探测器，通过标定板标定对准进行空间校准，确保3d工业相机和x光探测器的成像位置和参考坐标系一致；

26、对于电磁信号和高光谱信息，将通过时间戳同步对准，将电磁信号和高光谱信息的采集时间与3d图像的采集时间进行对准；

27、将对准后的电磁信号和高光谱信息与3d图像信号采集的时间戳进行同步对准。

28、与现有技术相比，本发明的有益效果是：

29、本发明通过3d工业相机采集的3d图像和x光探测器采集的x射线透射图像分别训练深度卷积神经网络模型，并通过电磁传感器采集的电磁信号和高光谱仪采集的光谱特征信号，分别训练多层感知机模型；通过将深度卷积神经网络模型和多层感知机进行融合，建立多模态模型异物识别模型，融合深度卷积神经网络和多层感知机，能够综合利用不同模型的优势，从而提高异物识别的准确性。融合多种模型能够综合考虑不同数据的特征，缓解了单一模型对数据的依赖，提高了模型的泛化能力和鲁棒性，更适应真实的矿石采集环境。融合不同模型能够综合利用多种类型的数据信息，提供更为全面和多样化的特征表示，有助于提高对矿石中异物的识别效果。

30、本发明通过将数据采集模块采集的3d图像信号、x射线透射图像信号、电磁信号和光谱特征信号进行对齐，并通过建立的多模态模型异物识别模型识别矿石中的异物；通过整合多种信号，可以获取全面的矿石信息，包括形态、密度、化学成分等多方面特征，有助于提高对异物的识别准确性。利用电磁传感器对金属敏感、高光谱仪对部分材质敏感、3d工业相机对物体表面光学特征敏感，x光对密度敏感可发现部分被矿石覆盖异物，利用了不同类型的信号具有互补性，通过结合多种信号进行对齐，可以弥补单一信号的局限性，提高整体识别性能，使得多模态模型能够提供更全面的信息。