铜钼矿泡沫浮选分割方法及系统

本发明涉及人工智能与计算机视觉，具体涉及铜钼矿泡沫浮选分割方法及系统。

背景技术：

1、泡沫浮选是一种广泛应用于矿石分选的重要选矿方法。泡沫浮选方法利用矿物颗粒表面亲疏水性的差异，使不同矿物颗粒能够有效地被泡沫分离出来。泡沫浮选过程中，泡沫的外观特征直接反映了浮选生产工况，检测泡沫状态和量化泡沫参数对描述生产状态和浮选质量非常关键。目前，我国有色金属的浮选生产过程主要由人工完成，技术人员实时观察浮选槽表面泡沫状态，并依据生产经验调整浮选设备参数。这种传统的人工观察和调参方式存在若干问题。首先，由于矿源复杂多变，浮选生产质量易受技术人员的生产经验和主观性影响，无法保证浮选矿质的优化和质量；其次，由于不同班次技术人员技术差异，同一批矿源可能产出不同浮选矿质，进而导致宝贵的矿物资源浪费。

2、为了克服传统人工观察调参的限制，将计算机视觉技术引入该领域，实现铜钼矿泡沫浮选过程的自动化和智能化。应用工业相机获取铜钼矿泡沫图像，借助计算机视觉算法对泡沫参数进行准确测量，进而实现对浮选过程的自动化监控和浮选设备参数优化。例如公布号为cn103971379a的现有发明专利申请文献《基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法》在单摄像机获取浮选生产现场泡沫视频的基础上，利用视频中相邻两帧图像因泡沫流动而产生的差异信息，将一台摄像机从一个方位在不同时刻拍摄的流动泡沫的两帧图像，看作两台摄像机从不同方位在同一时刻拍摄的同一场景下的两幅泡沫图像，等效构建模拟人眼成像过程的双目立体视觉模型，获得泡沫图像中气泡的深度信息，进而提取气泡的立体特征。以及公布号为cn115452824a的现有发明专利申请文献《一种在动态溢流面上多模型预测煤浮选尾矿灰分的方法》，该方法搭建动态溢流方式及水平四周补光的机器视觉系统，捕获浮选尾矿图像；基于卷积神经网络对不同工况的尾矿图像分类，实现对稳定的目标尾矿图像的筛选；融合传统特征和深度抽象特征，在深度卷积神经网络外层接回归预测器进行训练，实现对浮选尾矿灰分的实时预测。然而，计算机视觉在铜钼矿泡沫浮选图像分割中面临着一些挑战。工业相机采集的泡沫图像可能存在泡沫形状复杂、泡沫边缘不清晰以及泡沫粘连现象，这些因素都增加了泡沫图像分割的难度。

3、综上，现有技术存在依赖人工浮选操作经验、泡沫图像分割准确率低以及模型精度和泛化能力差的技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术中依赖人工浮选操作经验、泡沫图像分割准确率低以及模型精度和泛化能力差的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：铜钼矿泡沫浮选分割方法包括：

3、s1、采集并标注泡沫图像，以得到泡沫图像数据集；

4、s2、对泡沫图像数据集进行数据增强、划分操作，据此获取训练集、验证集以及测试集；

5、s3、搭建铜钼矿浮选泡沫图像分割模型，其中，铜钼矿浮选泡沫图像分割模型包括：泡沫图像特征提取resnet编码器、浮选泡沫特征双解码器、铜钼矿浮选泡沫特征融合模块以及分割头；

6、泡沫图像特征提取resnet编码器包括：不少于3层的残差模块，利用残差模块，从泡沫图像中，逐级提取不少于3个尺度的泡沫图像特征；

7、利用铜钼矿浮选泡沫特征融合模块，对浮选泡沫特征双解码器进行协同操作，融合泡沫图像特征提取resnet编码器、浮选泡沫特征双解码器的多尺度特征；

8、分割头包括：线性映射层，利用线性映射层，根据泡沫图像细节信息，分割处理泡沫图像；

9、s4、利用训练集、验证集以及测试集，训练铜钼矿浮选泡沫图像分割模型，以得到适用分割模型；

10、s5、利用适用分割模型分割泡沫图像，以得到泡沫关联参数。

11、本发明通过浮选视频检测，实现对摄像头视频流的解码，抽帧和格式转换处理，并将转换后的图像帧进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端ui进行展示，有利于控制铜钼矿浮选生产自动化，不依赖人工浮选操作经验，提高了泡沫图像分割准确率。本发明采用的铜钼矿浮选泡沫图像分割模型的resnet编码器使用残差连接可以保留原始特征，使得网络的学习更加顺畅和稳定，进一步提高了模型的精度和泛化能力。

12、在更具体的技术方案中，步骤s1包括：

13、s11、在铜钼矿浮选过程中，采集泡沫图像；

14、s12、标注泡沫图像中的泡沫，以生成泡沫真实标签；

15、s13、根据泡沫图像、真实标签，建立泡沫图像数据集。

16、在更具体的技术方案中，步骤s12中，利用sam算法生成泡沫掩码，以对泡沫的标注操作进行加速。

17、在更具体的技术方案中，步骤s2，包括：

18、s21、对泡沫图像，分别进行翻转、旋转、缩放以及抖动处理，获取泡沫图像增强数据，以作为样本图像；

19、s22、将所有样本图像，按照预置比例划分为训练集、验证集以及测试集。

20、本发明通过泡沫图像分割，获得单位面积内泡沫的数量、大小以及流速，从而更好地指导浮选设备参数动态调整。本发明针对目前存在的铜钼矿浮选过程中泡沫粘连强和边缘不清晰等情况而造成浮选泡沫图像分割准确率低的问题，基于u型架构提出一种浮选泡沫特征双解码器的端到端铜钼矿泡沫图像分割模型。实验结果表明本发明的算法模型能够取得较好的分割效果，对铜钼矿浮选生产自动化有一定促进作用。

21、与传统的人工主观分析相比，铜钼矿浮选泡沫图像分割模型具有客观性和稳定性的优势，该模型基于计算机视觉技术，通过数据驱动方法进行分析，减少了人工主观因素的干扰，提供更客观的浮选过程监控。

22、在更具体的技术方案中，步骤s3中的残差模块包括：卷积层、池化层、标准化层以及跳跃连接，在卷积层后，添加relu激活函数，利用跳跃连接，将输入特征相加到resnet网络输出的深层语义特征图上，以得到丰富语义特征图。

23、在更具体的技术方案中，步骤s3中的swin transformer解码器包括：patchexpanding模块、swin transformer模块；cnn解码器包括：upsampling、卷积模块。利用swintransformer解码器、cnn解码器，重建获取泡沫图像空间特征，以基于泡沫图像特征提取resnet编码器输出的深层语义特征图，利用跳跃连接，分别连接浮选泡沫特征双解码器不少于3个尺度的特征层，以恢复图像空间特征信息。

24、在更具体的技术方案中，步骤s3中的铜钼矿浮选泡沫特征融合模块包括：多级空洞卷积、双线性插值模块；

25、利用多级空洞卷积，从深层语义特征图中，捕捉泡沫图像的整体先验表征，并综合不同尺度的特征信息；

26、利用双线性插值模块，在上采样过程中，逐级提升特征分辨率；

27、通过特征相加、卷积操作，逐层融合浮选泡沫特征双解码器的输出特征，据以生成泡沫图像细节信息。

28、本发明相对现有的图像分割方法，铜钼矿浮选泡沫图像分割模型的优势在于浮选泡沫特征双解码器多尺度信息利用和铜钼矿浮选泡沫特征融合模块。分割模型通过两个解码器，分别从全局和局部角度提取并聚合特征信息，有助于更好地捕获泡沫的各种尺度和形状；铜钼矿浮选泡沫特征融合模块通过利用不同膨胀率的空洞卷积分解深层特征图信息，并在上采样过程中协同融合多尺度特征信息，提高了泡沫分割效果和泛化性能。

29、在更具体的技术方案中，步骤s4中，在铜钼矿浮选泡沫图像分割模型的训练过程中，利用下述逻辑表达损失函数：

30、

31、式中，第一部分为dice损失，第二部分为bce损失；x代表预测分割结果；y代表真实标签值。

32、在更具体的技术方案中，步骤s4中，利用下述逻辑，求取分割精度指标iou，据以评估铜钼矿浮选泡沫图像分割模型：

33、

34、式中，tp表示泡沫像素被正确分类的数量；fp表示背景像素被错分为泡沫像素的数量；fn表示泡沫像素被错分为背景像素的数量。

35、本发明与unet方法相比，铜钼矿浮选泡沫图像分割模型的浮选泡沫特征双解码器结构更具优势，能从全局和局部角度提取特征信息，更有针对性地处理不同尺度的特征，提高了泡沫分割的准确性和稳定性。

36、在更具体的技术方案中，铜钼矿泡沫浮选分割系统包括：

37、采集模块，用以采集并标注泡沫图像，以得到泡沫图像数据集；

38、数据集增强划分模块，用以对泡沫图像数据集进行数据增强、划分操作，据此获取训练集、验证集以及测试集，数据集增强划分模块与采集模块连接；

39、分割模型搭建模块，用以搭建铜钼矿浮选泡沫图像分割模型，铜钼矿浮选泡沫图像分割模型包括：泡沫图像特征提取resnet编码器、浮选泡沫特征双解码器、铜钼矿浮选泡沫特征融合模块以及分割头，模型搭建模块与数据集增强划分模块连接；

40、泡沫图像特征提取resnet编码器包括：不少于3层的残差模块，利用残差模块，从泡沫图像中，逐级提取不少于3个尺度的泡沫图像特征；

41、利用铜钼矿浮选泡沫特征融合模块，对浮选泡沫特征双解码器进行协同操作，融合泡沫图像特征提取resnet编码器、浮选泡沫特征双解码器的多尺度特征；

42、分割头包括：线性映射层，利用线性映射层，根据泡沫图像细节信息，分割处理泡沫图像；

43、分割模型训练模块，用以利用训练集、验证集以及测试集，训练铜钼矿浮选泡沫图像分割模型，以得到适用分割模型，分割模型训练模块与分割模型搭建模块连接；

44、泡沫图像分割模块，用以利用适用分割模型分割泡沫图像，以得到泡沫关联参数，泡沫图像分割模块与分割模型训练模块连接。

45、本发明相比现有技术具有以下优点：本发明通过浮选视频检测，实现对摄像头视频流的解码、抽帧和格式转换处理，并将转换后的图像帧进行识别，并最终将检测结果标注在视频流中，重新编码视频流推送给前端ui进行展示，有利于控制铜钼矿浮选生产自动化，不依赖人工浮选操作经验，提高了泡沫图像分割准确率。本发明采用的铜钼矿浮选泡沫图像分割模型的resnet编码器使用残差连接可以保留原始特征，使得网络的学习更加顺畅和稳定，进一步提高了模型的精度和泛化能力。

46、本发明通过泡沫图像分割，获得单位面积内泡沫的数量、大小以及流速，从而更好地指导浮选设备参数动态调整。本发明针对目前存在的铜钼矿浮选过程中泡沫粘连强和边缘不清晰等情况而造成浮选泡沫图像分割准确率低的问题，基于u型架构提出一种浮选泡沫特征双解码器的端到端铜钼矿泡沫图像分割模型。实验结果表明本发明的算法模型能够取得较好的分割效果，对铜钼矿浮选生产自动化有一定促进作用。

47、本发明相对现有的图像分割方法，铜钼矿浮选泡沫图像分割模型的优势在于浮选泡沫特征双解码器多尺度信息利用和铜钼矿浮选泡沫特征融合模块。分割模型通过两个解码器，分别从全局和局部角度提取并聚合特征信息，有助于更好地捕获泡沫的各种尺度和形状；铜钼矿浮选泡沫特征融合模块通过利用不同膨胀率的空洞卷积分解深层特征图信息，并在上采样过程中协同融合多尺度特征信息，提高了泡沫分割效果和泛化性能。

48、本发明与unet方法相比，铜钼矿浮选泡沫图像分割模型的浮选泡沫特征双解码器结构更具优势，能从全局和局部角度提取特征信息，更有针对性地处理不同尺度的特征，提高了泡沫分割的准确性和稳定性。

49、本发明解决了现有技术中存在的依赖人工浮选操作经验、泡沫图像分割准确率低以及模型精度和泛化能力差的技术问题。