基于多模态时序信息的浮选控制参数预测方法和系统

本发明涉及浮选，尤其涉及一种基于多模态时序信息的浮选控制参数预测方法和系统。

背景技术：

1、浮选是一种常用的矿物精矿分离技术，其基本原理是通过浮选药剂将矿物粒子与杂质分离，从而达到提高矿物品位和回收率的目的。工业上广泛应用的是泡沫浮选。在泡沫浮选过程中，矿石经过破碎、磨细和混合后，与水和浮选剂等混合成泥浆，接下来，气泡被注入泥浆中，气泡在泥浆中移动时会吸附目标矿物颗粒，将其带到液面上形成泡沫，随后泡沫收集器收集泡沫并排出，达到矿物分离的目的。

2、泡沫浮选的效果受到多种因素的影响，矿物的浓度，密度等参数影响浮选的效果；浮选药剂的用量影响泡沫的生成和密度；气泵地吹气量影响泡沫的大小；浮选设备的状态也影响着泡沫浮选的稳定性和效果。综上所述，泡沫浮选的影响因素相当复杂，需要综合考虑各种因素的作用，进行合理的调节和控制，才能达到最佳的浮选效果。

3、近些年来，随着计算机技术和传感器技术的发展和广泛应用，泡沫浮选的自动化控制技术也得到了一定的发展和应用。自动化控制系统由传感器、控制器，执行器等部分组成，协同进行泡沫浮选过程中的泡沫参数的监测和控制参数的调节。泡沫浮选自动化控制减少了人工的干扰，提高了生产的效率，是现代化浮选控制的重要技术。而对执行器浮选控制参数的准确预测成为了亟待解决的问题。

技术实现思路

1、本发明提供了一种基于多模态时序信息的浮选控制参数预测方法和系统，用以对泡沫浮选的浮选控制参数进行预测。所述技术方案如下：

2、一方面，提供了一种基于多模态时序信息的浮选控制参数预测方法，包括：

3、s1、收集并预处理泡沫浮选流程中多模态数据，所述多模态数据包括视频数据、音频数据和传感器数据；

4、s2、将预处理后的多模态数据分别输入图片特征提取模块、音频特征提取模块和数据特征提取模块，提取泡沫图片特征、泡沫声音特征和泡沫数据特征；

5、s3、将所述泡沫图片特征、泡沫声音特征和泡沫数据特征输入多模态特征融合模块，进行多模态特征的融合；

6、s4、将融合后的多模态特征输入时序特征融合模块，将连续时间单位的特征进行融合；

7、s5、将进行了时序特征融合的多模态特征输入执行器参数预测模块，得到最终的执行器浮选控制参数输出。

8、可选地，所述s1中的预处理，具体包括：

9、去除异常数据，得到完整有效的数据；

10、对视频数据、音频数据和传感器数据进行每单位时间的截取；

11、对音频数据进行采样量化和编码，把模拟信号转换成数字信号，然后进行变换得到对应的语谱图；

12、将传感器数据进行归一化处理；

13、确定模型输出的相关参数；

14、对视频和音频后续特征提取过程中需要的识别参数，进行人工标注，得到数据集。

15、可选地，所述图片特征提取模块由4个卷积模块和4个transformer模块组成，配合模块之间的跳跃连接，构成编码器解码器结构，其中2个卷积模块和2个transformer模块构成编码器，进行图片的下采样特征提取，另2个卷积模块和2个transformer模块构成解码器，进行上采样尺寸复原；

16、构成编码器的卷积模块由卷积层、batch normalization层、relu激活函数层组成，负责进行大尺寸特征图的特征提取，同时进行特征图尺寸的下采样，缩小尺寸，在经过两个卷积模块后，特征图尺寸减小，使用transformer模块进行进一步的特征提取，transformer模块由layer normalization层、多头自注意力层、前向传播层、relu激活函数层以及残差连接组成；

17、所述音频特征提取模块由6个卷积模块、2个池化模块、1个全局池化模块和1个全连接层组成，负责声音特征的提取；

18、所述卷积模块由卷积层、batch normalization层、relu激活函数层组成；最后的全连接层对前面提取的声音特征进行维度变换和声音分类；

19、所述数据特征提取模块由多层感知机和tanh激活函数组成，进行数据的维度转换和不同传感器数据之间的相关性特征提取。

20、可选地，所述多模态特征融合模块由多个transformer模块组成，学习多模态特征之间的耦合关系以及相关性，进行多阶段的特征融合，得到最终的融合特征。

21、可选地，所述时序特征融合模块由多个门控循环单元gru组成，通过多个连续单位时间的特征输入进行特征融合提取；

22、所述gru由更新门和重置门组成，负责维护时序中的特征记忆问题，所述时序特征融合模块在每一个单位时间都会输入当前时间的多模态特征xt和上一时间的历史特征xt-1，得到当前时间的融合特征yt。

23、可选地，所述执行器参数预测模块由transformer模块和多层感知机mlp组成，所述transformer模块通过自注意力机制，基于所述进行了时序特征融合的多模态特征，进行多模态特征和输出参数之间相关关系以及输出参数之间的耦合关系提取，经由所述mlp进行数据维度变换，输出最终的执行器参数。

24、可选地，所述图片特征提取模块、音频特征提取模块、数据特征提取模块、多模态特征融合模块、时序特征融合模块和执行器参数预测模块共同构成整体网络模型；

25、其中，使用所述数据集，根据人工标注，所述图片特征提取模块和音频特征提取模块先分别进行单独的模型训练，初步确定网络参数；

26、然后进行整体网络模型的训练，对所述数据集进行采样，使用滑动窗口采样单位时间长度的数据序列作为训练样本组成时序数据集，使用所述时序数据集进行整体网络的训练，得到最终网络的执行器浮选控制参数输出并进行损失函数的计算，优化整体网络模型的参数。

27、另一方面，提供了一种基于多模态时序信息的浮选控制参数预测系统，包括：

28、收集预处理模块，用于收集并预处理泡沫浮选流程中多模态数据，所述多模态数据包括视频数据、音频数据和传感器数据；

29、多模态特征提取模块，用于将预处理后的多模态数据分别输入图片特征提取模块、音频特征提取模块和数据特征提取模块，提取泡沫图片特征、泡沫声音特征和泡沫数据特征；

30、多模态特征融合模块，用于将所述泡沫图片特征、泡沫声音特征和泡沫数据特征输入多模态特征融合模块，进行多模态特征的融合；

31、时序特征融合模块，用于将融合后的多模态特征输入时序特征融合模块，将连续时间单位的特征进行融合；

32、执行器参数预测模块，用于将进行了时序特征融合的多模态特征输入执行器参数预测模块，得到最终的执行器浮选控制参数输出。

33、另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于多模态时序信息的浮选控制参数预测方法。

34、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于多模态时序信息的浮选控制参数预测方法。

35、上述技术方案，与现有技术相比至少具有如下有益效果：

36、1）充分收集浮选过程中多种模态的信息，全面提取各种模态特征并实现多模态特征的深度融合，以此提高融合特征表示的全面性。

37、2）针对泡沫浮选过程的连续性，设计了时序特征融合模块，能够动态融合时序性多模态特征，提取其时序相关性，提高融合特征表示的稳定性。

38、3）设计执行器控制参数预测模块，学习各个执行器参数之间的耦合关系，得到控制参数，提高执行器控制参数预测的准确率。