铁粉智能筛分系统及其方法与流程

1.本技术涉及铁粉生产技术领域，且更为具体地，涉及一种铁粉智能筛分系统及其方法。


背景技术：

2.在铁氧永磁体的制备中，铁粉是重要的原材料。铁粉产品要求金属铁含量在88％以上，40目筛子晒下比例在95％以上。但是在实际生产中发现筛分时并未将铁粉完全筛出，籽铁中仍有大量铁粉存在，且筛分效率也不高。
3.为了将更多地铁粉筛出，可增加原料筛分时间，但一来，现有的铁粉筛分装置时振动筛，原料筛分过程中自动前移，筛分时间调节不变。
4.因此，期待一种优化的铁粉筛分方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种铁粉智能筛分系统及其方法，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
6.相应地，根据本技术的一个方面，提供了一种铁粉智能筛分系统，其包括：
7.生产数据监控与采集模块，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；
8.时域增强模块，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
9.振动时域特征过滤模块，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；
10.监控视频编码模块，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；
11.降维模块，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；
12.优化模块，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
13.第一响应性估计模块，用于计算所述第一振动特征向量相对于所述优化铁粉产出
特征向量的响应性估计以得到第一响应性矩阵；
14.第二响应性估计模块，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
15.振动特征融合模块，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
16.第三响应性估计模块，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及
17.筛分控制结果生成模块，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
18.在上述铁粉智能筛分系统中，所述时域增强模块，进一步用于：以如下公式计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；其中，所述公式为：
19.signalimage＝f(signal,maph,mapw)
20.其中，signal为原始一维信号，即所述第一振动信号或所述第二振动信号，maph和mapw分别为将要构建的二维时域增强图的图像高度和宽度。
21.在上述铁粉智能筛分系统中，所述振动时域特征过滤模块，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述第一振动特征向量或所述第二振动特征向量，所述第一卷积神经网络的第一层的输入为所述第一时域增强图或所述第二时域增强图。
22.在上述铁粉智能筛分系统中，所述监控视频编码模块，包括：相邻帧提取模块，用于从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；第一图像局部特征提取模块，用于将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过softmax激活函数以得到时间注意力图；第二图像局部特征提取模块，用于将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，时间注意力施加模块，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
23.在上述铁粉智能筛分系统中，所述优化模块，进一步用于：以如下公式对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；其中，所述公式为：
[0024][0025]
其中vi是所述铁粉产出特征向量v的特征值，μ和σ是特征集合vi∈v的均值和方差，relu(
·
)表示relu激活函数，exp(
·
)表示所述方差负数的指数运算，所述方差负数的指数
运算表示计算以方差的负数为幂的自然指数函数值。
[0026]
在上述铁粉智能筛分系统中，所述第一响应性估计模块，进一步用于：以如下公式计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；其中，所述公式为：
[0027][0028]
其中va表示所述第一振动特征向量，vb表示所述优化铁粉产出特征向量，m1表示所述转移矩阵，表示矩阵相乘。
[0029]
所述第二响应性估计模块，进一步用于：以如下公式计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；其中，所述公式为：
[0030][0031]
其中vc表示所述第二振动特征向量，vd表示所述优化铁粉产出特征向量，m2表示所述转移矩阵，表示矩阵相乘。
[0032]
在上述铁粉智能筛分系统中，所述振动特征融合模块，进一步用于：以如下公式来融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；其中，所述公式为：
[0033][0034]
其中，vc为所述联合振动特征向量，va为所述第一振动特征向量，vg为所述第二振动特征向量，表示所述第一振动特征向量和所述第二振动特征向量相对应位置处的元素相加，α和β为用于控制所述联合振动特征向量中所述第一振动特征向量和所述第二振动特征向量之间的平衡的加权参数。
[0035]
在上述铁粉智能筛分系统中，所述筛分控制结果生成模块，包括：向量展开单元，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量，将所述三维输入张量按照行或者列的方向展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0036]
根据本技术的另一方面，还提供了一种铁粉智能筛分方法，其包括：
[0037]
获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；
[0038]
计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；
[0039]
将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；
[0040]
将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；
[0041]
对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到
铁粉产出特征向量；
[0042]
对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；
[0043]
计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；
[0044]
计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；
[0045]
融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；
[0046]
计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及
[0047]
将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
[0048]
在上述铁粉智能筛分方法中，所述将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图，包括：从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过softmax激活函数以得到时间注意力图；将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
[0049]
与现有技术相比，本技术提供的铁粉智能筛分系统及其方法，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
附图说明
[0050]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0051]
图1图示了根据本技术实施例的铁粉智能筛分系统的场景示意图。
[0052]
图2图示了根据本技术实施例的铁粉智能筛分系统的框图。
[0053]
图3图示了根据本技术实施例的铁粉智能筛分系统的架构示意图。
[0054]
图4图示了根据本技术实施例的铁粉智能筛分系统中监控视频编码模块的框图。
[0055]
图5图示了根据本技术实施例的铁粉智能筛分系统中筛分控制结果生成模块的框图。
[0056]
图6图示了根据本技术实施例的铁粉智能筛分方法的流程图。
具体实施方式
[0057]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0058]
申请概述
[0059]
如上所述，在实际生产中发现筛分时并未将铁粉完全筛出，籽铁中仍有大量铁粉存在，且筛分效率也不高。为了将更多地铁粉筛出，可增加原料筛分时间，但一来，现有的铁粉筛分装置时振动筛，原料筛分过程中自动前移，筛分时间调节不变。因此，期待一种优化的铁粉筛分方案。
[0060]
现有的铁粉筛分装置通常具有多级筛分结构，例如，在专利公开号cn109351607a所揭露的铁粉筛分装置中，其包括用于粗筛的一级筛和用于精筛的二级筛，其中，一级筛和二级筛都基于振动来进行过筛。
[0061]
应可以理解，在所述铁粉筛分装置的工作过程中，作用于一级筛和二级筛的作动信号对于优化铁粉筛分效率和铁粉筛分效果非常重要。但是，作用于一级筛和二级筛的作动信号对于最终筛分效果和筛分效率的影响是很难确定的，其原因为一方面被筛分的原料质量不同，另一方面，作动信号与最终筛分效果和效率之间的关联是非线性关联且会随着时间波动。
[0062]
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0063]
深度学习以及神经网络的发展为铁粉筛分装置的控制提供了新的解决思路和方案。
[0064]
具体地，获取预定时间段内作用于一级筛的第一振动信号和作用于二级筛的第二振动信号，以及，由摄像头采集的铁粉成品生产监控视频。应可以理解，在作动信号被施加于所述一级筛和所述二级筛之后，所述一级筛和所述二级筛会以预定模式进行振动，因此，可通过所述一级筛和所述二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征。而铁粉的实时筛分效果则可通过由摄像头采集的铁粉成品生产监控视频来观察。
[0065]
相应地，为了更为精准地捕捉所述第一振动信号和所述第二振动信号中所蕴含的振动信息，首先计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。应可以理解，所述第一振动信号和所述第二振动信号为一维信号，在将其转化为时域增强图后其维度被扩增为二维，其构建过程大致可表示为：
[0066]
signalimage＝f(signal,maph,mapw)
[0067]
其中，signal为原始一维信号，即所述第一振动信号和所述第二振动信号，maph和mapw分别为将要构建的二维时域增强图的图像高度和宽度。
[0068]
接着，将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量。也就是，利用在图像特征提取方面具有优异性能表面的卷积神经网络模型作为特征过滤器对所述第一时域增强图和所述第二时域增强图进行图像局部特征提取以得到包含高维隐含局部振动特征的所述第一振动特征向量和所述第二振动特征向量。
[0069]
针对于所述铁粉成品生产监控视频，在本技术的技术方案中，同样以所述卷积神经网络模型为基模来构建铁粉产出特征提取器。具体地，考虑到所述铁粉成品生产监控视频中有诸多冗余图像帧，这部分图像帧会带来额外的计算负担，因此，为了降低数据处理量，首先对所述铁粉成品生产监控视频进行采样处理，例如，以预定采样频率对所述铁粉成品生产监控视频进行采样，或者利用差帧法从所述铁粉成品生产监控视频中提取多个关键帧。然后，将所述多个关键帧输入所述卷积神经网络模型以得到铁粉产出特征图。
[0070]
特别地，在本技术的技术方案中，在利用所述卷积神经网络模型进行铁粉产出特征提取时，期待能够关注铁粉产出在时间维度上的动态变化特征。因此，本技术人将时间注意力机制引入到卷积神经网络模型中。具体地，所述时间注意力机制能够关注不同时间点的铁粉产出特征表示间的关联信息，并为关联信息施予相对更大的权重，以使得在进行特征提取时，铁粉产出的动态关联信息能够沿着时间维度被传递。也就是，在本技术的技术方案中，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。
[0071]
接着，以所述第一振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述一级筛的作动信号对于铁粉筛选的关联模式，以及，以所述第二振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述二级筛的作动信号对于铁粉筛选的关联模式。
[0072]
这里，考虑到所述第一振动信号的特征表示为一维特征向量，而所述铁粉产生特征为三维张量，两者在维度上存在异构性，因此，在计算响应性估计之前，需要先进行维度统一。在本技术的一个具体的示例中，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。
[0073]
这里，在对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量时，由于所述铁粉产出特征图的沿通道维度的各个特征矩阵的全局池化降低了所述铁粉产出特征向量的特征值之间的分布相关性，因此，为了提高所述铁粉产出特征向量的各个位置的特征值关于特征分布整体的表达一致性，对所述铁粉产出特征向量进行通道递归的压榨-激励优化，具体为：
[0074][0075]
μ和σ是特征集合vi∈v的均值和方差，其中vi是所述铁粉产出特征向量v的特征值。
[0076]
也就是，基于所述铁粉产出特征向量的沿所述铁粉产出特征图的通道维度的特征集合的统计特性来激活所述铁粉产出特征向量的特征分布的通道递归，从而推断所述铁粉产出特征向量的各个位置的特征值在所述铁粉产出特征图的每个通道采样位置的通道维度分布，并且，通过采用由relu-sigmoid函数构成的压榨-激励机制，来获取所述铁粉产出
特征图的通道方向上注意力增强的置信度值，以增强所述铁粉产出特征向量在其分布方向上与所述铁粉产出特征图的通道方向的分布相关性，这样就获得了关于特征分布整体具有高表达一致性的铁粉产出特征向量。
[0077]
接着，计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵，例如，在本技术的一个具体示例中，以所述第一振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。同时，计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵，同样地，能够以所述第二振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。
[0078]
如前所述，还需要考虑所述一级筛和所述二级筛的振动协同对于最终铁粉筛分的影响，因此，在本技术的技术方案中，进一步地融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量，并同样所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵。继而，将将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
[0079]
基于此，本技术提供了一种铁粉智能筛分系统，其包括：生产数据监控与采集模块，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；时域增强模块，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；振动时域特征过滤模块，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；监控视频编码模块，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；降维模块，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；优化模块，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；第一响应性估计模块，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；第二响应性估计模块，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；振动特征融合模块，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；第三响应性估计模块，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及，筛分控制结果生成模块，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
[0080]
图1图示了根据本技术实施例的铁粉智能筛分系统的场景示意图。如图1所示，在所述铁粉智能筛分系统的应用场景中，首先获取获取作用于一级筛(例如，如图1所示意的si1)的第一振动信号和作用于二级筛(例如，如图1所示意的si2)的第二振动信号以及由摄
像头(例如，如图1所示意的c)采集的铁粉成品(例如，如图1所示意的i)生产监控视频。进而，将所述作用于一级筛的第一振动信号和所述作用于二级筛的第二振动信号以及由摄像头采集的所述铁粉成品生产监控视频输入至部署有铁粉智能筛分算法的服务器(例如，如图1所示意的s)中，其中，所述服务器能够以所述铁粉智能筛分算法对所述作用于一级筛的第一振动信号和所述作用于二级筛的第二振动信号以及由摄像头采集的所述铁粉成品生产监控视频进行处理以得到以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。
[0081]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0082]
示例性系统
[0083]
图2图示了根据本技术实施例的铁粉智能筛分系统的框图。如图2所示，根据本技术实施例的铁粉智能筛分系统100，包括：生产数据监控与采集模块110，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；时域增强模块120，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；振动时域特征过滤模块130，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；监控视频编码模块140，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；降维模块150，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；优化模块160，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；第一响应性估计模块170，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；第二响应性估计模块180，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；振动特征融合模块190，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；第三响应性估计模块200，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及，筛分控制结果生成模块210，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
[0084]
图3图示了根据本技术实施例的铁粉智能筛分系统的架构示意图。如图3所示，首先获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频。接着，计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。然后，将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量。进而，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。接着，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。然后，对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量。进而，计算所述第一振动特征
向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵。接着，计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵。然后，融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量。进而，计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵。然后，将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
[0085]
在上述铁粉智能筛分系统100中，所述生产数据监控与采集模块110，用于获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频。现有的铁粉筛分装置通常具有多级筛分结构，例如，在专利公开号cn109351607a所揭露的铁粉筛分装置中，其包括用于粗筛的一级筛和用于精筛的二级筛，其中，一级筛和二级筛都基于振动来进行过筛。应可以理解，在所述铁粉筛分装置的工作过程中，作用于一级筛和二级筛的作动信号对于优化铁粉筛分效率和铁粉筛分效果非常重要。但是，作用于一级筛和二级筛的作动信号对于最终筛分效果和筛分效率的影响是很难确定的，其原因为一方面被筛分的原料质量不同，另一方面，作动信号与最终筛分效果和效率之间的关联是非线性关联且会随着时间波动。因此，期待一种优化的铁粉筛分方案。
[0086]
具体地，获取预定时间段内作用于一级筛的第一振动信号和作用于二级筛的第二振动信号，以及，由摄像头采集的铁粉成品生产监控视频。应可以理解，在作动信号被施加于所述一级筛和所述二级筛之后，所述一级筛和所述二级筛会以预定模式进行振动，因此，可通过所述一级筛和所述二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征。而铁粉的实时筛分效果则可通过由摄像头采集的铁粉成品生产监控视频来观察。
[0087]
在上述铁粉智能筛分系统100中，所述时域增强模块120，用于计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。相应地，为了更为精准地捕捉所述第一振动信号和所述第二振动信号中所蕴含的振动信息，首先计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图。应可以理解，所述第一振动信号和所述第二振动信号为一维信号，在将其转化为时域增强图后其维度被扩增为二维。
[0088]
在一个示例中，在上述铁粉智能筛分系统100中，所述时域增强模块120，进一步用于：以如下公式计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；其中，所述公式为：
[0089]
signalimage＝f(signal,maph,mapw)
[0090]
其中，signal为原始一维信号，即所述第一振动信号或所述第二振动信号，maph和mapw分别为将要构建的二维时域增强图的图像高度和宽度。
[0091]
在上述铁粉智能筛分系统100中，所述振动时域特征过滤模块130，用于将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量。也就是，利用在图像特征提取方面具有优异性能表面的卷积神经网络模型作为特征过滤器对所述第一时域增强图和所述第二时域增强图进行图像局部特征提取以得到包含高维隐含局部振动特征的所述第一振动特征向量和
所述第二振动特征向量。
[0092]
在一个示例中，在上述铁粉智能筛分系统100中，所述振动时域特征过滤模块130，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述第一振动特征向量或所述第二振动特征向量，所述第一卷积神经网络的第一层的输入为所述第一时域增强图或所述第二时域增强图。
[0093]
在上述铁粉智能筛分系统100中，所述监控视频编码模块140，用于将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。针对于所述铁粉成品生产监控视频，在本技术的技术方案中，同样以所述卷积神经网络模型为基模来构建铁粉产出特征提取器。具体地，考虑到所述铁粉成品生产监控视频中有诸多冗余图像帧，这部分图像帧会带来额外的计算负担，因此，为了降低数据处理量，首先对所述铁粉成品生产监控视频进行采样处理，例如，以预定采样频率对所述铁粉成品生产监控视频进行采样，或者利用差帧法从所述铁粉成品生产监控视频中提取多个关键帧。然后，将所述多个关键帧输入所述卷积神经网络模型以得到铁粉产出特征图。
[0094]
特别地，在本技术的技术方案中，在利用所述卷积神经网络模型进行铁粉产出特征提取时，期待能够关注铁粉产出在时间维度上的动态变化特征。因此，本技术人将时间注意力机制引入到卷积神经网络模型中。具体地，所述时间注意力机制能够关注不同时间点的铁粉产出特征表示间的关联信息，并为关联信息施予相对更大的权重，以使得在进行特征提取时，铁粉产出的动态关联信息能够沿着时间维度被传递。也就是，在本技术的技术方案中，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图。
[0095]
图4图示了根据本技术实施例的铁粉智能筛分系统中监控视频编码模块的框图。如图4所示，在上述铁粉智能筛分系统100中，所述监控视频编码模块141，包括：相邻帧提取模块141，用于从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；第一图像局部特征提取模块142，用于将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力模块143，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过softmax激活函数以得到时间注意力图；第二图像局部特征提取模块144，用于将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，时间注意力施加模块145，用于将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
[0096]
在上述铁粉智能筛分系统100中，所述降维模块150，用于对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。考虑到所述第一振动信号的特征表示为一维特征向量，而所述铁粉产生特征为三维张量，两者在维度上存在异构性，因此，在计算响应性估计之前，需要先进行维度统一。在本技术的一个具体的示例中，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量。
[0097]
在上述铁粉智能筛分系统100中，所述优化模块160，用于对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量。这里，在对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量时，由于所述铁粉产出特征图的沿通道维度的各个特征矩阵的全局池化降低了所述铁粉产出特征向量的特征值之间的分布相关性，因此，为了提高所述铁粉产出特征向量的各个位置的特征值关于特征分布整体的表达一致性，对所述铁粉产出特征向量进行通道递归的压榨-激励优化。
[0098]
在一个示例中，在上述铁粉智能筛分系统100中，所述优化模块160，进一步用于：以如下公式对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；其中，所述公式为：
[0099][0100]
其中vi是所述铁粉产出特征向量v的特征值，μ和σ是特征集合vi∈v的均值和方差，relu(
·
)表示relu激活函数，exp(
·
)表示所述方差负数的指数运算，所述方差负数的指数运算表示计算以方差的负数为幂的自然指数函数值。
[0101]
也就是，基于所述铁粉产出特征向量的沿所述铁粉产出特征图的通道维度的特征集合的统计特性来激活所述铁粉产出特征向量的特征分布的通道递归，从而推断所述铁粉产出特征向量的各个位置的特征值在所述铁粉产出特征图的每个通道采样位置的通道维度分布，并且，通过采用由relu-sigmoid函数构成的压榨-激励机制，来获取所述铁粉产出特征图的通道方向上注意力增强的置信度值，以增强所述铁粉产出特征向量在其分布方向上与所述铁粉产出特征图的通道方向的分布相关性，这样就获得了关于特征分布整体具有高表达一致性的铁粉产出特征向量。
[0102]
在上述铁粉智能筛分系统100中，所述第一响应性估计模块170，用于计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵。也就是，以所述第一振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述一级筛的作动信号对于铁粉筛选的关联模式。
[0103]
在一个示例中，在上述铁粉智能筛分系统100中，所述第一响应性估计模块170，进一步用于：以如下公式计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；其中，所述公式为：
[0104][0105]
其中va表示所述第一振动特征向量，vb表示所述优化铁粉产出特征向量，m1表示所述转移矩阵，表示矩阵相乘。
[0106]
在上述铁粉智能筛分系统100中，所述第二响应性估计模块180，用于计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵。也就是，以所述第二振动信号的振动特征与所述铁粉产出特征图的铁粉产出特征之间的响应估计来在高维特征空间建立作动于所述二级筛的作动信号对于铁粉筛选的关联模式。例如，在本技术的一个具体示例中，以所述第一振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。同样地，能够以所述第二振动特征向量相
对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。
[0107]
在一个示例中，在上述铁粉智能筛分系统100中，所述第二响应性估计模块180，进一步用于：以如下公式计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；其中，所述公式为：
[0108][0109]
其中vc表示所述第二振动特征向量，vd表示所述优化铁粉产出特征向量，m2表示所述转移矩阵，表示矩阵相乘。
[0110]
在上述铁粉智能筛分系统100中，所述振动特征融合模块190，用于融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量。如前所述，还需要考虑所述一级筛和所述二级筛的振动协同对于最终铁粉筛分的影响，因此，在本技术的技术方案中，进一步地融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量。
[0111]
在一个示例中，在上述铁粉智能筛分系统100中，所述振动特征融合模块190，进一步用于：以如下公式来融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；其中，所述公式为：
[0112][0113]
其中，vc为所述联合振动特征向量，va为所述第一振动特征向量，vg为所述第二振动特征向量，表示所述第一振动特征向量和所述第二振动特征向量相对应位置处的元素相加，α和β为用于控制所述联合振动特征向量中所述第一振动特征向量和所述第二振动特征向量之间的平衡的加权参数。
[0114]
在上述铁粉智能筛分系统100中，所述第三响应性估计模块200，用于计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵。同样，计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵，能够以所述第二振动特征向量相对于所述优化铁粉产出特征向量的转移矩阵来表示所述响应性估计的过程。
[0115]
在上述铁粉智能筛分系统100中，所述筛分控制结果生成模块210，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
[0116]
图5图示了根据本技术实施例的铁粉智能筛分系统中筛分控制结果生成模块的框图。如图5所示，在上述铁粉智能筛分系统100中，所述筛分控制结果生成模块210，包括：向量展开单元211，用于将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量，将所述三维输入张量按照行或者列的方向展开为分类特征向量；全连接编码单元212，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元213，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0117]
综上，基于本技术实施例的铁粉智能筛分系统100被阐明，其通过一级筛和二级筛
的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。
[0118]
如上所述，根据本技术实施例的铁粉智能筛分系统100可以实现在各种终端设备中，例如用于铁粉智能筛分的服务器等。在一个示例中，根据本技术实施例的铁粉智能筛分系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该铁粉智能筛分系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该铁粉智能筛分系统100同样可以是该终端设备的众多硬件模块之一。
[0119]
替换地，在另一示例中，该铁粉智能筛分系统100与该终端设备也可以是分立的设备，并且该铁粉智能筛分系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0120]
示例性方法
[0121]
图6图示了根据本技术实施例的铁粉智能筛分方法的流程图。如图6所示，根据本技术实施例的铁粉智能筛分方法，包括：s110，获取作用于一级筛的第一振动信号和作用于二级筛的第二振动信号以及由摄像头采集的铁粉成品生产监控视频；s120，计算所述第一振动信号和所述第二振动信号的时域增强图以得到第一时域增强图和第二时域增强图；s130，将所述第一时域增强图和所述第二时域增强图分别通过作为过滤器的第一卷积神经网络模型以得到第一振动特征向量和第二振动特征向量；s140，将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图；s150，对所述铁粉产出特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到铁粉产出特征向量；s160，对所述铁粉产出特征向量进行通道递归的压榨-激励优化以得到优化铁粉产出特征向量；s170，计算所述第一振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第一响应性矩阵；s180，计算所述第二振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第二响应性矩阵；s190，融合所述第一振动特征向量和所述第二振动特征向量以得到联合振动特征向量；s200，计算所述联合振动特征向量相对于所述优化铁粉产出特征向量的响应性估计以得到第三响应性矩阵；以及，s210，将所述第一响应性矩阵、所述第二响应性矩阵和所述第三响应性矩阵排列为三维输入张量后通过包含全连接层的分类器以得到分类结果，所述分类结果用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小。
[0122]
在一个示例中，在上述铁粉智能筛分方法中，所述将所述铁粉成品生产监控视频通过使用时间注意力机制的第二卷积神经网络模型以得到铁粉产出特征图，包括：从所述铁粉成品生产监控视频中提取多个关键帧，并从所述多个关键帧提取相邻的第一帧和第二帧；将所述第一帧和所述第二帧分别通过所述第二卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；将
所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过softmax激活函数以得到时间注意力图；将所述第一帧通过所述第二卷积神经网络模型的第三卷积层以得到局部特征图；以及，将所述局部特征图与所述时间注意力图进行按位置点乘以得到所述铁粉产出特征图。
[0123]
综上，本技术实施例的铁粉智能筛分方法被阐明，其通过一级筛和二级筛的振动信号来表示作动于所述一级筛和所述二级筛的作动信号的特征，通过铁粉成品生产监控视频来观察铁粉的实时筛分效果，利用卷积神经网络模型提取到包含局部振动特征的第一振动特征向量和第二振动特征向量，并使用时间注意力机制的卷积神经网络来关注铁粉成品生产监控视频在时间维度上的关联信息，以响应性矩阵的方式来表征一级筛和二级筛的振动协同对于最终铁粉筛分的影响。继而，进行分类处理以得到用于表示第一振动信号应增大或应减小，且所述第二振动信号应增大或应减小的分类结果。这样，通过智能地调整所述一级筛和所述二级筛的振动模式来优化铁粉筛选的效率和效果。