混凝土原料加工用生产控制系统及其方法与流程

本技术涉及智能控制，且更为具体地，涉及一种混凝土原料加工用生产控制系统及其方法。

背景技术：

1、混凝土是一种由水泥、砂、石子和水混合而成的人工建筑材料，其具有耐久性、可塑性、强度高等优点，广泛应用于各种建筑领域。混凝土的加工工艺是混凝土制品生产的关键环节，不同的加工工艺会直接影响混凝土制品的质量和经济效益。

2、在混凝土加工过程中，合理的搅拌速度可以使混凝土的水泥石完全反应，保证混凝土的均匀性和一致性，同时防止混凝土出现太多的孔隙和裂缝，提高混凝土的质量。如果搅拌时间过短或搅拌速度不足，混凝土的坍落度会不够，可能会出现混凝土凝结不良、强度低、易开裂等问题；而搅拌时间过长或搅拌速度过快，水泥石完全反应后可能会降低混凝土的流动性、可泵性和耐久性。

3、因此，期待一种混凝土原料加工用生产控制系统及其方法。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种混凝土原料加工用生产控制系统及其方法，其首先采集混凝土在搅拌过程中的监控视频，利用深度学习技术，对视频进行语义特征理解和分析，基于所述混凝土的混合状态的变化特征来自适应地控制搅拌速度增大、减小或停止搅拌。这样，可以对对混凝土加工过程中的搅拌速度进行实时准确地控制，以保证混凝土的质量，避免出现混凝土凝结不良、强度低或易开裂等问题。

2、相应地，根据本技术的一个方面，提供了一种混凝土原料加工用生产控制系统，其包括：

3、视频采集模块，用于获取由摄像头采集的混凝土在预定时间段的混合状态监控视频；

4、关键帧提取模块，用于从所述混合状态监控视频提取多个混合状态关键帧；

5、混合状态特征提取模块，用于将所述多个混合状态关键帧分别通过包含嵌入层的vit模型以得到多个混合状态特征向量；

6、转移计算模块，用于计算所述多个混合状态特征向量中每相邻两个时间点的混合状态特征向量之间的转移矩阵以得到多个转移矩阵；

7、混合状态变化特征提取模块，用于将所述多个转移矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到混合状态时序转移特征图；

8、特征增强模块，用于将所述混合状态时序转移特征图通过非局部神经网络以得到分类特征图；

9、优化模块，用于对所述分类特征图进行特征分布优化以得到优化分类特征图；

10、控制结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点的搅拌速度应增大、应减小或停止搅拌。

11、在上述混凝土原料加工用生产控制系统中，所述关键帧提取模块，用于：以预定采样频率从所述混合状态监控视频提取多个混合状态关键帧。

12、在上述混凝土原料加工用生产控制系统中，所述混合状态特征提取模块，包括：分块单元，用于对所述混合状态关键帧进行图像分块处理以得到图像块的序列；嵌入编码单元，用于使用所述vit模型的嵌入层分别对所述图像块的序列中各个图像块进行嵌入编码以得到图像块嵌入向量的序列；转换编码单元，用于将所述图像块嵌入向量的序列输入所述vit模型的转换器模块以得到图像块特征向量的序列；级联单元，用于将所述图像块特征向量的序列进行级联以得到所述混合状态特征向量。

13、在上述混凝土原料加工用生产控制系统中，所述转换编码单元，包括：一维排列子单元，用于将所述图像块嵌入向量的序列进行一维排列以得到图像全局特征向量；自注意力子单元，用于计算所述图像全局特征向量与所述图像块嵌入向量的序列中各个图像块嵌入向量的转置向量之间的乘积以得到多个自注意力关联矩阵；标准化自注意力子单元，用于分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；注意力计算子单元，用于将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过分类函数以得到多个概率值；注意力施加子单元，用于分别以所述多个概率值中各个概率值作为权重对所述图像块嵌入向量的序列中各个图像块嵌入向量进行加权以得到所述图像块特征向量的序列。

14、在上述混凝土原料加工用生产控制系统中，所述转移计算模块，用于：以如下转移公式计算所述多个混合状态特征向量中每相邻两个时间点的混合状态特征向量之间的转移矩阵以得到所述多个转移矩阵；

15、其中，所述转移公式为：

16、

17、其中v1、v2表示所述多个混合状态特征向量中相邻两个时间点的混合状态特征向量，表示矩阵乘法，m表示所述转移矩阵。

18、在上述混凝土原料加工用生产控制系统中，所述混合状态变化特征提取模块，包括：使用所述使用三维卷积核的卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述混合状态时序转移特征图，所述卷积神经网络模型的第一层的输入为所述三维输入张量。

19、在上述混凝土原料加工用生产控制系统中，所述特征增强模块，包括：点卷积单元，用于将所述混合状态时序转移特征图分别输入所述非局部神经网络的第一点卷积层、第二点卷积层和第三点卷积层以得到第一特征图、第二特征图和第三特征图；第一融合单元，用于计算所述第一特征图和所述第二特征图的按位置加权和以得到中间融合特征图；归一化单元，用于将所述中间融合特征图输入softmax函数以对所述中间融合特征图中各个位置的特征值进行归一化以得到归一化中间融合特征图；第二融合单元，用于计算所述归一化中间融合特征图和所述第三特征图的按位置加权和以得到再融合特征图；全局感知单元，用于将所述再融合特征图通过嵌入高斯相似性函数以计算所述再融合特征图中各个位置的特征值间的相似性以得到全局相似特征图；通道数调整单元，用于将所述全局相似特征图通过所述非局部神经网络的第四点卷积层以调整所述全局相似特征图的通道数以得到通道调整全局相似特征图；第三融合单元，用于计算所述通道调整全局相似特征图和所述混合状态时序转移特征图的按位置加权和以得到所述分类特征图。

20、在上述混凝土原料加工用生产控制系统中，所述优化模块，包括：全局均值池化单元，用于对所述分类特征图进行全局均值池化以得到全局语义特征向量；协方差计算单元，用于计算所述全局语义特征向量的协方差矩阵；特征值分解单元，用于对所述协方差矩阵进行特征值分解以得到多个特征值以及与所述多个特征值对应的多个特征值向量；类单应子空间构造单元，用于从所述多个特征值向量提取k个最大的特征值对应的k个特征值向量，所述k个特征值向量构成k维的类单应子空间；特征展平化单元，用于将所述分类特征图的沿通道维度的各个特征矩阵进行特征展平化以得到多个分类特征局部展开特征向量；映射单元，用于将所述多个分类特征局部展开特征向量分别映射到所述类单应子空间以得到多个映射后分类特征局部展开特征向量；概率化单元，用于将所述多个映射后分类特征局部展开特征向量通过sigmoid激活函数进行激活以得到多个映射后概率化分类特征局部展开特征向量；维度重构单元，用于将所述多个映射后概率化分类特征局部展开特征向量进行维度重构以得到优化分类特征图。

21、根据本技术的另一个方面，提供了一种混凝土原料加工用生产控制方法，其包括：

22、获取由摄像头采集的混凝土在预定时间段的混合状态监控视频；

23、从所述混合状态监控视频提取多个混合状态关键帧；

24、将所述多个混合状态关键帧分别通过包含嵌入层的vit模型以得到多个混合状态特征向量；

25、计算所述多个混合状态特征向量中每相邻两个时间点的混合状态特征向量之间的转移矩阵以得到多个转移矩阵；

26、将所述多个转移矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到混合状态时序转移特征图；

27、将所述混合状态时序转移特征图通过非局部神经网络以得到分类特征图；

28、对所述分类特征图进行特征分布优化以得到优化分类特征图；

29、将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点的搅拌速度应增大、应减小或停止搅拌。

30、在上述混凝土原料加工用生产控制方法中，从所述混合状态监控视频提取多个混合状态关键帧，包括：以预定采样频率从所述混合状态监控视频提取多个混合状态关键帧。

31、与现有技术相比，本技术提供的混凝土原料加工用生产控制系统及其方法，其首先采集混凝土在搅拌过程中的监控视频，利用深度学习技术，对视频进行语义特征理解和分析，基于所述混凝土的混合状态的变化特征来自适应地控制搅拌速度增大、减小或停止搅拌。这样，可以对对混凝土加工过程中的搅拌速度进行实时准确地控制，以保证混凝土的质量，避免出现混凝土凝结不良、强度低或易开裂等问题。