一种电石打样状态的检测方法、装置及电子设备与流程

本发明涉及电石制造，尤其涉及一种电石打样状态的检测方法、装置及电子设备。

背景技术：

1、电石的主要成分为碳化钙(cac2)，是重要的基本化工原料。电石的主要生产过程是：通过电炉上端的入口将混合原料加入电炉内、加热反应。电石打样过程是使用电石棒在电炉底部取出熔化的碳化钙，冷却后破碎得到电石，再进行下一步检测。电石打样过程需要人工观察电石状态，效率低；而电石生产过程中产生的有害物质较多，安全性低。在电石打样环节使用视觉算法进行无接触式目标检测，可有效解决上述效率低和安全性低的问题。

2、电石打样过程中，电石棒在有电石包裹的状态和无电石包裹的状态下形状与颜色较为相似，且生产环境的光线、电石冷却时发出的红光紫光、电石形状残缺、取样遗漏等干扰因素较多，需要视觉算法的准确率较高。现有的实例分割算法方案中，fcn、u-net、deeplab系列算法在准确率上难以达到电石打样的要求。现有mask-rcnn算法采用两步识别方式，准确率较高，可以满足电石打样的准确率要求。但是，mask-rcnn算法的识别速度仅可满足每秒5帧，识别效率较低，无法满足电石打样的实时监控的需求。

技术实现思路

1、本发明实施例提供了一种电石打样状态的检测方法、装置及电子设备，以解决现有技术对电石打样状态识别效率低，难以实现对电石打样进行实时检测的问题。

2、第一方面，本发明实施例提供了一种电石打样状态的检测方法，包括：

3、获取电石打样过程中历史图像，以及与各历史图像对应的电石打样状态。

4、基于所述历史图像和电石打样状态，进行神经网络训练，得到第一预测模型。

5、以所述第一预测模型为教师模型，构建教师-学生模型；其中，所述教师-学生模型中的教师模型和学生模型为相同深度的神经网络模型。

6、基于教师模型和学生模型的检测精度，对学生模型进行多尺度知识蒸馏训练，将训练得到的学生模型确定为电石打样检测模型；

7、获取电石打样过程的实时图像，并将所述实时图像输入所述电石打样检测模型，得到电石打样的实时状态，实现电石打样的实时检测。

8、在一种可能的实现方式中，在所述获取电石打样过程的实时图像，并将所述实时图像输入所述电石打样检测模型，得到电石打样的实时状态，实现电石打样的实时检测之前，还包括：

9、计算电石打样检测模型中各归一化层的通道数量及各通道的权重值。

10、将各归一化层中权重值小于阈值的通道删除，获得简化后的模型，其中，每个归一化层至少保留一个通道。

11、基于所述历史图像和电石打样状态，重新训练所述简化后的模型，并将训练得到的所述简化后的模型确定为电石打样检测模型。

12、在一种可能的实现方式中，所述电石打样状态包括：无电石棒状态、有电石状态和有电石棒状态。

13、在所述获取电石打样过程的实时图像，并将所述实时图像输入所述电石打样检测模型，得到电石打样的实时状态，实现电石打样的实时检测之后，还包括：

14、若所述电石打样状态为无电石棒状态，则输出第一指令，其中，所述第一指令用于控制电石棒取样后送入预设位置。

15、若所述电石打样状态为有电石状态，则输出第二指令，其中，所述第二指令用于控制对电石进行冷却、破碎。

16、若所述电石打样状态为有电石棒状态，则输出第三指令，其中，所述第三指令用于控制取走已完成电石破碎的电石棒。

17、在一种可能的实现方式中，所述基于所述历史图像和电石打样状态，进行神经网络训练，得到第一预测模型，包括：

18、基于所述历史图像和电石打样状态，确定第一训练样本；其中，所述第一训练样本包括训练集、验证集和测试集。

19、基于所述第一训练样本中的训练集，对预设的yolov5-seg模型进行训练。

20、基于所述第一训练样本中的验证集，对训练得到的yolov5-seg模型进行验证。

21、设置不同的层数和通道数，重复执行基于训练集进行训练、基于验证集进行验证，得到多个识别精度大于预设值的yolov5-seg模型。

22、基于所述第一训练样本中的测试集，测试各识别精度大于预设值的yolov5-seg模型的重复性。将重复性最高的模型作为所述第一预测模型。

23、在一种可能的实现方式中，所述第一预测模型基于yolov5-seg构建，所述第一预测模型包括：依次连接的输入层、骨干网络、特征融合网络和输出层。

24、输入层用于获取电石打样过程的实时图像。

25、所述骨干网络为cspdraknet特征提取网络结构，采用多个csp层提取特征图。

26、所述骨干网络中各所述csp层之后还设有卷积注意力机制层，其中，所述卷积注意力机制层包括依次连接的通道注意力模块和空间注意力模块，基于csp层输出的特征图的通道特征、空间特征对csp层进行加权。

27、特征融合网络用于对所述骨干网络提取的图像特征进行特征融合。

28、输出层用于基于特征融合后的图像特征，输出电石目标检测框的位置和电石打样状态。

29、在一种可能的实现方式中，所述通道注意力模块基于以下表达式输出特征图：

30、

31、其中，mc(f)为通道注意力模块输出特征图；σ为sigmoid激活函数；w0为第1个全连接层权重；w1为第2个全连接层权重；为全局平均池化；为全局最大池化。

32、在一种可能的实现方式中，所述空间注意力模块基于以下表达式输出特征图：

33、

34、其中，ms(f)为空间注意力模块输出特征图；σ为sigmoid激活函数；f7×7表示对图像进行7×7的卷积；为全局平均池化；为全局最大池化。

35、第二方面，本发明实施例提供了一种电石打样状态的检测装置，包括：

36、获取模块，用于获取电石打样过程中历史图像，以及与各历史图像对应的电石打样状态。

37、第一训练模块，用于基于所述历史图像和电石打样状态，进行神经网络训练，得到第一预测模型。

38、构建模块，用于以所述第一预测模型为教师模型，构建教师-学生模型；其中，所述教师-学生模型中的教师模型和学生模型为相同深度的神经网络模型。

39、第二训练模块，用于基于教师模型和学生模型的检测精度，对学生模型进行多尺度知识蒸馏训练，将训练得到的学生模型确定为电石打样检测模型

40、检测模块，用于获取电石打样过程的实时图像，并将所述实时图像输入所述电石打样检测模型，得到电石打样的实时状态，实现电石打样的实时检测。

41、第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

42、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

43、本发明实施例提供一种电石打样状态的检测方法、装置及电子设备，该方法包括：获取电石打样过程中历史图像，以及与各历史图像对应的电石打样状态。基于历史图像和电石打样状态，进行神经网络训练，得到第一预测模型。以第一预测模型为教师模型，构建教师-学生模型；其中，教师-学生模型中的教师模型和学生模型为相同深度的神经网络模型。基于教师模型和学生模型的检测精度，对学生模型进行多尺度知识蒸馏训练，将训练得到的学生模型确定为电石打样检测模型；获取电石打样过程的实时图像，并将实时图像输入电石打样检测模型，得到电石打样的实时状态，实现电石打样的实时检测。本发明基于历史图像和电石打样状态训练第一预测模型，基于第一预测模型经知识蒸馏训练得到简化后的学生模型。基于简化后的学生模型对电石打样检测，提升了电石打样状态识别的效率，实现了电石打样实时检测。