基于嵌入式和深度学习的制造边缘实时事件洞察方法与流程

1.本发明涉及生产制造过程现场管控技术领域，具体说是一种基于嵌入式和深度学习的制造边缘实时事件洞察方法。


背景技术：

2.多品种、变批量生产模式的离散制造过程涉及同时生产具有多种工艺路线的产品。制造现场的人、机、料、法等生产要素按照不同的工艺路线车间各个工位之间流转，在采集设备、物料、物料站和人员生产要素的时空、状态数据的基础上，通过定义简单事件、定义复合事件规则，并手工指定复合事件规则中的参数，从而完成复杂事件的构建，以从大量的数据中提取制造现场的状态信息，实现对制造边缘生产过程状态的感知，已在生产过程监控中得到广泛应用。
3.但是，大多数上述复杂事件处理技术应用于实际生产过程管控中时，相同的事件哪怕依据相同的业务逻辑设置相同的事件触发、复合规则，但在不同的工作条件下，比如不同产品的不同工艺路线、不同订单紧急程度、不同工艺要求等，为了洞察发生的事件，需要依据工作条件手工设定和调整复合事件规则中的各种参数，让系统既能探测到发生的事件，而又不至于频繁探测到对生产影响不大的生产扰动事件，影响系统的运行。


技术实现要素：

4.本发明的目的是提供本发明针对制造边缘层的生产现场的实时事件洞察处理，提出一种基于嵌入式和深度学习，并且融合工艺路线和制造边缘生产要素时空信息的事件洞察处理方法，用于不同工作条件下离散制造现场的事件洞察。
5.本发明采用的技术方案是：
6.一种基于嵌入式和深度学习的制造边缘实时事件洞察方法，其特征在于，基于孪生深度时空网络，利用相同或不同工艺路线的生产状态，变化时间序列样本来学习，具体步骤如下：
7.步骤1：获取不同工艺路线下的正常样本和异常样本，构建数据集，每种工艺路线采集一种以上异常样本，形成异常加工状态序列数据，采集实际的正常样本，形成合格加工状态序列数据；对于加工状态序列数据中的某个时间点的部分缺失，把缺失的某个时间点的数据用同一类序列数据最近10个的均值进行填充；对预处理后的加工状态序列数据采用滑动窗口方法，以1024个数据为一个周期、以步长为100进行滑窗，以窗口内的序列数据为样本；基于合格加工状态序列数据得到的样本为正常样本，基于异常加工状态序列数据得到的样本为异常样本；基于正常样本和异常样本构建数据集，并将数据集划分为训练数据集、测试数据集和验证数据集；训练数据集的正常样本和异常样本分别是数据集正常样本和异常样本的70％，测试数据集的正常样本和异常样本分别是数据集正常样本和异常样本的20％，验证数据集的正常样本和异常样本分别是数据集正常样本和异常样本的10％。
8.步骤2：孪生深度时空神经网络模型；用于制造边缘实时事件洞察的少量学习模
型，基于具有深度时空神经网络的孪生神经网络；在此网络模型中，使用相同的网络体系结构和共享权重设置两个相同的深度时空神经网络；输入数据是相同或不同类别的样本对；直接使用深度时空神经网络从原始时间序列数据中提取特征；
9.在孪生神经网络中，其采用的损失函数是contrastive loss，有效的处理孪生神经网络中的样本对的关系；contrastive loss的表达式如下：
[0010][0011]
其中，
[0012][0013]
代表两个样本特征x1和x1的欧氏距离，即二范数，p表示样本的特征维数，一般取64或128，y为两个样本是否匹配的标签，
[0014]
y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，m为人为设定的阈值，n为样本个数；两个样本的距离，可以用于估计带估计样本可能的完工拖延时间；
[0015]
步骤3：孪生深度时空神经网络训练与模型选择；
[0016]
利用孪生深度时空神经网络对输入数据进行训练时，利用contrastive loss损失函数评估样本对之间的差异，其中函数值越小说明样本对越接近，越有可能属于同一类别；神经网络的参数更新过程使用adam优化器和contrastive loss损失函数，初始学习率为0.0001，迭代1000回合，每隔200回合，学习率变为原来的0.1倍，得到已训练的预测模型；根据验证集的准确率的高低选取最合适的模型作为事件洞察模型；
[0017]
步骤4：基于孪生深度时空神经网络的制造边缘实时事件洞察；
[0018]
将步骤2得到的神经网络模型部署到嵌入式装置上，在嵌入式装置上读取保存的神经网络模型，并实时获取待测某一产品的加工状态序列数据，按照步骤1的方法进行数据处理得到数据样本，利用已训练的事件洞察模型检测数据样本，分析出待测时间序列是否存在事件，判断事件类别，得到事件的洞察结果。
[0019]
模型中的深度时空神经网络中包含3-5个dence block模块，每个dence block模块包含5个rfb子块组成，每个rfb子块由2个通道相加，其中一个通道是上一层输出，另一个通道由5个分支提取上一层的特征数据矩阵，之后将多个数据矩阵按深度合并起来并进行1*1进行卷积，卷积结果与上一层的输出相加后，经过lrelu激活函数输出到下一个rfb子块；5个分支具体包括：
[0020]
1)分支1采用1*1和3*3的卷积核，按照扩张率1进行卷积，卷积中选择128的通道数量以保留更多的特征；
[0021]
2)分支2采用1*1、1*3和3*3的卷积核，按照扩张率3进行卷积；卷积中选择128的通道数量以保留更多的特征；
[0022]
3)分支3采用与分支2相同的处理方式；
[0023]
4)分支4采用1*1、1*3、3*1和3*3的卷积核，按照扩张率5进行卷积；卷积中选择64的通道数量；
[0024]
5)分支5采用1*1、1*5、5*1和3*3的卷积核，按照扩张率7进行卷积；卷积中选择32的通道数量。
[0025]
本发明的优点特点是：
[0026]
1、本发明针对如何利用采集到的少数一种或多种产品无法按时加工的异常样本，提出一种基于孪生深度时空网络的few-shot学习方法，用于有限数据的产品按时完工的事件洞察。
[0027]
2、本发明解决不同工艺路线、不同订单紧急程度、不同工艺要求等变化工作条件下的生产现场的实时事件洞察困难，所构建的孪生深度时空网络能够在样本缺乏情况下实现在不同的工作条件之间、具有很大差异的同类事件的准确识别与洞察。
附图说明
[0028]
图1为发明的流程图。
[0029]
图2为发明的神经网络模型图。
具体实施方式
[0030]
下面结合说明书附图附图1-2对本发明进一步详细说明。一种基于嵌入式和深度学习的制造边缘实时事件洞察方法，基于孪生深度时空网络，利用相同或不同工艺路线的生产状态，变化时间序列样本来学习，具体步骤如下：
[0031]
步骤1：获取不同工艺路线下的正常样本和异常样本，构建数据集，每种工艺路线采集一种以上异常样本，(即无法按时完工的产品加工状态序列数据)，(序列数据是指产品在工艺路径上每个工序上的物料运到时间、开工时间、完工时间、物料运离时间)，形成异常加工状态序列数据，采集实际的正常样本，(即按时完工合格产品的加工状态序列数据)，形成合格加工状态序列数据；对于加工状态序列数据中的某个时间点的部分缺失，把缺失的某个时间点的数据用同一类序列数据最近10个的均值进行填充；对预处理后的加工状态序列数据采用滑动窗口方法，以1024个数据为一个周期、以步长为100进行滑窗，以窗口内的序列数据为样本；基于合格加工状态序列数据得到的样本为正常样本，基于异常加工状态序列数据得到的样本为异常样本；基于正常样本和异常样本构建数据集，并将数据集划分为训练数据集、测试数据集和验证数据集；训练数据集的正常样本和异常样本分别是数据集正常样本和异常样本的70％，测试数据集的正常样本和异常样本分别是数据集正常样本和异常样本的20％，验证数据集的正常样本和异常样本分别是数据集正常样本和异常样本的10％。
[0032]
步骤2：孪生深度时空神经网络模型；用于制造边缘实时事件洞察的少量学习模型，基于具有深度时空神经网络的孪生神经网络；在此网络模型中，使用相同的网络体系结构和共享权重设置两个相同的深度时空神经网络；输入数据是相同或不同类别的样本对(《正常样本，类别1异常样本》、《正常样本，类别2异常样本》、《正常样本，正常样本》)；直接使用深度时空神经网络从原始时间序列数据中提取特征；
[0033]
在孪生神经网络中，其采用的损失函数是contrastive loss，有效的处理孪生神经网络中的样本对的关系；contrastive loss的表达式如下：
[0034][0035]
其中，
[0036][0037]
代表两个样本特征x1和x1的欧氏距离，即二范数，p表示样本的特征维数，一般取64或128，y为两个样本是否匹配的标签，
[0038]
y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，m为人为设定的阈值，n为样本个数；两个样本的距离，可以用于估计带估计样本可能的完工拖延时间；
[0039]
步骤3：孪生深度时空神经网络训练与模型选择；
[0040]
利用孪生深度时空神经网络对输入数据进行训练时，利用contrastive loss损失函数评估样本对之间的差异，其中函数值越小说明样本对越接近，越有可能属于同一类别；神经网络的参数更新过程使用adam优化器和contrastive loss损失函数，初始学习率为0.0001，迭代1000回合，每隔200回合，学习率变为原来的0.1倍，得到已训练的预测模型；根据验证集的准确率的高低选取最合适的模型作为事件洞察模型；
[0041]
步骤4：基于孪生深度时空神经网络的制造边缘实时事件洞察；
[0042]
将步骤2得到的神经网络模型部署到嵌入式装置上，在嵌入式装置上读取保存的神经网络模型，并实时获取待测某一产品的加工状态序列数据，按照步骤1的方法进行数据处理得到数据样本，利用已训练的事件洞察模型检测数据样本，分析出待测时间序列是否存在事件，判断事件类别，得到事件的洞察结果。
[0043]
模型中的深度时空神经网络中包含3-5个dence block模块，每个denceblock模块包含5个rfb子块组成，每个rfb子块由2个通道相加，其中一个通道是上一层输出，另一个通道由5个分支提取上一层的特征数据矩阵，之后将多个数据矩阵按深度合并起来并进行1*1进行卷积，卷积结果与上一层的输出相加后，经过lrelu激活函数输出到下一个rfb子块；5个分支具体包括：
[0044]
6)分支1采用1*1和3*3的卷积核，按照扩张率1进行卷积，卷积中选择128的通道数量以保留更多的特征；
[0045]
7)分支2采用1*1、1*3和3*3的卷积核，按照扩张率3进行卷积；卷积中选择128的通道数量以保留更多的特征；
[0046]
8)分支3采用与分支2相同的处理方式；
[0047]
9)分支4采用1*1、1*3、3*1和3*3的卷积核，按照扩张率5进行卷积；卷积中选择64的通道数量；
[0048]
10)分支5采用1*1、1*5、5*1和3*3的卷积核，按照扩张率7进行卷积；卷积中选择32的通道数量。