一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法与流程

文档序号:22679133发布日期:2020-10-28 12:38阅读:69来源:国知局
一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法与流程

本发明涉及工业过程预测与控制领域,具体涉及基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法。



背景技术:

流程工业包括石油、化工、有色、钢铁、建材等行业,是国民经济的重要支柱产业。在工业过程中,质量的监测和控制对过程安全、优化和节能至关重要;质量的监测和控制在很大程度上决定于对过程关键性能指标的实时在线测量;由于测量环境恶劣,在线分析仪器昂贵,离线测量存在较大的延迟等原因使得过程关键性能指标的在线测量变得困难。由此,软测量技术应运而生。

软测量技术主要分为机理驱动的软测量模型和数据驱动的软测量模型。近几年,由于分布式控制系统的成功应用,我们可以从生产过程中获得大量的过程数据,使得数据驱动的软测量技术迅速发展。当前数据驱动的软测量技术主要有主成分回归分析、偏最小二乘回归、支持向量回归、人工神经网络算法等。但是这类浅层的网络对复杂过程的特征提取能力不足,受到网络深度的限制,浅层网络不能很好的挖掘过程数据中的非线性特征,而多层人工神经网络又容易受到梯度消失和梯度爆炸的影响,因此预测性能也受到一定的限制。随着计算机技术的发展,在2006年,hinton等人提出深层神经网络通过逐层无监督预训练和有监督微调可以有效的克服网络训练的难题,由此深度神经网络技术不断发展并在许多领域包括软测量建模中被广泛应用。在流程制造工业过程中,相比于深度置信网络、堆栈自编码器和卷积神经网络,循环神经网络由于其特别的网络结构能够处理工业过程中的动态特性,因此具有比静态神经网络更高的预测性能,但是标准的循环神经网络由于网络的细胞单元结构简单,使得网络存在长期依赖的问题,对此,标准循环神经网络的一种变体,长短期记忆网络应运而生。

长短期记忆网络的基本假设是动态时间序列中的测量值以均匀统一的频率采样。例如专利申请cn201910910902.1-一种基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法,就利用长短期记忆网络建立输入变量和质量变量之间的动态非线性模型,并在此基础上先利用一个空间注意力机制来获得质量变量和输入变量之间的相关性,再利用一个时间注意力机制来建立质量变量和输入样本的动态相关性,实现不仅能自适应地选择和质量变量相关的输入变量、还能处理工业过程中的时序性问题的效果,极大地提高软测量模型的准确性,实现了针对工业非线性动态生产过程关键质量变量进行精确预测。该方法要求输入样本的过程变量以及样本标签均为规则采样的时间序列且在构建模型时需要编码和解码,是专门针对工业非线性动态生产过程的软测量方法。

然而,对于流程制造工业过程中的过程数据测量,特别是质量变量,动态时间序列中的测量值往往很难满足等间隔采样条件。例如,在生产的初始阶段,质量变量的采样频率往往很高,以便监测过程是否满足工艺要求和产品是否合格;在过程稳定运行后,质量变量的分析频率要低得多。此外,质量变量大多由运行中的工厂的操作员手动取样,然后送到实验室进行离线分析。过程操作员很难保持均匀的采样频率。即使对于一些可以通过在线分析仪测量的质量变量,在许多流程制造工业过程中,各个流程化单元中频繁的维护也常常导致时间长度不规则的采样测量。

因此,针对流程制造工业过程中的动态时间序列样本数据的不规则采样问题,急需供一种长短期记忆网络的软测量建模方法,使得其充分考虑到流程制造工业过程中样本数据不规则的采样问题,以实现对生产过程关键质量变量进行精确预测的作用。



技术实现要素:

(一)要解决的技术问题

本发明的目的在于克服现有技术没有充分考虑流程制造工业过程中样本数据不规则采样问题,提供一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,实现了对生产过程关键质量变量进行精确预测,提高动态软测量模型在流程制造工业中的普适性,并且计算量小。

(二)技术方案

本发明公开了一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,该方法包括以下步骤:

步骤(1):通过机理分析和专家知识,从流程制造工业过程中选取对质量变量产生影响的若干关键过程变量作为输入变量,对输入变量和相应的质量变量连续的不规则采样若干次后,得到输入变量x与相应的质量变量y的时间序列数据集记为(x,y);

x={x(1),x(2),…,x(k),…,x(t1)}

y={y(1),y(2),…,y(k),…,y(t1)}

其中,t1为采样样本次数,1≤k≤t1;

步骤(2):对步骤(1)中采样的数据(x,y)进行归一化处理;

步骤(3)、构建模型:计算相邻两个样本的采样时间间隔△,设计了两个非增函数将采样间隔转换为合适的权值;将采样间隔权值和网络的隐状态相乘作为长短期记忆网络细胞单元中三个控制门的输入,由此根据采样间隔来调整控制门的开关程度,故而调整细胞单元隐层的输出,如果相邻两个样本之间的采样时间间隔△比较小,则两个相邻样本之间具有较强的动态关系,如果相邻两个样本之间的采样间隔△较大,则两个相邻样本之间的动态关系较弱;最后将长短期记忆网络细胞单元的各个时刻的隐状态通过一个全连接层得到质量变量的预测值其中,所述步骤(3)包括:

采用如下设计的两个非增函数得到相应的采样间隔权值:

其中,a1,b1,a2,b2分别为网络的超参数,δk为k时刻的样本与k-1时刻样本之间的时间间隔;

由此得到细胞单元中控制门的加权输入:

其中g(δk)选择g1(δk)或者g2(δk)函数,将加权后的隐状态作为遗忘门、输入门和输出门三者的输入,通过长短记忆网络单元最终得到隐藏层输出h(k);计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值:

其中,u为全连接层的权重,c为全连接层的偏置向量。

步骤(4):训练模型:确定网络的结构和超参数a1,b1,a2,b2以及网络学习率、训练迭代次数,训练基于采样间隔感知的长短期记忆网络;

步骤(5):实时采集输入变量值,利用训练完成的模型,得到质量变量的预测值,实现质量变量实时在线预测。

进一步的,所述的步骤(3)中还包括:利用长短期神经网络单元通过前向传播算法得到隐层状态包括:

遗忘门:

输入门:

输出门:

中间状态输入:

c(k)=tanh(wc[x(k);h(k-1)]+bc)

其中,w*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵,b*表示三个控制门和中间状态的偏置量;

当前时刻的细胞状态m(k)和隐藏层输出h(k)为:

进一步的,所述步骤(4)中包括:计算模型的损失函数:

计算出损失函数之后,利用基于时间的误差反向传播算法和adam算法更新网络参数,在损失函数收敛之后停止模型的训练。

进一步的,所述步骤(4)中还包括:采集测试样本,利用测试集数据验证模型的预测性能:

设归一化后的测试集输入样本和质量变量分别为:

其中,t2表示测试集的样本总数;

测试集的预测输出为:

其中,flstm表示基于采样间隔感知的长短期记忆网络模型。

进一步的,所述步骤(2)中还包括:对步骤(1)中采样的数据进行归一化:

其中,xmin为样本数据的最小值,xmax为样本数据的最大值;

由此得到[0,1]之间的新的数据集记为并将数据集作为训练集:

其中,n为输入样本的维度,

进一步的,步骤(1)中所述的流程制造工业过程为加氢裂化过程产品质量预测。

进一步的,选择加氢裂化生产过程中轻石脑油c5含量为输出变量,通过机理分析,从过程中选取对该输出变量有较大影响的43个过程变量作为采样间隔感知深度学习模型的输入变量。

进一步的,选择加氢裂化生产过程中重石脑油终馏点为输出变量,通过机理分析,从过程中选取对该输出变量有较大影响的43个过程变量作为采样间隔感知深度学习模型的输入变量。

(三)有益效果

本发明相对于现有技术,具有如下优点之处:本发明提供的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,利用长短期记忆网络建立输入变量和质量变量之间的动态非线性模型,在此基础上经过多次模拟实验,选择设计了g1(δk-1)和g2(δk-1)两个基于采样间隔的非增函数来处理样本数据不规则采样问题,利用非增函数可以将相邻两个样本的采样间隔转换为一个合适的采样间隔相关的权值并与隐状态相乘,将加权隐状态用于细胞中的三个控制门的输入来调节控制门的开关程度,并且在计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值其无需如现有技术cn201910910902.1中一样在建模过程中还需要进行复杂的编码和解码计算(且现有技术cn201910910902.1中的建模方法也解决不了本发明提出的技术问题),故本发明的方法计算量小且有效,不仅能处理流程制造工业中采样不规则问题,还能处理工业过程中的时序性问题,极大地提高软测量模型的准确性。

附图说明

为了更清晰地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍。很显然,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,可以根据这些附图得到其它的附图。

图1为本发明实施例1所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模整体流程示意图;

图2为本发明实施例1中长短期记忆网络细胞单元结构示意图;

图3为本发明实施例1中基于采样间隔感知的长短期记忆网络结构图;

图4为本发明实施例中加氢裂化简图;

图5为本发明实施例1中多层神经网络网络模型对轻石脑油中c5含量的预测值和真实值对比曲线图;

图6为本发明实施例1中堆栈自编码器模型对轻石脑油中c5含量的预测值和真实值对比曲线图;

图7为本发明实施例1中基于指数函数的采样间隔感知的长短期记忆网络模型对轻石脑油中c5含量的预测值和质量变量真实值对比曲线图;

图8为本发明实施例1中基于对数函数采样间隔感知的长短期记忆网络模型对轻石脑油中c5含量的预测值和质量变量真实值对比曲线图;

图9为本发明实施例1中多层神经网络网络模型对重石脑油终馏点的预测值和真实值对比曲线图;

图10为本发明实施例1中堆栈自编码器模型对重石脑油终馏点的预测值和真实值对比曲线图;

图11为本发明实施例1中基于指数函数的采样间隔感知的长短期记忆网络模型对重石脑油终馏点的预测值和质量变量真实值对比曲线图;

图12为本发明实施例1中基于对数函数采样间隔感知的长短期记忆网络模型对重石脑油终馏点的预测值和质量变量真实值对比曲线图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明在充分总结和分析现有技术的优劣基础上,基于常规本领域技术人员不容易发现的技术问题“流程制造工业过程中样本数据不规则采样问题”,对现有技术做了改进,提出一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,首先从生产过程中选取对质量变量有影响的关键变量,在对关键变量和质量变量进行连续采样,对采样的数据集进行归一化处理后作为训练集。利用长短期记忆网络建立输入变量和质量变量之间的动态非线性模型,在此基础上设计了两个基于采样间隔的非增函数来处理样本数据不规则采样问题,利用两个非增函数可以将相邻两个样本的采样间隔转换为一个合适的采样间隔相关的权值并与隐状态相乘,将加权隐状态用于细胞中的三个控制门的输入来调节控制门的开关程度。本发明提供的技术方案不仅能处理采样不规则问题,还能处理工业过程中的时序性问题,极大地提高软测量模型的准确性。

如图1-3所示,所述一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,具体包括以下步骤:

步骤(1):通过机理分析和专家知识,从流程制造工业过程中选取对质量变量产生影响的若干关键过程变量作为输入变量,对输入变量和相应的质量变量连续不规则采样若干次后,得到输入变量与相应的质量变量的时间序列数据集记为(x,y);

x={x(1),x(2),…,x(k),…,x(t1)}

y={y(1),y(2),…,y(k),…,y(t1)}

其中t1为采样样本次数,1≤k≤t1;

步骤(2):对步骤(1)中采样的数据进行归一化:

其中,xmin为样本数据的最小值,xmax为样本数据的最大值;

由此得到[0,1]之间的新的数据集记为并将数据集作为训练集:

其中,n为输入样本的维度,

步骤(3):构建模型,计算相邻两个样本的采样时间间隔△,设计了两个非增函数将采样间隔转换为合适的权值;将采样间隔权值和网络的隐状态相乘来作为长短期记忆网络细胞单元中三个控制门的输入,由此可以根据采样间隔来调整控制门的开关程度,故而调整细胞单元隐层的输出,如果相邻两个样本之间的采样时间间隔比较小,则认为两个相邻样本之间具有较强的动态关系,如果相邻两个样本之间的采样间隔较大,则认为两个相邻样本之间的动态关系较弱;最后将长短期记忆网络细胞单元的各个时刻的隐状态通过一个全连接层得到质量变量的预测值;

具体的,所述步骤(3)的具体处理如下:

通过多次实验和理论分析,本发明具体采用如下设计的两个非增函数得到相应的采样间隔权值:

其中,a1,b1,a2,b2分别为网络的超参数,δk为k时刻的样本与k-1时刻样本之间的时间间隔。

由此可以得到细胞单元中控制门的加权输入:

其中g(δk)为g1(δk)或者g2(δk),将加权后的隐状态作为遗忘门、输入门和输出门三者的输入,通过长短记忆网络单元最终得到隐藏层输出h(k):

利用长短期神经网络单元通过前向传播算法得到隐层状态包括:

遗忘门:

输入门:

输出门:

中间状态输入:

c(k)=tanh(wc[x(k);h(k-1)]+bc)

其中,w*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵,b*表示三个控制门和中间状态的偏置量;

当前时刻的细胞状态m(k)和隐藏层输出h(k)为:

计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值:

其中,u为全连接层的权重,c为全连接层的偏置向量。

步骤(4):训练模型,确定网络的结构和超参数a1,b1,a2,b2以及网络学习率、训练迭代次数,训练基于采样间隔感知的长短期记忆网络:计算模型的损失函数:

计算出损失函数之后,利用基于时间的误差反向传播算法和adam算法更新网络参数,在损失函数收敛之后停止模型的训练;

具体的,所述的步骤(4)包括:

采集测试样本,利用测试集数据验证模型的预测性能:

设归一化后的测试集输入样本和质量变量分别为:

其中,t2表示测试集的样本总数;

测试集的预测输出为:

其中,flstm表示基于采样间隔感知的长短期记忆网络模型。

步骤(5):实时采集输入变量值,利用训练完成的模型,得到质量变量的预测值,实现质量变量实时在线预测。

实施例1:

参见图1-5所示,一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法,包括以下步骤:

步骤(1)、从加氢裂化过程中选取对航煤初馏点的轻石脑油c5含量产生影响的43个变量(如表1所示)作为输入变量,提取了从2016年9月15日到2018年2月9日离线化验得到的1300个样本。

步骤(2)、对步骤(1)中收集到的数据进行归一化得到新的数据集,转化函数为:

其中xmin为数据集的最小值,xmax为数据集的最大值。离差标准化是对原始数据的线性变换,使结果落到[0,1]区间;

将前1000个样本作为训练集训练模型参数,剩下的300个样本作为测试集测试模型的预测性能,首先得到训练集的输入和输出矩阵:

其中,n为输入样本的维度,

步骤(3)利用设计的两个非增函数得到相应的采样间隔权值:

其中,网络的超参数a1,b1,a2,b2分别取值为4/8/10/24,δk为k时刻的样本与k-1时刻样本之间的时间间隔。

由此可以得到细胞单元中控制门的加权输入:

将加权后的隐状态作为遗忘门、输入门和输出门的输入:

遗忘门:

输入门:

输出门:

中间状态输入:

c(k)=tanh(wc[x(k);h(k-1)]+bc)

其中,w*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵,b*表示三个控制门和中间状态的偏置量;

当前时刻的细胞状态m(k)和隐藏层输出h(k)为:

计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值:

步骤(4)计算模型的损失函数mse:

计算出损失函数之后,利用基于时间的误差反向传播算法和adam算法更新网络参数,在损失函数收敛之后停止模型的训练;

步骤(5)利用测试集数据验证模型的预测性能,测试集输入样本和质量变量为:

最后利用训练完成的基于采样间隔感知的长短期记忆网络实现对质量变量的预测:

其中,flstm表示基于采样间隔感知的长短期记忆网络模型。

利用标准的均方根误差(rmse)和决定系数(r2)来评价软测量模型的预测精度,计算公式如下:

其中分别为质量变量的真实值、预测值和真实值的平均值。

预测结果分别如图6、图7、图8、图9所示,均方根误差rmse和决定系数r2如表2所示。可以看出本发明的基于采样间隔感知的长短期记忆网络较多层神经网络和堆栈自编码器可以更精确的预测质量变量的真实值,验证了本发明的有效性。

实施例2

下面对重石脑油终馏点进行预测:

步骤(1)、从加氢裂化过程中选取对重石脑油终馏点产生影响的43个变量(如表1所示)作为输入变量,提取了从2016年9月15日到2018年11月30日离线化验得到的871个样本。

步骤(2)、对步骤(1)中收集到的数据进行归一化得到新的数据集,转化函数为:

其中xmin为数据集的最小值,xmax为数据集的最大值。离差标准化是对原始数据的线性变换,使结果落到[0,1]区间;

将前632个样本作为训练集训练模型参数,剩下的239个样本作为测试集测试模型的预测性能,首先得到训练集的输入和输出矩阵:

其中,n为输入样本的维度,

步骤(3)利用设计的两个非增函数得到相应的采样间隔权值:

其中,网络的超参数a1,b1,a2,b2分别取值为10/6/10/24,δk为k时刻的样本与k-1时刻样本之间的时间间隔。

由此可以得到细胞单元中控制门的加权输入:

将加权后的隐状态作为遗忘门、输入门和输出门的输入:

遗忘门:

输入门:

输出门:

中间状态输入:

c(k)=tanh(wc[x(k);h(k-1)]+bc)

其中,w*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵,b*表示三个控制门和中间状态的偏置量;

当前时刻的细胞状态和隐藏层输出为:

计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值:

步骤(4)计算模型的损失函数mse:

计算出损失函数之后,利用基于时间的误差反向传播算法和adam算法更新网络参数,在损失函数收敛之后停止模型的训练;

步骤(5)利用测试集数据验证模型的预测性能,测试集输入样本和质量变量为:

最后利用训练完成的基于采样间隔感知的长短期记忆网络实现对质量变量的预测:

其中,flstm表示基于采样间隔感知的长短期记忆网络模型。

利用标准的均方根误差(rmse)和决定系数(r2)来评价软测量模型的预测精度,计算公式如下:

其中分别为质量变量的真实值、预测值和真实值的平均值。

预测结果分别如图10、图11、图12所示,均方根误差rmse和决定系数r2如表3所示。可以看出本发明的基于采样间隔感知的长短期记忆网络较多层神经网络和堆栈自编码器可以更精确的预测质量变量的真实值,验证了本发明的有效性。

故由实施例1-2的效果可知,本发明中基于对数和指数的两种非增函数的应用不仅能有效的处理流程制造工业中采样不规则问题,还能处理工业过程中的时序性问题,极大地提高软测量模型的准确性,且计算量小。此外值得再次一提的是,本发明的技术问题发现和提出是有难度的,本发明在发现了不容易发现的技术问题“流程制造工业过程中样本数据不规则采样问题”后,经过多次实验计算和理论分析,设计出两组有效的非增函数将相邻两个样本的采样间隔转换为一个合适的采样间隔相关的权值并与隐状态相乘,将加权隐状态用于细胞中的三个控制门的输入来调节控制门的开关程度,并且在计算出k时刻的隐状态之后,利用一个全连接层即可得到当前时刻的质量变量的预测值的一系列技术手段也都明显不属于本领域技术人员的常规技术手段。

最后说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

表1输入变量说明

表2四种方法预测轻石脑油c5含量的均方根误差和决定系数

表3四种方法预测重石脑油终馏点的均方根误差和决定系数

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1