基于注意力机制的高炉热负荷异常状态监测方法

1.本发明涉及的是一种高炉炼铁过程控制领域的状态监测技术，具体是一种基于注意力机制的高炉热负荷异常状态监测方法。


背景技术：

2.高炉热负荷是指单位时间通过单位面积冷却设备所带走的热量，是监测高炉设备状态的关键指标。热负荷控制不当，会带来许多不良的影响。在现有的理论研究工作中，对热负荷的计算与预测评估方法主要分为机理建模方法与数据驱动方法。传统高炉热负荷监测问题主要以机理分析与过程建模为主，而数据驱动方法主要以机器学习方法与各类神经网络方法进行预测建模为主。
3.然而，由于高炉炼铁过程的复杂多变，现有的分析方法并不能准确地预测热负荷，仍然面临如下挑战：
4.1)影响因素众多，历史数据质量差：在实际工况下高炉炼铁过程所采集的各项参数值，由于采集设备异常、周边环境温度过高等，造成部分采集的数据缺失、显著离群点以及量纲差异大等问题，对进一步的数据分析与建模造成困扰。
5.2)强耦合非线性关系复杂：由于高炉炼铁过程的作用机理复杂，所采集的历史数据中变量间的相关关系复杂，既有时间序列变量，也有非时间序列变量，导致多数据存在高维数和冗余，简单的回归分析方法无法建立输入参数与目标值之间的强非线性关系。
6.3)数据多粒度属性：所采集的状态监测数据的粗细粒度不同，有不同类型的粗粒度特征，如：温度、压力、和热负荷等，同时也存在细粒度特征，如：高炉设备不同部位所采集的温度等，现有的浅神经网络模型不能有效地提取这些特征。
7.4)时变与高动态性：高炉炼铁过程中发生激烈的氧化还原反应，导致炉内温度、压力、热负荷等参数指标的急剧变化，现有的热负荷状态监测方法与数据驱动的预测建模方法无法有效获取热负荷急剧变化的趋势。


技术实现要素：

8.本发明针对现有高炉热负荷异常状态监测方法在时变高动态特性下的异常状态实时预测问题，提出一种基于注意力机制的高炉热负荷异常状态监测方法，考虑所采集历史数据的质量问题设计两阶段数据预处理方法，能够显著提升热负荷急剧变化时趋势状态的预测准确性，把握高炉设备的运行状况，保证高炉炼铁生产过程的持续与稳定。
9.本发明是通过以下技术方案实现的：
10.本发明涉及一种基于注意力机制的高炉热负荷异常状态监测方法，首先进行数据采集与数据预处理，然后构建包括双层一维卷积神经网络(1dcnn)结构与单层双向长短记忆网络(bilstm)结构的基于注意力机制的预测模型，再基于联合训练机制的方式进行预测模型的训练，最后通过添加注意力机制的1dcnn提取输入参数显著异常波动的特征，再由bilstm在时间维度上的记忆功能，实现在线监测。
11.所述的数据采集是指：通过传感器采集的高炉炼铁过程的历史数据集，建立高炉热负荷的预测模型。
12.所述的数据预处理是指：经过数据清洗和基于互信息的特征选择的两阶段数据预处理和数据集划分，得到便于后续预测建模与统计分析的标准化关键输入参数，具体为：在第一阶段中依次采用缺失值填充、箱型图异常点剔除以及最大最小归一化方法实现原始数据的标准化，在第二阶段中采用连续随机变量互信息求取方法，分别计算每个输入变量与热负荷之间的互信息值，并设置参数过滤阈值，当所计算的互信息值大于所设置的参数过滤阈值，则进一步将参数依据从大到小的顺序排列；否则认为该参数与热负荷之间的非线性关联关系不足，进而默认该参数与热负荷无关，并将该部分参数进行剔除。
13.所述的数据清洗过程中对实际采集的数据进行缺失值、异常值以及量纲不一致问题处理；由于采集设备异常、周边环境温度过高等，造成部分采集的数据缺失，考虑到所采集的是与热负荷相关的时序数据，因而该部分数据不可直接剔除，采用上一时刻数据填充法对缺失的数据进行填充；箱型图法由于不受数据分布的限制，能直观表现数据分布的本来面貌，具有较强的鲁棒性特点，故对所采集的参数中存在的异常点利用箱型图法进行筛选剔除，并采用上一时刻值对所剔除的点进行填充；考虑到高炉炼铁温度、料速、煤比等各项参数指标之间的量纲差异大，因此对所采集的参数值利用最大-最小值归一化方法进行标准化处理。
14.所述的互信息是描述两个随机变量之间相互依存关系强弱的信息度量方法，对于高炉炼铁过程的相关参数与高炉热负荷变量。
15.所述的连续随机变量互信息求取方法，分别对各项参数与热负荷值进行关联分析，具体为：其中：p(xi,y)为当前参数xi与热负荷值y的联合概率密度函数，而p(xi)和p(y)分别为当前参数xi和热负荷值y的边缘概率密度函数。通过互信息得到每个参数与热负荷值之间的互信息值，之后依据互信息值进行倒序排列，挑选出与目标值关联性较强的特征参数。
16.所述的基于互信息的特征选择，通过算法实现无关参数的自动过滤与特征维度缩减：所采集的高炉炼铁数据中包含温度、料速、煤比、焦比等诸多量化参数，参数之间存在线性相关关系，表现出一定的参数冗余，无法准确判断其中对高炉热负荷具有直接关联影响的参数；当将所有参数同时作为输入变量，则有可能因为参数之间的冗余，增加预测模型对输入参数的敏感性，降低模型的鲁棒性；因此，通过设计特征选择方法从诸多变量中挑选出与目标值直接关联的低冗余特征，并以此作为输入，实现基于关键影响因素作为输入的预测建模。
17.通过两阶段数据预处理过程得到与热负荷密切关联的相关参数，而无关的、冗余的参数在此过程中被过滤。
18.所述的数据集划分是指：将数据清洗与特征选择后的数据划分为用于对后续预测模型进行训练的训练集和用于对模型的预测准确性、误差等指标进行测试验证的测试集。
19.所述的双层一维卷积神经网络结构，具体包括：输入层、卷积层、池化层、全连接层和输出层，其中：cnn通过逐层的卷积和池化操作提取数据特征，经过多个滤波器操作之后，最终将这些高维数据特征转化为低维数据特征，并输入全连接层进行进一步的回归或分类
分析。
20.在一维卷积层中，输入的数据信息在流向下一层之前需要经过卷积操作和激活函数的计算，具体为：h
t
＝σ
cnn
(w
cnn
*x
t
+b
cnn
)，其中：w
cnn
为滤波器的权重系数，即卷积核；x
t
为第t个输入样本数据信息；*为x
t
与w
cnn
之间的离散卷积运算；b
cnn
为偏置参数，该参数主要通过对模型进行训练时学习获得；σ
cnn
(
·
)为激活函数；h
t
为卷积操作结束后的输出数据。
21.所述的一维卷积神经网络中，卷积操作在层与层之间建立映射关系，为进一步减小计算量，引入池化层对卷积后的特征量进行降维，同时降低网络过拟合的风险，具体为：h
t
＝down(h
t-1
)，其中：h
t-1
和h
t
分别为池化前后的特征量，down()为池化函数。常用池化方法有最大值池化，平均值池化等。
22.所述的添加注意力机制是指：为所有输入特征逐个加权，关注特定空间和通道，实现时间序列的显著细粒度特征的提取。
23.所述的单层双向长短记忆网络结构包括：输入层、带有bilstm单元的隐藏层和输出层，其中：bilstm单元包括三个门控结构，即输入门、遗忘门和输出门，c
t-1
为上一时刻的细胞状态，h
t-1
为上一时刻隐藏层的输出，x
t
为当前lstm单元的输入，c
t
为更新后的细胞状态，h
t
为当前隐藏层的输出；细胞状态是lstm单元的核心，细胞状态沿时间序列传递相关信息，并通过三个门更新状态；遗忘门对上一个节点的输入进行选择性忘记，具体为：f
t
＝σ(wf·
[h
t-1
，x
t
]+bf)，其中：h
t-1
为上一时刻的隐层信息，x
t
为当前输入，σ为sigmoid函数，wf和bf为训练参数；输入门对本阶段的输入有选择性的记忆，与遗忘门的结果决定细胞状态更新，具体为：其中：c
t-1
为上一时刻细胞状态，为新的候选值向量，c
t
为当前细胞状态，wi、bi、wc和bc为训练参数，*为向量内积；输出门决定当前状态的输出，具体为：其中：o
t
为输出门的运算结果，w0为权重，b0为偏置，tanh(
·
)为激活函数，*为向量内积。
[0024]
所述的单层双向长短记忆网络结构基于整个时间序列对输出进行预测，包含正反两个方向的lstm网络第1层lstm计算当前时间点序列信息，第2层lstm反向读取相同序列，并添加逆序信息；每一个训练序列向前和向后分别是两个lstm网络，而且这两个网络都连接着一个输出层，这个结构为输出层的输入序列中的每个点提供完整的过去和未来上下文信息；在进行训练时，通过对输出神经元的正向和反向传播来更新网络的权值。
[0025]
所述的bilstm单元结构中x
t-1
和h
t-1
为上一时刻状态输入和隐藏层输出，x
t
和h
t
为当前状态输入和隐藏层输出,x
t+1
和h
t+1
为下一时刻状态输入和隐藏层输出。
[0026]
所述的模型训练，首先将清洗好的数据通过数据导入层，实现数据输入；对每个序列数据进行基于注意力机制的一维卷积特征提取，通过两层卷积池化过程输出序列特征；对每个子序列特征分别构建bilstm神经网络模型；将所提取特征权重信息输入到bilstm中，并通过单层全连接网络输出预测结果值。
[0027]
所述的模型训练，进一步通过统计分析指标衡量所提模型预测准确性与模型鲁棒性的评价值指标；该分析指标包括：平均绝对误差(mae)，均方根误差(rmse)，平均绝对百分比误差(mape)，最大误差值(max error)，具体为：
其中：n为所统计的样本量，为第i时刻的热负荷预测值，yi为第i时刻的热负荷真实值。
[0028]
本发明涉及一种实现上述方法的系统，包括：数据清洗单元、特征选择单元、模型融合预测单元以及统计分析单元，其中：数据清洗单元根据采集的原始状态监测数据，进行异常点识别、缺失值填充、归一化处理，得到符合后续模型训练与测试的标准数据结果，特征选择单元根据前一步标准化后的数据结果，利用互信息进行关键参数辨识处理，得到低维度的关键参数，模型融合预测单元根据融合注意力机制的1dcnn模型和bilstm模型，利用间隔时序特征采样进行数据采集处理，在融合训练机制下得到热负荷预测结果，统计分析单元根据测试集的数据信息，进行模型验证分析处理，得到模型的客观评价结果。技术效果
[0029]
本发明通过在特征选择单元中采用互信息方法实现了参数间非线性关系的度量，相比传统基于泊松相关性的线性度量方法实现了非线性关系的度量，在模型融合预测单元中，通过在1dcnn模型中添加了注意力机制实现了对热负荷急剧变化趋势的准确把握，并通过bilstm模型实现了历史状态信息的记忆与传递，相比于传统单一预测模型具有更佳的预测精度与热负荷趋势拟合度。
[0030]
与现有技术相比，本发明实现了数据的标准化，并从众多影响参数中找到了与热负荷变化密切相关的少数关键变量，通过融合预测模型分别利用1dcnn模型与bilstm模型实现了输入数据不同粒度的特征提取，构建了炉温、喷煤量、等输入与热负荷输出变量间的复杂非线性映射关系，并通过添加注意力机制实现了高炉热负荷时变高动态变化的趋势追踪，具有更快的响应速度与预测准确度。
附图说明
[0031]
图1为本发明流程图；
[0032]
图2为两阶段数据预处理过程示意图；
[0033]
图3为卷积神经网络模型示意图；
[0034]
图4为长短期记忆网络模型示意图；
[0035]
图5为双向长短期记忆网络模型示意图；
[0036]
图6为基于注意力机制的1dcnn与bilstm预测模型的模型结构；
[0037]
图7为基于互信息的特征选择结果图；
[0038]
图8为对比模型在各评价指标下的箱型统计结果图；
[0039]
图9为各对比模型在未来3天内预测值与真实值的对比图；
[0040]
图10为各模型预测值与真实值误差在正负5％区间内的密度图。
具体实施方式
[0041]
经过具体实际实验，本实施例采集上海市某钢铁生产企业的实际生产数据，每间隔一小时进行一次数据采集，所采集的数据主要包括高炉温度、料速、喷煤量、风速、氧量、煤比、总热负荷等共计14维数据，通过本发明所设计的数据预处理与预测模型实现对总热负荷的预测。
[0042]
如图1所示，为本实施例涉及一种基于注意力机制的高炉热负荷异常状态监测方法，包括以下步骤：
[0043]
步骤a：数据清洗。获取高炉炼铁生产过程中传感器采集的历史过程数据，分析数据集中是否存在缺失值、异常值以及量纲差异问题，分别采用缺失值填充、箱型图异常点剔除、最大最小归一化方法实现数据的清洗与标准化。
[0044]
步骤b：基于互信息的特征选：建立基于互信息的特征选择模型，并人为设置阈值等于0.3，将互信息值大于0.3的相关参数进行保留，剔除互信息值小于0.3的无关参数，如图2所示。最终从14组输入变量中依据互信息值筛选出6个与热负荷值密切关联的变量如图7所示，分别是：喷煤量、风速、氧量、温度、铁含量以及一氧化铁含量。
[0045]
本实施例中所设置的阈值等于0.3，是因为在信息科学领域中默认互信息值大于0.3为参数间具有非线性相关关系，而小于0.3则默无相关关系，此处所设置的阈值大小不局限于0.3，也可以是0.5或0.8等小于1的参数，所设置的阈值越接近1相对保留下来的参数则越少，此处将阈值设置为0.3。
[0046]
步骤c：基于注意力机制的一维卷积神经网络：建立卷积神经网络的特征提取模型，如图3所示，而注意力机制则是采用软注意力机制策略，通过设置不同的采样间距，将注意力模块在不同区域内所提取的权重特征信息与一维卷积神经网络所提取的权重特征信息进行逐元素相乘，从而得到融合的权重特征信息，并进一步作为参数传递到bilstm预测模型中，实现后续的预测建模，如图6所示。
[0047]
步骤d：基于bilstm的热负荷趋势预测：建立bilstm预测模型，该模型与传统lstm模型相似，如图4所示，只是在单层lstm模型的隐藏层中多加一层反向传播过程，如图5所示，进而提升模型对时间序列上特征的记忆与提取能力。
[0048]
步骤e：统计分析。通过上述步骤a-步骤d，实现高炉炼铁数据集数据清洗、特征选择、预测建模的全过程，而在传统的预测建模过程中还需要进一步验证模型的预测准确性与模型鲁棒性；进一步建立模型评价指标，并将传统的mlp、lstm以及1dcnn-bilstm模型作为对比模型，进行参数结果验证；各模型分别运行30次，统计这30次最终的预测结果，将统计结果利用箱型图进行绘制，得到各评价指标上的对比结果如图8所示，可以看出本方法在所列出的四项指标上均取得最佳的结果；由图9所示的真实值与预测值进行对比可以发现本发明中所提出的模型能准确适应热负荷急剧变化的趋势；由图10所示的真值与预测值的散点图可以发现本方法的真值与预测值在正负5％预测误差区间的样本点有将近90.14％，相比于另外三个对比模型中表现最佳的模型显著提升15.49％，这足以说明，相比其他三种基准方法，本方法的准确性和鲁棒性更好。
[0049]
本实施例的所有代码在python 3.8中运行，计算机配置为intel(r)core(tm)i7-10700cpu@2.90ghz 64.0gb ram。
[0050]
与现有技术相比，本方法考虑了所采集历史数据的质量问题设计了两阶段数据预处理方法，实现了数据标准化与维度缩减，筛选了关键的6个输入参数，如图7所示，为后续的预测建模提供数据支持；进一步考虑状态监测参数的多粒度属性分别设计基于一维卷积神经网络与长短期记忆神经网络的特征提取与时序预测模型，实现热负荷趋势的追踪预测；重点考虑热负荷变化的时变与高动态特性，将注意力机制添加到一维卷积神经网络模型中，显著提升热负荷急剧变化时趋势状态的预测准确性，达到90.14％，相比于其他表现
最佳的预测模型显著提升了15.49％，如图10所示；通过改进的基于注意力机制的高炉热负荷异常状态监测模型，可以辅助现场工程师准确地判断是否需要及时采取冷却措施，把握高炉设备的运行状况，从而保证高炉炼铁生产过程的持续与稳定。
[0051]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。