化工过程故障诊断方法、系统、电子设备及存储介质与流程

1.本发明涉及化工过程故障检测与诊断技术领域，具体地涉及一种化工过程故障诊断方法、一种化工过程故障诊断系统、一种电子设备以及对应的存储介质。


背景技术：

2.目前化工过程中的故障检测与诊断的方法大致可以分为三类：基于知识驱动的方法、基于模型驱动的方法和基于数据驱动的方法。而基于数据驱动的方法以过程数据为基础，构造决策模型模拟装置真实运行情况，用计算量和数据量弥补复杂过程难以有效机理建模的弊端，因而在三类方法中脱颖而出，成为当下故障检测与诊断技术的主流方法。
3.而基于数据驱动的方法又可细分为统计方法、浅层学习方法和深度学习方法。尽管以上数据驱动方法各有优势，但是弊端也非常明显。首先，需要大量的专业领域知识才能确定故障的属性特征，而由于自身方法的限制，两类方法又不能有效处理大数据量的问题；其次，两类方法将过程变量特征视为服从独立分布的离散变量处理，不考虑变量之间的交互关系和隐藏关系，因此故障诊断率仍然普遍偏低，而且极大地浪费了数据资源，基于田纳西-伊斯曼过程(te)基准进行工艺监控和诊断比较，两类方法的平均故障诊断率只有73.8％和84.4％。
4.虽然基于深度学习的诊断方法在处理高维过程变量方面展现出了优势，故障诊断准确率明显提高，但是仍然存在不足之处，第一，现有深度诊断方法在构建训练模型时只关注了特征的非线性高阶交互而忽视了低阶交互、线性关系对全局建模的补充，导致模型泛化性能较差；第二，现有深度模型提取出的高阶特征只涉及到隐式的交互特征，其特征形式是未知的，且阶数不可控制，模型复杂性过高。


技术实现要素：

5.本发明实施例的目的是提供一种化工过程故障诊断方法、系统、电子设备及存储介质，以至少解决现有技术中的以下问题：传统浅层学习方法难以自动获取交互特征，只有在大量专业领域知识的辅助下才能确定故障类型，而现实中获取过程数据成本高、难度较大，因此，浅层方法只适合小样本数据，难以解决现代化工系统对海量数据的实时诊断处理要求；以及大部分现有深度学习方法仅关注不同特征间的非线性隐式高阶交互，特征形式未知且阶数不可控制，并且忽略了显式高阶交互、低阶交互及线性关系对模型学习的重要性，从而造成了极大地数据资源浪费。
6.为了实现上述目的，本发明第一方面提供化工过程故障诊断方法，所述诊断方法包括：获取化工过程中现场生产装置的监控数据；将所述监控数据进行预处理，所述预处理包括特征提取和数据标准化；将预处理后的监控数据输入训练好的极深因式分解机故障诊断模型；得到所述训练好的极深因式分解机故障诊断模型的输出作为诊断结果。
7.优选的，所述数据标准化包括以下操作：利用均值和方差进行标准化、独热编码离散化、标签标注和格式转换。
8.优选的，所述训练好的极深因式分解机故障诊断模型通过以下步骤得到：构建所述极深因式分解机故障诊断模型，所述极深因式分解机故障诊断模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型；构建化工过程中现场生产装置的监控数据的历史数据为样本数据，将所述样本数据分为训练集和测试集；将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，得到训练后的极深因式分解机故障诊断模型；将所述验证集中的样本数据输入训练后的极深因式分解机故障诊断模型，若验证通过，则以所述训练后的极深因式分解机故障诊断模型作为所述训练好的极深因式分解机故障诊断模型。
9.优选的，构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集，包括：将所述监控数据的历史数据进行预处理后得到样本数据，所述预处理包括特征提取和数据标准化；将样本数据进行分类，对分类后的每类样本数据按各自比例抽取作为所述训练集；以抽取训练集后的剩余样本数据作为所述测试集。
10.优选的，将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，包括：通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。
11.优选的，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。
12.优选的，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。
13.优选的，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。
14.优选的，在得到所述极深因式分解机故障诊断模型的输出作为诊断结果之后，所述诊断方法还包括：确定所述诊断结果与人工诊断结果存在差异，则对所述训练好的极深因式分解机故障诊断模型进行重新训练。
15.在本发明的第二方面，还提供了一种化工过程故障诊断系统，所述诊断系统包括：数据获取模块，用于获取化工过程中现场生产装置的监控数据；预处理模块，用于将所述监
控数据进行预处理，所述预处理包括特征提取和数据标准化；诊断模型模块，用于将预处理后的监控数据输入训练好的极深因式分解机故障诊断模型；以及结果输出模块，用于得到所述训练好的极深因式分解机故障诊断模型的输出作为诊断结果。
16.优选的，所述数据标准化包括以下操作：利用均值和方差进行标准化、独热编码离散化、标签标注和格式转换。
17.优选的，所述诊断模型模块中的训练好的极深因式分解机故障诊断模型通过以下步骤得到：构建所述极深因式分解机故障诊断模型，所述极深因式分解机故障诊断模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型构成；构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集；将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，得到训练后的极深因式分解机故障诊断模型；将所述验证集中的样本数据输入训练后的极深因式分解机故障诊断模型，若验证通过，则以所述训练后的极深因式分解机故障诊断模型作为所述训练好的极深因式分解机故障诊断模型。
18.优选的，构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集，包括：将所述监控数据的历史数据进行预处理后得到样本数据，所述预处理包括特征提取和数据标准化；将样本数据进行分类，对分类后的每类样本数据按各自比例抽取作为所述训练集；以抽取训练集后的剩余样本数据作为所述测试集。
19.优选的，将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，包括：通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。
20.优选的，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。
21.优选的，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。
22.优选的，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。
23.优选的，在得到所述极深因式分解机故障诊断模型的输出作为诊断结果之后，所述诊断系统还包括：优化模块，用于确定所述诊断结果与人工诊断结果存在差异，则对所述训练好的极深因式分解机故障诊断模型进行重新训练。
24.在本发明的第三方面，还提供了一种电子设备，包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的化工过程故障诊断方法。
25.本发明第四方面提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行前述的化工过程故障诊断方法。
26.本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的化工过程故障诊断方法。
27.上述技术方案利用极深因式分解机故障诊断模型，可同时自动挖掘或提取多类隐藏交互特征，避免了人工手动提取交互特征的麻烦，并将特征交互模式由元素级别提升为向量级别，有效降低了模型超参数的复杂程度。该模型对于简单和复杂的化工过程均可有效处理，具有突出的泛化性能和记忆性能。
28.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
29.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
30.图1示意性示出了根据本发明实施方式的化工过程故障诊断方法的步骤流程示意图；
31.图2示意性示出了根据本发明实施方式的极深因式分解机故障诊断模型的整体结构框图；
32.图3示意性示出了根据本发明实施方式的深度神经网络模型的结构示意图；
33.图4示意性示出了根据本发明实施方式的压缩交互网络模型的结构示意图；
34.图5示意性示出了根据本发明实施方式的化工过程故障诊断方法的实施流程示意图；
35.图6示意性示出了根据本发明实施方式的化工过程故障诊断系统的结构示意图；
36.图7示意性示出了根据本发明实施方式中不同参数模型对极深因式分解机故障诊断模型的性能影响示意图。
具体实施方式
37.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
38.图1示意性示出了根据本发明实施方式的化工过程故障诊断方法的步骤流程示意图，如图1所示。一种化工过程故障诊断方法，所述诊断方法包括：
39.s01、获取化工过程中现场生产装置的监控数据；
40.当本实施方式中的化工过程故障诊断方法为在线实时监测时，获取监测数据的方
式为实时获取。当本实施方式中的化工过程故障诊断方法为离线的数据分析时，获取数据的方式为从存储介质或其他设备中读取。
41.s02、将所述监控数据进行预处理，所述预处理包括特征提取和数据标准化；
42.对监控数据进行特征提取为初步的特征提取，主要用于排除明显错误和无需处理的数据特征。数据标准化包括将数据处理成为符合预设格式，并利于模型处理的数据。
43.s03、将预处理后的监控数据输入训练好的极深因式分解机故障诊断模型；
44.本实施方式通过引入极深因式分解机模型进行故障诊断，该模型将三类神经网络模型并行融合，从三种不同角度出发提取交互特征，并将其有效的泛化进训练过程中。同时，该模型根据网络层数自适应调节特征交互的阶数，以减少超参的优化成本，进一步提高故障诊断精度。
45.s04、得到所述极深因式分解机故障诊断模型的输出作为诊断结果。
46.训练好的极深因式分解机故障诊断模型通过对输入的监控数据处理，输出诊断结果。该诊断结果可以为布尔值，即判断是否存在故障；该诊断结果可以为分类值，表示出诊断出的故障类型的种类。
47.通过以上实施方式，利用极深因式分解机故障诊断模型，可同时自动挖掘或提取多类隐藏交互特征，避免了人工手动提取交互特征的麻烦，并将特征交互模式由元素级别提升为向量级别，有效降低了模型超参数的复杂程度。该模型对于简单和复杂的化工过程均可有效处理，具有突出的泛化性能和记忆性能。
48.在本发明提供的一种实施方式中，所述数据标准化包括以下操作：利用均值和方差进行标准化、独热编码离散化、标签标注和格式转换。对选取的数据依次利用均值和方差进行标准化，独热编码(one-hot)离散化，标签标注、格式转换等预处理操作，将输入数据转换为模型要求的格式数据。通过以上标准化处理能够提升模型识别的准确性。
49.在本发明提供的一种实施方式中，所述训练好的极深因式分解机故障诊断模型通过以下步骤得到：构建所述极深因式分解机故障诊断模型(后文也简称为xdeepfm模型)，所述极深因式分解机故障诊断模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型构成；图2示意性示出了根据本发明实施方式的极深因式分解机故障诊断模型的整体结构框图，如图2所示。该模型是一个并行的混合神经网络生成模型，该模型由因式分解机模型(factorization machine，fm)、深度神经网络模型(deep neural networks，dnn)和压缩交互网络模型(compressed interaction network，cin)三部分组合而成。其中fm模型的作用是提取线性特征和低阶交互特征，dnn模型的作用是提取隐式高阶交互特征，cin模型的作用是提取显式高阶交互特征。
50.构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集；采用样本数据对极深因式分解机故障诊断模型进行训练是该极深因式分解机故障诊断模型能够正确识别的必要步骤。采用训练集中的样本数据对模型进行训练，以得到较优的模型参数。采用测试集样本数据对模型进行测试，以验证训练过程的训练效果。
51.将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，得到训练后的极深因式分解机故障诊断模型；此处的训练过程根据实际需要进行设置。例如可选用以下参数：批尺寸batch_size＝64；学习率learning rate＝0.001；周期epoch＝15；
迭代次数τ＝1000等。
52.将所述验证集中的样本数据输入训练后的极深因式分解机故障诊断模型，若验证通过，则以所述训练后的极深因式分解机故障诊断模型作为所述训练好的极深因式分解机故障诊断模型。经过上一步骤的训练之后，需要对训练的效果进行验证。验证方式采用将验证集中的样本数据进行验证，若诊断结果的准确度较高，则验证通过。否则重复上一步骤的训练过程，继续训练优化该极深因式分解机故障诊断模型。
53.以上步骤提供了训练好的极深因式分解机故障诊断模型的生成步骤，通过以上步骤能够得到具有故障诊断功能的训练好的极深因式分解机故障诊断模型。
54.在本发明提供的一种实施方式中，上一实施方式中的样本数据、数据样本的训练集和测试集，采用以下方式获取：将所述监控数据的历史数据进行预处理后得到样本数据，所述预处理包括特征提取和数据标准化；将样本数据进行分类，对分类后的每类样本数据按各自比例抽取作为所述训练集；以抽取训练集后的剩余样本数据作为所述测试集。例如：收集正常数据1
×
4000
×
50，故障数据20
×
4000
×
50，4000代表样本条数，50代表特征维度，接下来，将每类数据按90％、70％、50％和30％比例随机抽取构造不同训练集，标记为tr90、tr70、tr50和tr30，剩余数据构造对应测试集。
55.在本发明提供的一种实施方式中，将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，包括：
56.通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。如前所述xdeepfm模型由因式分解机模型(factorization machine，fm)、深度神经网络模型(deep neural networks，dnn)和压缩交互网络模型(compressed interaction network，cin)三部分组合而成，本实施方式分别对以上三个模型进行训练，其训练过程将在后文详述。
57.在本发明提供的一种实施方式中，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。fm模型是一种有监督学习方法，擅长处理数据稀疏情况下的参数估计问题，它可以将任意类型的数据映射为实值特征向量，进而利用线性特征和交互特征完成分类预测。xdeepfm模型中采用标准的二阶fm模型进行线性建模，首先将原始特征经one-hot离散编码后封装成不同的属性向量，然后将属性向量直接输入模型，fm模型表达式见公式(1)：
[0058][0059]
其中，模型参数w0、wi和w
ij
分别表示全局偏置、特征i对应的权重和特征i与特征j交互项的权重，n表示输入特征的总维数。
[0060]
可以看出，fm模型实际由逻辑回归模型和二阶交互项构成，并通过将交互项的权重分解为隐因式向量的乘积来缓解数据稀疏性问题。公式(1)中交互项xi和xj的权重w
ij
可
以表示为w
ij
＝v
it
vj，其中vi和vj分别表示特征xi和xj对应的隐因式向量，隐因式向量的维数通常基于交叉验证方式确定。
[0061]
为训练fm模型，只需求解如下优化问题：
[0062][0063][0064]
其中s表示训练集，λ
w0
、λw、λv分别表示三种模型参数对应的正则化系数。
[0065]
对于优化问题(2)，利用随机梯度下降法求解权重参数，迭代公式如下:
[0066][0067]
其中η为学习率。
[0068]
图3示意性示出了根据本发明实施方式的深度神经网络模型的结构示意图；在本实施方式中，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。dnn模型是一种可以拥有多个隐藏层的全连接神经网络模型，模型每一层的任意神经元必须与下一层的任意神经元全部连接，例如图3所示四层dnn模型，其中第一层是输入层，第四层是输出层，中间两层是隐藏层。xdeepfm模型的dnn部分首先将属性向量输入进嵌入层转化为连续属性向量e，然后将e输入到前向神经网络来学习复杂高阶特征，此时的高阶特征可以理解为隐式的高阶交互特征，即同一个field内的元素也会交互，且交互阶数无法控制，计算公式如下：
[0069]
x1＝σ(w
(1)
e+b1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0070]
xk＝σ(w
(k)
x
(k-1)
+bk)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0071]
其中xk表示第k层的输出，σ表示激活函数，wk表示第k层与第k+1层之间的权重，bk表示第k+1层的偏置。
[0072]
dnn模型的损失函数如下：
[0073][0074]
对于优化问题(6)，利用批量梯度下降法求解，公式如下：
[0075]
[0076][0077]
其中：
[0078][0079][0080]
图4示意性示出了根据本发明实施方式的压缩交互网络模型的结构示意图，如图4所示。在本实施方式中，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。cin模型是xdeepfm模型的核心，它可以通过控制网络的层数来调节特征阶数，有效避免模型参数量随层数的增多而指数级增长的缺陷，从而达到高效提取显式高阶交互特征的目的。从图2可知，cin模型与dnn模型共享相同的输入，但是特征处理机制大不相同，具体来说，在cin模型中，属性向量e被视为相互作用的一个单位，因此将嵌入层的输出和各隐藏层的输出分别表示为一个矩阵，记为和其中x0中的第i行是第i个嵌入属性向量：d是属性向量的维数，hk表示第k层中特征向量的个数。设h0＝m，xk计算公式如下：
[0081][0082]
其中，表示第h个特征向量的参数矩阵，
○
表示hadamard积。注意，xk是通过x
k-1
和x0之间的相互作用导出的，因此特征的交互关系是通过显式计算明确测量的，并且相互作用的程度随着网络深度的增加而增加。
[0083]
通过观察公式(11)，整个cin模型的计算可以分为三步：
[0084]
第一步，计算把前一隐层的输出状态xk和嵌入层的输出矩阵x0求内积计算出一个中间结果z
k+1
，它是一个三维的张量矩阵，如图4(a)。
[0085]
第二步，对第一步得到的张量矩阵z
k+1
做逐层特征映射操作，用h
k+1
个位置为m*hk个向量的卷积核生成下一隐层的输出，如图4(b)。
[0086]
第三步，对第二步生成的每个特征映射矩阵做求和池化操作，公式如(12)，接下
来，将所有隐层矩阵池化之后的向量进行拼接作为模型输出，如图4(c)。
[0087][0088]
其中，i∈[1,hk]，k∈[1,t]，t表示网络深度。
[0089]
解决分类问题时，选用softmax函数作为输出函数，公式如下：
[0090][0091]
其中，k表示类别，σ(z)j表示(0-1)范围内的实值k维向量，即属于第j类的概率。
[0092]
最后，xdeepfm模型的计算公式为：
[0093][0094]
其中σ是激活函数，a是初始特征，p+分别是dnn和cin的输出，w*和b是可学习参数。
[0095]
xdeepfm模型的损失函数如下：
[0096][0097]
其中，n是训练样本的总数。优化过程是最小化以下目标函数：
[0098]
η＝l+λ
*
||θ||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0099]
其中λ*表示正则项，θ表示参数集。
[0100]
在本发明提供的一种实施方式中，在得到所述极深因式分解机故障诊断模型的输出作为诊断结果之后，所述诊断方法还包括：确定所述诊断结果与人工诊断结果存在差异，则对所述训练好的极深因式分解机故障诊断模型进行重新训练。在前述多种实施方式中，在前述的步骤s04之后，如果预测的诊断结果与专家的判断之间存在差异，则需要使用新数据重新离线训练xdeepfm模型，以此实现xdeepfm模型的诊断更为准确。
[0101]
图5示意性示出了根据本发明实施方式的化工过程故障诊断方法的实施流程示意图，如图5所示。该步骤仅包括了离线阶段，如下所示：
[0102]
步骤1，数据选择：从化工过程现场生产装置中收集历史数据并进行初步特征选取。
[0103]
步骤2，数据处理：对选取的数据依次利用均值和方差进行标准化，one-hot离散化，标签标注、格式转换等预处理操作，将输入数据转换为模型要求的格式数据。
[0104]
步骤3，数据划分：将包含相应标签的输入数据划分为不同比例的训练集和测试集。
[0105]
步骤4，模型训练：训练xdeepfm模型，将训练集输入xdeepfm模型模型，三个不同网络模型并行处理，得到权重矩阵，并进行模型参数调优。
[0106]
步骤5，模型测试：测试xdeepfm模型，将测试集输入xdeepfm模型模型。
[0107]
步骤6，结果输出：输出故障诊断结果。
[0108]
步骤7：如果xdeepfm模型的测试集诊断结果令人满意，则用于在线阶段的实时故障诊断，否则，返回步骤4，继续训练优化模型。
[0109]
以上主要包括离线阶段的xdeepfm模型训练，该xdeepfm模型的在线阶段的使用主要包括以下步骤：
[0110]
步骤1：从化工过程现场生产装置中收集实时数据并进行初步特征选取。
[0111]
步骤2：与离线阶段一样，进行特征预处理操作。
[0112]
步骤3：将处理好的数据输入离线阶段训练好的xdeepfm故障诊断模型。
[0113]
步骤4：输出并显示故障诊断结果(正常、某类故障)。
[0114]
步骤5：如果预测的诊断结果与专家的判断之间存在差异，则需要使用新数据重新离线训练xdeepfm模型。
[0115]
图6示意性示出了根据本发明实施方式的化工过程故障诊断系统的结构示意图，如图6所示。在本实施方式中，还提供了一种化工过程故障诊断系统，所述诊断系统包括：数据获取模块，用于获取化工过程中现场生产装置的监控数据；预处理模块，用于将所述监控数据进行预处理，所述预处理包括特征提取和数据标准化；诊断模型模块，用于将预处理后的监控数据输入训练好的极深因式分解机故障诊断模型；以及结果输出模块，用于得到所述训练好的极深因式分解机故障诊断模型的输出作为诊断结果。
[0116]
在一种可选的实施方式中，所述数据标准化包括以下操作：利用均值和方差进行标准化、独热编码离散化、标签标注和格式转换。
[0117]
在一种可选的实施方式中，所述诊断模型模块中的训练好的极深因式分解机故障诊断模型通过以下步骤得到：
[0118]
构建所述极深因式分解机故障诊断模型，所述极深因式分解机故障诊断模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型构成；
[0119]
构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集；
[0120]
将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，得到训练后的极深因式分解机故障诊断模型；
[0121]
将所述验证集中的样本数据输入训练后的极深因式分解机故障诊断模型，若验证通过，则以所述训练后的极深因式分解机故障诊断模型作为所述训练好的极深因式分解机故障诊断模型。
[0122]
在一种可选的实施方式中，构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集，包括：
[0123]
将所述监控数据的历史数据进行预处理后得到样本数据，所述预处理包括特征提取和数据标准化；
[0124]
将样本数据进行分类，对分类后的每类样本数据按各自比例抽取作为所述训练集；
[0125]
以抽取训练集后的剩余样本数据作为所述测试集。
[0126]
在一种可选的实施方式中，将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，包括：
[0127]
通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；
[0128]
通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；
[0129]
通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。
[0130]
在一种可选的实施方式中，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。
[0131]
在一种可选的实施方式中，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：
[0132]
根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；
[0133]
利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。
[0134]
在一种可选的实施方式中，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：
[0135]
配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；
[0136]
定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及
[0137]
训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。
[0138]
在一种可选的实施方式中，在得到所述极深因式分解机故障诊断模型的输出作为诊断结果之后，所述诊断系统还包括：优化模块，用于确定所述诊断结果与人工诊断结果存在差异，则对所述训练好的极深因式分解机故障诊断模型进行重新训练。
[0139]
上述的化工过程故障诊断系统中的各个功能模块的具体限定可以参见上文中对于化工过程故障诊断方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0140]
在本发明提供的一种实施方式中，还提供了一种电子设备，包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的化工过程
故障诊断方法。此处的控制模块或处理器具有数值计算和逻辑运算的功能，其至少具有数据处理能力的中央处理器cpu、随机存储器ram、只读存储器rom、多种i/o口和中断系统等。处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现前述的方法。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
[0141]
在本发明提供的一种实施方式中，还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行前述的化工过程故障诊断方法。
[0142]
在本发明提供的一种实施方式中，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的化工过程故障诊断方法。
[0143]
以下通过一个实施方式说明本发明的实施步骤和技术效果。
[0144]
本实施方式利用te过程仿真数据验证所提技术的有效性。实施所用计算机运行环境为3.60ghz,intel(r)core(tm)i7-9700u cpu，16gb内存，windows 10，64位操作系统并使用python 3.6实现相关算法。
[0145]
1、数据获取及划分
[0146]
te过程是故障检测和诊断的基准，它通过模拟现实化学过程，实现开发、研究和评估过程控制等功能，广泛应用于过程优化、监视、故障诊断等方面。通过最新te修订模型对过程数据进行收集，基于matlab 2016a仿真1种正常数据和20种故障数据，其中1-7为阶跃类故障，8-12为可变类故障，13为漂移类故障；14、15为粘滞类故障，16-20为未知类故障。过程变量特征包括12个过程操作变量、22个连续过程变量和19个成分分析变量，其中，排除模拟过程中恒定的3个变量，所以变量特征的维度为50维。
[0147]
最终，收集正常数据1
×
4000
×
50，故障数据20
×
4000
×
50，4000代表样本条数，50代表特征维度，接下来，将每类数据按90％、70％、50％和30％比例随机抽取构造不同训练集，标记为tr90、tr70、tr50和tr30，剩余数据构造对应测试集。
[0148]
2、xdeepfm模型参数设置
[0149]
在进行训练之前，预建立xdeepfm模型，主要参数基准值设置如下：
[0150]
(1)基于10折交叉验证方法设定：
[0151]
丢弃率dropout rate取值范围为{0.1,0.2,0.3}；l2正则化λ取值范围为{0.1,0.001,0.0001}。
[0152]
(2)基于数据集特点设定：特征feature_count＝50；领域field_count＝50；fm模型隐因子向量f＝20；dnn模型网络层数depth＝4；dnn模型每层神经neurons_dnn＝200；cin模型网络层数depth＝4；cin模型每层神经neurons_cin＝100；激活函数activation选用relu函数；批尺寸batch_size＝64；学习率learning rate＝0.001；周期epoch＝15；迭代次数τ＝1000。
[0153]
3、结果分析
[0154]
采用精准率(precision)和召回率(recall)作为实施过程评估指标。
[0155]
precision：表明预测为正样本的数据中，真实正样本的比例。其中tp表示正样本中被正确预测为正样本的数量，fp表示负样本中被错误预测为正样本的数量。
[0156][0157]
recall：表明真实正样本的数据中，被正确预测的比例。其中fn表示正样本中被错误预测为负样本的数量。
[0158][0159]
本实施例通过比较xdeepfm模型及其内部方法的性能来证明xdeepfm模型在故障诊断方面的有效性，不同训练样本比例下测试集上各项评价指标的平均值及cpu运行时间如表1所示，从中可以发现：
[0160]
第一，相对于三个深度模型来说，fm模型的性能明显偏弱，证明在诊断问题中考虑高阶特征是非常必要的，fm模型仅考虑线性特征和低阶交互特征，提取的有效信息有限，不利于模型准确训练。
[0161]
第二，cin模型性能高于dnn模型，这表明了cin模型在建模显式高阶交互特征方面的有效性，同时显式高阶特征的正向收益大于隐式高阶特征。
[0162]
第三，从cpu运行时间来看，fm模型用时最少，xdeepfm模型用时略多，dnn模型和cin模型用时接近，因为三个内部模型是共享输入数据且并行训练的，因此xdeepfm模型整体用时在可以接受的范围以内。
[0163]
最后，综上来看，在4种不同的训练样本比例下，xdeepfm模型的综合性能明显优于内部其他模型，证明通过利用xdeepfm来提取深层隐式、显式表示特征，进而解决故障诊断与分类问题是可行且有效的。
[0164]
表1 xdeepfm及内部不同方法性能比较
[0165][0166]
表2 xdeepfm及内部不同方法cpu总运行时间(min)
[0167]
modeltr90tr70tr50tr30fm12952dnn2515115cin2718127xdeepfm32221610
[0168]
接下来，本实施例为了获得最优xdeepfm模型，选取并比较不同网络层数、每层神经元数量和迭代次数等重要模型超参数对xdeepfm模型诊断性能的影响。图7示意性示出了根据本发明实施方式中不同参数模型对极深因式分解机故障诊断模型的性能影响示意图，如图7所示。以tr90为例，从中可以发现:第一，随着网络层数和每层神经元数量的增加，xdeepfm模型在precision和recall两种指标下性能均呈现先增长后下降的趋势，且层数和个数越大，性能下降越快，因为参数训练越复杂。
[0169]
第二，迭代次数在1000次左右时模型达到拟合，性能基本稳定。此外，激活函数选用relu函数时，各项性能最佳。
[0170]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0171]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0172]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0173]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0174]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0175]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0176]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算
机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0177]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0178]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。