本发明涉及一种基于视频分析的填料塔运行状态辨识方法，本发明属于填料塔液泛状态辨识领域，涉及填料塔视频数据的处理和分析方法。
背景技术：
填料塔作为一种重要的分离设备，由于其大通量、低压降、高效率等特点，在化工、环保、食品及医药等各个领域有着广泛的应用，它是决定生产效益和产品质量的关键。填料塔投资一般占总投资额的20％，而其能耗则占所有单元操作的50％。填料处于正常运行状态时，其效率随着操作气速的增加而增大，能耗与碳排放也随之减少；而处于液泛状态时，其效率会迅速下降，产品会不合格，严重时要停车检修，给企业带来经济损失，要极力避免液泛的发生。因此，有效辨识填料塔的液泛状态，保障设备运行于安全、高效的操作条件是填料塔优化节能的关键。
液泛是一种复杂的气液逆流现象，其影响因素众多，想要单纯从理论上推导其变化规律是十分困难的。为了实现对液泛状态的辨识，中外学者们做了大量的研究，主要分为三类：视觉观测、持液量测量、塔内关键变量监测。视觉观测方法仅对透明塔体有效，且存在延迟现象，当观测到液泛时，损坏可能已经发生，且通过人肉眼观测存在不确定的主观因素；持液量测量方法需要停止气液两相流动，排尽塔底液体进行测量，不适用于实际工业生产中的在线监测；塔内关键变量监测方法是一种间接方法，不能直接反映液泛的发生，存在一定误差和滞后。因此，需要一种准确且直观的填料塔运行状态在线辨识方法。
技术实现要素：
为了克服已有方法的不足和缺陷，本发明提出一种基于深度学习的填料塔液泛状态在线辨识方法，该方法相较于传统方法更加准确且直观，利用深度学习技术对填料塔运行过程中的视频数据进行处理和分析，最终实现对其运行状态的在线辨识。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的填料塔液泛状态在线辨识方法，包括以下步骤：
1)获取视频数据和标签数据：运行填料塔设备，调用摄像头采集其运行过程中的视频数据，同时通过人工观测的方式获得标签数据，并根据时间将视频数据和标签数据进行匹配；
2)数据预处理并制作数据集：视频数据和标签数据不能直接用于建立网络模型，需要对这些数据进行预处理，包括：视频截取和时序化处理。利用处理后的数据制作数据集，并将其分为训练集、验证集和测试集三部分；
3)建立卷积长短期记忆神经网络并训练：首先利用卷积长短期记忆单元搭建卷积长短期记忆层提取视频数据中的时间和空间特征；然后在卷积长短期记忆层后搭建分类器层，利用提取到的特征信息对填料塔下一时刻处于液泛状态或非液泛状态进行判断；最后利用自适应矩估计算法在训练集上优化网络模型参数；
4)评估网络模型辨识性能：采用准确率、精确率、召回率和调和均值评价指标在测试集上对网络模型的辨识性能进行评估，是否满足要求。
进一步，所述步骤2)中，数据预处理并制作数据集的过程如下：
2.1：对视频数据进行截取
视频数据由静态图像数据按照时间顺序堆叠而成，每一帧的图像都代表了不同时刻填料塔的工作状态，按照一秒一帧的方式截取视频数据，每一帧图像表示填料塔不同时刻的工作状态；
2.2：对截取的图像数据进行时序化处理
将截取到的连续几张图像按照时间顺序排列组成一个输入样本，总的输入样本表示如下：
χ＝[x1,x2,…,xi,…,xn]t
其中，n为样本总数；xi是第i个输入样本，可表示为一个四维张量，第一维表示单个样本包含的图像帧数；第二维表示单张图像在宽度上分布的像素点；第三维表示单张图像在高度上分布的像素点；第四维表示图像的通道数，彩色图像通道数为3，灰度图像通道数为1；
2.3：制作数据集，并将其分为训练集、验证集和测试集三部分
数据集包括输入样本和输出样本，输出样本中的标签表示对应的输入样本的下一时刻填料塔是否处于液泛状态，其中处于液泛状态为1，否则为0，输出样本表示如下：
y＝[y1,y2,…,yi,…,yn]t
其中，yi∈{0,1}，是第i个输出样本；
将数据集分为训练集、验证集和测试集，训练集用于模型的训练，其样本数为总样本数的60％；验证集用于对模型的超参数进行选择，选择在验证集上表现最好的模型作为最终的测试模型，其样本数为总样本数的10％；测试集用于对最终的模型进行评估，其样本数为总样本数的30％。
再进一步，所述步骤3)中，建立卷积长短期记忆神经网络并训练的过程如下：
3.1：建立卷积长短期记忆神经网络
采用卷积长短期记忆单元建立卷积长短期记忆层以提取视频数据中的时间和空间特征，其计算流程如下：
其中，
其中，
其中，
上式对状态单元中的状态值
其中，
建立分类器层，利用提取到的特征对输入样本进行分类，由于输出样本中的标签只有两类，分类器层中只有一个神经元，其激活函数为sigmoid函数；
3.2：确定网络模型的目标函数
训练集的目标函数表示如下：
其中，θ表示模型参数，包括模型中的权值和偏置；ntrain表示训练集的样本数；hθ(xi)为模型的预测值；
3.3：利用自适应矩估计算法训练模型
自适应矩估计算法在参数更新过程中通过对梯度的一阶矩估计和二阶矩估计，自适应的为每一个参数设置不同的学习率进行更新；在概率论中，如果一个随机变量x服从某个分布，x的一阶矩定义为e(x)，也就是样本均值；x的二阶矩定义为e(x2)，也就是样本平方的均值；
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率，它控制参数的更新比率，定义较大的值在更新过程中会有更快的更新速度，网络会更快的收敛，而定义较小的值时参数的更新速度会相应变慢，但网络会收敛到更好的性能；定义β1表示一阶矩估计指数衰减率；定义β2表示二阶矩估计指数衰减率；定义m表示梯度的一阶矩；定义n表示梯度的二阶矩；定义t表示时间步。
更进一步，所述步骤3.3中，自适应矩估计算法的优化流程如下：
3.3.1)初始化相关参数：在0时刻，令α＝0.001，β1＝0.9，β2＝0.999，m＝0，n＝0，不断优化θ，直到目标函数f(θ)满足求解要求；
3.3.2)更新一阶矩和二阶矩：在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，过程如下：
其中，gt是t时刻权值的梯度；
mt＝β1·mt-1+(1-β1)·gt
上面两个式子分别对一阶矩和二阶矩进行更新；
上面两个式子分别对一阶矩和二阶矩进行偏差校正，其中，
3.3.3)更新网络参数，过程如下所示：
其中，θt是t时刻更新后的权值矩阵；θt-1是t-1时刻待更新的权值矩阵；同时为了避免分母为零，令参数ε＝10-8；
若θt满足求解要求，则停止优化并输出结果，否则跳回2)继续优化。
本发明中，填料塔视频数据具有丰富的时间和空间信息，每一帧图像都能准确反映填料塔的运行状态。深度学习是机器学习研究中的一个新的领域，其核心是原始数据的特征都不是利用人工来设计的，而是使用一种通用的学习过程从数据中直接学到。本文利用深度学习技术对填料塔运行过程中的视频数据进行处理和分析以实现对其运行状态的在线辨识。
本发明的有益效果主要表现在：采用卷积长短期记忆神经网络模型提取填料塔运行过程中视频数据的时间和空间特征，并利用提取到的特征信息对下一时刻填料塔处于液泛状态或非液泛状态进行判断，并给出下一时刻处于液泛状态的概率，其结果可以应用到填料塔运行状态的在线辨识中。
附图说明
图1是卷积长短期记忆神经网络模型结构图；
图2是模型的辨识结果。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2，一种基于深度学习的填料塔液泛状态在线辨识方法，包括以下步骤：
1)获取视频数据和标签数据
运行填料塔设备，调用摄像头采集其运行过程中的视频数据，同时通过人工观测的方式获得标签数据，并根据时间将视频数据和标签数据进行匹配，其中处于液泛状态的图像标签为1，否则为0。
2)数据预处理并制作数据集，过程如下：
2.1：对视频数据进行截取
视频数据由静态图像数据按照时间顺序堆叠而成，每一帧的图像都代表了不同时刻填料塔的工作状态，按照一秒一帧的方式截取视频数据，每一帧图像可以表示填料塔不同时刻的工作状态。
2.2：对截取的图像数据进行时序化处理
将截取到的连续几张图像按照时间顺序排列组成一个输入样本，总的输入样本可表示如下：
χ＝[x1,x2,…,xi,…,xn]t
其中，n为样本总数；xi是第i个输入样本，可表示为一个四维张量，第一维表示单个样本包含的图像帧数；第二维表示单张图像在宽度上分布的像素点；第三维表示单张图像在高度上分布的像素点；第四维表示图像的通道数，彩色图像通道数为3，灰度图像通道数为1。
2.3：制作数据集，并将其分为训练集、验证集和测试集三部分
数据集包括输入样本和输出样本，输出样本中的标签表示对应的输入样本的下一时刻填料塔是否处于液泛状态，其中处于液泛状态为1，否则为0，输出样本可表示如下：
y＝[y1,y2,…,yi,…,yn]t
其中，yi∈{0,1}，是第i个输出样本。
将数据集分为训练集、验证集和测试集。训练集用于模型的训练，其样本数一般为总样本数的60％；验证集用于对模型的超参数进行选择，选择在验证集上表现最好的模型作为最终的测试模型，其样本数一般为总样本数的10％；测试集用于对最终的模型进行评估，其样本数一般为总样本数的30％。
3)建立卷积长短期记忆神经网络并训练，过程如下：
3.1：建立卷积长短期记忆神经网络
视频数据由静态图像数据按照时间顺序堆叠而成，是图像数据的时序表示。卷积神经网络(cnn)主要用于图像数据建模，长短期记忆神经网络(lstmnn)主要用于时间序列数据建模。本发明将cnn和lstmnn结合提出一种卷积长短期记忆单元(convlstm)用于建立卷积长短期记忆层以提取视频数据中的时间和空间特征，其计算流程如下：
其中，
其中，
其中，
上式对状态单元中的状态值
其中，
建立分类器层，利用提取到的特征对输入样本进行分类。由于输出样本中的标签只有两类，分类器层中只有一个神经元，其激活函数为sigmoid函数。
3.2：确定网络模型的目标函数
目标函数用来衡量网络模型的预测值和真实值之间的误差。由于是二分类问题，采用交叉熵损失函数作为模型的目标函数。训练集的目标函数可表示如下：
其中，θ表示模型参数，包括模型中的权值和偏置；ntrain表示训练集的样本数；hθ(xi)为模型的预测值。
3.3：利用自适应矩估计算法训练模型
自适应矩估计算法在参数更新过程中通过对梯度的一阶矩估计和二阶矩估计，自适应的为每一个参数设置不同的学习率进行更新。在概率论中，如果一个随机变量x服从某个分布，x的一阶矩定义为e(x)，也就是样本均值；x的二阶矩定义为e(x2)，也就是样本平方的均值。
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率，它控制参数的更新比率，定义较大的值在更新过程中会有更快的更新速度，网络会更快的收敛，而定义较小的值时参数的更新速度会相应变慢，但网络会收敛到更好的性能；定义β1表示一阶矩估计指数衰减率；定义β2表示二阶矩估计指数衰减率；定义m表示梯度的一阶矩；定义n表示梯度的二阶矩；定义t表示时间步。自适应矩估计算法的优化流程可归纳如下：
3.3.1)初始化相关参数。在0时刻，令α＝0.001，β1＝0.9，β2＝0.999，m＝0，n＝0。不断优化θ，直到目标函数f(θ)满足求解要求。
3.3.2)更新一阶矩和二阶矩。在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体过程如下：
其中，gt是t时刻权值的梯度；
mt＝β1·mt-1+(1-β1)·gt
上面两个式子分别对一阶矩和二阶矩进行更新。
上面两个式子分别对一阶矩和二阶矩进行偏差校正。其中，
3.3.3)更新网络参数。具体过程如下所示：
其中，θt是t时刻更新后的权值矩阵；θt-1是t-1时刻待更新的权值矩阵；同时为了避免分母为零，令参数ε＝10-8。
若θt满足求解要求，则停止优化并输出结果，否则跳回2)继续优化。
4)评估网络模型辨识性能
网络模型经过训练后不能直接用于液泛状态辨识，应对其进行评估，满足要求后才能使用。采用准确率、精确率、召回率和调和均值等评价指标在测试集上对网络模型的辨识性能进行评估。
准确率的定义为：对于给定的测试数据，正确分类的样本数与总样本数的比值。计算公式如下所示：
其中，ntest是测试集的样本数；i是指示函数，当yi＝hθ(xi)时为1，否则为0。
在分类任务中，通常以关注的类为正类，其他类为负类。在填料塔的液泛状态辨识问题中，以液泛状态作为正类，非液泛状态作为负类。模型预测结果在测试集上预测正确或不正确，会出现以下四种情况：
1.tp：将正类预测为正类；
2.fn：将正类预测为负类；
3.fp：将负类预测为正类；
4.tn：将负类预测为负类。
精确率(precision,p)定义为测试集中模型将正类预测为正类的样本数与模型预测正类的样本数的比值，如下所示：
召回率(recall,r)定义为测试集中模型将正类预测为正类的样本数与测试集中正类样本数的比值，如下所示：
在同一个分类任务中，准确率和召回率往往不能两全其美，常常用二者的调和均值综合评价一个分类器的性能，如下所示：
实例：一种基于深度学习的填料塔液泛状态在线辨识方法，包括以下步骤：
1)进行实验并选获取实验数据
运行填料塔实验设备，调用摄像头采集其运行过程中的视频数据，共采集到四十一分五十八秒的视频数据。同时通过人工观测的方式获得标签数据。
2)数据预处理并制作数据集
首先按照一秒的时间间隔截取视频数据，共得到2447张图像；然后将图像按照时间顺序排列，并将五帧连续的图像组合为一个输入样本，单个输入样本可表示为一个四维张量(5×128×128×3)；接着与人工观测得到的标签数据进行匹配，构造输出样本；经过预处理共得到2442组样本，最后将得到的样本分为训练集、验证集和测试集，其中训练集样本为1648个，验证集样本为183个，测试集样本为611个。
3)建立卷积长短期记忆神经网络模型，并利用自适应矩估计算法训练模型。
卷积长短期记忆神经网络模型如图1所示。利用卷积长短期记忆单元搭建两个卷积长短期记忆层，其中第一层和第二层中分别有20和30个卷积长短期记忆单元。卷积核尺寸为3×3。在卷积长短期记忆层后搭建分类器层，利用提取到的特征对输入样本进行分类。由于输出样本中的标签只有两类，分类器层中只有一个神经元，其激活函数为sigmoid函数。网络模型搭建好之后，利用自适应矩估计算法在训练集上训练模型，同时在验证集上进行验证，保存在验证集上表现最好的模型及其参数。
4)评估模型辨识性能
利用训练后的模型对测试集中的样本进行辨识，结果如图2所示。在测试集中，第1个样本至第400个样本的标签为0，从第401个样本开始标签为1。第396和398个样本的真实标签为0，但模型将其预测为1，在其他样本上都能正确预测。
采用准确率、精确率、召回率和调和均值等评价指标在测试集上对模型的辨识性能进行评估，结果如表1所示。
表1。