一种基于卷积-循环神经网络的回转窑序列工况识别方法与流程

本发明涉及图像分类与模式识别
技术领域：
，尤其涉及一种基于卷积-循环神经网络的回转窑序列工况识别方法。
背景技术：
回转窑长达百米且处于不断旋转中，其结构的特殊性和工艺的复杂性使得回转窑烧结过程机理复杂，包括物料的物理化学反应，燃料燃烧，气体、物料、内衬间传热，气体、物料运动等多个耦合过程。由于回转窑烧结过程存在着熟料质量指标难以在线测量，与熟料质量密切相关的关键工艺参数烧成状态难以准确识别等难题，导致现有的回转窑烧结过程仍处于“人工看火”开环操作阶段。根据熟料煅烧温度的要求，烧成状态通常可以分为以下三种：当前温度高于所需温度区间时，烧成状态为“过烧结”；当前温度低于所需温度区间时，烧成状态为“欠烧结”，其余为“正烧结”。烧成状态反映了回转窑内烧成带温度场分布信息和熟料烧结状况信息，直接决定了熟料质量指标。看火操作人员通过观察窑内烧成带状况，辅以过程变量，识别当前烧成状态，继而调节控制变量使得被控变量位于适宜的范围之内，以实现生料的充分燃烧获得合格的熟料。然而，人工烧成状态的识别结果受到操作人员的经验、责任心和关注度等主观因素的制约，易造成熟料质量指标不稳定、窑内衬使用寿命短、窑运转率低、产能低、能耗高、人工劳动强度大等问题。如何模仿优秀操作人员的看火经验，利用机器学习与图像处理技术的研究成果，以“机器看火”取代“人工看火”，消除人为因素，众多的学者做了大量深入的研究。基于图像处理的方法对回转窑熟料烧结工况进行识别，是近几年的一个研究热点。回转窑火焰图像颜色和纹理等特征和熟料烧成状态有直接的关系，很多学者做了大量基于图像处理技术的熟料烧成状态识别研究。王补宣等(图像处理技术用于发光火焰温度分布测量的研究[j].工程热物理学报，1989，10(4)：446-448.)提出一种基于图像处理方法来测定回转窑内没分火焰温度分布的方法。具体的，检测窑内小范围火焰温度分布情况，推测窑内温度与火焰图像亮度之间的度量关系，黑体炉作为标定对象，建立图像灰度与窑内温度的变化关系，进而建立图像亮度和温度之间的多项式回归模型。陈岩(熟料窑计算机集中控制[j].轻金属，2000(3)：54-56.)采用图像处理方法，从回转窑烧成带火焰图像中提取温度等级信息，再将其作为闭环控制的反馈信号，从而实现回转窑烧成带温度的闭环实现。姜慧研等(基于双快速行进法的图像分割方法的研究[j].系统仿真学报，2008，20(3)：803-806.)采用改进的双快速行进法对回转窑火焰图像进行图像分割，分割出黑把子去、火焰去和物料区。本方法结合能量衰减方程能够最大程度的去除区域间耦合，进而提取出各个显著区域的最本质特征。最后采用支持向量机和概率神经网络进行烧结工况的识别。魏兆一(光流算法及其在回转窑窑况识别中的应用研究[d].东北大学，2005.)采用改进的基于张量的光流算法在回转窑实际图像序列上进行图像分割与特征提取，采用成熟的分类器对烧成状态进行识别，为回转窑熟料烧成状态的自动控制提供依据。由于受窑内大量的烟雾、粉尘干扰，得到的火焰图像感兴趣区域会产生较严重的耦合，采用基于图像分割的方法不能对感兴趣区域进行有效分割，造成烧成状态的识别结果不可靠。李帷韬(水泥回转窑烧成状态识别与熟料质量指标软测量的研究[d].东北大学，2012.)针对基于图像分割方法进行烧成状态识别存在的问题，不对回转窑火焰图像进行分割，而是采用基于尺度不变特征转换算法，来提取火焰图像感兴趣区域关键点信息，取得了不错的效果。但是因为图像质量较低，各个显著区域存在强烈的耦合，导致该算法提取的关键点个数较少，无法很好的完成回转窑熟料烧成状态识别工作。吴小勋(基于烧成带图像的回转窑熟料烧结工况识别方法研究[m].东北大学，2014.)基于前人的研究成果，创新的采用了基于深度学习的独立子空间分析算法对图像中的感兴趣区域进行无监督的分层学习，提取各个显著区域图像的低层信息，在特征分类中取得了不错的识别效果。但是该方法的研究对象仅仅是火焰灰度图像，并未考虑图像的多通道编码问题，也没有考虑回转窑熟料烧结工况的时序关系。蔡元强(基于卷积独立子空间分析的回转窑熟料烧结工况识别方法研究[m].东北大学，2015.)针对之前基于静态图像的回转窑熟料烧结工况识别方法的缺陷，将视皮层认知计算理论和深度学习方法应用到熟料烧成状态识别这个具体问题中，提出了基于烧成带视频图像的回转窑熟料烧结工况识别方法，实现了在视频序列基础上进行特征提取以及工况识别。半监督学习能够在减少标签数据样本使用的同时，提高模型的识别精度。高鹏超(基于改进慢特征分析特征提取的水泥回转窑建模研究[d].东北大学，2016.)利用了回转窑多变量时间序列数据的特点，提出了半监督降维的方法st-ssfa，能够提取出更易于识别的特征。夏克江(基于半监督独立成分分析和隐马尔可夫模型的回转窑熟料烧结工况识别方法[d].东北大学，2016.)利用三种工况的图像序列，训练了三种gmm-hmm进行工况判别。因此，结合“人工看火”的模式和经验，在充分总结前人研究的基础之上，有效利用视频序列间动态信息，研究基于时间序列动态分类结合深度卷积-循环神经网络的动态分类器的回转窑熟料烧结工况识别方法，从而对回转窑熟料烧成状态进行更加实时可靠的判断，是一个非常有挑战的课题。技术实现要素：针对现有技术的缺陷，本发明提供一种基于卷积-循环神经网络的回转窑序列工况识别方法，实现对水泥回转窑图像序列的工况识别。一种基于卷积-循环神经网络的回转窑序列工况识别方法，包括以下步骤：步骤1：采集回转窑的视频图像序列并进行图像数据预处理，具体方法为：使用摄像机在回转窑窑头的看火孔前对回转窑火焰录制视频，以采集不同工况下连续时间的回转窑烧成带视频序列，并对采集的回转窑图像进行图像数据预处理；所述回转窑图像数据预处理包括感兴趣区域提取、图像灰度化、向量化和标准化；所述感兴趣区域提取是指：回转窑烧成带的视频图像中的烧成状态信息主要集中在三个主要的显著区域，即火焰区域、物料区域和黑把子区域；因摄像机安装在窑头的位置固定，所以显著区域在视频图像中的位置也相对固定，因此首先需要对视频图像进行显著区域划分，去除窑壁区域无关的信息，使用显著区域的视频数据作为输入数据；采用更具有代表性的黑把子区域作为识别数据；步骤2：由于回转窑图像规模较大，且包含一定噪声，同时，在图像数据预处理后灰度值的变量之间存在很大的相关性，因此需要对图像数据进行去相关的白化处理；采用主成分分析法(principalcomponentanalysis，即pca)对步骤1的图像视频序列进行去相关性的白化处理，同时实现对图像数据进行维数约减，实现特征的初步降维，以减少后续的特征规模；步骤3：构建深度卷积-循环神经网络模型，利用经过pca处理后的图像数据训练该深度卷积-循环神经网络；回转窑图像序列经过图像预处理和pca初步特征提取后，每一帧图像转化成一维向量，连续的图像序列按时间展开则形成一个二维矩阵；用深度卷积-循环神经网络进一步学习图像空间维和时间维的特征表达；然后，输出层对所得到的特征进行全连接，通过softmax方法实现各种工况的概率统计，并选择出概率最大的工况输出，从而实现工况识别；所述深度卷积-循环神经网络模型包括卷积层，循环层和输出层三部分；所述卷积层的输入数据为一个实时识别周期tp内的回转窑图像序列，经图像数据预处理后转换为一个二维矩阵；卷积层采用三层卷积结构，每层卷积操作的目的在于进一步学习图像的特征表达，在每层卷积操作的具体实现过程中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用relu非线性函数作为激活函数；另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层；所述循环层中选择具有二层堆叠结构的gru单元；循环层的输入是卷积层的输出展开并拼接后得到的1≤t≤t，t为一个识别周期tp中的t张回转窑图像；经过二层堆叠结构的gru单元处理后为1≤t≤t，也是最后一层输出层的输入向量；在循环层的具体实现过程中，对于二层堆叠的gru单元，在每层网络中设置了相同的隐节点个数；同时，为了提高模型的泛化性能，防止模型过拟合，在每层gru单元中也设置了dropout层；所述输出层包括全连接层和softmax层组成；每个实时识别周期内的图像序列数据通过预处理和pca降维后，经过卷积层在图像空间维进一步的特征提取和循环层在时间维上对关联信息的特征提取后成为既包含图像信息又包含关联信息的特征向量1≤t≤t；对于分类任务，输出层首先要将转化为一个固定长度的特征向量，采用在一个实时识别周期上取平均值的方式进行池化，即然后将获得的特征向量通过一个全连接层得到输出x(f)，如下公式所示：其中，wout为全连接层中的权重参数矩阵，而bout为全连接层中的偏置向量；则x(f)同时为最后一层softmax层的输入，得到该识别周期图像类别的预测概率如下公式所示：其中，c＝1、2、...、c，c为图像的类别，函数返回值为包含c个类别分量的概率向量，每个分量对应一个输出类别的预测概率；通过对每一个样本的预测概率分布和该样本的真实标签向量y计算交叉熵，得到目标函数：其中，n为训练样本个数，yi为第i训练个样本的真实标签，为第i个训练样本的预测概率，θ为深度卷积-循环神经网络模型需要训练的参数；引入l2正则化策略，对标准代价函数j＇(θ)增加一个参数范数惩罚项ω(θ)，以限制深度卷积-循环神经网络模型的学习能力，正则化之后的目标函数记做j(θ)，如下公式所示：j(θ)＝j＇(θ)+λω(θ)其中，λ∈[0，∞)为权衡范数惩罚项ω和标准代价函数j＇(θ)相对贡献的超参数，当λ取0时，即没有正则项，λ越大，表示正则化惩罚越大；最后，采用adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组深度卷积-循环神经网络模型参数，最终实现回转窑图像序列的工况识别；步骤4：采用随机搜索超参数优化方法选择深度卷积-循环神经网络的最优超参数，获得最优的神经网络模型；步骤5：实时获取回转窑火焰图像，通过最优的深度卷积-循环神经网络模型对回转窑的实时工况进行识别。由上述技术方案可知，本发明的有益效果在于：本发明提供的一种基于卷积-循环神经网络的回转窑序列工况识别方法，采用卷积神经网络和循环神经网络集成的深度神经网络模型来解决回转窑图像序列工况识别的问题。相比于传统的只使用静态图片的方法，本方法既能够利用图像空间特征又能够利用连续图像序列之间关联信息和动态特征，因此在回转窑图像序列工况识别问题上能够取得更好的分类效果。附图说明图1为本发明实施例提供的一种基于卷积-循环神经网络的回转窑序列工况识别方法的流程图；图2为本发明实施例提供的回转窑烧结工况识别方法图；图3为本发明实施例提供的深度卷积-循环神经网络的结构图；图4为本发明实施例提供的随机搜索超参数优化过程中生成的随机实验效率曲线图；图5为本发明实施例提供的随机搜索超参数优化过程中生成的有效维度图。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。本实施例以某厂的回转窑为例，使用本发明的基于卷积-循环神经网络的回转窑序列工况识别方法对该回转窑的序列工况进行识别。一种基于卷积-循环神经网络的回转窑序列工况识别方法，如图1和图2所示，包括以下步骤：步骤1：采集回转窑的视频图像序列并进行图像数据预处理，具体方法为：使用摄像机在回转窑窑头的看火孔前对回转窑火焰录制视频，以采集不同工况下连续时间的回转窑烧成带视频序列，并对采集的回转窑图像进行图像数据预处理；回转窑图像数据预处理包括感兴趣区域提取、图像灰度化、向量化和标准化；感兴趣区域提取是指：回转窑烧成带的视频图像中的烧成状态信息主要集中在三个主要的显著区域，即火焰区域、物料区域和黑把子区域；因摄像机安装在窑头的位置固定，所以显著区域在视频图像中的位置也相对固定，因此首先需要对视频图像进行显著区域划分，去除窑壁区域无关的信息，使用显著区域的视频数据作为输入数据；采用更具有代表性的黑把子区域作为识别数据；本实施例从某氧化铝厂3#回转窑中采集了熟料烧结过程的视频，每一个视频样本都是一个完整的烧结过程的记录，其中包括“过烧态”、“正烧态”和“欠烧态”三个烧结过程不同的状态。对回转窑烧结过程进行视频采集时，得到的视频的每一帧的宽度为384，高度为288，帧速率为30帧每秒，总共采集了两段298个具有代表性的回转窑烧成带连续视频样本，每一个视频的长度为10秒，并对第一段298个视频进行标定，其中有80个过烧工况下的视频数据，69个正烧结工况下的视频数据，余下的150个为欠烧工况下的视频数据。同时，为了验证设计的模型在训练样本较小的情况下是否仍有较好的性能，对训练数据进行处理，分别得到大样本数据集(全部的训练数据，包含298个训练样本)和小样本数据集(30％的训练数据，包含90个训练样本)。并且整个实验按照交叉验证的思想进行，在大小样本数据集中，我们各从训练数据中抽取50％作为验证集。另外，为了检验我们模型的普适性，小样本数据集中的30％的训练数据都是从整个训练数据中随机抽取的，而且每次实验都做了5次，以降低结果的随机性。本实施例抽取黑把子区域的视频作为实验数据，黑把子区域的位置坐标划分为：[(101，94)，(101，233)，(180，94)，(180，233)]，这样得到的黑把子区域的尺寸为80×140。原始视频样本的组织形式为其次是图像灰度化，样本为xi∈r80×140×300，i＝1，...，298，图像向量化，样本为xi∈r11200×300，i＝1，...，298。步骤2：由于回转窑图像规模较大，且包含一定噪声，同时，在图像数据预处理后灰度值的变量之间存在很大的相关性，因此需要对图像数据进行去相关的白化处理；采用主成分分析法(principalcomponentanalysis，pca)对步骤1的图像视频序列进行去相关性的白化处理，同时实现对图像数据进行维数约减，实现特征的初步降维，以减少后续的特征规模；在图像视频序列pca初步提取特征并降维中，视频图像维度高，而且具有大量的噪声，会造成模型复杂，训练速度过慢等问题，因此需要对数据进行维度约减预处理。采用简单的特征提取方法，即使用pca降维方法，通过计算样本的协方差矩阵，然后对协方差矩阵进行特征值分解，取前d个最小特征值对应的特征向量作为投影矩阵。本实施例中，对图像预处理后所得数据进行pca白化降维，样本变为xi∈r15×300，i＝1，...，298，其中降维维度15由pca特征谱选择得出。步骤3：构建如图3所示的深度卷积-循环神经网络模型，利用经过pca处理后的图像数据训练该深度卷积-循环神经网络；回转窑图像序列经过图像预处理和pca初步特征提取后，每一帧图像转化成一维向量，连续的图像序列按时间展开则形成一个二维矩阵；用深度卷积-循环神经网络进一步学习图像空间维和时间维的特征表达；然后，输出层对所得到的特征进行全连接，通过softmax方法实现各种工况的概率统计，并选择出概率最大的工况输出，从而实现工况识别；深度卷积-循环神经网络模型包括卷积层，循环层和输出层三部分；卷积层的输入数据为一个实时识别周期tp内的回转窑图像序列，经图像数据预处理后转换为一个二维矩阵；卷积层采用三层卷积结构，每层卷积操作的目的在于进一步学习图像的特征表达，在每层卷积操作的具体实现过程中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用relu非线性函数作为激活函数；另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层；循环层中选择具有二层堆叠结构的gru单元；循环层的输入是卷积层的输出展开并拼接后得到的1≤t≤t，t为一个识别周期tp中的t张回转窑图像；经过二层堆叠结构的gru单元处理后为1≤t≤t，也是最后一层输出层的输入向量；在循环层的具体实现过程中，对于二层堆叠的gru单元，在每层网络中设置了相同的隐节点个数；同时，为了提高模型的泛化性能，防止模型过拟合，在每层gru单元中也设置了dropout层；输出层包括全连接层和softmax层组成；每个实时识别周期内的图像序列数据通过预处理和pca降维后，经过卷积层在图像空间维进一步的特征提取和循环层在时间维上对关联信息的特征提取后成为既包含图像信息又包含关联信息的特征向量1≤t≤t；对于分类任务，输出层首先要将转化为一个固定长度的特征向量，采用在一个实时识别周期上取平均值的方式进行池化，即然后将获得的特征向量通过一个全连接层得到输出x(f)，如下公式所示：其中，wout为全连接层中的权重参数矩阵，而bout为全连接层中的偏置向量；则x(f)同时为最后一层softmax层的输入，得到该识别周期图像类别的预测概率如下公式所示：其中，c＝1、2、...、c，c为图像的类别，函数返回值为包含c个类别分量的概率向量，每个分量对应一个输出类别的预测概率；通过对每一个样本的预测概率分布和该样本的真实标签向量y计算交叉熵，得到目标函数：其中，n为训练样本个数，yi为第i训练个样本的真实标签，为第i个训练样本的预测概率，θ为深度卷积-循环神经网络模型需要训练的参数；引入l2正则化策略，对标准代价函数j＇(θ)增加一个参数范数惩罚项ω(θ)，以限制深度卷积-循环神经网络模型的学习能力，正则化之后的目标函数记做j(θ)，如下公式所示：j(θ)＝j＇(θ)+λω(θ)其中，λ∈[0，∞)为权衡范数惩罚项ω和标准代价函数j＇(θ)相对贡献的超参数，当λ取0时，即没有正则项，λ越大，表示正则化惩罚越大；最后，采用adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组深度卷积-循环神经网络模型参数，最终实现回转窑图像序列的工况识别；本实施例中，将经过pca初步提取的特征向量xi∈r15×300，i＝1，...，298，经过第一层，第二层，第三层卷积处理后的特征向量分别记为x(1)，x(2)，x(3)。在三层卷积操作完成后，将特征向量x(3)展开，并以向量形式进行拼接最后获得完整的卷积特征向量x(con)，将其作为循环层的输入送入到rnn中，循环层选用二层堆叠结构的gru单元，经过二层堆叠结构的gru单元处理后为(1≤t≤t)然后将获得的特征向量通过一个全连接层得到输出x(f)并作为最后一层softmax层的输入，得到该识别周期图像类别的预测概率。本实施例中，对于三层结构中的每一个卷积层，设置相同数量的卷积核，但每层卷积操作所使用的滤波器的大小并不相同，同时，采用relu非线性函数作为激活函数，另外，为了防止每层卷积时过拟合，在每一层的输出位置处都设置了dropout层。对于二层堆叠的gru单元，在每层网络中设置了相同的隐节点个数。同时，为了提高模型的泛化性能，防止模型过拟合，在每层gru单元中也设置了dropout层。同时，采用adam优化算法对上述代价函数进行迭代优化，找到使代价函数取得最小的一组网络模型参数，最终实现回转窑图像序列的工况识别。步骤4：采用随机搜索超参数优化方法选择卷积-循环神经网络的最优超参数，获得最优的神经网络模型；步骤4.1：根据构建的深度卷积-循环神经网络设置合理的超参数范围，如表1所示；表1神经网络模型超参数范围步骤4.2：采用随机搜索超参数优化算法并根据上述超参数范围进行128次随机实验，同时生成如图4所示的随机实验效率曲线；步骤4.3：将128组随机实验用高斯回归过程拟合生成如图5所示的超参数有效维度图，根据超参数有效维度图再次微调有效维度的超参数，最终得出最优超参数表，如表2所示：表2最优超参数表其中，data为数据集，small为小数据样本集，big为大数据样本集，i.d.＝inter_dim为rnn中的隐节点个数；r.k.p.＝rnn_keep_prob为循环层的dropout率；loss＝loss_regular为正则化中的惩罚项系数；l.r.＝learn_rate为adam优化算法的学习率；b.1，b.2＝bata1，bata2为adam优化算法的矩估计的指数衰减速率；c.l.＝conv_length为3层卷积层中的卷积核大小；c.n.＝con_num为每层卷积核的数量；c.k.p＝cnn_keep_prob为卷积层的dropout率。步骤5：实时获取回转窑火焰图像，通过最优的卷积-循环神经网络模型对回转窑的实时工况进行识别。本实施例，根据最优超参数表得出最优的卷积-循环神经网络模型，在大小两个数据集上进行仿真测试，同时，本实施例还将得到的仿真测试结果与当前工况识别的主流方法svm的测试结果进行了对比，结果如表3所示：表3工况识别主流方法和本发明方法结果对比小样本数据集大样本数据集svm67.68±6.8391.14±1.56cnn-rnn77.4±1.1798.4±0.38仿真实验表明，本发明的基于卷积-循环神经网络的水泥回转窑图像序列工况识别方法具有更好的识别效果，相比于传统的静态分类器的方法，本发明方法既能够利用图像空间特征又能够利用连续图像序列之间关联信息和动态特征，因此能够取得更好的分类效果。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。当前第1页12