基于深度学习和光学反射结构的沸腾现象判断装置及方法与流程

本发明涉及图像信息处理技术领域，尤其涉及基于深度学习和光学反射结构的沸腾现象判断装置及方法。

背景技术：

液体沸腾作为一种基础的物理现象，在冶金，制药，化工等领域均存在需要准确判断沸腾现象是否发生的场景。

现有的沸腾判断技术方案主要通过监控溶液的温度上限及变化来间接判断待测物的沸腾现象，当溶液化学性质不稳定，或外部环境(压强，气温等)频繁发生变化时，此类基于间接参数判断沸腾现象的方法准确性难以确保，例如，通过温度传感器来判断锅内液体是否沸腾，此时液体温度达到沸点，不再升高了，则会认为液体沸腾了，但由于蒸汽导致锅内气压增高，沸腾了一段时间之后，液体又不再沸腾，因为压强增加导致沸点提高了；之后由于温度增加，液体性质发生变化，又会导致沸点再次变化，因此，此类基于间接参数判断沸腾现象的方法准确性难以确保，获得的数据信息不能满足需求。

技术实现要素：

为了达到上述目的，本发明的技术方案如下：

基于深度学习和光学反射结构的沸腾现象判断装置，包括：实时图像采集装置、数据缓存装置以及机器学习装置，其中，

所述实时图像采集装置，包括：透镜、管路以及管路转折处设置的镜面、摄影装置，所述管路的一端开口处设置有透镜，所述摄影装置对着所述管路另一端开口处，通过所述镜面的光学反射透过透镜实时采集液体内部的视频流，并发送至数据缓存装置；

所述数据缓存装置，用于存储所述实时图像采集装置采集的液体内部的视频流数据；

所述机器学习装置，用于提取所述数据缓存装置中的视频流数据，并对视频流数据进行分析处理，根据分析处理的结果判断液体的沸腾等级；用于基于数据缓存装置的更新数据进行自我优化。

优选地，所述管路包括第一管路、第二管路和第三管路，所述第一管路、第二管路和第三管路两两之间垂直连接，所述第一管路呈“l”型。

优选地，所述第二管路设置有旋转部，通过所述旋转部带动第三管路进行360度旋转。

优选地，还包括可视化装置，用于将所述机器学习装置对所述待测液体进行沸腾的判断结果进行展示。

优选地，还包括辅助光源补充装置，所述辅助光源补充装置设置于实时图像采集装置上方且远离管路的一侧。

基于深度学习和光学反射结构的沸腾现象判断方法，包括如下步骤：

构建单通道卷积神经网络样本的训练集和测试集，对单通道卷积神经网络样本的训练集和测试集中的图像分别进行灰度处理和归一化处理；

构建单通道卷积神经网络，使用单通道卷积神经网络样本中处理后的训练集对构建的单通道卷积神经网络进行训练得到沸腾判断模型；使用单通道卷积神经网络样本中处理后的测试集对得到的沸腾判断模型进行测试，检验单通道卷积神经网络性能，获取沸腾判断模型的最佳参数；

构建孪生卷积神经网络样本的训练集和测试集，对孪生卷积神经网络样本的训练集和测试集中的图像分别进行灰度处理和归一化处理，并将连续帧图片数据组成数据对；

构建孪生卷积神经网络，使用孪生卷积神经网络样本中处理后的训练集对构建的孪生卷积神经网络进行训练得到沸腾级别判断模型；使用孪生卷积神经网络样本中处理后的测试集对得到的沸腾等级判断模型进行测试，检验孪生卷积神经网络性能，获取沸腾等级判断模型的最佳参数；

获取待测液体内部图像数据进行灰度处理和归一化处理，将生成的图像数据作为沸腾测试集，将沸腾测试集输入测试好的单通道卷积神经网络中，识别待测液体是否沸腾，当判断为否时，则直接返回沸腾等级0；若判断为是时，则将连续判断结果为是的连续帧图像组成沸腾等级测试集，并将沸腾等级测试集输入测试好的孪生卷积神经网络中，计算并返回待测液体的沸腾等级。

优选地，所述单通道卷积神经网络共包括7层，6层中包括2个卷积层、2个最大池化层、2个全连接层以及1个输出层；其中单通道卷积神经网络的第1层、第3层为卷积层，所述卷积层对应的卷积核数量均为64个，卷积核的大小为3×3，步长均为1，激活函数为relu函数；

单通道卷积神经网络的第2层、第4层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；

单通道卷积神经网络的第5层和第6层为全连接层，每个全连接层的神经元数量都是32个，激活函数为relu函数；

第7层为输出层，输出层有1个神经元，激活函数为sigmoid函数。

优选地，所述孪生卷积神经网络共包括22层，22层中包括13个卷积层、5个最大池化层、3个全连接层以及1个输出层；其中孪生卷积神经网络的第1、2、4、5、7、8、9、11、12、13、15、16、17层为卷积层，所述卷积层对应的卷积核数量分别为32、32、64、64、128、128、128、256、256、256、256、256、256个，卷积核的大小为3×3，步长均为1，激活函数为relu函数；

孪生卷积神经网络的第3、6、10、14层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；

孪生卷积神经网络的第18、19、20层为全连接层，每个全连接层的神经元数量为1024、1024、512个，激活函数为relu函数，

第7层为输出层，输出层有4个神经元，激活函数为sigmoid函数。

优选地，使用加权损失函数loss对单通道卷积神经网络进行训练，所使用的加权损失函数loss为:

式中，outputsize为训练集样本数量，第i个训练样本属于沸腾液体时，yi＝1，否则yi＝0，表示第i个训练样本被归属为沸腾液体的概率。

优选地，使用加权损失函数loss′对孪生卷积神经网络进行训练，所使用的加权损失函数loss′为：

式中，n为训练集样本数量，m指沸腾等级的分类数量，待观测图片k属于类别c时，ykc＝1，否则ykc＝0，pkc为待观测图片k属于类别c的预测概率。

基于上述技术方案，本发明的有益效果是：通过沸腾的特征，即液体剧烈气化，大量气泡上升、膨胀、至液体表面破裂消失，直接观察液体内部的变化直接判断溶液是否沸腾，具有高时效，准确性高，适应溶液性状和外部环境发生变化的情况。

1.实时图像采集设备与ai技术相结合，基于人工智能训练，实现一种判断液体沸腾现象的方法，相比于传统的判断方法，直接通过识图来直观判断是否沸腾，不受压强、液体性质和外部环境因素的影响，提高了判断效率和精确度；

2.基于孪生神经网络对连续帧的判断，有效减少由于液体中内容物形似沸腾气泡而导致的误判概率；

3.通过潜望结构进行观测，直接获取液体内部影像，避免了直接拍摄待测液体顶部液面时受到水蒸气的遮挡，有效避免了沸腾液体蒸气对图像识别的影响；

4.设置旋转部，实现多角度观测，通过调节旋转角度达到采集图像的最佳视角，有利于图像的处理、分析。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1：本发明基于深度学习和光学反射结构的沸腾现象判断装置的结构示意图；

图2：基于深度学习和光学反射结构的沸腾现象判断方法的流程图；

其中：1、透镜；2、第一管路；3、第二管路；4、第三管路；5、第一镜面；6、第二镜面；7、第三镜面；8、旋转部；9、摄影装置；10、辅助光源补充装置；11、数据缓存装置；12、机器学习装置；13、可视化装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

如图1所示，基于深度学习和光学反射结构的沸腾现象判断装置，包括：实时图像采集装置、数据缓存装置11以及机器学习装置12，其中，

实时图像采集装置，包括：透镜1、管路以及管路转折处设置的镜面、摄影装置9，所述管路的一端开口处设置有透镜1，所述摄影装置9对着所述管路另一端开口处，通过镜面的光学反射透过透镜实时采集液体内部的视频流，并发送至数据缓存装置11；

辅助光源补充装置10，辅助光源补充装置10设置于实时图像采集装置上方且远离管路的一侧，在光线不足时，利用辅助光源提供连续的照明，进行补光从而可进行连续拍摄；

数据缓存装置11，用于存储实时图像采集装置采集的液体内部的视频流数据；

机器学习装置12，用于提取所述数据缓存装置11中的视频流数据，并对视频流数据进行分析处理，根据分析处理的结果判断液体的沸腾等级；用于基于数据缓存装置11的更新数据进行自我优化；

可视化装置13，用于将所述机器学习装置12对所述待测液体进行沸腾的判断结果进行展示。

进一步，管路包括第一管路2、第二管路3和第三管路4，第一管路2、第二管路3之间垂直连接且连接处设置第二镜面6，第二管路3和第三管路4之间垂直连接且连接处设置第三镜面7，第一管路2呈“l”型且内部转折处设置第一镜面5，第二管路3设置有旋转部8，通过所述旋转部8带动第三管路4进行360度旋转，可以调整观测角度，调整采集图像的最佳视角。

如图2所示，基于深度学习和光学反射结构的沸腾现象判断方法，判断的基本原理如下：

判断原理1，通过神经网络逐帧判断单张图片是否为沸腾液体，此过程可以使用单通道卷积神经网络经训练后获得模型，该过程可作为液体沸腾的初步判断逻辑。其缺陷在于，当被观测液体中含有类似于气泡的内容物，如半透明胶状物，或者容纳该被观测液体的容器底部不平整，此时会导致神经网络产生误判，将未沸腾的待观测液体误认为已沸腾；

判断原理2，由于沸腾液体会产生大量气泡并上浮到液体表面，导致沸腾液体的视频影响是更加动态的(相对于未沸腾液体)，通过逐帧对比，可以发现沸腾液体内部的变化相对更剧烈，同时，当沸腾越剧烈，其变化越显著。基于上述特性，本方案使用孪生卷积神经网络，同时输入多张待判断液体的连续帧图像进行对比，并通过对比多张图片的相似度来判断沸腾的剧烈程度，最终输出沸腾等级。

基于上述原理，本发明具体包括如下步骤：

步骤1：构建单通道卷积神经网络样本的训练集和测试集，其中，单通道卷积神经网络样本的训练集包括两部分，两部分分别为有沸腾气泡出现的图片组成的正样本和没有沸腾气泡出现的图片组成的负样本；单通道卷积神经网络样本的测试集包括两部分，两部分分别为有沸腾气泡出现的图片组成的正样本和没有沸腾气泡出现的图片组成的负样本。

步骤2：对步骤1中单通道卷积神经网络样本的训练集和测试集中的图像分别进行灰度处理，使图像由三通道变为单通道，将图片数据由三通道变为单通道，减少后续训练的计算量，具体方法：单通道卷积神经网络样本的训练集的图像和测试集中的图像均为rgb图像，对于rgb输入图像j，x为该图像的一个像素点，x点在对应的灰度图像中的像素jgray(x)为:

jgray(x)＝(xr+xg+xb)/3

式中，xr,xg,xb为该x像素点的三原色值。

步骤3：对步骤2中单通道卷积神经网络样本的训练集和测试集中的图像分别进行归一化处理，其中，

x点在对应的归一化像素jnorm(x)为：

式中，xi为第i个像素的灰度值，xmin为该灰度图像中的最小色值，xmax为该灰度图像中的最大色值，

单通道卷积神经网络样本的训练集的图像和测试集中的图像分别生成各自对应的灰度图像过程如下：

将rgb图像表示为三维矩阵，然后将每个像素rgb分量的均值存入一副和原始rgb图像大小相同的灰度图中，得到rgb图像的灰度图像。

步骤4：构建单通道卷积神经网络:所构建出的单通道卷积神经网络共包括7层，6层中包括2个卷积层、2个最大池化层、2个全连接层以及1个输出层；其中单通道卷积神经网络的第1层、第3层为卷积层，所述卷积层对应的卷积核数量均为64个，卷积核的大小为3×3，步长均为1，激活函数为relu函数；

单通道卷积神经网络的第2层、第4层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；

单通道卷积神经网络的第5层和第6层为全连接层，每个全连接层的神经元数量都是32个，激活函数为relu函数；

第7层为输出层，输出层有1个神经元，激活函数为sigmoid函数。

步骤5：使用步骤3得到的最终的训练集对步骤4构建的单通道卷积神经网络进行训练得到沸腾判断模型；并且用步骤3得到的最终的测试集对步骤4得到的沸腾判断模型进行测试，检验单通道卷积神经网络性能，获取沸腾判断模型的最佳参数；

步骤5中使用加权损失函数loss对单通道卷积神经网络进行训练，所使用的损失函数loss为：

式中，outputsize为训练集样本数量，第i个训练样本属于沸腾液体时，ui＝1，否则yi＝0，表示第i个训练样本被归属为沸腾液体的概率；

步骤5中，对单通道卷积神经网络的训练过程，包括如下步骤：

501)、初始化单通道卷积神经网络；

502)、将步骤3所得到的最终的训练集作为单通道卷积神经网络的输入，计算输出；

503)、使用链式求导法则计算步骤3训练样本的实际结果相对于损失函数的梯度；以初始学习率为0.001，学习率不断递减来对参数进行调整；

504)、不断重复步骤502)至步骤503)，循环迭代直至损失函数收敛，最终得到液体沸腾判断模型，

对液体沸腾判断模型进行测试时，对单通道卷积神经网络分类的正确率ac、灵敏度sn、特异度sp以及速度均进行检测，其中，

灵敏度sn的表达式为如下：

特异度sp的表达式为如下：

式中，tp、fp、fn和tn分别代表最终的测试集中真阳性样本个数、假阳性样本个数、假阴性样本个数和真阴性样本个数。

步骤6：构建孪生卷积神经网络样本的训练集和测试集，其中，训练集和测试集均包括四部分，分别为剧烈沸腾液体的连续帧图片组(沸腾等级标记为2)、未沸腾液体的连续帧图片组(沸腾等级标记为0)、局部轻度沸腾液体的连续帧图片组(沸腾等级标记为1)和其他伪沸腾的图片组(沸腾等级标记为0)。

步骤7：对步骤6中孪生卷积神经网络样本的训练集和测试集中的图像分别进行灰度处理和归一化处理，处理过程可参照步骤2、3，并将连续帧图片数据组成数据对，分别形成剧烈沸腾液体的连续帧图片组、未沸腾液体的连续帧图片组、局部轻度沸腾液体的连续帧图片组和其他伪沸腾的图片组。

步骤8：构建孪生卷积神经网络用于判断液体沸腾程度，所构建出的孪生卷积神经网络共包括22层，22层中包括13个卷积层、5个最大池化层、3个全连接层以及1个输出层；其中孪生卷积神经网络的第1、2、4、5、7、8、9、11、12、13、15、16、17层为卷积层，所述卷积层对应的卷积核数量分别为32、32、64、64、128、128、128、256、256、256、256、256、256个，卷积核的大小为3×3，步长均为1，激活函数为relu函数；

孪生卷积神经网络的第3、6、10、14层为最大池化层，最大池化层的卷积核大小为2×2，步长为2；

孪生卷积神经网络的第18、19、20层为全连接层，每个全连接层的神经元数量为1024、1024、512个，激活函数为relu函数，

第7层为输出层，输出层有4个神经元，激活函数为sigmoid。

步骤9：使用步骤7得到的最终的训练集对步骤8构建的孪生卷积神经网络进行训练得到沸腾级别判断模型；用步骤7得到的最终的测试集对步骤8得到的沸腾等级判断模型进行测试，检验孪生卷积神经网络性能，获取沸腾等级判断模型的最佳参数。

步骤9中使用加权损失函数loss′对孪生卷积神经网络进行训练，所使用的加权损失函数loss′为：

式中，n为训练集样本数量，m指沸腾等级的分类数量，待观测图片k属于类别c时，ykc＝1，否则ykc＝0，pkc为待观测图片k属于类别c的预测概率。

步骤9中，对孪生卷积神经网络的训练过程，包括如下步骤：

901)、初始化孪生卷积神经网络；

902)、将步骤7所得到的最终的训练集作为孪生卷积神经网络的输入，计算输出；

903)、使用链式求导法则计算步骤7训练集中训练样本的沸腾等级相对于损失函数的梯度；以初始学习率为0.001，学习率不断递减来对参数进行调整；

904)、不断重复步骤902)至步骤903)，循环迭代直至损失函数收敛，最终得到液体沸腾等级判断模型，

对液体沸腾判断模型进行测试时，对孪生卷积神经网络分类的正确率ac进行检测。

步骤10，当对液体进行沸腾识别时，使用摄像头拍摄待测液体内部视频，从内部视频中提取图像有效区域并对有效区域进行灰度处理和归一化处理，并将生成的数据作为测试集，将测试集输入步骤5测试好的卷积神经网络中，识别液体是否沸腾，当判断结果为否时，直接返回沸腾等级0及待测液体未沸腾；当判断结果为是时，继续执行步骤11。

步骤11：将步骤10中连续判断结果为是的连续帧图像组成沸腾等级测试集，并将沸腾等级测试集输入步骤9中测试好的孪生卷积神经网络中，计算并返回待测液体的沸腾等级。

以上所述仅为本发明所公开的基于深度学习和光学反射结构的沸腾现象判断装置及方法的优选实施方式，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书实施例中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。