一种浮选工况分类方法和系统与流程
本发明涉及泡沫浮选自动化领域，尤其涉及一种浮选工况分类方法和系统。
背景技术：
泡沫浮选是目前金属冶炼中最主要的矿物分选方法之一，它是以表面化学为基础，根据不同矿物颗粒表面润湿性的不同来分离不同矿物的方法，通过在浮选过程中不断地搅拌和充气形成大量气泡，并添加药剂调整不同矿物颗粒的表面性质，使有用矿物颗粒黏附在气泡表面，而脉石矿物颗粒停留在矿浆中，从而实现矿物分选。因此，浮选是发生在固、液、气三相界面上的连续物理化学过程，浮选工况好坏指浮选过程工作状态和性能指标的好坏，浮选泡沫层中泡沫的颜色、大小、形状、稳定性、流速、纹理粗细度等表面视觉特征可密切反映浮选工况。正常条件下的浮选工况可分为优、良、差三等，也可根据浮选槽内矿物的不同和生产条件的优劣进行更细致的划分，由于泡沫浮选存在自身工艺流程长、内部机理不明确、影响因素多、涉及变量多且非线性强等问题，导致工艺指标不能在线检测；另外现场操作工人的轮换性和实际操作的主观性和随意性较大，对泡沫结构好与坏的判断没有统一的标准，这也导致了浮选工况识别的复杂性。虽然选矿厂通过离线化验分析能够得到精矿品位和尾矿品位，但是化验结果滞后生产数个小时，造成调节滞后的现象，影响了化验分析的及时性。因此，在线识别浮选槽的工况水平，对生产操作和过程的优化运行具有重要的意义。
随着机器视觉和图像处理技术的迅速发展，越来越多的基于机器视觉技术的浮选监控系统已被用作辅助工具帮助操作工人判断生产状态，机器视觉技术在浮选泡沫图像采集与浮选泡沫提取的基础上，利用泡沫尺寸、泡沫图像颜色分量、泡沫层运动速度等特征，引入kinect相机采集泡沫层深度信息等，采用支持向量机、谱聚类、基于图像序列等方法进行工况识别，这些方法都取得了一定效果。但是，当前工况识别方法中所采用的图像特征提取有以下局限性：1.泡沫特征的提取实际上是针对泡沫灰度图像的降维计算过程，在提取过程中难免存在信息丢失，难以获取本质的图像信息；2.工业相机采集到的大量泡沫视频没有得到充分的利用，针对部分泡沫视频得到的泡沫特征不能完善地反映泡沫的当前工况。因此，基于机器视觉技术的浮选监控系统在实际浮选工厂的应用中仍存在一定的问题。
因此，现需提供一种浮选工况分类方法和系统，充分利用现场采集到的泡沫视频，对大量泡沫视频数据进行深度卷积神经网络的离线训练，从而得到泡沫灰度图像的本质像素集特征，保证得到成熟的泡沫图像分类模型，进而实现泡沫工况的在线识别，该方法和系统可以为后续加药等操作提供指导，对提高浮选过程的经济和技术指标、减轻工人劳动强度都有着十分重要的意义。
技术实现要素：
本发明目的在于提供一种浮选工况分类方法和系统，该方法和系统利用大量泡沫视频数据进行深度卷积神经网络的离线训练，充分利用现场采集到的泡沫视频，保证得到成熟的泡沫图像分类模型，进而实现泡沫工况的在线识别，为后续加药等操作提供指导，对提高浮选过程的经济和技术指标、减轻工人劳动强度都有着十分重要的意义。
为实现上述目的，本发明提供了一种浮选工况分类方法，包括：
获取浮选泡沫图像，并进行图像预处理，得到适合建立模型的泡沫图像集；
对泡沫图像集中每一幅单帧泡沫图像采用两步分水岭算法进行图像分割，每一个泡泡区域都保存为一幅泡泡图像，得到泡沫图像集中所有单帧泡沫图像的泡泡图像集；
提取泡泡图像的形态特征向量，并根据所述形态特征向量对所述泡泡图像集进行预分类，获取泡泡图像的分类标签值；根据上述泡泡图像预分类的分类标签值，采用深度卷积神经网络提取泡泡图像的像素集特征，并通过大量已有泡泡图像数据集，训练得到深度卷积神经网络模型；
根据所述深度卷积神经网络模型提取各泡泡图像的像素集特征并结合泡泡图像对应的形态特征向量以对泡泡图像进行精分类，并统计泡沫图像中各类泡泡的出现次数形成单帧泡沫图像的泡泡分类频率集，分析泡沫图像的泡泡分类频率集与浮选典型工况之间的对应关系，从而得到泡沫图像所反应的浮选工况类别。
优选地，所述泡泡图像的形态特征向量包括泡泡图像的尺寸、泡泡图像的灰度均值和将泡泡图像近似成椭圆后的椭圆半长轴长、椭圆半短轴长、椭圆倾斜角以及椭圆率，其中，提取所述泡泡图像的形态特征向量具体包括以下步骤：
(1)获取泡泡图像中泡泡区域的像素点个数得到近似泡泡尺寸s和泡泡图像灰度均值gray；
(2)将单个泡泡图像近似成椭圆，定义泡泡图像的(p+q)阶规则矩为：
式中，area表示泡泡图像的尺寸范围，a(x，y)表示泡泡图像在该像素点(x，y)的灰度值，p，q表示参数；
(3)以泡泡图像的一阶规则矩近似为椭圆的质心，则单个泡泡图像的质心坐标
(4)结合上述公式，求得单个泡泡图像的(p+q)阶中心距为：
(5)求得所有泡泡图像的二阶中心矩集，椭圆的半长轴长计算公式为：
式中，cb表示泡泡图像近似的椭圆的半长轴长；
椭圆的半短轴长计算公式为：
式中，db表示泡泡图像近似的椭圆的半短轴长；
椭圆的倾斜角计算公式为：
式中，θ表示泡泡图像近似的椭圆长轴与x轴正方向的倾斜角；
椭圆率计算公式为：
(6)得到泡泡图像的形态特征向量：
d：[cb，db，θ，e，s，gray]t；
式中，上标t表示转置。
优选地，对所述泡泡图像进行预分类具体包括以下步骤：
(1)计算泡泡图像的图像集中每一个泡泡图像的形态特征向量，并构建泡泡图像的形态特征集：
data＝[d1d2d3……dn]；
式中，d1表示第一幅泡泡图像的形态特征向量，dn表示第n个泡泡图像的形态特征向量：
(2)根据泡泡图像的形态特征集data采用k-means聚类，进行泡泡图像的预分类，得到p个聚类中心c；
(3)计算各泡泡图像的形态特征向量d与p个聚类中心c的欧氏距离，度量每一个形态特征向量d与聚类中心c中所有特征向量的相似性程度，并确定各泡泡图像的分类标签值i。
优选地，所述预处理具体包括以下步骤：
(1)根据泡沫浮选现场采集到的泡沫视频数据读取单帧rgb泡沫图像，构成原始泡沫图像集g1；
(2)将原始泡沫图像集g1中的rgb图像进行灰度化，得到泡沫图像的灰度矩阵an×m，和泡沫灰度图像集g2：
an×m＝0.290×r+0.587×g+0.114×b；
式中，a为泡沫灰度图像，n×m为泡沫灰度图像的分辨率，r、g、b分别为rgb泡沫图像的红色分量矩阵、绿色分量矩阵和蓝色分量矩阵；
(3)根据浮选厂矿石入矿品位改变频率确定预处理时间周期为τ，遍历g2中每一帧泡沫灰度图像内各像素点的灰度值，得到每一帧泡沫图像的灰度均值：
式中，gm为时间周期τ内一帧灰度图像的灰度均值，n×m为灰度图像的分辨率，g(i，j)为灰度图像中(i，j)位置的灰度值；
(4)根据g2中所有单帧泡沫图像像素点的灰度均值的分布情况，设置合格泡沫图像灰度均值的合格区间为[αβ]，其中0＜α＜0.5＜β＜1，去除合格区间外的异常泡沫图像，得到合格的泡沫图像集g3；
(5)选取灰度保留区间[a，b]，其中0＜a＜b＜255，对合格泡沫图像集g3内的单帧对象进行图像像素增强处理，把像素点灰度值在灰度区间[a，b]内的像素点，线性映射到像素灰度区间[0，255]上，使得图像对比度增强：
式中，f(x，y)为原灰度图像像素值，g(x，y)为增强后的灰度图像像素值，[a，b]为原图像选取像素点的灰度保留区间，从而得到适合建立模型的泡沫图像集g4。
优选地，采用深度卷积神经网络提取泡泡图像的像素集特征，并结合大量已有泡泡图像数据集中各泡泡图像所对应的分类标签值训练并校验得到深度卷积神经网络模型具体包括以下步骤：
(1)根据输入的泡泡图像的规格和预分类中聚类中心的数量p，采用与经典lenet-5模型进行比对试验的方法，确定深度卷积神经网络模型的层数、深度以及初始参数；
(2)在卷积层中通过卷积核对输入的泡泡图像进行卷积操作，提取图像特征映射图：
式中，
(3)在池化层中采用最大池化函数对输入的特征映射图进行池化处理：
式中，max表示最大池化函数，β表示权重系数，d表示该池化层的偏置；
(4)通过反复的卷积和池化操作得到泡泡图像的像素集特征，并与分类标签值i进行比对，通过链式求导法则，逐层修正上述各卷积层和各池化层中的参数，直至深度卷积神经网络模型分类的准确率在设定范围内，最终得到反应泡泡图像本质特征的深度卷积神经网络模型和像素集特征：
pf＝[pix1pix2……pixk]；
式中，pix1到pixk表示所述深度卷积神经网络模型全连接层所排列的像素集特征。
优选地，形成单帧泡沫图像的所述泡泡分类频率集包括：
结合泡泡图像的形态特征向量和像素集特征构建泡泡图像的七维特征向量，然后采用mean-shift聚类方法重新对泡泡图像集进行精确分类，分为q类，按泡沫图像集中单帧泡沫图像中各泡泡图像的分类标签值i进行累计，并按其类别顺序形成泡沫图像的泡泡分类频率集：
cck＝[l1l2……lq]；
式中，k表示泡沫图像集中第k帧泡沫图像，l1表示第一类单个泡泡在第k帧图像中的频率，lq表示第q类单个泡泡在第k帧图像中的频率；
得到每一幅泡沫图像反应的所述浮选工况类别具体包括以下步骤：
(1)在泡沫图像集中，根据泡泡分类频率，选取典型泡沫图像，将合格泡沫工况类型分为m种，将m种工况所对应的典型泡沫图像中各类型泡泡的频率作为分类中心con：
(2)比较泡沫图像集中每一幅泡沫图像的泡泡分类频率与分类中心con中的泡泡分类频率的相似性程度，得到正常工况泡沫图像的对应工况标签。
为实现上述目的，本发明提供了一种浮选工况分类系统，包括：
第一单元：用于获取浮选泡沫图像，并进行图像预处理，得到适合建立模型的泡沫图像集；
第二单元：用于对泡沫图像集中每一幅单帧泡沫图像采用两步分水岭算法进行图像分割，每一个泡泡区域都保存为一幅泡泡图像，得到泡沫图像集中所有单帧泡沫图像的泡泡图像集；
第三单元：用于提取泡泡图像的形态特征向量，并根据所述形态特征向量对所述泡泡图像进行预分类，获取泡泡图像的分类标签值；采用深度卷积神经网络提取泡泡图像的像素集特征，并结合大量已有泡泡图像数据集中各泡泡图像所对应的分类标签值训练并校验得到深度卷积神经网络模型；
第四单元：用于根据所述深度卷积神经网络模型提取各泡泡图像的像素集特征并结合泡泡图像对应的形态特征向量以对泡泡图像进行精分类，并统计泡沫图像中各类泡泡的出现次数形成单帧泡沫图像的泡泡分类频率集，分析泡沫图像的泡泡分类频率集与浮选典型工况之间的对应关系，从而得到泡沫图像所反应的浮选工况类别。
本发明具有以下有益效果：
本发明提供一种浮选工况分类方法和系统，首先运用泡泡图像的形态特征向量对泡泡图像集进行预分类，获得泡泡图像的分类标签值，再利用深度卷积神经网络模型提取泡泡图像的像素集特征，深度卷积神经网络模型以大数据作为支持，能模拟工人视觉系统对图像分析分类的过程，得到能反应泡沫图像真实状态的像素集特征，结合泡泡图像的形态特征向量和泡泡图像的像素集特征，重新对泡泡图像进行精确分类，分析根据新的泡泡特征得到的泡泡类别与泡沫浮选表层泡沫工况之间的关系，提出一种以泡泡图像的像素集特征为基础的浮选泡沫图像无监督分类方法，进而实现泡沫工况的在线识别。该方法和系统充分结合了浮选现场大量视频数据和专家经验，泡沫工况识别与分类的准确性高，为后续加药等操作提供指导，对提高浮选过程的经济和技术指标、减轻工人劳动强度都有着十分重要的意义。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的整体步骤流程图；
图2是本发明优选实施例的泡沫分割示意图；
图3是本发明优选实施例的高品位工况的泡沫图像；
图4是本发明优选实施例的高品位工况的泡沫图像的泡泡分类频率直方图；
图5是本发明优选实施例的低品位工况的泡沫图像；
图6是本发明优选实施例的低品位工况的泡沫图像的泡泡分类频率直方图；
图7是本发明优选实施例的高、中、低品位工况下的泡泡类型累计曲线图；
图8是本发明优选实施例的工况识别与人工工况识别对比图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
参见图1，本实施例公开一种浮选工况分类方法，包括：
获取浮选泡沫图像，并进行图像预处理，得到适合建立模型的泡沫图像集；
对泡沫图像集中每一幅单帧泡沫图像采用两步分水岭算法进行图像分割，每一个泡泡区域都保存为一幅泡泡图像，得到泡沫图像集中所有单帧泡沫图像的泡泡图像集；
提取泡泡图像的形态特征向量，并根据所述形态特征向量对所述泡泡图像集进行预分类，获取泡泡图像的分类标签值；根据上述泡泡图像预分类的分类标签值，采用深度卷积神经网络提取泡泡图像的像素集特征，并通过大量已有泡泡图像数据集，训练得到深度卷积神经网络模型；
根据所述深度卷积神经网络模型提取各泡泡图像的像素集特征并结合泡泡图像对应的形态特征向量以对泡泡图像进行精分类，并统计泡沫图像中各类泡泡的出现次数形成单帧泡沫图像的泡泡分类频率集，分析泡沫图像的泡泡分类频率集与浮选典型工况之间的对应关系，从而得到泡沫图像所反应的浮选工况类别。
具体地，采用某锑矿选矿厂2个月中随机抽样的25组生产数据用做案例进行分析，每组数据包括1天的连续视频，其中20组数据作为深度卷积神经网络的训练数据，5组数据为验证深度卷积神经网络模型的测试数据。首先，在某梯矿浮选工业现场，通过在浮选槽上方安放德国avt的p-f145c-fiber彩色摄像机拍摄浮选槽内的泡沫层图像，再传送到计算机中进行处理。需要说明的是，受到现场光照条件恶劣，生产情况复杂等影响，直接采集到的泡沫图像序列充斥着许多不合格的泡沫图像，故需要对泡沫图像预处理，去除不合格泡沫。
具体地，在预处理过程中，首先将泡沫图像灰度化，本实施例采用的工业摄像机采集到的视频颜色数据rgb888(rgb)，分辨率为800*600，帧率为7.5帧/秒，对该锑矿选矿厂2个月内的现场视频数据进行阶段性采样，截取其中25个时间段的泡沫视频，每个时间段为连续1天的视频数据，以5帧为一个采样周期对视频数据按帧进行采样，构成原始泡沫图像集g1，然后对原始泡沫图像集g1中的rgb泡沫图像进行灰度化，得到泡沫图像灰度矩阵和泡沫灰度图像集g2：
a800×600＝0.290×r+0.587×g+0.114×b；
式中，a为泡沫灰度图像，800*600为泡沫灰度图像的分辨率，r、g、b分别为一帧rgb泡沫图像的红色分量矩阵、绿色分量矩阵和蓝色分量矩阵。
然后，取预处理时间周期τ为1个小时，按照梯矿在浮选槽内的泡沫状态和颜色，去除异常泡沫，在每个时间段内，计算1小时内泡沫灰度图像集g2中每一帧泡沫灰度图像内各像素点的灰度值得到每一帧泡沫图像的灰度均值：
式中，gm为一帧灰度图像的灰度均值，800*600为灰度图像的分辨率，g(i，j)为灰度图像中(i，j)位置的灰度值。
将一段时间序列内的所有单帧灰度图像的gm值按数值大小排列组成集合，该集合组成频数直方图，由于泡沫灰度图像的取值范围在0～255，而一般正常的泡沫灰度图像的灰度均值在100～200范围内，因此，对于一段时间序列内的灰度均值按数值大小排列，呈现两端频数小，中间频数大，近似服从正态分布，其中合格泡沫图像的灰度均值适中，灰度均值过高或过低时都是异常情况。在实际情况中，当泡沫液位过高(冒槽)或者出现翻矿浆时灰度值过高，当泡沫液位过低(沉槽)或者泡沫层过厚时灰度值偏低。
具体地，根据采样批次对应锑矿的入矿条件，设置合格泡沫图像灰度均值的合格区间为[αβ]，取合格泡沫图像灰度均值的合格区间的下限α为0.05，上限β为0.95，则0＜α＜0.5＜β＜1，去除合格区间外的异常灰度泡沫图像，得到合格的泡沫图像集g3。
然后，对合格泡沫图像集g3内的每一单帧对象进行图像像素增强处理，使得图像中的泡沫区域和泡沫间的阴影区域的灰度值差增大，为之后的泡沫图像分割做准备。优选地，按照梯矿泡沫图像灰度值分布经验，选取灰度保留区间[a，b]，其中0＜a＜b＜255，把灰度保留区间设置为[45，235]，具体地，把灰度矩阵中灰度值位于区间[0，45]内的值即泡沫图像中较暗的泡沫边界的像素点，设置为0，把灰度值位于区间[235，255]内的值即泡沫图像中受到光照直射高亮的像素点，设置为255，然后将灰度值[45，235]内的像素点，映射到像素灰度区间[0，255]上，使得图像对比度增强以更容易区分泡沫图像的泡沫区域和泡沫边界区域：
式中，f(x，y)是原灰度图像像素值，g(x，y)是增强后的灰度图像像素值。
对图像预处理后，得到适合建立模型的泡沫图像集g4，然后选取该集合中一幅单帧泡沫图像为例进行图像分割算法说明，其中，该单帧泡沫图像用pic表示。
具体地，采用基于形态学的两步分水岭分割算法，对泡沫图像进行分割，将单帧泡沫图像用pic分割得到泡沫图像的二值矩阵p，如图2所示，二值矩阵p中，在点(x，y)处的灰度为p(x，y)，则：
进一步地，将pic分割成268个单个泡泡区域，将第i(i＜268)个区域内的泡泡区域像素点全部标号为i，得到268个区域的标记信息，并将每一个泡泡区域提取为一个泡泡图像：
an：[(x1，y1)，(x2，y2)，……，(xk，yk)]；
式中，an表示第i个区域内所有像素点的位置信息，统计区域内所有像素点的个数，作为该泡泡区域的尺寸。并将每一区域都以一个规格为48*48的灰度图像保存，得到所有单帧图像的单个泡泡图像集g5，选取pic中分割到的一个泡泡图像用eg表示，并以此为例说明泡泡图像的形态特征向量的计算过程。
具体地，经过对eg轮廓的分析比对，并结合现场操作工人的经验，将eg近似为椭圆，把泡泡图像中每个像素点的值看成是该处的密度，对某点求期望就是图像在该点处的矩，求得二阶中心矩集，确定泡泡图像近似为椭圆形后的长轴方向，引入规则距来反映泡泡图像的几何特征。
将对应某一特定泡泡在单帧泡沫图像中的尺寸区域area用eg表示，则泡泡图像的(p+q)阶规则矩为：
式中，a(x，y)表示泡泡图像在该像素点(x，y)的灰度值，p，q表示参数。
以泡泡图像的一阶规则矩近似为椭圆的质心，则泡泡图像的质心
结合上式，求出单个泡泡图像的(p+q)阶中心矩为：
基于此，可以计算出图像的二阶中心矩集，则计算椭圆的半长轴长：
计算椭圆的半短轴长：
然后，计算椭圆的倾斜角：
再计算椭圆率：
即，cbeg表示近似椭圆的半长轴长，dbeg表示近似椭圆的半短轴长，θeg表示近似椭圆长轴与x轴正方向的倾斜角，eeg表示近似椭圆的椭圆率，此外，统计泡泡图像中有效泡泡区域的像素点个数作为对泡泡尺寸的衡量，具体地，根据以上公式计算eg的泡泡图像的形态特征向量半长轴长cbeg为16.16个单位像素，半短轴长dbeg为13.28个单位像素，长轴与x轴正方向的倾斜角θeg为72.5度，椭圆率eeg为0.82，泡泡尺寸为644个像素点，图像灰度均值为97。则由eg构成的泡泡图像的特征向量为deg：[16.16，13.28，72.5，0.82，644，97]t，式中，上标t表示转置。即，泡泡图像的形态特征向量包括泡泡图像近似成椭圆后的半长轴长、半短轴长、椭圆倾斜角、椭圆率和该泡泡图像的尺寸和灰度均值。
结合泡泡图像集内的所有泡泡图像的形态特征向量，构建泡泡图像的形态特征集：
data＝[d1d2d3…deg…dn]；
式中，d1表示第一幅泡泡图像的形态特征向量，dn表示第n个泡泡图像的形态特征向量。
进一步地，采用k-means聚类对泡泡图像的形态特征集data进行单个泡泡图像的预分类，根据梯矿的实际生产情况和工人经验确定聚类类型范围[5，15]，经过实验最终确立聚类个数，得到9个聚类中心：
式中，c1到c9分别表示9个聚类中心，其后的向量分别表示每个聚类中心对应的形态特征向量。
计算各单个泡泡图像的特征向量d与9个聚类中心的欧氏距离，并据此确定单个泡泡图像的分类标签值i。
由此，从某锑矿场的视频数据中，得到了单个泡泡图像和泡泡图像对应的分类标签值i，以每一单个泡泡图像作为深度卷积神经网络的输入，以反应泡泡图像整体特征的像素排列作为最终特征输出。在该深度卷积神经网络模型中特征提取部分由卷积层和池化层交替组成，逐步抽象泡泡图像得到像素级别特征。
首先，根据输入深度卷积神经网络模型的单个泡泡图像像素规格48*48和9类的分类数目，采用与经典lenet-5模型进行比对试验的方法，确定深度卷积神经网络模型的层数为7层，其中，前六层为卷积层和池化层交替组成，卷积核的规格为5*5的方阵，第七层为全连接层。
在卷积层中，设计多种卷积核对输入图像进行卷积操作，提取多角度的图像特征映射图：
式中，
然后，采用最大池化函数对输入的特征映射图进行降维处理，以减少特征映射的特征维数，减少图像的分辨率；同时增加网络的鲁棒性，从而对输入图片的位移、放缩、扭曲有较强的泛化能力：
其中，max为最大池化函数，β为权重系数，d表示该池化层的偏置。
需要说明的是，在特征提取的初期，得到的是图像的轮廓信息以及像素点对比度较高的区域，在模型的后部得到的是跟接近于人眼观察的像素排列特征。
具体地，在该深度卷积神经网络模型中，第一层是卷积层c1，由8个5*5的卷积核对输入的规格为48*48的泡泡灰度图像进行卷积操作，得到8个不同的规格为44*44的特征图像。
第二层是池化层s2，对c1层中得到的8个特征图，用2*2的池化矩阵进行最大值池化下采样，将特征图像规格下降为22*22，需要说明的是，池化层不改变特征图像个数。
第三层是卷积层c3，由12个5*5的卷积核对规格为22*22的泡泡特征图像进行卷积操作，得到12个规格为18*18的新的特征图像。
第四层是池化层s4，与第二层类似，得到的特征图像规格为9*9，由于池化层不改变特征图像个数，故在该层中特征图像个数仍为12个。
第五层是卷积层c5，由16个5*5的卷积核对规格为9*9的泡泡特征图像进行卷积操作，得到16个规格为5*5的新的特征图像。
第六层是池化层s6，用2*2的池化矩阵进行步长为1的最大值池化下采样后，得到16个规格为4*4的特征图像。
第七层是全连接层f7，与s6全连接，采用径向欧氏距离函数比对与输出标签的差异，最终输出9类泡泡类型。
按照上述方法，通过多层次的卷积和池化操作，最终得到像素集特征，需要说明的是，像素作为图像的最小单元，在单独提取像素特征时容易造成像素割裂的误解，所以作为本实施例的优选实施方式，将多个像素特征排列组合，并用像素集特征表示。然后，将该像素集特征与预分类得到的泡泡图像的分类标签值i进行比对，通过链式求导法则逐层校验并修正卷积层和池化层中的参数，直至深度卷积神经网络模型分类的准确率在设定范围内，最终得到反应泡泡图像本质特征的深度卷积神经网络模型和像素集特征。
具体地，在上述提取特征的过程中，对从池化层到卷积层的反向传播，首先对池化层进行参数补全，采用kronecker内积，将像素在水平方向和垂直方向上拷贝后与卷积层参数相匹配，再采用梯度下降法，对卷积层中的卷积核k和偏置b的参数进行校验与修正更新。此外，从卷积层到池化层的反向传播，首先确定池化层中像素点与卷积层中一组像素块的对应关系，之后与上层所连接的卷积核参数相乘，再对矩阵的空白处补零，使得卷积层和池化层之间的参数匹配，再采用梯度下降法，对池化层中的权重系数β和偏置d进行校验与修正更新。
基于上述方法，对卷积神经网络运用某梯矿厂中20个采样批次的泡泡图像进行训练，5个采样批次的泡泡图像进行网络测试，迭代10次后，得到成熟的网络模型，且经过验证，该网络分类的错误率在10％以下，然后采用该卷积神经网络模型计算得到反应泡泡图像本质特征的像素集特征：
pf＝[pix1pix2……pix256]；
式中，pix1到pixk表示深度卷积神经网络模型全连接层所排列的像素集特征。
进一步地，将泡泡的像素集特征与之前得到的泡泡图像的形态特征向量结合重新构建新的特征集，采用mean-shift聚类方法重新对单个泡泡图像集进行精确分类，可分为9类。
统计泡沫图像中各类泡泡的出现频率可以得到单帧泡沫图像的泡泡分类频率集。例如：将泡沫图像集中每一帧图像内的单个泡泡图像类型累积，按照其类别顺序，形成泡泡分类频率集：
cck＝[l1l2……l9]；
式中，k表示g4中第k帧泡沫图像，l1表示第1类单个泡泡图像在第k帧图像中的频率，l9表示第9类单个泡泡图像在第k帧图像中的频率。由于每一帧泡沫图像都不可能完全相同，故泡泡图像频率分布的差异可以反应不同泡沫图像的工况差异。具体地，在已有泡沫图像集合中，可以依据经验将浮选工况分为6类，选取典型泡沫图像作为各类工况的代表，即，每种典型工况都有其对应的典型泡沫图像，则该6种典型工况分别为“低品位工况”、“较低品位工况”、“中下品位工况”、“中上品位工况”、“较高品位工况”、“高品位工况”，建立泡沫图像的泡泡分类频率集与浮选典型工况之间的对应关系。例如：将6种典型工况所对应的典型泡沫图像的泡泡分类频率集作为各工况的聚类中心，然后将6种典型工况所对应的各类型泡泡的频率作为分类中心con：
式中，每一条向量表示在该种工况下，典型泡沫图像中9类泡泡图像各自所占的频率，例如：cn11表示第1种工况对应的典型泡沫图像中第1类泡泡所占的频率。
然后根据欧氏距离等相似性程度判定方法判断当前待分析泡沫图像所对应的浮选工况类别。需要说明的是，将提取泡泡图像的预分类标签值，并利用预分类标签值训练并校验得到提取泡泡图像像素集特征的深度卷积神经网络模型，以及正常工况泡泡图像分类分布集的建立视为离线过程，将实时从浮选工业现场提取泡沫图像并进行工况识别分类视为在线过程。进一步地，将离线过程中训练得到的深度卷积神经网络模型和正常工况泡泡图像分类分布集运用到在线过程中，提取某浮选工业现场1天中，24个小时的实时泡沫图像。对矿物入矿类型和入矿速度分析后，将预处理周期τ设置为1小时，经过预处理后对图像进行分割，然后对单个泡泡图像进行形态特征向量提取并据此对泡泡图像进行预分类，形成整幅泡沫图像的分类频率集。将工况识别周期t设置为20分钟，即每20分钟进行一次工况识别，得到时间周期内泡沫图像的分类频率集，并与con中的分类中心进行实时比对，获取当前浮选的状态所属的工况类别，经过实验，每一个时间周期t内处理1800帧泡沫图像并对其进行工况识别，每次花费的时间在3-4分钟左右，参见图3、图4、图5和图6，采用上述方法得出的泡沫图像的分类频率集能较好的区分出工况间的差异，在不同工况下所示的泡泡类型占整幅泡沫图像的频率直方图有明显的差异。单位时间内高、中、低品位工况下的泡泡类型累计曲线图如图7所示，具体地，高品位工况下1至9类泡泡类型频率图由低到高；低品位工况下1至9类泡泡类型频率图两边高，中间低；中等品位工况下1至9类泡泡各类型频率接近。即，泡泡类型频率之间的差异反应了工况之间区别。
需要说明的是，在本实施例的方法中，泡泡图像的形态特征向量反应了操作工人对泡沫层中单个泡泡图像的形态、尺寸和灰度颜色的区分过程。在浮选现场，操作工人无法通过现代化的计算手段获得数字化，基于统计学的泡沫特征，而是通过观察单个泡泡形态由局部到全局的判断泡沫层状态，因此选取泡泡图像的形态特征向量可以充分反应出泡泡状态的直接特征。而本实施例基于更为精确的考虑，虽然操作工人在经过反复观察泡沫层后，形成了固有的专家经验，可以不通过细致观察泡泡形态直接判断浮选槽内工况，但是这一经验难以具体化；所以，作为本实施例优选的实施方式，利用深度卷积神经网络，逐层提取抽象图像特征，模拟操作工人观察浮选槽后，视觉感官将泡沫层影像在脑中形成映射，对网络的训练类似于工人经验的积累过程，最终可以得到充分反应泡泡图像本质特征的像素集特征。
将本方法识别的泡沫工况，与人工识别的泡沫工况进行对比试验。取现场连续24小时的泡沫视频为实验样本，该样本仅为视频数据，工人操作和入矿条件包含在视频序列之中，不以数据形式表示。分别由工人和本方法对该实验样本进行工况识别，结果如图8所示，以人工识别结果为准的本方法工况识别错误率在9％以内。
实施例2
一种用以执行上述浮选工况分类方法的系统，其特征在于，包括：
第一单元：用于获取浮选泡沫图像，并进行图像预处理，得到适合建立模型的泡沫图像集；
第二单元：用于对泡沫图像集中每一幅单帧泡沫图像采用两步分水岭算法进行图像分割，每一个泡泡区域都保存为一幅泡泡图像，得到泡沫图像集中所有单帧泡沫图像的泡泡图像集；
第三单元：用于提取泡泡图像的形态特征向量，并根据所述形态特征向量对所述泡泡图像进行预分类，获取泡泡图像的分类标签值；采用深度卷积神经网络提取泡泡图像的像素集特征，并结合大量已有泡泡图像数据集中各泡泡图像所对应的分类标签值训练并校验得到深度卷积神经网络模型；
第四单元：用于根据所述深度卷积神经网络模型提取各泡泡图像的像素集特征并结合泡泡图像对应的形态特征向量以对泡泡图像进行精分类，并统计泡沫图像中各类泡泡的出现次数形成单帧泡沫图像的泡泡分类频率集，分析泡沫图像的泡泡分类频率集与浮选典型工况之间的对应关系，从而得到泡沫图像所反应的浮选工况类别。
上述各单元的具体处理过程可参照上述方法实施例，不再赘述。
综上所述，本发明提供一种浮选工况分类方法和系统，首先运用泡泡图像的形态特征向量对泡泡图像集进行预分类，获得泡泡图像的分类标签值，再利用深度卷积神经网络模型提取泡泡图像的像素集特征，深度卷积神经网络模型以大数据作为支持，能模拟工人视觉系统对图像分析分类的过程，得到能反应泡沫图像真实状态的像素集特征，结合泡泡图像的形态特征向量和泡泡图像的像素集特征，重新对泡泡图像进行精确分类，分析根据新的泡泡特征得到的泡泡类别与泡沫浮选表层泡沫工况之间的关系，提出一种以泡泡图像的像素集特征为基础的浮选泡沫图像无监督分类方法，进而实现泡沫工况的在线识别。该方法和系统充分结合了浮选现场大量视频数据和专家经验，泡沫工况识别与分类的准确性高，为后续加药等操作提供指导，对提高浮选过程的经济和技术指标、减轻工人劳动强度都有着十分重要的意义。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！