基于深度信息的泡沫浮选液位监测和工况识别方法及系统的制作方法
【专利摘要】本发明公开基于深度信息的泡沫浮选液位监测和工况识别方法及系统。首先，从软硬件方面构建基于kinect的泡沫浮选工况监测系统；其次，通过Kinect传感器采集浮选泡沫颜色和深度数据，对深度数据进行深度信息提取和滤波处理，对颜色和深度数据进行时序与位置上的对准及其对应的存储。然后，结合颜色数据和深度数据，提取泡沫的颜色、面积、体积、速度、破碎率等立体(带有深度信息)特征。再者，通过分析当前泡沫表层液位特征与溢流槽边沿高度之间的关系进行液位监测。最后，采用改进的k-means算法对泡沫图像特征进行聚类分析，实现对浮选工况的在线识别。本发明可用于泡沫浮选现场的工况监测与实时工况识别，以实现浮选生产自动控制与优化操作，提高资源利用率。
【专利说明】基于深度信息的泡沬淳选液位监测和工况识别方法及系统
【技术领域】
[0001] 本发明涉及矿物加工领域，尤其是一种基于深度信息的泡沫浮选液位监测和工况 识别方法及系统。
【背景技术】
[0002] 浮选工况即浮选生产过程中的工作状况，及时准确地识别工况对指导浮选生产至 关重要。泡沫浮选是矿物加工中应用最广泛的一种选矿方法，涉及到的物理化学变化极其 复杂，一直以来都是依据有经验的工人通过肉眼观察浮选槽内泡沫表面特征（颜色、大小、 速度等）变化来人为判定当前工况，并以此控制加药量等浮选操作。然而不同的工人对泡 沫表面特征的判断没有统一的量化标准，导致工况识别乃至操作的主观性和随意性较大， 使浮选难以处于最优状态而造成生产过程不稳定，影响生产质量。随着机器视觉及图像处 理等技术的飞速发展，结合浮选现场泡沫特征进行智能识别工况的工作取得了很大进展。 通过快速准确的识别浮选现场的工况类别，浮选生产控制系统可及时调整生产参数，使浮 选生产过程始终保持在最优状态。
[0003] 矿浆液位是浮选现场工况识别的一个重要指标，但由于被泡沫层覆盖而难以测 量，同时，基于传统工业摄像机的泡沫浮选工况监测和识别系统及方法（以下简述为传统 系统及方法）所采集的浮选泡沫图像只有平面图像信息，不具有深度信息，无法获得对浮 选矿浆液位变化的实时监测，难以实现液位的自动识别和自动控制。此外，没有深度信息还 会给图像特征经验值的确定（来自工人的立体视觉）与监测值的提取（来自传统系统及方 法的平面视觉）带来较大的差异，造成工况识别结果的不稳定和不准确，使传统系统及方 法的应用受到极大限制。
【发明内容】
[0004] 本发明的目的是提供一种基于深度信息的泡沫浮选液位监测和工况识别方法及 系统，通过视场内所有点的泡沫表层距槽底距离，获取与矿浆液位相关的泡沫表层液位特 征，有效地实现了基于机器视觉的在线液位监测；通过kinect传感器提取的浮选泡沫表面 立体特征，有效地突破了平面泡沫特征的局限性，能够更加准确地识别当前工况。
[0005] 为实现上述目的，本发明提供一种基于深度信息的泡沫浮选液位监测和工况识别 方法，包括以下步骤：
[0006] 步骤一：从软硬件方面构建基于kinect的泡沫浮选工况监测系统；
[0007] 步骤二：采集、处理并保存由kinect获取的浮选泡沫颜色数据和深度数据；
[0008] 步骤三：对步骤二获得的颜色和深度数据进行特征提取，结合颜色和深度数据提 取泡沫的颜色、面积、体积、速度、破碎率等立体（带有深度信息）特征；
[0009] 步骤四：采用分布拟合方法对步骤二获得的深度数据进行统计分析；采用参数估 计方法获取泡沫表层液位特征；进而获得泡沫表层液位特征与溢流槽边沿高度之间的关 系，用于泡沫浮选液位的在线监测与工况识别；
[0010]步骤五：将步骤三获取的泡沫特征构成特征向量，采用改进的k-means算法进行 离线的聚类分析，得到若干个聚类中心；实时提取浮选现场的泡沫特征，并与聚类中心进行 实时匹配，在线获取当前浮选的工况。
[0011] 本发明还提供一种基于深度信息的泡沫浮选液位监测和工况识别系统，其特征在 于，包括kinect传感器、高频光源、计算机，kinect传感器固定于距浮选槽液面1. 2m-3. 5m范围内，其摄像头所在平面与浮选槽底面平行；高频光源为kinect传感器采集颜色数据提 供照明，将采集到的颜色和深度数据流通过USB数据线传送至计算机，计算机实现数据处 理、实时工况监测及其结果显示；软件系统在跨平台框架Openni下，采用交互式编程接口， 以实现颜色和深度数据流的实时获取、处理、保存以及特征提取和工况识别。
[0012] 有益效果：本发明通过kinect传感器提取的浮选泡沫表面立体特征，有效的突破 了平面泡沫特征的局限性，并且与提取泡沫表层液位特征相结合，能够更加准确识别当前 工况。
【专利附图】
【附图说明】
[0013] 图1为本发明实施例基于深度信息的泡沫浮选液位监测和工况识别方法及系统 的硬件结构图。
[0014] 图2为图1所示基于深度信息的泡沫浮选液位监测和工况识别方法及系统的软件 流程图。
[0015] 图3为本发明实施例中kinect采集的颜色图像。
[0016] 图4为本发明实施例中kinect采集的深度图像。
【具体实施方式】
[0017] Kinect是微软公司研制的一款新型传感器（摄像头），能够实时获取目标区域的 颜色和深度两种数据，突破了传统摄像头的二维图像特征的局限，可以得到与现实世界更 为接近的三维特征信息，目前已应用于游戏领域，但还未广泛应用于工业现场。
[0018] 为此，我们首次把Kinect传感器引入到泡沫浮选工业现场，通过Kinect传感器 采集的深度数据，获取与矿浆液位相关的泡沫表层液位特征，进行液位监测与工况；结合 Kinect传感器采集的颜色数据，提取泡沫的颜色、面积、体积、速度、破碎率等立体（带有深 度信息）特征，实现对泡沫浮选生产过程的实时工况识别。
[0019] 以下将结合附图和具体实施例对本发明做进一步详细说明。
[0020] 如图2所示，本实施例一种基于深度信息的泡沫浮选液位监测和工况识别方法包 括以下步骤：
[0021] 步骤一：从软硬件方面构建基于kinect的泡沫浮选工况监测系统；
[0022] 按照图1所示构建基于深度信息的泡沫浮选工况监测与识别系统，硬件主要由 kinect传感器1、高频光源4、计算机5等组成。高频光源4为kinect传感器1采集颜色数 据提供照明。将kinect传感器1固定于距浮选槽6液面2m处，其摄像头2所在平面须与 浮选槽6底面平行，将在摄像头视场3范围内采集到的颜色和深度数据流通过USB数据线 传送至计算机5,计算机5实现数据处理、实时工况监测及其结果显示。另外，在高频光源4 和kinect传感器1外部加上防尘罩（图中未画出），用来减弱外界因素（如腐蚀，污染镜 头等）的影响，增强系统的可靠性。浮选槽6 -端设有溢流槽7,且浮选槽6内部装设有搅 拌装置8与刮板9。图中，Hb表示摄像头所在平面到浮选槽槽底的距离，Hd表示视场内泡 沫表层某点到摄像头所在平面的距离，Hh表示视场内泡沫表层某点到槽底的距离，Ht表示 视场内某点处泡沫层厚度（某点到矿浆液面的距离），Hk表示矿浆液位，Hy表示溢流槽边 沿高度。
[0023] 从软件方面构建基于kinect的泡沫浮选工况监测系统，在跨平台框架 Openni(OpenNaturalInteraction)下，采用交互式编程接口，以实现颜色和深度数据流 的实时获取、处理、保存以及特征提取和工况识别。
[0024] 步骤二：采集、处理并保存由kinect获取的浮选泡沫颜色数据和深度数据；
[0025] 包含以下步骤：
[0026] 步骤1 :采集数据；
[0027]将颜色数据流设定为RGB888 (RGB)，分辨率为640*480,帧率为30FPS;将深度数据 流格式设定为PIXEL_F0RMAT_DEPTH_1_MM格式（数据精度为毫米），分辨率为640X480 ;帧 率为30FPS;采用跨平台框架Openni下的"AlternativeView"工具，校正颜色摄像头与深 度摄像头的视角，以实现颜色数据流与深度数据流在目标视场上的对准。
[0028]启动kinect设备进行图像采集；采用上述步骤设定的数据格式同时创建颜色数 据流和深度数据流，得到如图3与图4所示的时序对准的两种数据：640X480X3阶颜色矩 阵C和640X480阶深度矩阵D。例如在颜色图像中，点Pi(243,133)标注为"RGB:242, 241， 239"，表示kinect采集的颜色矩阵中该点的值为C(243，133，l) = 242,C(243，133,2)= 241，C(243，133,3) = 239。深度图像中，点Pi(243，133)标注为"Index:661"，表示kinect 采集的颜色矩阵中该点的值为D(243,133) = 661 ;标注"RGB:0. 918,0. 918,0. 918"是由深 度值归一化得到用来进行显示的，深度图像中颜色越深就表示深度值越小，即该点泡沫表 层距离摄像头距离越近，通过比较泡沫顶部点匕处的Index值（661)与泡沫边缘点P2处的 Index值（693)可以很容易验证上述说法。
[0029] 步骤2:处理数据；
[0030] (1)获取深度数据中的深度信息；
[0031] 由kinect传感器获取的深度矩阵D是16位整型数据，其高13位存储的是深度信 息，而低3位存储的是索引信息，通过移位操作获取深度信息：
[0032]D: =D/23 公式 1
[0033] 式中Di为仅存储了深度信息（而没有索引信息）的深度矩阵。
[0034] (2)结合颜色数据对深度数据进行滤波补全处理；
[0035] 采用联合双边滤波方法对深度矩阵Di进行滤波处理，将由于遮挡缺失的深度图像 补全，得到滤波后的深度矩阵D2，其在点（x，y)处的深度值D2(x，y)为：
【权利要求】
1. 一种基于深度信息的泡沫浮选液位监测和工况识别方法，其特征在于，包括以下步 骤： 步骤一：从软硬件方面构建基于kinect的泡沫浮选工况监测系统； 步骤二：采集、处理并保存由kinect获取的浮选泡沫颜色数据和深度数据； 步骤三：对步骤二获得的颜色和深度数据进行特征提取，结合颜色和深度数据提取泡 沫的颜色、面积、体积、速度、破碎率等立体特征； 步骤四：采用分布拟合方法对步骤二获得的深度数据进行统计分析；采用参数估计方 法获取泡沫表层液位特征；进而获得泡沫表层液位特征与溢流槽边沿高度之间的关系，用 于泡沫浮选液位的在线监测与工况识别； 步骤五：将步骤三获取的泡沫特征构成特征向量，采用改进的k-means算法进行离线 的聚类分析，得到若干个聚类中心；实时提取浮选现场的泡沫特征，并与聚类中心进行实时 匹配，在线获取当前浮选的工况。
2. 根据权利要求1所述的基于深度信息的泡沫浮选液位监测和工况识别方法，其特征 在于，所述步骤一包括以下子步骤： 步骤1 :从硬件方面构建基于kinect的泡沫浮选工况监测系统，硬件包括kinect传感 器、高频光源、计算机，将kinect传感器固定于距浮选槽液面1. 2m-3. 5m范围内，其摄像头 所在平面与浮选槽底面平行；高频光源为kinect传感器采集颜色数据提供照明，将采集到 的颜色和深度数据流通过USB数据线传送至计算机，计算机实现数据处理、实时工况监测 及其结果显示； 步骤2 :从软件方面构建基于kinect的泡沫浮选工况监测系统，在跨平台框架Openni下，采用交互式编程接口，以实现颜色和深度数据流的实时获取、处理、保存以及特征提取 和工况识别。
3. 根据权利要求1所述的基于深度信息的泡沫浮选液位监测和工况识别方法，其特征 在于，所述步骤二包括以下子步骤： 步骤1 :采集数据； (1) 设置数据格式； 将颜色数据流设定为RGB888,分辨率为aXb，aXb表示水平方向上的像素数量乘以垂 直方向上的像素数量，帧率为30FPS;将深度数据流格式设定为PIXEL_F0RMAT_DEPTH_1_MM 格式，数据精度为毫米，分辨率为aXb;帧率为30FPS; (2) 硬件对准颜色数据与深度数据； 采用跨平台框架Openni下的"AlternativeView"工具，校正颜色摄像头与深度摄像 头的视角，以实现颜色数据流与深度数据流在目标视场上的对准； (3) 软件对准颜色数据与深度数据； 启动kinect设备进行图像采集；采用上述步骤设定的数据格式同时创建颜色数据流 和深度数据流，得到时序对准的两种数据：aXbX3阶和aXb阶深度矩阵D，颜色矩阵C由 分别表示图像R、G、B颜色分量的3个aXb阶矩阵组成； 步骤2 :处理数据； (1)获取深度数据中的深度信息； 由kinect传感器获取的深度矩阵D是16位整型数据，其高13位存储的是深度信息， 而低3位存储的是索引信息，通过移位操作获取深度信息： D: =D/23 公式 1 式中Di为仅存储了深度信息的深度矩阵； (2) 结合颜色数据对深度数据进行滤波补全处理； 采用联合双边滤波方法对深度矩阵h进行滤波处理，将由于遮挡缺失的深度图像补 全，得到滤波后的深度矩阵D2，其在点（x，y)处的深度值D2(x，y)为：
式中\为所求点（X，y)的滤波参考邻域，XG[l，a]，yG[l，b]，（ipi)G hG[x-a，x+rj，iG[y-n，y+rj，n为邻域半径，Di(ipD为矩阵Di在点（ipD处的 深度值，wp为归一化参数：
式中w(ii，为所求点（x，y)的邻域内各点（ipi)对于所求点的权值，由深度图 像空间域权值Ws和彩色图像灰度域权值w1?组成，即： w(i1；j!) =w^ii,ji)Xwr(i1；ji) 公式 4 其中：
其中，〇 1?和〇s分别为权值ws和对应的高斯函数标准差，Gray(x,y)、Gray(ii,ji) 分别为像素点（x，y)及其邻域h内各点（ipjD处的灰度值，计算公式为： Gray(x,y) = 0. 02989XC(x,y, 1) +0. 5870XC(x,y, 2) +0. 1149XC(x,y, 3) 公式 7 其中C(x，y，1)、C(x，y，2)、C(x，y，3)分别为aXbX3阶颜色矩阵C中R、G、B颜色分量 的aXb阶矩阵中点（x,y)的颜色值，遍历所有点得到灰度矩阵Gray; 选取合适的高斯函数标准差\和〇s，在合适的滤波参考邻域h内，可以有效地消除 被遮挡区域缺失的深度信息和噪声点； (3) 获取反映泡沫表层距槽底距离Hh的深度矩阵D'; Hh表示视场内泡沫表层某点（x，y)距槽底的距离，可由如下公式获得： Hh =Hb-Hd 公式 8 其中Hb为kinect传感器摄像头所在平面到浮选槽槽底的距离，Hd为视场内泡沫表层 某点到kinect传感器摄像头所在平面的距离，在kinect传感器摄像头所在平面与浮选槽 底面平行的情况下，Hd即为由kinect传感器获取的深度矩阵D经移位和滤波补全后深度矩 阵D2中对应点的值，SPHd =D2 (x，y)， 获取反映Hh的某点（x，y)深度值D' (x，y)为： D' (x, y)=Hb-D2 (x, y)公式9步骤3 :保存数据； 将颜色矩阵C和深度矩阵D'进行存储，以Motion JPEGAVI编码方式存取颜色数据，以Motion JPEG2000(16位）编码方式存取深度数据。
4.根据权利要求3所述的基于深度信息的泡沫浮选液位监测和工况识别方法，其特征 在于，所述步骤三包括以下子步骤： 步骤1 :提取颜色特征； 对步骤二获得的颜色和深度数据进行特征提取，结合颜色和深度数据提取泡沫的颜色 特征， 假设视场中物体的深度值范围为[dmin，cLx]，定义基准距离为：db= (dmax-dmin) /2 公式 10 假设位于基准距离处点的颜色为标准值，则在光照强度相同的情况下，大于基准距离 离镜头距离越远的点颜色衰减越大，需要对其值进行增强，而小于基准距离离镜头距离越 近的点，需要对其颜色值进行削弱，为此，通过设定权值函数，结合深度数据对颜色数据进 行标准化处理，公式为： q(x, y)=(D' (x, y)-db)3/l〇6+l公式11对颜色值标准化后的颜色特征定义为：
由步骤二得到的灰度矩阵Gray,计算灰度均值：
步骤2 :提取面积特征； 对步骤二获得的灰度矩阵Gray计算一帧图像的灰度分布Gs，用Gs(g)表示满足Gray(X，y) =g的像素点的个数，其中g G [〇,255]， 从6 = 0开始，分别取6 = 0,6=1，*"，6 = 6/，6/￡(〇,255)，当6 = 6/时，满足：
得到对比度增强的灰度矩阵Gray'，其在点（x，y)处的灰度值为：
采用分水岭算法对矩阵Gray'进行分割，得到泡沫区域二值矩阵A，其在点（x，y)处的 灰度值记为A(x，y)，采用下面公式进行泡沫区域点与边界点的判别：
遍历一帧图像所有的像素点，对泡沫区域进行编号，得到标记区域的标记信息： Psn: {(x1； , (x2,y2),L, (xArea(n),yArea(n))} 公式 19 式中Psn表示第n个泡沫区域所有像素点的集合，n= 1, 2,L,N,N为泡沫区域总数；Area(n)表示第n个泡沫区域内的像素点的个数，即为区域面积，分别统计所有N个泡沫区 域的面积，得到面积分布：Area: {Area(1)，Area(2)…Area(n)…Area(N) }，计算一巾贞图像N 个泡沫区域的总区域面积：
将面积分布Area中的N个面积值按照从小到大的顺序重新排序得到Area': {Area' (l)，Area' (2)LArea' (n)LArea' (N)}，其中Area' (1)为泡沫面积最小值， Area' (N)为泡沫面积最大值； 从 = 1 开始，分别取 = 1，= 2,…，=f/，f/G(1，N)，当 =f/ 时，满 足：
则定义泡沫面积特征为：
步骤3 :提取体积特征； 对于一帧图像的区域二值矩阵A和区域标记Psn，其第n个泡沫区域的（p+q)阶规则矩 定义为：
第n个泡沫区域的区域质心(忑，歹")可由其1阶规则距求得：
则一帧图像的（P+q)阶中心距为：
如果仅考虑一帧图像的二阶中心矩集，则可将泡沫区域近似为一个以区域质心为中心 的椭圆，则有：
CBn表示近似椭圆的长半轴，DBn为短半轴，0"为倾角； 进而计算得到椭圆长（短）轴端点的像素坐标：〇1(11111，\ 1)、(：2(11112，^)，公式为：
结合步骤二获得的深度矩阵D'，计算椭圆长轴端点和区域质心对应的深度值 Ini，ln2，Inc: lnl =D' （unl，vnl) ln2 =D/ (u^,vn2)公式 31
假设泡沫可近似为标准的椭球体，定义泡沫实际空间高度hn为： hn =lnc-min(lnl,ln2) 公式 32 结合kinect传感器的视角参数：水平视角Si和垂直视角S2，计算得到长轴端点对应 的三维空间坐标Cnl和Q: Cnl ： ( 8 [2unlL+ (a-1) (L-lnl) ], 6 2 [2 (b-vnl-l)L+ (b-1) (L-lnl) ],L-lnl)公式 33Cn2: ^i* [2un2L+ (a-1) (L-ln2) ], 6 2 [2 (b-vn2-l)L+ (b-1) (L-ln2) ],L-ln2)公式 34 其中L表示深度摄像头到参考像平面空间坐标z= 0的距离； 进而得到长轴实际长度：
公式35 假设长轴两个端点对应的深度值相等，长轴实际长度值可简化为：
同理可以得到短轴实际长度DRn ; 最终可以得到第n个泡沫的体积（假设泡沫为标准的椭球体）：
按照步骤三中子步骤2获取一帧图像面积特征的思路，将N个区域体积值 分布：Vs: {Vs(l)，Vs⑵…Vs(n)…Vs(N)}，按照从小到大的顺序重新排序得到 Vs'：{Vs' （l)，Vs' （2)...Vs' （n)...Vs' （N)}; 从& = 1开始，分别取;^=1，;^ = 2，"％;^ = ;^2，;^2￡(1，吣，当;^ = ;^2时， 满足：
则定义泡沫体积特征为：
步骤4 :提取速度特征； (1)Harris角点检测； 假设增强灰度矩阵Gray'中的某点（x，y)为角点，其邻域内所有点沿某偏移量 (Vx，Vy)方向的平均强度灰度值变化为：
式中i2G[x-r2,x+r2],j2G[y-r2,y+r2]，:r2 为 的邻域半径； 对角点（x，y)所有偏移量方向进行平均强度变化的计算，对公式40进行泰勒级数展 开，略去高阶项，用矩阵形式描述为：
式中Q为协方差矩阵，其两个特征值表示某点所有偏移量方向中最大平均强度变化及 其垂直方向的平均强度变化，定义打分函数为： G=Det(Q) -kTrace2 (Q) 公式 42 其中Det(?为特征值之和，即矩阵的行列式值，Traced)为特征值之积，即矩阵的迹； 当两个特征值都较大时，分数值较高； 定义G1?为达标分数，遍历角点（x，y)邻域Q2内所有点，得到分数值高于达标分数的1^ 个点，按分数值从高到低排序得到点集〃A
对增强灰度矩阵Gray'进行灰度值局部最值化处理，公式为： Graymax(x,y) =max(Gray' （i3,j3))，（i3,j3)GQ3 公式 43 Graymin(x,y) =min(Gray' （i3,j3))，（i3,j3)GQ3 其中Graymax(x，y)是灰度值局部最大化后的灰度矩阵Graymax中点（x，y)处的值， Graymin(x，y)是灰度值局部最小化后的灰度矩阵Graymin中点（x，y)处的值，为点 (X,y)的邻域，其邻域半径设为r3，且i3G[x-r3,x+r3],j3G[y-r3,y+r3]， 采用如下公式确定灰度值局部最值点：
从点集HSl中筛选出满足局部灰度最值条件的点，得到由匕个点组成的点集IIs2
最后，对深度矩阵D'进行与求灰度矩阵Gray'灰度值局部最值点同样的操作，得到深 度值局部最值点，从点集此2中筛选出满足局部深度最值条件的点，得到的由h3个点组成角 点点集:
(2)对经过三次角点筛选确定的角点点集Hs3中的点进行追踪，提取速度特征； 假设前后两帧图像中的同一角点（xh，yh)的强度不变，即： Gray't (xh, yh) = Gray' t+vt (xh+Vu, yh+Vv)公式 46 其中Gray't(xh,yh)是t时刻（前一巾贞图像）增强灰度矩阵Gray'中点（xh,yh)的灰 度值，Gray't+vt(xh+Vu,yh+Vv)为是t+Vt时刻（后一巾贞图像）增强灰度矩阵Gray'中点 (xh+Vu,yh+Vv)的灰度值，（Vu,Vv)是角点（xh,yh)在Vt时间内发生的偏移量，Vt为相邻两 帧时间间隔，h=l，2，L，h3 ; 则有基础光流约束方程式：
假设角点（xh，yh)及其邻域\所内有点的偏移量一致，邻域\半径设为r4,将角点 (xh，yh)及其邻域Q4所内有点共（2r4+l)2个带入光流约束方程式，得到超过未知数个数 (Vu，Vv两个）的方程个数，通过迭代求解，可求出某个角点（xh，yh)的偏移量（Vu，Vv)，则位 移大小为：
对所有检测到的角点进行迭代求解，求取平均位移为：
相邻两帧图像间隔时间为Vt，则定义泡沫速度特征为：
在跟踪过程中需要不断删除不需要追踪的角点，如位移Vw特别小和移出视线的角点， 当删除了一部分角点，且剩余角点个数少于某个预定义的阈值时，需按前述步骤重新检测 角点进行追踪； 步骤5 :提取破碎率特征； 将步骤三得到深度矩阵D'，与一帧图像区域标记信息点集Psn -一对应，得到第n个 泡沫区域每个像素点对应的深度值的集合PDn:(屯，d2,LdAreaW)，求出深度值的最小值d^， 得出泡沫区域每个像素点的高度PHjdi-d^，d2-dmin，LdAMafa)-dmin)，求取高度和： PH_=2PHn 公式 51 对于后一帧图像，读取与上一帧数据点集Psn相对应的深度数据HVn(d'ud'2，L d'AreafeO)，求出泡沫区域每个像素点的商度PH'Jd' 2 dmin，LdAreata) dmin) ' 求取高度和： PH，_=2PH，n 公式 52 当PHnsum' /PHnsum < 0. 75时，视为标号为n的泡沫破碎，同理对所有N个区域进行处理， 统计到共有BS个泡沫破碎，则泡沫破碎率为：
5.根据权利要求4所述的基于深度信息的泡沫浮选液位监测和工况识别方法，其特征 在于，所述步骤四包括以下子步骤： 步骤1 :对步骤二得到的深度矩阵D'，提取泡沫表层液位特征：平均液位La、液面平滑 度Lu、最低液位k、最高液位Lh ; 对于kinect视场内泡沫表层某点（X，y)，满足： Hh =Ht+Hk 公式 54 其中Hk为矿浆液位，假设矿浆液面与浮选槽底面平行，Ht表示某点（x，y)处泡沫层 厚度，即视场内某点到矿浆液面的距离，Hk是浮选现场工况识别的一个重要指标，但由于 矿浆液面被泡沫层覆盖而难以测量，为此，通过视场内所有点的泡沫表层距槽底距离Hh = D' (x，y)，获取与矿浆液位相关的泡沫表层液位特征，进行工况识别； 使用大量离线数据对深度矩阵D'中的数据进行分布拟合，得到其服从正态分布的结 果，采用点估计方法估计正态分布的参数： 正态分布的均值：
正态分布的标准差：
定义4个泡沫表层液位特征： 平均液位：La =y公式57 液面平滑度：Lu =g公式58 最低液位A=u-3g公式59 最高液位：Lh =u+3 〇 公式60 步骤2 :通过统计分析，获得泡沫表层液位特征与溢流槽边沿高度Hy之间的关系：
步骤3 :实时提取当前泡沫表层液位特征，应用公式61进行判断，获得当前泡沫表层液 位特征所反映的工况类别；当该类别工况持续10分钟以上时，判定识别结果生效。
6.根据权利要求5所述的基于kinect的泡沫浮选液位监测和工况识别方法，其特征在 于，所述步骤五包括以下子步骤： 步骤1 :将步骤三提取的8个泡沫特征构成特征向量ds :ds=[GraymRmGmBmAreamVmRateBreak] 公式 62 步骤2:离线获取聚类中心； 通过一段时间的监测记录，取样g组得到特征数据集：
3 遍历聚类数k值，kG(1，2,…，g)，对于每一个k值，进行K-means聚类，定义评价函 数，确定最佳聚类数kb,得到kb个聚类中心：[cepcc2, --?ccjj，构成聚类中心集合KB:
公式64 步骤3 :在线工况识别； 按照步骤一构建的基于kinect的泡沫浮选工况监测系统，实时获取泡沫浮选颜色和 深度数据，将步骤三提取的实时泡沫图像特征构成特征向量： ^^current [Gr&yillcurrenl-RecurrentGmcurrentBmcurrentAr6&ITlcurrenl-VlTlcurrenl-R&t6current Breakcurrent] 公式 65 定义实时特征与聚类中心特征之间的欧氏距离为特征数据相似度：
其中IcCkb-CC-J表示向量（CCkb-CC-eJ的模，即：
选取KN矩阵的最小值对应的工况作为当前工况，完成工况识别。
7. -种基于深度信息的泡沫浮选液位监测和工况识别系统，其特征在于，包括kinect 传感器、高频光源、计算机，kinect传感器固定于距浮选槽液面1. 2m-3. 5m范围内，其摄像 头所在平面与浮选槽底面平行；高频光源为kinect传感器采集颜色数据提供照明，将采集 到的颜色和深度数据流通过USB数据线传送至计算机，计算机实现数据处理、实时工况监 测及其结果显示；软件系统在跨平台框架Openni下，采用交互式编程接口，以实现颜色和 深度数据流的实时获取、处理、保存以及特征提取和工况识别。
8. 根据权利要求7所述的基于深度信息的泡沫浮选液位监测和工况识别系统，其特征 在于，颜色和深度数据流的实时获取、处理、保存以及特征提取和工况识别的方式为：采集、 处理并保存由kinect获取的浮选泡沫颜色数据和深度数据；对获得的颜色和深度数据进 行特征提取，结合颜色和深度数据提取泡沫的颜色、面积、体积、速度、破碎率等立体特征； 采用分布拟合方法对获得的深度数据进行统计分析；采用参数估计方法获取泡沫表层液位 特征；进而获得泡沫表层液位特征与溢流槽边沿高度之间的关系，用于泡沫浮选液位的在 线监测与工况识别；将获取的泡沫特征构成特征向量，采用改进的k-means算法进行离线 的聚类分析，得到若干个聚类中心；实时提取浮选现场的泡沫特征，并与聚类中心进行实时 匹配，在线获取当前浮选的工况。
【文档编号】G06T7/00GK104408724SQ201410699401
【公开日】2015年3月11日 申请日期:2014年11月27日 优先权日:2014年11月27日
【发明者】彭涛, 赵永恒, 赵林, 蔡耀仪, 宋彦坡, 韩华, 赵璐, 彭霞 申请人:中南大学