一种爆堆矿岩颗粒图像分割方法与流程

本发明涉及图像处理技术领域，尤其涉及一种爆堆矿岩颗粒图像分割方法。

背景技术：

爆堆矿岩的块度尺寸不仅是验证爆破工艺的主要指标，也是影响着矿山的生产效率，作业成本，甚至是生产安全，因此实现爆堆矿岩颗粒图像的实时和准确分割对矿山的生产有着重要意义。然而由于爆堆矿岩分布状况复杂，形状不规则，堆积矿岩相互遮挡现象严重，为矿岩颗粒图像的分割带来了巨大的困难，同时传统的分析技术由于精度低、工作量大和局限性强等问题，也不适用于矿岩颗粒图像的分割；

目前矿岩颗粒图像主要采用otsu、聚类分析、分水岭及其改进方法，以及基于图像的分割算法等，此类算法可以对特定的矿岩颗粒图像进行分割，但局限性强，需要精确的参数调整；此外，以上算法还存在以下缺点(1)容易将低灰度值的矿岩颗粒错误的判定位背景，矿岩颗粒粘连严重，容易造成前分割；(2)轮廓提取的方法会出现边缘断裂的现象，而且会提取出错误的矿岩表面纹理，造成分割效果欠佳；(3)能够在一定程度上提出矿岩颗粒的边缘信息，然而对暗区的矿岩颗粒分割效果差，欠分割状况严重，分割效果图中存在大量孤立噪声点。

技术实现要素：

(一)要解决的技术问题

针对现有的图像分割技术存在的矿岩颗粒粘连严重、轮廓提取不准确、分割效果较差且参数调整复杂的问题，本发明提供一种爆堆矿岩颗粒图像分割方法。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

s1、针对待分割的爆堆矿岩颗粒图像进行预处理，并输入至预先训练的第一卷积神经网络模型，获取第一概率图，并根据所述第一概率图生成第一轮廓图；

s2、获取第一轮廓图中每一闭合轮廓的周长和面积，利用每一闭合轮廓的周长和面积修正第一概率图获取第一修正概率图；

s3、将所述第一修正概率图输入至预先训练的第二卷积神经网络模型，获取第二概率图，并根据所述第二概率图生成第二轮廓图，将第二轮廓图作为第n轮廓图，其中，n是大于等于2的正整数；

s4、利用第n轮廓图修正第一概率图，获取第n修正概率图，并将第n修正概率图输入至预先训练的第二卷积神经网络，获取第n+1概率图，根据第n+1概率图生成第n+1轮廓图，判断第n+1轮廓图中所有轮廓总面积sum与第一概率图的分辨率比值是否大于等于1；

若否，则借助所述第二卷积神经网络获取第n+1概率图，直至第n+1轮廓图中所有轮廓总面积sum与第一概率图的分辨率比值大于等于1；

s5、若是，则将第n轮廓图和第n+1轮廓图进行像素相加作为分割图。

可选地，在步骤s1前还包括：

a1、构建第一卷积神经网络和第二卷积神经网络；

a2、针对采集的多张矿岩颗粒图像进行预处理，制作第一训练样本集和人工分割图，将第一训练样本集和人工分割图分别作为第一卷积神经网络的输入和输出，获取预先训练的第一卷积神经网络模型；

a3、将所述采集的多张矿岩颗粒图像输入至预先训练的第一卷积神经网络模型，获取多张输出的概率图；

a4、利用所述多张输出的概率图制作第二训练样本集，将第二训练样本集和所述人工分割图分别作为第二卷积神经网络的输入和输出，获取预先训练的第二卷积神经网络模型。

可选地，在步骤s1中和a1中所述预处理包括：灰度化和双边滤波。

可选地，根据所述第一概率图生成第一轮廓图包括：针对第一概率图进行灰度化和二值化处理，并通过对每一闭合轮廓的周长和面积筛选生成第一轮廓图。

可选地，根据第n概率图生成第n轮廓图之间还包括：针对第n概率图进行二值化处理。

可选地，在步骤s4迭代过程中，利用第n轮廓图修正第一概率图，获取第n修正概率图包括：

b1、针对第n轮廓图利用公式一计算每一闭合轮廓的参数值k；

公式一：

其中，l为每一闭合轮廓的周长，a为每一闭合轮廓的面积；

b2、利用预设筛选条件获取每一轮廓图中满足条件的全部轮廓；

所述预设筛选条件为：闭合轮廓的参数k小于预设值h，且闭合轮廓的面积大于预设值的全部轮廓；

b3、利用公式二计算每一轮廓图的参数值sn；

公式二：

b4、在每次迭代过程中，若第n+1轮廓图中参数值sn+1小于第n轮廓图中参数值sn，则将预设值h增加1并返回步骤b2，否则遍历第n+1轮廓图中像素值为0的坐标点，将第一概率图中与该坐标点对应的坐标点像素值赋值为0，以获取修正后的第n+1概率图。

可选地，所述预先训练第一卷积神经网络模型和预先训练第二卷积神经网络模型均利用u-net卷积网络构建。

可选地，所述第一卷积神经网络的输入尺寸为48×48，所述第二卷积神经网络的输入尺寸为480×480。

可选地，利用opencv获取每一闭合轮廓的周长和面积。

(三)有益效果

本发明的有益效果是：本发明方法采用深度学习的卷积神经网络模型提取爆堆矿岩颗粒图像的轮廓，获取的概率图连续性较好且杂点少，且该方法对粘连矿岩颗粒的边缘的分割准确，有效的避免了过分割和欠分割的现象；此外，本发明方法避免了复杂参数的调整，对光照自适应性能较好，适用于暗区矿岩颗粒分割，分割精度高，具有较佳的实用性。

附图说明

图1为本发明一实施例提供的获取预先训练的第一卷积神经网络和预先训练的第二卷积神经网络流程示意图；

图2为本发明一实施例提供的输入尺寸为48×48的第一卷积神经网络结构图；

图3为本发明一实施例提供的输入尺寸为480×480的第二卷积神经网络结构图；

图4为本发明一实施提供的一种爆堆矿岩颗粒图像分割方法结构框图；

图5为本发明一实施例提供的待分割的爆堆矿岩颗粒图像；

图6为本发明一实施例提供的预先训练的第一卷积神经网络模型输出的第一概率图；

图7为本发明一实施例提供的预先训练的第一卷积神经网络模型输出的第n概率图；

图8为本发明一实施例提供的利用opencv通过第n概率图获取的第n轮廓图；

图9为本发明一实施例提供的利用第n轮廓图修正第一概率图获得的第n+1修正概率图；

图10为本发明一实施例提供的最终获取的分割图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

实施例一

如图4所示，本发明提供了一种爆堆矿岩颗粒图像分割方法，具体包括以下步骤：

如1所示，获取预先训练的第一卷积神经网络和第二卷积神经网络包括：

a1、构建第一卷积神经网络和第二卷积神经网络；

如图2所示，举例来说，第一卷积神经网络为输入图像尺寸为48×48的u-net卷积神经网络；如图3所示第二卷积神经网络为输入图像尺寸为480×480的u-net卷积神经网络，u-net卷积网络包括3×3卷积层、最大池化层、2×2上采样卷积层和1×1卷积层

本发明所采用的u-net卷积网络是基于fcn卷积神经网络的一种变形，其网络结构主要由收缩路径和扩展路径两部分组成。左侧为收缩路径，执行卷积、激活和池化等操作，右侧为扩展路径，用上采样来代替池化操作来提高输出分辨率，通过浅层和深层网络层的信息融合，弥补了由池化操作所引起的特征信息丢失；最后，当输入层和网络层的分辨率相同时，再次执行四次卷积操作；

a2、针对采集的多张矿岩颗粒图像进行预处理，制作第一训练样本集和人工分割图，将第一训练样本集和人工分割图分别作为第一卷积神经网络的输入和输出，获取预先训练的第一卷积神经网络模型；

具体地举例来说，本实施例采集17张爆堆矿岩图像颗粒图像，进而对收集到的图像进行灰度化和双边滤波处理后作为样本集。利用photoshop软件人工描绘图像中的矿岩颗粒边界得到相应的人工分割图；

本实施例中第一卷积神经网络输入图像尺寸为48×48的u-net卷积网络，将得到的17张矿岩颗粒图像用于训练，举例来说在具体实施过程中将每一张图像随机截取50000张，制作共计850000张尺寸大小为48×48的图像，将得到的尺寸大小为48×48的850000张图像作和与该图像对应的人工分割图分别作为输入和输出，重复训练并保存训练后的权重，获取预先训练的第一卷积神经网络模型；

a3、将所述采集的多张矿岩颗粒图像输入至预先训练的第一卷积神经网络模型，获取多张输出的概率图；

举例来说，再次17张矿岩颗粒图像通过预先训练的第一卷积神经网络模型验证后，得到相应的17概率图；

a4、利用所述多张输出的概率图制作第二训练样本集，将第二训练样本集和所述人工分割图分别作为第二卷积神经网络的输入和输出，获取预先训练的第二卷积神经网络模型。

在本实施例中，第二卷积神经网络输入尺寸为480×480的u-net卷积网络，得到的17张概率图用于训练，举例来说在具体实施过程中将每张概率图随机截取2000张，制作共计34000张480×480的图像，将34000张图像和与该图像对应的人工分割图分别作为第二卷积神经网络的输入和输出，重复训练并保存训练后的权重，获取预先训练的第二卷积神经网络模型。

s1、针对待分割的爆堆矿岩颗粒图像进行预处理，并输入至预先训练的第一卷积神经网络模型，获取第一概率图，并根据所述第一概率图生成第一轮廓图；

具体地，举例来说，根据第一概率图生成第一轮廓图包括：针对第一概率图进行灰度化和二值化处理，通过对每一闭合轮廓周长和轮廓面积筛选生成第一轮廓图；同理，针对第n概率图进行二值化处理，生成第n概率图的二值化图，利用二值化图对每一闭合轮廓周长和轮廓面积筛选得到第n轮廓图。

s2、获取第一轮廓图中每一闭合轮廓的周长和面积，利用每一闭合轮廓的周长和面积修正第一概率图获取第一修正概率图；举例来说，在本实施例中利用opencv获取每一闭合轮廓的周长和面积。

s3、将所述第一修正概率图输入至预先训练的第二卷积神经网络模型，获取第二概率图，并根据所述第二概率图生成第二轮廓图，将第二轮廓图作为第n轮廓图，其中，n是大于等于2的正整数；

s4、利用第n轮廓图修正第一概率图，获取第n修正概率图，并将第n修正概率图输入至预先训练的第二卷积神经网络，获取第n+1概率图，根据第n概率图生成第n轮廓图，判断第n轮廓图中所有轮廓总面积sum与第一概率图的分辨率比值是否大于等于1；

若否，则借助所述第二卷积神经网络获取第n+1概率图，直至第n+1轮廓图中所有轮廓总面积sum与第一概率图的分辨率比值大于等于1；

具体地举例来说，在步骤s4迭代过程中，利用第n轮廓图修正第一概率图，获取第n+1修正概率图包括：

b1、针对第n轮廓图利用公式1计算每一闭合轮廓的参数值k；

公式1：

其中，l为每一闭合轮廓的周长，a为每一闭合轮廓的面积；

b2、利用预设筛选条件获取每一轮廓图中满足条件的全部轮廓；

所述预设筛选条件为：闭合轮廓的参数k小于预设值h，且闭合轮廓的面积大于预设值的全部轮廓；

b3、利用公式2计算每一轮廓图的参数值sn；

公式2：

b4、在每次迭代过程中，若第n+1轮廓图中参数值sn+1小于第n轮廓图中参数值sn，则将预设值h增加1并返回步骤b2，否则遍历第n轮廓图中像素值为0的坐标点，将第一概率图中与该坐标点对应的坐标点像素值赋值为0，以获取修正后的第n+1概率图。

s5、若是，则将第n-1轮廓图和第n轮廓图进行像素相加作为分割图。

仿真实施例二

在本实施例中，针对任意一张采场获取格式为rgb的爆堆矿岩颗粒图像，如图5所示；其中包括光照不均，矿岩颗粒表面纹理复杂，对比度不够明显的图像，此外由于，原始图像采用rgb格式，这将增加网络训练中的计算复杂度，因此需要先等于原始二维图像进行灰度化和双边滤波处理。

第一次放入输入尺寸为48×48预先训练的第一卷积网络模型中，得到第一概率图，如图6所示；利用opencv提取轮廓并得到第一轮廓图并计算轮廓图s值。

针对任意的第n概率图生成第n轮廓图，利用第n轮廓图修正第一概率图获取第n概率修正图修正概率图，其中第n概率图如图7所示，第n轮廓图如图8所示，第n概率修正图修正概率图如图9所示。

将得到的第n修正概率图放入输入尺寸为480×480的第二卷积网络模型进行处理，得到第n+1概率图，利用opencv提取轮廓并得到第n+1轮廓图，并计算s值；进一步地，利用第n+1轮廓图修正第一概率图，得到第n+2轮廓图，重复上述过程，直至最后一次得到的轮廓图的所有轮廓总面积sum与第一概率图的分辨率比值大于等于1。

具体地，初始时令h＝2，s2＝0，并将概率图进行二值化处理，利用opencv查找图像中所有的闭合轮廓及每一个闭合轮廓的周长和面积；其中针对任意一张概率图在利用opencv进行轮廓查找时，轮廓存在粘连和过分割现象，为避免这种状况，结合预设值h，利用opencv将概率图的二值化图像中满足k＜h和闭合轮廓的面积大于的轮廓内部填充为黑色后绘制到一张与概率图尺寸大小相同的全白色图像上，得到对应的轮廓图和s值；

若sn＜sn-1＜1，即第n轮廓图的s值小于第n-1轮廓图的s值，则令h＝h+1，重复循环；

若sn-1＜sn＜1，即第n轮廓图的s值大于第n-1轮廓图的s值，则遍历第n轮廓图中像素值全为0的像素点坐标，将第一概率图中与其对应的坐标点像素值赋值为0，得到第n修正概率图重复循环；

若sn＞1，则利用opencv将第n轮廓图和第n-1轮廓图像素相加得到最终的分割图，如图10所示。

进一步地，本实施例利用公式3获取正确率tpr，利用公式4获取误差率epr性能指标对分割算法进行评价；

公式3：

公式4：

其中，num(·)为(·)集合中的数量，wp为正确分割的矿石目标集合，wtp为分割算法检测的矿石目标集合，abs(·)表示对(·)取绝对值，win为人工检测的矿岩目标集合，won为分割算法检测到的矿岩目标集合。

举例来说，本实施例针对三种不同颗粒数量和分裂状态的爆堆矿岩颗粒图像a图像b和图像c进行了人工区域数量检测和本发明方法的图像分割检测；采用本发明方法进行分割，并获取了对应的正确率tpr和获取误差率epr指标如表1所示；本发明方法分割矿岩颗粒图像的准确率高，能够满足现场需求。

表1人工检测与本发明方法检测正确率与误差率对比结果

由此可见，本发明方法采用深度学习的卷积神经网络模型提取爆堆矿岩颗粒图像的轮廓，获取的概率图连续性较好且杂点少，且该方法对粘连矿岩颗粒的边缘的分割准确，有效的避免了过分割和欠分割的现象；此外，本发明方法避免了复杂参数的调整，对光照自适应性能较好，适用于暗区矿岩颗粒分割，分割精度高，具有较佳的实用性

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。