一种基于深度学习的矿石尺寸监测预警系统及方法

本发明涉及矿石机器视觉识别技术领域，具体为一种基于深度学习的矿石尺寸监测预警系统及方法。

背景技术：

目前我国矿业行业，矿山大多都是采用爆破开山，所以不能确保每一个石头都是细小的，若石块较大，就会阻止采矿车前行，甚至会将采矿车损坏（一台采矿车数十万），所以现在的工作都是需要雇佣3到5个人去现场挑捡较大的石块。首先，矿场雇工每次工作时长达数小时，工作思想高度集中，极易造成疲劳，若有大块矿石未被发现会卡在矿石破碎机进料口或进入破碎机对机体造成损伤。其次，大部分的矿山爆破碎石块挑拣都是通过人工实现的，采用人工识别，发现大块停止皮带机，将大块搬离传送带，直接影响选矿效率,且工作环境恶劣高粉尘，噪声大，长时间工作对人体伤害较大，目前面临招工难问题。针对以上问题，为解决矿山爆破产生的大块矿石的实时识别问题，迫切需要研发出一种智能处理矿石图像，快速实时标注大块矿石的机器视觉识别系统。与传统人工肉眼识别相比，机器视觉检测具有显著的优势与巨大的经济价值，且检测效率高，检测具有连续性和可重复性。

技术实现要素：

本发明的目的在于提供一种基于深度学习的矿石尺寸监测预警系统及方法，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明提供了如下技术方案：

本发明提供的一种基于深度学习的矿石尺寸监测预警系统，包括图像采集平台、监测识别平台和数据监控平台。

所述图像采集平台包括高清高帧率摄像头和视频解编码器一，用于实时采集传送带上的爆破矿石图像。

所述监测识别平台包括工控机和视频解编码器二，用于实时处理采集到的爆破矿石图像，对于爆破矿石图像进行实时标注。

所述数据监控平台包括数据库服务器、流媒体服务器和web服务器，通过数据库服务器来存储处理完毕的爆破矿石图像，通过流媒体服务器将解码完毕的图像数据信息压缩后放置于网络服务器上，以供用户实时观看矿石图像视频，通过web服务器对矿石识别网站搭建提供支持，使用户可以远程实时观看矿石图像视频。

所述图像采集平台、监测识别平台和数据监控平台三者之间通过有线通信模块进行数据传输通信。

进一步地，所述高清高帧率摄像头为支持自动变焦的1080p、120帧的摄像头。

进一步地，所述视频解编码器一、视频解编码器二均为h.265格式视频编解码器。

进一步地，有线通信模块均为光纤通信模块。

本发明提供的一种基于深度学习的矿石尺寸监测预警方法，包括以下步骤：

s1：通过图像采集平台的高清高帧率摄像头实时拍摄传送带上的爆破矿石图像，通过视频解编码器将图像数据编码后传送给监测识别平台；

s2：通过光纤通信模块将编码好的数据传送至监测识别平台，再利用监测识别平台的视频解编码器进行解码，通过工控机内置的retinanet深度学习算法，对图像进行实时的框图标定；

s3：通过数据监控平台，可以预先设定好矿石框图的最大宽度、最大长度和最大框图面积的阈值，比较预设的最大阈值与retinanet深度学习算法识别出来的矿石框图的相关参数；

s4：当识别出来的矿石尺寸小于预先设定的尺寸，则取消该矿石的框图标识，当识别出来的矿石尺寸超出预先设定的尺寸，则实时标注出该矿石的框图，从而实时监控传送带上大块爆破矿石。

在所述s2步骤中本发明提供了一种基于retinanet深度学习算法的矿石尺寸监测模型，包括以下步骤：

a1：采集爆破矿石的图像数据集，通过labelme工具对收集到的图像数据集进行标注并保存；

a2：对完成标注的图像数据集进行数据增强，从而提高模型的泛化能力；

a3：通过labelme工具标注出的矿石图像数据将被转化为json文件，通过python批处理程序，将json图像文件中的识别框坐标批量导入至csv格式文件中；

a4：我们将采集到的数据分为训练数据集和验证数据集，模型每迭代训练一次后，就会通过验证数据集来测试其准确率，当准确率高于先前训练出来的模型时，便会将该模型进行保存并替换旧模型。当达到预置训练次数时，便得到了准确率最高的retinanet网络结构识别模型；

a5：构建针对爆破矿石的retinanet网络结构识别模型，设置所述的retinanet网络结构识别模型的特征提取网络层为残差网络resnet50，设置所述的retinanet网络结构识别模型的特征融合网络层为fpn（特征金字塔网络）；

a6：经过所述两个网络层的特征提取后，便可以得到p3-p7的五个输出特征图。所述的五个输出特征图分别通过具有相同权重的分类和框回归两个子网络，便可以获得爆破矿石的类别信息和识别框的位置信息；

a7：所述的分类子网络是由四个卷积层组成，每个卷积层的feature_size=256,kernel_size=3,padding=1，四个卷积层均采用relu激活函数，并对输出的结果最后采取sigmoid激活函数，特征图经过该子网络，长宽大小均不变，通道维度变为num_anchors*num_classes，存放所有爆破矿石检测框的物体分类信息；

a8：所述的框回归子网络也是由四层卷积层组成，每个卷积层的feature_size=256，kernel_size=3,padding=1，四个卷积层均采用relu激活函数，对于输出的结果不再做任何激活函数的变换，特征图经过该子网络，长宽大小均不变，通道维度变为4*num_anchors，存放所有爆破矿石检测框的位置信息；

a9：我们在类别分类和框回归的两个子网络中均使用focalloss损失函数：

通过这一损失函数，既能调整正负样本的权重，又能控制难易分类样本的权重，从而达到更好的识别效果；

a10：最后将分类信息和检测框的信息融合起来，从而得到最终的爆破矿石的框图标识结果。

与现有技术相比，本发明的有益效果是：本发明用于矿井爆破中的大型矿石的识别，具有速度快、信息量大、准确率高、效率高的特点，相较于人工具有全天时，全天候的显著特点，有效避免了人工检测的主观性和个体差异性，可更好地替代人类来工作，减少劳动强度，提高生产安全和劳动生产效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于深度学习的矿石尺寸监测预警系统的一种实施例的流程示意图；

图2为本发明提供的基于深度学习的矿石尺寸监测预警系统中的图像采集平台的结构示意图；

图3为本发明提供的基于深度学习的矿石尺寸监测预警方法中的retinanet模型训练流程示意图；

图4为本发明提供的基于深度学习的矿石尺寸监测预警系统中的数据监控平台的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下

所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供的一种基于深度学习的矿石尺寸监测预警系统的实施例，所述系统包括图像采集平台、监测识别平台和数据监控平台。

所述图像采集平台包括高清高帧率摄像头和视频解编码器一，用于实时采集传送带上的爆破矿石图像；

所述监测识别平台包括工控机和视频解编码器二，用于实时处理采集到的爆破矿石图像，对于爆破矿石图像进行实时标注；

所述数据监控平台包括数据库服务器、流媒体服务器和web服务器，通过数据库服务器来存储处理完毕的爆破矿石图像，通过流媒体服务器将解码完毕的图像数据信息压缩后放置于网络服务器上，以供用户实时观看矿石图像视频，通过web服务器对矿石识别网站搭建提供支持，使用户可以远程实时观看矿石图像视频；

所述图像采集平台、监测识别平台和数据监控平台三者之间通过有线通信模块进行数据传输通信。

进一步地，所述高清高帧率摄像头为支持自动变焦的1080p、120帧的摄像头。

需要说明的是，考虑到传送带的运送速度较快，同时图片的清晰度决定了识别结果的好坏，本实施例选用1080p、120帧的高清高帧率摄像头来捕获图像。

进一步地，所述视频解编码器一、视频解编码器二均为h.265格式视频编解码器。

需要说明的是，因为上传的图片质量高且数量大，本实施例选用h.265格式的视频编解码器来对收集到的图像数据进行压缩上传，减少带宽成本。

进一步地，有线通信模块均为光纤通信模块。

需要说明的是，本实施例中，充分考量传输距离、通信成本和数据吞吐量及实时性后，选用多模光纤来作为数据传送的媒介。

本发明提供的一种基于深度学习的矿石尺寸监测预警的方法，包括以下步骤：

s1：通过图像采集平台的高速高清摄像头实时拍摄传送带上的爆破矿石图像，通过视频解编码器将图像数据编码后传送给监测识别平台；

s2：通过光纤通信模块将编码好的数据传送至监测识别平台，再利用监测识别平台的视频解编码器进行解码，通过工控机内置的retinanet深度学习算法，对图像进行实时地框图标定；

s3：通过数据监控平台，可以预先设定好矿石框图的最大宽度、最大长度和最大框图面积的阈值，通过比较预设的最大阈值与retinanet深度学习算法识别出来的矿石框图的相关参数；

s4：当识别出来的矿石尺寸小于预先设定的尺寸，则取消该矿石的框图标识，当识别出来的矿石尺寸超出预先设定的尺寸，则实时标注出该矿石的框图，从而实时监控传送带上大块爆破矿石。

在所述s2步骤中本发明提供了一种基于retinanet深度学习算法的矿石尺寸监测模型，包括以下步骤：

a1：采集爆破矿石的图像数据集，通过labelme工具对收集到的图像数据集进行标注并保存；

a2：对完成标注的图像数据集进行数据增强，从而提高模型的泛化能力；

需要说明的是，本实施例通过缩放、旋转、平移、图像均衡、添加高斯噪声等方法来完成对数据集的数据增强，本领域技术人员可以根据实际需要进行选取，在此不做限定。

a3：通过labelme工具标注出的矿石图像数据将被转化为json文件，通过python批处理程序，将json图像文件中的识别框坐标批量导入至csv格式文件中；

需要说明的是，本实施例通过labelme工具对矿石图像数据进行人工标识，其中标识的图像框为矿石轮廓的不规则框图，通过python批量地将对应不规则框图上的所有点的最小横坐标、最大横坐标、最小纵坐标、最大纵坐标确定，从而确定顶点分别为，，，的矩形框，并将矩形框的位置信息写入csv格式文件中；

a4：我们将采集到的数据分为训练数据集和验证数据集，模型每迭代一次训练后，就会通过验证数据集来测试其准确率，当准确率高于先前训练出来的模型时，便会将该模型进行保存并替换旧模型。当达到预置训练次数时，便得到了准确率最高的retinanet网络结构识别模型；

需要说明的是，本实施例会根据验证数据集的样本的识别难易程度，对模型进行验证识别时进行权重赋值，本实施例赋值级别分别为1，0.75，0.5，0.25，从而有效提高验证数据集的验证作用，同时本实施例将retinanet网络结构识别模型的训练次数设置为5000次；

a5：构建针对爆破矿石的retinanet网络结构识别模型，设置所述的retinanet网络结构识别模型的特征提取网络层为残差网络resnet-50，设置所述的retinanet网络结构识别模型的特征融合网络层为fpn（特征金字塔网络）；

a6：经过所述两个网络层的特征提取后，便可以得到p3-p7的五个输出特征图。所述的五个输出特征图分别通过具有相同权重的分类和框回归两个子网络，便可以获得爆破矿石的类别信息和识别框的位置信息；

a7：所述的分类子网络是由四个卷积层组成，每个卷积层的feature_size=256,kernel_size=3,padding=1，四个卷积层均采用relu激活函数，并对输出的结果最后采取sigmoid激活函数，特征图经过该子网络，长宽大小均不变，通道维度变为num_anchors*num_classes，存放所有爆破矿石检测框的物体分类信息；

a8：所述的框回归子网络也是由四层卷积层组成，每个卷积层的feature_size=256，kernel_size=3,padding=1，四个卷积层均采用relu激活函数，对于输出的结果不再做任何激活函数的变换，特征图经过该子网络，长宽大小均不变，通道维度变为4*num_anchors，存放所有爆破矿石检测框的位置信息；

a9：我们在类别分类和框回归的两个子网络中均使用focalloss损失函数：

通过这一损失函数，既能调整正负样本的权重，又能控制难易分类样本的权重，从而达到更好的识别效果；

a10：最后将分类信息和检测框的信息融合起来，从而得到最终的爆破矿石的框图标识结果。

本实施例中的一种基于深度学习的矿石尺寸监测预警系统及方法采用目标检测中onestage的retinanet算法可将误报率大大降低，运算速度快，实时性高，经检测，其准确预警率可达95%以上，预警精度高。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。