基于深度学习的煤矸石智能分拣系统的制作方法

本发明涉及煤矿技术领域，具体为基于深度学习的煤矸石智能分拣系统。

背景技术：

传统的煤矸石分选方法主要包括人工选矸和湿选法，人工选矸方法是通过筛分机把原煤分成直径大于等于100mm的和小于100mm的，然后将直径大于等于100mm的矿物运送到人工排矸车间，由经过专业培训的工人结合自身经验根据灰度与纹理的差异挑选出矸石以完成分选，而小于100mm的矿物则通过湿选法的方式进行分选，湿选法包括重介法和跳汰法，它们都是利用煤炭和矸石两者密度不同的物理性质作为原理来进行分选的，重介法主要是利用密度介于煤炭和矸石之间的液体进行分选的，密度低的煤上浮，密度高的矸石下沉，跳汰法以水为介质，煤和矸石会在强烈振动产生的垂直变速介质流中因为两者的密度不同而进行分层，然后用两种不同的方法分别收取煤和矸石，从而完成煤和矸石的分选。

我国大部分矿区主要采用的方法仍是人工选矸，虽然这种方法操作简单、易于普及，但是缺点是分选的效率低下，劳动强度高，易受主观因素的影响。而湿选法以更多机械的方式代替人工，它虽然凭借着效率较高，精度较准等优点而被广泛应用，但是无论重介法还是跳汰法都需要水作为介质，这极大地浪费了水资源，与我国建立资源节约型社会相悖，随着科技水平的发展，近年来，国内外也有许多新的分选方法诞生，代表性的研究有射线法、雷达探测、机械振动、光电选矸等，γ射线法利用的是煤炭和煤矸石对γ射线不同的吸收系数,再根据反射回的γ射线强度对两者进行检测，这种射线选煤的方法虽然具有占地面积小、操作简单，但存在分选效率低下、操作过程容易爆炸的问题，γ射线还会对人体造成极大伤害，严重威胁着身体健康。其他几种方法均由于识别精度太低且需要耗费大量的能源等问题而没有得到广泛的使用，因而现今大多数的选取方法是通过机器视觉进行的，并且是目前工业领域用于物体识别的关键技术，但是现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整，进而导致不能够对煤和矸石进行精确识别与分类，因此提出了基于深度学习的煤矸石智能分拣系统来解决这个问题。

技术实现要素：

（一）解决的技术问题

针对现有技术的不足，本发明提供了基于深度学习的煤矸石智能分拣系统，解决了现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整进而导致不能够对煤和矸石进行精确识别与分类的问题。

（二）技术方案

为达到以上目的，本发明采取的技术方案是：基于深度学习的煤矸石智能分拣系统，包括以下步骤：首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同的光谱图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的不同输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环pid算法控制机械臂实现快速稳定抓取。

所述卷积神经网络使用包括以下步骤：首先将单目摄像头捕获的图像经预处理的高光谱图像作为输入项进入卷积层a进行初步卷积，卷积层a使用tensorflow中的2d卷积层conv2d，卷积核尺寸为3×3，卷积核数量为32，然后经过三次residual单元循环处理，每一次residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，residual单元使用tensorflow中的卷积层和池化层构成，标准层使用tensorflow中的批量标准化层batchnormalization，其输出尺寸与输入一致，卷积层d使用tensorflow中的2d卷积层conv2d，卷积核尺寸为1×16，池化层使用tensorflow中的2d最大池化maxpooling2d，池化尺寸为3×3，residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，inception单元由三次卷积conv2d构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在inception单元中，所有卷积层的padding方式设置为same，全连接层使用tensorflow中的dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果。

优选的，所述卷积神经网络架构为tensorflow。

优选的，所述系统在windows10以及ubuntu系统环境下均可运行。

优选的，所述图像预处理的过程为使用运算算法的计算机需要获取图像数据，将单目摄像头传感器获得的测量值转换为计算机可以处理的数字图像，此过程难以避免地会引入杂波、噪声的干扰，容易出现摄像头拍摄图像画面质量较差或者成像扭曲问题。因此需要对不同的光谱图像进行拉普拉斯降噪，高斯滤波等图像预处理，然后采用cva提取双时相图像之间光谱幅值的差异信息生成差异图像，最后对处理完毕的特征光谱图像进行算法性能评估。

优选的，所述单目摄像头的高光谱传感器程序是针对单目摄像头在白光或全光谱的光线条件下，只能获取从一个物体反射出来的所有波长光谱聚集成像的低精度问题。并且在单目摄像头的基础上采用高光谱成像传感器来对图像进行初始处理，能一次分离出物体对单个光谱的反馈效果，然后通过差异算法对比这些单光谱图像之间的差异并将不同光谱的差异度特征组合，从而提取出在日常光下无法检测到的物体细节，通过算法，增强物体对不同光谱的反射和吸收的程度的差异，从这些差异中，可以找到很多看不见的细节，有效的解决了普通单目摄像头成像精度低的问题。

优选的，所述卷积神经网络包含的煤矸石图像特征提取是基于cnn神经网络对煤和矸石进行样本模型的训练，可以高效的完成煤和矸石的实时识别分类工作，煤和矸石图像特征提取是将煤和矸石的高光谱图像输入到卷积神经网络中建立模型，然后通过卷积层得到煤和矸石图像的特征图像，之后通过池化层对特征图进行降维处理，之后通过全连接层整合得到煤和矸石特征向量，最后通过softrmax分类层得到煤和矸石种类。

优选的，所述余弦定理-pid的煤矸石分拣机器臂稳准抓取算法是在机器视觉的基础上，对煤矿生产线动态目标抓取问题建立了数学模型，并针对该数学模型提出了基于余弦定理-pid的动态目标抓取算法，并且在高光谱图像的基础上，该算法首先通过余弦定理计算出机器臂理论抓取点，控制机器臂快速到达理论抓取点后，再通过位置-速度双环pid算法控制机械臂末端与煤矸石进行位置坐标同步，完整的将高光谱成像，深度神经网络与机器臂的交互协同作业结合到一起。

（三）有益效果

本发明的有益效果在于：

该基于深度学习的煤矸石智能分拣系统，通过单目摄像头获取图像与高光谱传感器结合处理得到的光谱图像技术，实现在无强光源条件下获取煤矸石的细节增强图像，而且采用极限学习机，针对性的对煤矸石特征部分进行强化调参防止模型过拟合，进而实现提高煤和矸石识别的精准度，而且利用余弦定理pid调控机器臂使机器臂在高光谱视觉的配合协同下完成对于煤矸石的精确稳定抓取，进而达到工业级的机器臂快速分拣标准，从而解决了现今普通单目成像的图像细节缺失、局部特征失真、物体轮廓提取不完整进而导致不能够对煤和矸石进行精确识别与分类的问题。

附图说明

图1为本发明系统流程结构示意图；

图2为本发明卷积神经网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1-2所示，本发明提供一种技术方案：基于深度学习的煤矸石智能分拣系统，包括以下步骤：首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同光谱的图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的不同输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环pid算法控制机械臂实现快速稳定抓取，卷积神经网络使用包括以下步骤：首先将单目摄像头捕获的图像经预处理的高光谱图像作为输入项进入卷积层a进行初步卷积，卷积层a使用tensorflow中的2d卷积层conv2d，卷积核尺寸为3×3，卷积核数量为32，然后经过三次residual单元循环处理，每一次residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，residual单元使用tensorflow中的卷积层和池化层构成，标准层使用tensorflow中的批量标准化层batchnormalization，其输出尺寸与输入一致，卷积层d使用tensorflow中的2d卷积层conv2d，卷积核尺寸为1×16，池化层使用tensorflow中的2d最大池化maxpooling2d，池化尺寸为3×3，residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，inception单元由三次卷积conv2d构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在inception单元中，所有卷积层的padding方式设置为same，全连接层使用tensorflow中的dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果。

卷积神经网络架构为tensorflow。

系统在windows10以及ubuntu系统环境下均可运行。

图像预处理的过程为首先将单目摄像头传感器获得的测量值转换为计算机可以处理的数字图像，此过程难以避免地会引入杂波、噪声的干扰，容易出现摄像头拍摄图像画面质量较差或者成像扭曲问题。因此需要对不同的光谱图像进行拉普拉斯降噪，高斯滤波等图像预处理，然后采用cva提取双时相图像之间光谱幅值的差异信息生成差异图像，最后对处理完毕的特征光谱图像进行算法性能评估。

单目摄像头的高光谱传感器程序是针对单目摄像头在白光或全光谱的光线条件下，只能获取从一个物体反射出来的所有波长光谱聚集成像的低精度问题，并且在单目摄像头的基础上采用高光谱成像原理来对图像进行初始处理，一次能分离出物体对单个光谱的反馈效果，然后通过差异算法对比这些单光谱图像之间的差异并将不同光谱的差异度特征组合，从而提取出在日常光下无法检测到的物体细节，通过算法，增强不同物体之间对不同光谱的反射和吸收的程度的差异，从这些差异中，可以找到很多看不见的细节，进而有效的解决了普通单目摄像头成像精度低的问题。

卷积神经网络包含的煤矸石图像特征提取是基于cnn神经网络对煤和矸石进行样本模型的训练，可以高效的完成煤和矸石的实时识别分类工作，煤和矸石图像特征提取是将煤和矸石的高光谱图像输入到卷积神经网络中建立模型，然后通过卷积层得到煤和矸石图像的特征图，之后通过池化层对特征图进行降维处理，之后通过全连接层整合得到煤和矸石特征向量，最后通过softrmax分类层得到煤和矸石种类。

余弦定理-pid的煤矸石分拣机器臂稳准抓取算法是在机器视觉的基础上，对煤矿生产线动态目标抓取问题建立数学模型，并针对该数学模型提出了基于余弦定理-pid的动态目标抓取算法，在高光谱图像的基础上，该算法首先通过余弦定理计算出机器臂理论抓取点，控制机器臂快速到达理论抓取点后，再通过位置-速度双环pid算法控制机械臂末端与煤矸石进行位置坐标同步，完整的将高光谱成像，深度神经网络与机器臂的交互协同作业结合到一起，进而保证了该系统的高智能性。

本发明的操作步骤为：

首先采用单目摄像头来采集煤和矸石的样本，将单目摄像头采集的高分辨率图像映射到高光谱传感器，通过不同蔡司光谱镜片来获取不同波段光谱的煤和矸石图像，再对不同的光谱图像进行初步的图像预处理，预处理结束后的高光谱图像按比例划分成训练集和测试集，训练集部分将输入到卷积神经网络进入卷积层a进行初步卷积，卷积层a使用tensorflow中的2d卷积层conv2d，卷积核尺寸为3×3，卷积核数量为32，然后经过三次residual单元循环处理，每一次residual单元的处理都会使图像的维度增加，分辨率降低，从而使高光谱图像更容易提取出局部特征，而且分辨率的降低也能有效缩短每层卷积核处理图像的时间，实现快速的图像特征提取，residual单元使用tensorflow中的卷积层和池化层构成，标准层使用tensorflow中的批量标准化层batchnormalization，其输出尺寸与输入一致，卷积层d使用tensorflow中的2d卷积层conv2d，卷积核尺寸为1×16，池化层使用tensorflow中的2d最大池化maxpooling2d，池化尺寸为3×3，residual单元处理完毕后，图像结构已经卷积为52×52×256，再将图像放入inception单元进行有限元分割，分割的图像能够更好的便于神经网络的学习，inception单元由三次卷积conv2d构成，每次遍历卷积核会逐级递减，将图像一次又一次精细化处理，保证高光谱图像的特征的高精度和神经网络识别的准确度，特别地，在inception单元中，所有卷积层的padding方式设置为same，全连接层使用tensorflow中的dense对输入神经元数据进行展平、点乘操作，最后输出最终处理结果用于高光谱图像的物体轮廓特征提取，测试集部分则用来检验卷积神经网络对煤和矸石特征提取的丢失率和识别结果的正确率，最后根据煤和矸石特征的差异输出识别结果，再将识别结果转换成模拟信号通过位置-速度双环pid算法控制机械臂实现快速稳定抓取。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。