一种用于地面运动皮带上实时煤矸石定位识别方法与流程

本发明属于图像处理技术领域，涉及一种用于地面运动皮带上实时煤矸石定位识别方法。

背景技术：

在煤矿企业开采过程中，采煤面具有不同灰分的矸石，经过皮带运输系统运输上煤楼，工人通过经验检测皮带上目标物为煤块或矸石，并手动对检测结果进行分类。随着传感器技术与图像处理技术的发展，如何实时自动检测煤矸石目标物，对目标物进行定位分类，从而将运动皮带上目标信息数据化成为需要考虑的问题。同时，如何将检测的像素信息转化为物理信息，便于为后续反馈设备、储存设备进行反馈或储存，避免像素信息实用性差等问题。

当前检测方法主要为人工检测、射线检测或视觉检测三种方式，人工检测受工人主观性经验影响较大，存在人为检测率较低等问题；

中国专利(申请号：zl200910107879.9，申请号：一种煤矸石自动分选机，申请日：20090616)公开了一种煤矸石自动分选机”，通过输送带下方的单能伽玛射线区分煤矸石目标物类别，造价相对较高，对环境有所危害；中国专利(申请号：zl201610885658.4)，公开了一种视觉识别煤和煤矸石并用机械手进行分离的系统”，通过视背景识别法定位煤矸石目标物，这种方法能够快速定位煤矸石目标，存在易受皮带上杂物干扰的问题；通过神经网络检测，一般通用网络无法直接应用在煤矸石背景下，且模型误差需要修正等现状，有必要提出进一步改进方案。

技术实现要素：

本发明的目的是提供一种用于地面运动皮带上实时煤矸石定位识别方法，该方法采用图像识别运动皮带上的煤矸石，解决了射线方法对环境的污染问题。

本发明所采用的技术方案是，一种用于地面运动皮带上实时煤矸石定位识别方法，具体包括如下步骤：

步骤1，数据集建立；

步骤2，训练目标检测模型；

步骤3，实时图像采集：通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流；

步骤4，提取模型检测实时视频，统计实时视频中目标物类别；

步骤5，基于步骤4确定的目标物类别，计算煤矸石大小并确定相对位置。

本发明的特点还在于，

步骤1的具体过程为：

步骤101，数据集数据搜集；

查询原有地面运动皮带历史视频，选取皮带上存在运动煤矸石目标的视频段，手动将选取的视频段拆分为单帧图像；

步骤102，数据图像归一化；

将步骤101拆分后的单帧图像进行图像大小归一化，得到大小统一的归一化图像；

步骤103，图像数据模糊；

选取20～50％经步骤102归一化后的数据图像进行高斯滤波，得到仿照水雾环境的数据集图像，将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合，得到完整的煤矸石数据集；

步骤104，将步骤103得到的数据集进行标注；

应用labelme对将步骤103得到的数据集图像进行标注，采用矩形标注的形式对图像内所有目标物进行二分类标注；其中a类为运动皮带上的煤块，b类为运动皮带上的矸石块；

步骤105，对步骤104标注后的数据集均衡化；

选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类，进行边界框操作，得到数据量相对均衡的煤矸石数据集，完成对煤矸石数据集的建立。

步骤105中的边框操作为旋转、翻转、图像均衡化操作。

步骤2的具体过程为：

步骤201，改变原有yolo网络结构；

对原有yolo_v3中darknet-53网络去除末端全连接层与末端的四个残差块，得到能够检测宽度为80～300mm的煤矸石的43层网络结构；

步骤202，通过如下模型损失公式(1)，得到yolo模型的损失函数；

loss＝xy_loss+wh_loss+con_loss+α×class_loss(1)；

其中，模型损失分为四类，loss为模型损失，xy_loss为目标中心坐标(x,y)的损失，wh_loss为目标长宽距离w、h的损失，con_loss为置信度损失，class_loss为分类损失，α为类别权重，(x,y)为预测矩形框左上顶点像素坐标，w、h为预测矩形框像素宽、长；

步骤203，从步骤1建立的数据集中提取训练集数据；

将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集，提取划分完成的训练集煤矸石数据；

步骤204，带入改进yolo模型；

将步骤203所得的训练集煤矸石数据带入改进yolo模型，得到输出煤矸石识别模型并保存。

步骤4的具体过程为：

步骤401，对步骤3采集的实时视频进行归一化，统一现场实时视频图像大小；

步骤402，将步骤401归一化后的实时图像进行均匀减帧，得到均匀减帧的视频流；

步骤403，将步骤402得到的均匀减帧的视频流图像窗口均匀分为三部分，图像最上部分s1为预备检测区，图像第二部分s2为检测区，图像最下部分s3为候补检测区；

步骤404，将步骤403划分后的图像带入步骤2训练完成的模型，得到经过模型预测的目标中心坐标、目标大小、目标类别三类数据；

步骤405，提取步骤404输出的目标中心坐标、目标大小、目标类别信息，对视频流中当前帧的检测结果进行质心与矩形标注，将单目标物检测类别实时标注在矩形标注左上角；

步骤406，对步骤405标注后的目标物类别进行统计并固定；

当目标物x1出现，目标质心在预备检测区s1，不对目标进行统计；

当目标物x1流经预备检测区s1，目标质心出现在检测区s2时，开始统计每帧目标物x1类别；

当目标物x1流经检测区s2，目标质心出现在候补检测区s3，结束对目标物x1类别统计；

通过统计目标物x1在统计中出现煤块和矸石块这两个类别的次数，出现次数多的类别为目标物x1的固定类别。

步骤406的具体过程为：

设置参数初始值为0；目标物x1质心在统计区域s2中时，当目标物x1当前检测为煤块，参数当目标物x1当前检测为矸石块，参数当目标物x1质心离开统计区域s2时，若参数则目标物x1固定为煤块，若参数则目标物x1固定为矸石块。

步骤5的具体步骤为：

步骤501，提取步骤404实时输出的三类数据，读取实时经过模型检测的视频；

步骤502，判断当前检测帧是否存在新增固定目标物类别，若存在，运行步骤503，若不存在，运行下一帧并执行步骤501；

步骤503，将新增目标物的像素坐标系转化为世界坐标系，得到像素坐标转化为世界坐标的系数β；

步骤504，计算煤矸石目标物大小与相距皮带边沿距离。

提取目标物矩形标注的四种参数xs,ys,ws,hs，通过如下公式(2)确定煤矸石目标物的大小如下公式(3)、(4)所示；同时通过如下公式(2)确定煤矸石目标物距皮带边沿的距离如下公式(5)所示：

(xs,ys,ws,hs)＝β(x,y,w,h)(2)；

ws＝βw(3)；

hs＝βh(4)；

xs＝βx(5)；

xs为目标距离图像左边沿位置的实际距离，ys为目标距离图像上边沿位置的实际距离，ws为二维目标实际宽度，hs为二维目标实际长度；设置摄像头高度，一般将图像左边沿近似为皮带边沿，因此，xs为煤矸石目标物距皮带边沿的距离。

本发明的有益效果是，本发明采用图像识别运动皮带上的煤矸石，解决了射线方法对环境的污染问题；通过建立数据库并带入改进yolo_v3目标检测网络，从而针对煤矸石物体大小与原目标网络特征进行改进，增强了在煤矸石背景数据下单帧图像的检测精度；采用图像检测区三等划分，解决了由模型在检测过程中带来的部分结果误差问题；采用像素坐标系转化世界坐标系，将图像信息距离话，便于反馈设备、存储设备的储存与响应，减少煤矿企业的经济损失，便于推广使用。

附图说明

图1是本发明一种用于地面运动皮带上实时煤矸石定位识别方法的流程图；

图2是本发明一种用于地面运动皮带上实时煤矸石定位识别方法中数据集建立的流程图；

图3是本发明一种用于地面运动皮带上实时煤矸石定位识别方法中图像三部分检测区划分示意图；

图4是本发明一种用于地面运动皮带上实时煤矸石定位识别方法中计算煤矸石大小与相对位置的方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种用于地面运动皮带上实时煤矸石定位识别方法，如图1所示，具体包括如下步骤：

步骤1，数据集建立；数据集通过200万像素摄像机连续拍摄7*24小时平顶山天安煤业股份有限公司四矿煤楼手选皮带，煤矸石大小主要集中在80-300mm，采用俯视拍摄角度，摄像机距手选皮带垂直距离约50-100cm，经过labelme标注生成xml文件，最终标注图像高于3000张。

步骤1的具体过程为，参见图2；

步骤101，数据集数据搜集；

查询原有地面运动皮带历史视频，选取皮带上存在运动煤矸石目标的视频段，手动将选取视频段拆分为单帧图像；

视频段拆分为单帧图像，以每两秒储存一张图像的速率，对所述视频段进行拆帧，得到相似性较小的数据图像。

步骤102，数据图像归一化；

对拆分的单帧图像进行图像大小归一化，将图像统一为416×416×3，得到大小统一的归一化图像；

步骤103，图像数据模糊；

选取20～50％经步骤102归一化后的数据图像进行高斯滤波，得到仿照水雾环境的数据集图像，将该仿照水雾环境的数据集图像与未进行高斯滤波的数据集进行融合，得到完整的煤矸石数据集；高斯滤波模板为3×3，高斯滤波中标准差σ的取值范围为0＜σ≤1。

步骤104，将步骤103得到的数据集进行标注；

应用labelme对将步骤103得到的数据集图像进行标注，采用矩形标注的形式对图像内所有目标物进行二分类标注；其中a类为运动皮带上的煤块，b类为运动皮带上的矸石块；

步骤105，对步骤104标注后的数据集均衡化；

选取数据集a类运动皮带上的煤块、b类运动皮带上的矸石块之中图片数据相对较少一类，进行边界框操作，得到数据量相对均衡的煤矸石数据集，完成对煤矸石数据集的建立。边框操作为旋转、翻转、图像均衡化操作。

步骤2，训练目标检测模型；

步骤2的具体过程为：

步骤201，改变原有yolo网络结构；

对原有yolo_v3中darknet-53网络去除末端全连接层与末端的四个残差块，得到能够检测宽度为80～300mm的煤矸石的43层网络结构；

改变原有yolo网络结构，在前馈网络结束后，网络中底层特征图逐层与前层特征融合，不存在8倍采样的感受野，只存在32倍与16倍采样感受野，对网络第26层进行下采样。

残差块由一层1×1卷积层、一层3×3卷积层与卷积层之间的跳跃连接构成。

引入学习率衰减概念，在adam优化算法的基础上引入logistic学习率衰减；

logistic学习率衰减，在的条件下，满足等式-2a≈nb，得出公式，其中n为学习总轮数，y为输出学习率，得到提高模型准确率的学习率衰减函数。

步骤202，增加类别损失权重，通过如下模型损失公式(1)，得到yolo模型的损失函数；

loss＝xy_loss+wh_loss+con_loss+α×class_loss(1)；

其中，模型损失分为四类，loss为模型损失，xy_loss为目标中心坐标(x,y)的损失，wh_loss为目标长宽距离w、h的损失，con_loss为置信度损失，class_loss为分类损失，α为类别权重，(x,y)为预测矩形框左上顶点像素坐标，w、h为预测矩形框像素宽、长；类别权重α的取值范围为1＜α≤2。

步骤203，从步骤1建立的数据集中提取训练集数据；

将步骤1所得的煤矸石数据集划分为训练数据集与测试训练集，提取划分完成的训练集煤矸石数据；将原数据集中训练数据集与测试数据集按照8：2的数据量进行划分。

步骤204，带入改进yolo模型；

将步骤203所得的训练集煤矸石数据带入改进yolo模型，得到输出煤矸石识别模型并保存。

通过改进模型与加入学习率衰减函数，通过识别率进行验证，原有模型煤矸石平均识别率为80.26％，经过模型改进后，能够有效将识别率提升至90.01％，检测速度为53.5帧/秒。

步骤3，实时图像采集：通过有线网络摄像头将地面运动皮带上煤矸石实时图像传送至工控机处理实时视频流；

步骤4，提取模型检测实时视频，统计实时视频中目标物类别；

步骤4的具体过程为：

步骤401，对步骤3采集的实时视频进行归一化，将实时图像归一化为416×416大小的图像；

步骤402，将步骤401归一化后的实时图像进行均匀减帧，将归一化实时视频流由原24帧/秒速度减帧为5帧/秒，得到均匀减帧的视频流；

步骤403，将步骤402得到的均匀减帧的视频流图像窗口均匀分为三部分，图像最上部分s1为预备检测区，图像第二部分s2为检测区，图像最下部分s3为候补检测区；参见图3；

实时视频图像大小为416×416，预备检测区s1区域为像素点(0,0)与像素点(416,138)构成的矩形区域，检测区s2区域为像素点(0,138)与像素点(416,277)构成的矩形区域，候补检测区s3区域为像素点(0,277)与像素点(416,416)构成的矩形区域，皮带上运动的煤流运动方向由预备检测区s1最终流向候补检测区s3。

步骤404，将步骤403划分后的图像带入步骤2训练完成的模型，得到经过模型预测的目标中心坐标、目标大小、目标类别三类数据；

步骤405，提取步骤404输出的目标中心坐标、目标大小、目标类别信息，对视频流中当前帧的检测结果进行质心与矩形标注，将单目标物检测类别实时标注在矩形标注左上角；

步骤406，对步骤405标注后的目标物类别进行统计并固定；

当目标物x1出现，目标质心在预备检测区s1，不对目标进行统计；

当目标物x1流经预备检测区s1，目标质心出现在检测区s2时，开始统计每帧目标物x1类别；

当目标物x1流经检测区s2，目标质心出现在候补检测区s3，结束对目标物x1类别统计；

通过统计目标物x1在统计中出现煤块和矸石块这两个类别的次数，出现次数多的类别为目标物x1的固定类别。

步骤406的具体过程为：

设置参数初始值为0；目标物x1质心在统计区域s2中时，当目标物x1当前检测为煤块，参数当目标物x1当前检测为矸石块，参数当目标物x1质心离开统计区域s2时，若参数则目标物x1固定为煤块，若参数则目标物x1固定为矸石块。

通过划分检测区，能有效避免目标刚出现在图像识别范围，由于视角不完整，造成的多种误识别，从而延长目标分类时间，减少由于光强度变化造成的识别结果差异，为后续反馈设备提供可靠类别。

步骤5，基于步骤4确定的目标物类别，计算煤矸石大小并确定相对位置。

步骤5的具体步骤为：参见图4；

步骤501，提取步骤404实时输出的三类数据，读取实时经过模型检测的视频；

步骤502，判断当前检测帧是否存在新增固定目标物类别，若存在，运行步骤503，若不存在，运行下一帧并执行步骤501；

步骤503，将新增目标物的像素坐标系转化为世界坐标系，得到像素坐标转化为世界坐标的系数β；

步骤504，计算煤矸石目标物大小与煤矸石目标物距皮带边沿的距离，具体为：

提取目标物矩形标注的四种参数xs,ys,ws,hs，通过如下公式(2)确定煤矸石目标物的大小如下公式(3)、(4)所示；同时通过如下公式(2)确定煤矸石目标物距皮带边沿的距离如下公式(5)所示：

(xs,ys,ws,hs)＝β(x,y,w,h)(2)；

ws＝βw(3)；

hs＝βh(4)；

xs＝βx(5)；

xs为目标距离图像左边沿位置的实际距离，ys为目标距离图像上边沿位置的实际距离，ws为二维目标实际宽度，hs为二维目标实际长度；设置摄像头高度，一般将图像左边沿近似为皮带边沿，因此，xs为煤矸石目标物距皮带边沿的距离。

由于反馈设备无法接收图像坐标信息，一般系数β取值为10-20，具体取值依照皮带实际宽度与皮带像素宽度比值决定，八矿皮带宽1.5m，系数设置为15.81，能够使得抓取设备准确分辨煤矸石目标位置。

本发明一种用于地面运动皮带上实时煤矸石定位识别方法的优点如下：

1.本发明通过阈值α，在loss＝xy_loss+wh_loss+con_loss+α×class_loss的公式下，得到yolo模型的损失函数；其中模型损失分为四类，loss为模型损失，xy_loss为(x,y)的损失，wh_loss为w、h的损失，con_loss为置信度损失，class_loss为分类损失，α为类别权重，(x,y)为预测矩形框左上顶点像素坐标，w、h为预测矩形框像素宽、长。增加分类损失比重，优化检测精度。

2.本发明通过改变原有yolo网络结构，对原有yolo_v3中darknet-53网络去除末端全连接层与末端的四个残差块，得到不检测小目标的43层网络结构，去除原网络中8倍采样的感受野，只存在32倍与16倍采样感受野。得到更符合煤矸石背景的网络结构，提高网络精度。

3.本发明通过计算并固定目标物类别，设置参数初始值为0；目标物x1质心在统计区域s2中时，当目标物x1当前检测为煤块，参数当目标物x1当前检测为矸石块，参数当目标物x1质心离开统计区域s2时，若参数则目标物x1固定为煤块，若参数则目标物x1固定为矸石块。最大限度地解决了模型在单帧检测中的检测误差。

4.本发明通过像素坐标转化世界坐标的系数β，根据矩形标注参数为(x,y)、w、h四项参数与质心点像素坐标为(x0,y0)，求得目标物实际长度为β×h，目标物实际宽度为β×w，目标物距离皮带边沿距离为β×(x0-皮带边沿像素横坐标位置)。将图像信息转化为实际信息，便于反馈设备、存储设备的储存与响应。