一种基于改进YOLOV5的掘进机工作齿数识别方法与流程

本发明涉及掘进机工作齿数识别，更具体的说是涉及一种基于改进yolov5的掘进机工作齿数识别方法。

背景技术：

1、煤炭产业的发展对于社会生产能源的供给具有重要的影响。近年来，随着煤矿安全事故的频发，社会各界对于煤炭开采工作表现出了高度的关注。煤矿要实现向无人化、自主化发展，实现对掘进机的智能平稳控制是其中非常重要的一环。

2、掘进机所处环境复杂，工作载荷大，施工环境恶劣，在截割过程中负载变化剧烈，截割机构在工作时承受频繁交变的冲击载荷作用，容易导致截齿断裂、脱落，严重影响截割效率与采煤效率。在掘进机工作过程中，造成截齿损坏的原因主要是工作载荷过大，超过截齿的受力最大值，从而导致截齿损坏，造成停工停产。因此要保证截齿可以长时间正常工作，需要分析每一个工作截齿的受力，确保工作截齿受力均小于最大值。由于截割头在截割过程中，随着工矿和截入深度的不同，工作截齿数量和每一截齿受力都是不同的，在获取截割硬度、截割头振动、油缸受力以及电机功率的情况下，如果能知道工作截齿数，就能分析出每个截齿的受力情况，这样通过实时调整截割速度，使每个截齿的受力大小控制在额定值允许的范围内，保证截齿不被损坏而正常工作，实现掘进机的智能平稳控制。而现有的掘进机工作齿数识别方法精度不足。随着摄像精度的不断提高和图像处理技术的广泛应用，利用目标检测技术可以完成对掘进机截齿的识别。

3、现有的目标检测方法主要分为双阶段检测(two stage)和单阶段检测(onestage)两种，双阶段检测如r-cnn(region-cnn)，先进行区域生成，再通过卷积神经网络进行样本分类，检测精度较高。单阶段检测如yolo(you only look once)系列，直接在网络中提取特征来预测物体分类和位置，不需要进行区域生成，检测速度较快。yolo系列中yolov5在检测速度快的同时还提高了检测精度，更适用于对掘进机截齿的检测。

4、针对掘进工作面的特殊环境，实现对截齿的目标检测面临以下三个问题。第一，掘进工作面环境恶劣，图像采集受光照强度、粉尘等因素的影响大，需要对采集的图片进行预处理；第二，掘进机割煤速度较快，工作齿数变化大，需要提高网络推理速度，实现实时检测。第三，相机摆放位置在掘进机喷雾系统后部，拍摄到的部分截齿较小，对于识别模型检测小目标的能力有更高的要求。

5、因此，如何克服掘进机截齿目标检测过程中因光照强度、粉尘影响、割煤速度、拍摄位置等原因导致的检测难度大以及实时性不够的问题，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提出一种基于改进yolo v5的掘进机工作齿数识别方法，本发明可以在提高原yolo v5模型检测小截齿精度的前提下，提高网络推理速度，实现准确、快速的掘进机工作齿数识别。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于改进yolo v5的掘进机工作齿数识别方法，包括以下步骤：

4、步骤1、采集井下掘进机工作实拍图像构建数据集；

5、步骤2、对数据集中的井下掘进机工作实拍图像进行图像增强，得到增强后的工作图像；

6、步骤3、对增强后的工作图像进行分类和标注，得到带有类别标签的掘进机工作图像数据集；

7、步骤4、将带有类别标签的掘进机工作图像数据集输入到改进的yolo v5模型中进行训练，得到非工作截齿检测模型；

8、步骤5、将待检测工作图像输入所述非工作截齿检测模型中，识别出非工作截齿数，并依据掘进机总齿数和非工作截齿数，得到掘进机工作齿数。

9、可选的，所述步骤2中，使用多尺度retinex模型进行图像增强，所述多尺度retinex模型是指将retinex模型的单一尺度滤波器替换为使用三个不同尺度的高斯滤波器，对图像进行去尘和亮度增强，增强了原算法突出掘进机工作细节以及去尘方面的效果。

10、可选的，所述步骤3中，对增强后的工作图像进行分类和标注，是指对增强后的工作图像按照截齿和截割头进行类别划分并标注。

11、可选的，所述步骤4中，改进的yolo v5模型是指在yolo v5模型的基础上，分别对backbone层、neck层、预测层进行改进，具体方法为：

12、将backbone层中focus层替换为k＝6的卷积层，在保证对截齿检测效果相同的情况下减小了参数量和计算量，提高了运算速度，同时运用较大的卷积核增大了感受野，在性能方面获得了一定的提升，并进一步加入se注意力机制模块，以增加截齿关键特征的权重，提高检测效果；

13、将neck层原有的特征融合网络panet改为asff自适应特征融合网络，asff自适应特征融合网络通过在空域过滤冲突信息以抑制不一致特征，充分利用网络浅层特征进行分割，提升网络对不同尺度目标截齿的特征融合能力；

14、将预测层中的大目标检测锚框删除，加入小目标检测锚框，将大目标检测头删除，加入小目标检测层。

15、可选的，所述步骤4中，带有类别标签的掘进机工作图像数据集输入到改进的yolov5模型中的具体过程为：

16、带有类别标签的掘进机工作图像数据集输入改进的yolo v5模型的预处理层，进行图像预处理，得到预处理后的数据集；

17、预处理后的数据集输入改进的yolo v5模型的backbone层，获取不同尺度的掘进机工作图像特征图；

18、不同尺度的掘进机工作图像特征图输入改进的yolo v5模型的neck层，进行采样和特征融合，得到不同尺度的掘进机截齿特征融合图；

19、不同尺度的掘进机截齿特征融合图输入改进的yolo v5模型的预测层，得到非工作截齿数预测结果。

20、可选的，预处理层对图像进行预处理的过程为：

21、第一步，数据增强：对图像进行拼接、仿射变换、随机缩放；

22、第二步，自适应锚框计算：在初始锚框的基础上输出预测框，和真实框进行比对，计算预测框和真实框的差距，再反向更新，迭代网络参数；

23、第三步，自适应图片缩放：将图像统一调整为预设大小。

24、可选的，backbone层对预处理后的数据集中的图像进行处理的过程为：

25、预处理后的数据集中的图像依次输入k＝6的卷积层、cbl模块、bottleneckcsp模块、空间金字塔池化模块和se注意力机制模块，获得带有权重的不同尺度的掘进机工作图像特征图。

26、可选的，neck层对不同尺度的掘进机工作图像特征图进行处理的过程为：

27、不同尺度的掘进机工作图像特征图首先经过fpn特征金字塔采样，获得高层的语义信息和低层的定位信息；再经过asff自适应特征融合网络将提取到的高层语义信息和低层定位信息在不同尺度融合，得到不同尺度的掘进机截齿特征融合图。

28、可选的，所述方法还包括步骤6，从检测精度、广义交并比以及检测速度三个方面对掘进机工作齿数识别结果进行评价，具体的：

29、广义交并比为边界框回归损失函数，计算公式如下：

30、

31、

32、其中，giou表示广义交并比，iou表示交并比，a表示真实框，b表示目标预测框，c表示同时包含a、b的最小方框，a∩b表示a、b重合的面积，a∪b表示(a+b-a∩b)的面积；

33、检测精度以平均精度为指标，平均精度通过pr曲线图得到，precision为准确率，作为横坐标，recall为召回率，作为纵坐标；

34、检测速度使用一秒钟检测图像的数目作为指标。

35、经由上述的技术方案可知，本发明提供了一种基于改进yolo v5的掘进机工作齿数识别方法，与现有技术相比，具有以下有益效果：

36、本发明通过改进yolo v5模型，改善了井下光照差、粉尘多等因素对于截齿识别的干扰，并简化了网络模型，优化了模型对截齿的检测识别能力，实现掘进机工作齿数的快速、精准识别，为实现掘进机智能平稳控制提供了重要参数，可以有效降低因截齿损坏造成的煤炭减产，同时提高掘进机使用寿命。