基于改进yolov5s与deepsort的矸石跟踪检测方法与流程

本发明涉及煤矿，尤其涉及一种基于改进yolov5s与deepsort的矸石跟踪检测方法。

背景技术：

1、煤炭是我国重要的基础能源和战略资源。由于我国“富煤、贫油、少气”的能源结构，在未来相当长的时间内，煤炭依然是中国能源消费结构的主体。据2022年能源数据统计，煤炭消费占中国能源消费的56％左右。随着煤炭不断地开采，导致了环境问题越来越明显，这将影响煤炭行业的绿色化、智能化和可持续发展。煤炭产品质量对于煤炭行业去产能以及产业结构调整与升级和改善环境，构建资源节约环境友好型社会具有重要意义。影响煤炭质量的重要因素之一就是有无煤矸石。因此，通过有效的方法实现从煤炭中分选出矸石，不仅可以避免较大的矸石在运输过程中造成设备损坏，如皮带撕裂、跑偏和卡堵等，而且可以降低煤炭生产维护成本和减少后期运输费用。

2、目前，最常用的选矸方法是人工选矸法、湿选法、射线识别法等。人工选矸法效率低下，容易漏选，而且由于工作环境恶劣，容易影响工人的身体健康，也不符合矿山智能化发展要求。湿选法容易造成水资源浪费。射线识别法虽然具有识别效率高和速度快等优点，但是存在辐射副作用导致在应用上受到了限制。

3、近几年，随着人工智能和计算机的发展，图像识别技术逐渐应用到煤矸石的检测中，但是，现有的图像处理方法，仅仅是通过矸石的纹理来分选矸石，没有做到矸石位置的跟踪，当识别信息与选矸机器人协同作业时，如果出现信息延迟而误选，甚至严重时可能由于位置信息变化导致输送带损坏。

技术实现思路

1、本发明要解决的技术问题是：为了解决现有方法对煤矸石的分选不准确的技术问题。本发明提供一种基于改进yolov5s与deepsort的矸石跟踪检测方法，通过改进yolov5s模型识别出矸石的位置信息，再结合deepsort算法跟踪矸石的位置轨迹，再将矸石的位置轨迹发送给选矸机器人分选出矸石，能够提高矸石分选的检测精度。

2、本发明解决其技术问题所采用的技术方案是：一种基于改进yolov5s与deepsort的矸石跟踪检测方法，包括以下步骤：

3、步骤s1、获取煤炭和矸石混合的样本图像数据集；

4、步骤s2、构建改进yolov5s网络模型，利用所述样本图像数据集对所述改进yolov5s网络模型进行训练，获得矸石检测模型；

5、步骤s3、利用所述矸石检测模型对煤矸石实时图像进行检测，输出矸石的位置信息和目标框；

6、步骤s4、根据所述矸石的位置信息和目标框，利用deepsort算法对矸石的位置信息进行实时跟踪预测；

7、步骤s5、将所述deepsort算法输出的矸石的位置信息发送给选矸机器人，以将矸石分选出来。

8、进一步的，所述构建改进yolov5s网络模型，具体包括：

9、搭建yolov5s基础网络，采用opa-fpn搜索模块替换yolov5s基础网络中的特征金字塔结构，设置损失函数为ciou_loss函数，设置激励函数为silu函数。

10、进一步的，所述opa-fpn搜索模块的搜索路径包括：自上而下路径、自下而上路径、残差连接路径、融合拆分路径。

11、进一步的，所述ciou_loss函数的公式为：其中，式中，v表示影响因子，wa和ha表示真实框的长和高，wb和hb表示预测框的长和高，c表示最小外接矩形的对接线长度，ρ(actr，bctr)表示真实框和预测框的中心点之间的欧式距离。

12、进一步的，所述silu函数的公式为：f(x)＝x×sigmoid(x)，其中，x表示变量。

13、进一步的，步骤s4中，利用deepsort算法对矸石的位置信息进行实时跟踪预测，包括：

14、通过卡尔曼滤波预测矸石在下一帧图像中的位置信息；

15、通过匈牙利算法对当前帧图像中和矸石和下一帧图像中的矸石进行匹配，输出矸石的移动轨迹。

16、进一步的，将所述矸石的移动轨迹发送给选矸机器人进行矸石的分选。

17、进一步的，步骤s2中的训练过程包括：

18、将所述样本图像数据集划分为训练集、验证集、测试集；

19、利用训练集对改进yolov5s网络模型进行训练，利用验证集对改进yolov5s网络模型进行验证，利用测试集对改进yolov5s网络模型进行测试，直至改进yolov5s网络模型的输出结果满足精度要求；

20、将满足输出精度的改进yolov5s网络模型设为矸石检测模型。

21、进一步的，所述训练集、验证集、测试集的比例为7：2：1。

22、本发明的有益效果是，本发明的基于改进yolov5s与deepsort的矸石跟踪检测方法，通过对yolov5s网络模型的改进，可以提高模型检测的速度和效率，通过矸石检测模型识别出矸石所在的位置信息以及输出目标框，将位置信息和目标框同步给deepsort算法预测出矸石在输送带上的移动轨迹，将移动轨迹发送给选矸机器人进行矸石的分选，能够避免同一矸石被重复检测，有利于提高选矸机器人对矸石分选的准确率。

技术特征：

1.一种基于改进yolov5s与deepsort的矸石跟踪检测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的矸石跟踪检测方法，其特征在于，所述构建改进yolov5s网络模型，具体包括：

3.如权利要求2所述的矸石跟踪检测方法，其特征在于，所述opa-fpn搜索模块的搜索路径包括：自上而下路径、自下而上路径、残差连接路径、融合拆分路径。

4.如权利要求2所述的矸石跟踪检测方法，其特征在于，所述ciou_loss函数的公式为：其中，式中，v表示影响因子，wa和ha表示真实框的长和高，wb和hb表示预测框的长和高，c表示最小外接矩形的对接线长度，ρ(actr，bctr)表示真实框和预测框的中心点之间的欧式距离。

5.如权利要求2所述的矸石跟踪检测方法，其特征在于，所述silu函数的公式为：f(x)＝x×sigmoid(x)，其中，x表示变量。

6.如权利要求1所述的矸石跟踪检测方法，其特征在于，步骤s4中，利用deepsort算法对矸石的位置信息进行实时跟踪预测，包括：

7.如权利要求6所述的矸石跟踪检测方法，其特征在于，将所述矸石的移动轨迹发送给选矸机器人进行矸石的分选。

8.如权利要求1所述的矸石跟踪检测方法，其特征在于，步骤s2中的训练过程包括：

9.如权利要求8所述的矸石跟踪检测方法，其特征在于，所述训练集、验证集、测试集的比例为7：2：1。

技术总结
本发明公开了一种基于改进yolov5s与deepsort的矸石跟踪检测方法，包括以下步骤：S1、获取煤炭和矸石混合的样本图像数据集；S2、构建改进yolov5s网络模型，利用样本图像数据集对改进yolov5s网络模型进行训练，获得矸石检测模型；S3、利用矸石检测模型对煤矸石实时图像进行检测，输出矸石的位置信息和目标框；S4、根据矸石的位置信息和目标框，利用deepsort算法对矸石的位置信息进行实时跟踪预测；S5、将deepsort算法输出的矸石的位置信息发送给选矸机器人，以将矸石分选出来。本发明通过矸石检测模型识别出矸石所在的位置信息以及输出目标框，通过deepsort算法预测出矸石在输送带上的移动轨迹，能够避免同一矸石被重复检测，有利于提高选矸机器人对矸石分选的准确率。

技术研发人员：宋鹏飞,季亮,张袁浩,郝大彬,周李兵,陈晓晶,邹盛,叶柏松,邱云香
受保护的技术使用者：天地（常州）自动化股份有限公司
技术研发日：
技术公布日：2024/1/13