铁路货运装载状态图像识别方法及系统与流程

本发明涉及铁路运输，具体涉及一种铁路货运装载状态图像识别方法及系统。

背景技术：

1、铁路运输是现代化运输业的主要运输方式之一。目前，铁路货运量在不断上升，运输效率也在不断提升，在这种新的形势下，货物的不良装载构成铁路运输最直接的安全隐患，货运安全面临前所未有的考验。传统的人工作业是逐一对车辆装载状态图片进行人工查看，工作任务繁重，货检工作质量很大程度上只能取决于货物人员的业务水平、责任心和对待工作的态度，同时也受到操作员的疲劳度等因素影响，容易出现不检、漏检的现象。

2、利用计算机图像深度学习技术，通过对各种车型库及问题车特征库进行分类建模及学习，可实现对通过车辆及货物的智能识别，实现快速直观得发现货车装载异常情况，能对车辆及存在的装载状态异常问题进行提示报警，减轻操作员劳动强度，实现提高货检工作质量将是未来该领域的发展方向。但基于深度学习技术的货检图像智能识别一般需要建立基于数据驱动的检测模型，通过输入大量的原始数据和相应标签让神经网络自行学习和提取最有用的特征，才能达到较好的检测效果。而实际情况是，货车装载状态异常情况多种多样，样本数量是不充足的，限制了货车装载状态异常检测的精度提升。

3、因此，需要提出新的识别方法用以克服现有技术存在的缺陷。

技术实现思路

1、本发明的目的是提供一种铁路货运装载状态图像识别方法及系统，以解决目前货车装载状态异常检测精度不高的问题。

2、为了达到上述目的，本发明所采用的技术方案为：

3、铁路货运装载状态图像识别方法，所述方法包括：

4、s1：基于铁路货运车辆异常图像建立异常数据集，并进行增强扩充；

5、s2：在yolov5网络模型中引入双向加权bifpn结构；

6、s3：在双向加权bifpn结构中嵌入坐标注意力机制模块；

7、s4：将异常数据集输入模型进行训练；

8、s5：将目标检测数据集输入训练后的模型进行铁路货运车辆异常识别。

9、进一步地，s1中，对异常数据集进行增强扩充包括对图像进行翻转、缩放、旋转，以及为图像添加噪声、变换色彩。

10、进一步地，s2中，在yolov5网络模型中引入双向加权bifpn结构，包括：

11、双向加权bifpn结构提取至少三种不同分辨率的特征图作为自身输入；

12、基于双向特征传播，对不同分辨率的特征图进行信息传递；

13、根据特征重要性对特征图进行带权融合。

14、进一步地，s2中，双向加权bifpn结构包括三列结构：

15、首列用于降低分辨率，为主干网不同阶段的最终卷积层，输出的分辨率逐层减半；

16、第二列用于接收来自主干网上一层和本层级的特征输入，融合后进行卷积运算；

17、第三列用于同时接收来自主干网本层级和上一层的特征输入，融合后进行卷积运算，结果输送到上一层或者直接输出。

18、进一步地，s2中，双向加权bifpn结构的首列结构中，最终卷积层为除最底层和最高层的其他卷积层。

19、进一步地，s3中，在双向加权bifpn结构中嵌入坐标注意力机制模块，包括：

20、将坐标注意力机制模块中的普通卷积层改进为senet，得到改进的坐标注意力机制模块；

21、将改进的坐标注意力机制模块嵌入到双向加权bifpn结构的采样层前和主干网络输出层。

22、进一步地，s4中，将异常数据集输入模型进行训练，包括：

23、粗训练阶段，冻结全部卷积层，只对全连接层进行训练；

24、精调训练阶段，解冻全部卷积层，对所有层进行训练。

25、另一方面，提供铁路货运装载状态图像识别系统，所述系统用于实现所述的方法，包括：

26、建立模块，用于基于铁路货运车辆异常图像建立异常数据集，并进行增强扩充；

27、引入模块，用于在yolov5网络模型中引入bifpn结构；

28、嵌入模块，用于在双向加权bifpn结构中嵌入坐标注意力机制模块；

29、训练模块，用于将异常数据集输入模型进行训练；

30、识别模块，用于将目标检测数据集输入训练后的模型进行铁路货运车辆异常识别。

31、与现有技术相比，本发明的有益效果如下：

32、本发明提出了一种铁路货运装载状态图像识别方法及系统，利用特征金字塔(bidirectional feature pyramid network，bifpn)和坐标注意力机制融合算法将图像智能识别技术引入到铁路货运安全监测货车装载状态监控系统中，首先使用加权双向特征金字塔对上下文进行信息捕捉，提升不同权重多尺度特征的融合度；然后利用嵌入的改进坐标注意力模块，使感受野更加聚焦感兴趣区域，保持特征的完整性；利用改进的多尺度特征增强及融合手段，通过数据增强来生成更多的样本，增加样本量从而增强模型的鲁棒性。

33、本发明的方法明显提高了铁路货运装载状态识别的检测精度，达到了减轻操作员劳动强度、提高货检工作质量的目的。

技术特征：

1.铁路货运装载状态图像识别方法，其特征在于：

2.根据权利要求1所述的铁路货运装载状态图像识别方法，其特征在于：

3.根据权利要求2所述的铁路货运装载状态图像识别方法，其特征在于：

4.根据权利要求3所述的铁路货运装载状态图像识别方法，其特征在于：

5.根据权利要求4所述的铁路货运装载状态图像识别方法，其特征在于：

6.根据权利要求5所述的铁路货运装载状态图像识别方法，其特征在于：

7.根据权利要求6所述的铁路货运装载状态图像识别方法，其特征在于：

8.铁路货运装载状态图像识别系统，其特征在于：

技术总结
本发明涉及一种铁路货运装载状态图像识别方法及系统。目前货车装载状态异常检测方法存在检测精度不高的问题。本方法基于铁路货运车辆异常图像建立异常数据集，并进行增强扩充；在YOLOv5网络模型中引入双向加权BiFPN结构；在双向加权BiFPN结构中嵌入坐标注意力机制模块；将异常数据集输入模型进行训练；将目标检测数据集输入训练后的模型进行铁路货运车辆异常识别。本发明使用加权双向特征金字塔对上下文进行信息捕捉，提升不同权重多尺度特征的融合度，利用嵌入的改进坐标注意力模块，使感受野更加聚焦感兴趣区域，保持特征的完整性，明显提高了检测精度，达到了减轻操作员劳动强度、提高货检工作质量的目的。

技术研发人员：朱毅,于志军,胡昊颖
受保护的技术使用者：中铁第一勘察设计院集团有限公司
技术研发日：
技术公布日：2024/1/16