一种基于YOLOv5的铁路货车字符信息识别方法

本发明属于算法识别，特别涉及一种基于yolov5的铁路货车字符信息识别方法。

背景技术：

1、近几年，国内货运市场从公路运输转向铁路、水路运输的结构调整成果显著。由于铁路运输具有运量大、长距离、运输价格便宜等特点，特别适合煤炭这类大宗产品的运输，因此铁路是陆路煤炭运输最重要的运输方式，而煤炭也是铁路最重要的运输货种。铁路的煤炭运量占了铁路货运量的一半，部分燃煤电厂铁路运输占比达到80％以上。

2、煤电作为我国的主力电源，长期以来，发挥着电力安全稳定供应、应急调峰、集中供热等重要的基础性作用。2021年煤电发电量占我国总发电量的比重达到60.1％，由此可见，煤电短期内依然是中国电力供应中的主力电源。但在如今能源日益紧张和坚持绿色可持续发展的大环境下，如何实现降低生产成本、节约能源、保障安全生产就显得尤为关键。我国在其《关于加快煤矿智能化发展的指导意见》中指出煤矿智能化是煤炭工业高质量发展的核心技术支撑，将人工智能与现代煤炭开发利用深度融合，形成全面感知、实时互联的智能系统，实现煤矿运输、安全保障、经营管理等过程的智能化运行，对于提升煤矿安全生产水平、保障煤炭稳定供应具有重要意义。

3、而在煤炭的运输环节中，发电厂需要对铁路货车车厢的车号、车厢自重、车厢实际载重等字符信息进行抄录核对，保证能在生产环节的第一步获取煤炭的各类信息，确保后续发电流程的顺利进行。目前我国各发电厂对此主要的作业方式是在铁路货车进站以后，首先由工作人员对每一辆货车车厢表面的车号、自重、载重等信息进行人工抄录，再逐个与轨道衡的测重值进行核对，最后报送相关职能部门。在此过程中，工作人员需要在轨道旁对货车进行逐辆人工抄写，因此错抄、漏抄的事情时有发生，而工作人员作业时需要靠近货车的工作环境也具有极大安全隐患。由此导致的生产滞后、影响经济核算、人员安全等问题都会对发电厂产生极大损失。

4、因此本专利提出利用人工智能赋能煤矿产业的铁路运输环节，借助基于深度学习的yolov5目标检测算法和crnn字符识别算法对铁路货车的字符信息进行自动化检测识别，以达到节省人工成本、有效提高效率的同时降低意外事故发生率的目的。

5、当前，工业界常用的目标检测算法有2015年发布的ssd，2017年发布的retinanet、mask r-cnn、cascade r-cnn、2018年发布的yolov3，2020年4月发布的yolov4，2021年发布的yolov5，在此期间yolov5还在不断的迭代更新，最新的yolov5根据模型大小以及网络深度宽度的不同，分为了yolov5n、yolov5s、yolov5m、yolov5l、yolov5x五个版本，本专利采用yolov5中的yolov5l版本。yolov5是目前工业界使用最多的目标检测模型，它基于深度学习和卷积神经网络实现。相比于其前身yolov4，yolov5采用了一些新的技术和优化，如优化的backbone网络结构、跨阶段特征融合和多尺度训练等。

6、从图1可以看出，对比yolov5的其他版本，yolov5l在10ms/img的检测速度下，依然有较高的精确度，同时相比于其他算法，精确度得到了大幅提高，ap大约提升了10％。

7、可见，yolov5l在有更快的检测速度的同时也保证了更高的精确率，因为铁路货车在进站进行字符识别时具有初速度，因此对于实时性要求更高，因此yolov5l则更符合铁路货车字符识别实时性与准确性的需求。另外，目前不少模型因为规模太大，需要很多gpu进行并行训练，而yolov5简化和优化了一些最新提出的算法，从而使yolov5能够在一块gpu上,比如1080ti，就可以进行训练，降低了训练的成本，也更方便应用于生产环境。

8、crnn字符识别算法是一种基于卷积神经网络(cnn)和循环神经网络(rnn)的混合模型，主要用于端到端地对不定长字符序列的识别。crnn的结构通常包括卷积层、循环层和转录层。其中卷积层用于图像提取特征，循环层用于预测从卷积层获取的特征序列的标签(真实值)分布，具体来说使用双向rnn(blstm)对特征序列进行预测，对序列中的每个特征向量进行学习，最后输出预测标签(真实值)分布。最后通过转录层使用ctc，把从循环层获取的一系列标签分布转换成最终的标签序列。

技术实现思路

1、有鉴于此，在煤炭的运输环节中，煤电发电厂需要对铁路货车车厢表面的字符信息进行核对记录。首先作业人员需要对一辆铁路货车每节车厢的编号、车厢重量等信息进行抄录，一辆铁路货车通常有60-80节车厢，作业人员需要对低速依次进站的各节车厢进行信息抄录，然后各节车厢再进行测重、卸煤等流程，一辆铁路货车从进站到卸煤完成离站通常需要2-5小时。传统人工抄录方式繁琐效率低，归档审计流程复杂，作业时存在安全隐患。而当前的字符信息识别系统受铁路货车进站途中复杂的环境因素和铁路货车运输过程中字符断裂或污损的影响，对于较小字符区域的检测容易漏检，字符区域检测不准，以及检测到字符区域，但最后字符信息识别错误。

2、本发明提出一种基于yolov5的铁路货车字符信息识别方法，其对应系统包括图像输入模块、字符检测模块、字符识别模块和数据输出模块；方法包括以下步骤：

3、s1，通过图像输入模块中的摄像头获得视频帧图像，实时检测是否有车辆进站；否，则继续实时检测；

4、是，则s2，通过字符检测模块进行数据库建表，再进行字符区域检测并裁剪后输入字符识别模块；

5、s3，字符识别模块将字符检测模块裁剪后的字符图像进行字符识别，得到识别结果；

6、s4，图像输入模块进行实时检测，判断是否有车辆出站；否，则返回s2字符检测；

7、是，则s5，通过数据输出模块进行整理及输出。

8、优选地，所述s1包括以下步骤：

9、s11，通过调用安装在轨道衡两端的摄像头的sdk获取到基于rtsp协议的视频流；

10、s12，对视频流进行抽帧处理，采取0.5s抽一帧的策略获取到当前轨道的视频帧图像；

11、s13，将图像输入yolov5l模型进行空轨识别；

12、s14，判断是否识别到空轨，是，则代表当前没有车辆，将标识符flag置为0，返回s11；

13、s15，否，则没有识别到空轨且识别到字符位置信息，则将标识符flag置为1，在数据库建表，并将图像传入字符检测模块。

14、优选地，所述s2包括以下步骤：

15、s21，得到图像输入模块的视频帧后，先进行数据库建表建行的操作；

16、s22，将视频帧图像通过yolov5l模型进行字符区域检测和字符类别分类；

17、s23，将识别到的字符类别和对应的字符区域进裁剪；

18、s24，将裁剪后的字符图像和对应的字符类别进行存储；

19、s25，按照车号-自重-载重的类别顺序将对应的裁剪图像依次传入字符识别模块。

20、优选地，所述s3包括以下步骤：

21、s31，将字符检测模块输入的字符图像通过灰度化、二值化、形态学操作对图像进行预处理；

22、s32，传入基于crnn的字符识别模型进行字符识别；

23、s33，将识别结果进行数据库查重判断，如果有则舍弃，若无则在数据库建行存入车号信息；

24、若无，则s34，存入当前车号行中，避免重识别问题。

25、优选地，所述数据输出模块中处理好的识别数据有三种输出方式，包括前端页面展示、与原有的上层系统进行数据传输和通过文档的格式输出。

26、优选地，所述s5包括以下步骤：

27、s51，对数据进行整理保存；

28、s52，通过对数据库的请求得到识别结果的数据与对应图像；

29、s53，通过vue框架，构建用户界面的框架进行前端页面展示，用户对当前识别结果进行添加、删除和修改，或对历史数据进行查询、添加、删除和修改；

30、s54，基于flask框架搭建服务，开放端口号提供接口的方式供上层系统访问，并通过json字符串的格式进行数据传输，上层系统以此获取每个批次车辆的统计数据；

31、s55，作业人员通过下载的方式将识别数据以excel的格式进行导出,供工作人员保存或打印留档。

32、有益效果至少包括：

33、1.本发明基于yolov5l的铁路货车字符信息识别系统，实时检测视频帧中进站铁路货车的情况，若检测到铁路货车进站，则进行字符信息识别，将一列货车识别到的字符信息进行整理输出。本系统在检测同时保证了很好的实时性，精确性，同时可以对货车进站进行自动判别。同时对于小字符区域漏检和字符区域检测准确度的有较大的提升；

34、2.本发明基于yolov5l的铁路货车字符信息识别系统，识别速度快，识别精度高，可以排除常见的干扰，如其他字符信息的干扰、不同时间段光照的影响；检测过程中对环境没有特定要求；成本低，日常使用除了摄像头，显示器，服务器外，不再需要人员值守或使用其他设备；可溯源性，对检测到的字符区域图像进行保存，方便工作人员后续对识别结果进行校对；应用场景广泛，不局限于铁路货车字符信息的识别，同样适用于轮船货箱、汽车车牌等字符信息的检测与识别。