一种基于PSENet区域分割的列车车厢号定位方法

本发明属于人工智能，具体涉及一种基于psenet区域分割的列车车厢号定位方法。

背景技术：

1、货运列车车厢号检测是铁路运输管理系统信息化、智能化建设中的一项重要内容，主要功能是实现车次、车号自动识别，为铁路运输管理系统提供车次、车号等实时的基础信息。目前铁路运输站大多使用的基于射频识别(radio frequency identification，rfid)技术的列车车号识别及定位监测系统方案，该方案检测识别准确率高，可以全天候24小时工作，不受光照和天气等客观条件影响，但是随着列车提速和系统使用年限的增加，车厢底部安装的射频标签会损坏或脱落，这会导致该方法的准确率急剧下降。

2、近年，基于数字图像处理的列车车号检测定位方法凭借部署容易、使用成本低、精度高和效率高等优点脱颖而出，吸引了很多研究人员针对该方法容易遇到的问题展开了深入研究。有使用数学形态学方法和投影法相结合，将高速列车车号图像分割成多个连通区域，根据车号区域面积的变化范围，确定精确车号位置；也有使用数学形态学方法和连通体分析技术，利用列车车号字符间特定的几何比例关系定位车号区域；还有使用faster r-cnn神经网络，通过调整特征提取网络来增强特征图的细节特征，采用聚类算法求车号区域长宽比以改进锚定框的尺寸设计，使得目标文本检测框与实际车号区域更加贴合；此外，还有使用连接文本预选区域网络(connection text proposal network，ctpn)，通过融合两个尺度特征图以增强特征信息，采用增加了水平回归层的区域建议网络，并设计了困难样本挖掘策略和边界敏感的文本框回归策略来获得字符级车号的精确定位。

3、上述定位方法的前两种是基于传统数字图像处理，此类方法受光照和图像清晰度影响较大，而且货运列车常年运行，车号字符污染变形都是常见情况，容易造成车号字符与背景灰度值接近而难以分割、字符部分缺失不易识别等问题；后两种是基于深度学习中锚定框回归的文本检测，根据货运列车车厢号特征，对现有检测定位方法进行改进，着重针对静止列车车厢的小尺寸和水平文本目标，但在货运列车实际运营场景中效果不佳，非水平目标的漏检率较高，易受到非车号文本信息干扰。在日常监控视频中出现的车厢号图像并不能保证非常理想的视角和光照，因此在光照过强或过暗、车号污染缺损和因为视角造成的车号倾斜畸变的情况下成功完成车厢号检测任务是急需研究的问题。

技术实现思路

1、解决的技术问题：本发明提供了一种基于psenet区域分割的列车车厢号定位方法，针对货运列车车厢号特征和运营场景，通过结合注意力机制se模块(squeeze-and-excitation module，sem)从卷积通道特征角度对网络权重参数进行再分配，提高残差网络(residual network，resnet)对车厢号特征的提取性能，采用特征金字塔(featurepyramid networks，fpn)和自底向上路径增强(bottom-up path augmentation，bupa)模块，传递浅层网络强定位信息到富含强语义信息的深层网络中，融合来自两种网络的特征得到多尺度特征图后采用渐进尺度扩展算法对车厢号区域进行分割，本发明可以使货运列车车厢号定位有较高精确率与召回率，有利于后续车厢号识别工作的进行。

2、技术方案：

3、一种基于psenet区域分割的列车车厢号定位方法，所述列车车厢号定位方法包括以下步骤：

4、s1，利用位于铁路两侧的视频监控设备对包含车厢号的货车列车的视频图像进行采集，对采集的车厢图像做预处理，对车厢图像中的车厢号区域做标签后，生成车厢样本图像，并构建样本数据集；

5、s2，构建列车车厢号定位模型，所述列车车厢号定位模型包括残差网络模块、特征金字塔fpn模块、自底向上路径增强模块和渐进尺度扩展模块；

6、具体地，所述残差网络模块对导入的车厢图像进行多尺度特征提取，将提取的不同尺度特征图输出至特征金字塔fpn模块，由特征金字塔fpn模块将不同尺度特征图从深层网络通过上采样的方式与浅层网络进行初次融合，得到不同尺度的初次融合特征图；

7、所述自底向上路径增强模块将特征金字塔fpn模块输出的初次融合特征图从浅层网络通过下采样的方式与深层网络融合得到不同尺度的二次融合特征图，再将不同尺度的二次融合特征图合并成单张特征图；

8、所述渐进尺度扩展模块利用广度优先搜索算法从文本核分割图的最小尺度到最大尺度进行文本区域的尺度扩展，获得最终的文本检测结果；

9、s3，采用样本数据集对列车车厢号定位模型进行训练，利用训练完成的列车车厢号定位模型对待处理的车厢图像进行车厢号定位，输出定位得到的货车列车车厢号。

10、进一步地，步骤s1中，对采集的车厢图像做预处理的过程包括以下步骤：

11、从采集的货车列车的视频中提取出全部单帧图像，从中筛选出所有包括车厢号的车厢图像，对筛选出的车厢图像随机进行翻转、裁剪和旋转处理，将处理后的车厢图像尺寸进行标准化，再对标准化后的图像中的车厢号区域打标签。

12、进一步地，步骤s2中，所述残差网络模块的主体结构采用resnet50网络，包括依次连接的五个卷积层，除第一层卷积层之外，其他四层卷积层之后均连接有引入通道注意力机制的se模块；并且第一层卷积层的卷积核大小为3×3；四个se模块分别输出不同尺度特征图{f2，f3，f4，f5}。

13、进一步地，所述se模块包括两个分支，其中一个分支包括相互连接的压缩单元和激发单元，用来学习每个通道的权重，另一个分支完整保留原特征图信息，再将学习到的每个通道的权重作用于原特征图中；

14、所述压缩单元使用自适应平均池化将大小为h×w×c特征图f的压缩成1×1×c，特征图的空间信息被压缩在通道域中：

15、

16、其中，zc表示被压缩的特征图空间信息，fsq表示squeeze操作，fc(c，h，l)表示特征图在空间(h，l)处的值，h和l分别表示特征图在行和列方向上的维度大小；

17、所述激发单元由两个全连接层组成，用于获取通道相关的依赖关系：

18、s＝fex(zc)＝σ[d2δ(d1zc)]

19、其中，fex表示excitation操作，d1，d2分别为降维和升维的全连接层，δ表示relu函数，σ表示sigmoid函数。

20、进一步地，步骤s2中，所述特征金字塔fpn模块将残差网络模块提出的不同尺度特征图{f2，f3，f4，f5}从深层网络通过上采样与浅层网络进行初次融合生成不同尺度特征图{f2，f3，f4，f5}；

21、所述自底向上路径增强模块将传播路径从最低阶特征图f2开始通过下采样的方式逐层向最高阶特征图f5传播，生成新的融合特征图序列{p2，p3，p4，p5}，再将融合特征图序列{p2，p3，p4，p5}拼接成单张特征图p输入渐进尺度扩展模块去扩展分割目标文本区域；其中p2是f2的直接映射，其他特征图pi是每一层通过横向连接先获取高分辨率特征图pi-1和低分辨率特征图fi后，将高分辨率特征图pi-1下采样与低分辨率特征图fi映射相加生成的，i＝3，4，5。

22、进一步地，所述自底向上路径增强模块的c3单元是由多个cbs单元组合得到的跨区域特征融合模块；

23、所述c3单元包括两个支路，其中一个支路包括一个具有1×1卷积核的cbs单元，另一个支路用于融合车厢图像的局部信息和全局信息，包括三个依次连接的cbs单元，这三个依次连接的cbs单元的卷积核分别是1×1、3×3和3×3；

24、每个cbs单元均包括依次连接的conv层、bn层和silu激活函数层。

25、进一步地，所述渐进尺度扩展模块接收路径增强模块输出的单张特征图，对其进行采样，将目标车厢号文本分割处理成多尺度的文本核(s1，s2，s3，...，sn)，再将从小尺寸文本核逐渐向大尺寸文本核扩展合并，获得最终的文本检测结果。

26、进一步地，所述列车车厢号定位模型的损失函数为：

27、l＝λlf+(1-λ)lk

28、其中，lf表示完整文本实例sn的损失，用于区分文本核非文本区域；lk表示文本核实例s1至sn-1的损失，用于查找文本区域的精细边框；λ为平衡系数；

29、采用dice系数计算得到lf和lk：

30、lf＝1-d(sn·m，gn·m)

31、

32、式中，m表示ohem给出的训练掩码，w表示0/1掩码，d(sj，gj)代表dice系数值，大小在[0，1]之间，值越大表明样本间越相似，sj，x，y和gj，x，y分别表示预测结果sj和真实结果gj在(x，y)处的像素值。

33、有益效果：

34、第一，本发明的基于psenet区域分割的列车车厢号定位方法，可以使货运列车车厢号定位有较高精确率与召回率，有利于后续车厢号识别工作的进行。

35、第二，本发明的基于psenet区域分割的列车车厢号定位方法，在残差模块特征提取的骨干网中加入注意力机制，提升模型对目标特征的敏感性，进一步加强骨干网对目标区域的特征提取。

36、第三，本发明的基于psenet区域分割的列车车厢号定位方法，在psenet网络模型基础上加入传播路径增强模块，减少低维特征随着网络层数的加深产生的低维信息丢失，使顶层特征图得到底层网络丰富的位置信息，获得更加精确的文本核，降低车厢号的漏检问题。