一种基于深度卷积神经网络的城轨列车车号识别方法

1.本发明属于轨道交通安全监测技术领域，特别是一种基于深度卷积神经网络的城轨列车车号识别方法。


背景技术：

2.城轨列车车号作为车辆的唯一标志信息，其重要性不言而喻。目前广泛应用在城轨列车车号识别的主要是自动铁路识别系统(automatic train identification system，atis),该系统主要由安装在列车底部的rfid(radio frequency identification)标签和安装在轨道之间的标签读取设备组成，atis实现了对列车车号信息的采集，但是标签在实际使用过程中，会受到磁场干扰，现场环境等因素的影响，出现车号信息丢失、标签脱落、标签损坏甚至是读取设备损坏等情况。随着机器视觉相关技术的发展，目前基于图像识别的汽车车牌识别技术已经相当成熟，并且在国内外的重要道路口与停车场已经得到广泛的应用。同时，随着工业相机和相关图像处理算法的发展，基于图像处理的车号识别系统也逐渐开始得到认可和应用。与普通atis系统相比，基于图像处理的车号识别系统具有容易维护、适应性强、安装方便、识别率高的优势。
3.在车号图像采集的过程中，摄像头以倾斜角度拍摄可增加捕捉车号的概率，因此车号图像存在一定程度的倾斜和畸变。分析车号图片可知，车号靠近与车门或车窗位置，车号区域本身没有边框，直接进行校正难度较大，并且算法复杂。


技术实现要素：

4.本发明的目的在于提供一种实用性强、校正效果好、分割字符准确以及识别率高的基于深度卷积神经网络的城轨列车车号识别方法，且通过扩展能够实现列车车号的在线动态检测。
5.实现本发明目的的技术解决方案是：一种基于深度卷积神经网络的城轨列车车号识别方法，包括以下步骤：
6.步骤1、在轨道一侧设置车号识别硬件系统，通过车号识别硬件系统获取完整的车号图像；
7.步骤2、通过swt算法确定车号位置，求出车号所在最小外接矩形，对最小外接矩形图像进行取窗；
8.步骤3、通过tilt算法对车号图像校正，对于输入车号图像的每个窗口，迭代求解几何变换的局部最优解，直到达成全局最优；
9.步骤4、车号图像校正后，使用投影法对车号字符进行分割；
10.步骤5、基于深度卷积神经网络识别各个字符，得到完整车号结果。
11.本发明与现有技术相比，其显著优点为：(1)车号识别效果高于atis系统，识别精度高且减少成本，精度符合现场使用要求；(2)解决了图像倾斜畸变、边缘元素多、车号无边框等问题；(3)vgg神经网络对字符识别精度较高，整体车号识别较精确。
附图说明
12.图1是tilt算法的流程图
13.图2是系统安装示意图。
14.图3是原始车号图。
15.图4是车号区域最小外接矩形图。
16.图5是tilt校正效果图。
17.图6是车号投影曲线。
18.图7是字符分割结果图。
19.图8是实际识别效果图。
具体实施方式
20.本发明公开了一种基于深度卷积神经网络的城轨列车车号识别方法。该方法基于变换不变低秩纹理(transforming invariant low rank texture,tilt)算法对车号图像进行校正，接着使用投影法对车号字符进行分割得到单个字符图像，最后基于卷积神经网络(convolutional neural networks,cnn)分别对单个字符识别得到完整车号。主要处理流程如下：(1)确定工业相机的安装位置和角度，获取车号的完整图像；(2)求出车号所在最小外接矩形，对最小外接矩形图像进行取窗；(3)对于输入图像的每个窗口，迭代求解几何变换的局部最优解，直到达成全局最优；(4)使用投影法对车号字符进行分割；(5)使用神经网络识别单个字符，得到完整车号结果。
21.本发明一种基于深度卷积神经网络的城轨列车车号识别方法，包括以下步骤：
22.步骤1、在轨道一侧设置车号识别硬件系统，通过车号识别硬件系统获取完整的车号图像；
23.步骤2、通过swt算法确定车号位置，求出车号所在最小外接矩形，对最小外接矩形图像进行取窗；
24.步骤3、通过tilt算法对车号图像校正，对于输入车号图像的每个窗口，迭代求解几何变换的局部最优解，直到达成全局最优；
25.步骤4、车号图像校正后，使用投影法对车号字符进行分割；
26.步骤5、基于深度卷积神经网络识别各个字符，得到完整车号结果。
27.作为一种具体示例，步骤1中车号识别硬件系统包括工业相机、补光灯、磁钢传感器、服务器各一台。
28.作为一种具体示例，步骤1中通过车号识别硬件系统获取完整的车号图像，具体如下：
29.工业相机与补光灯安装在一个车号识别箱体内，将车号识别箱体安装在轨道一侧进行图像的拍摄；磁钢传感器根据车号位置和车轮之间的相对位置安装，使列车车轴经过磁钢传感器时，列车侧身车号图像在相机的视野内；
30.当列车的第一个车轮到来时，磁钢传感器发出信号，经过0.2ms后触发工业相机开始拍摄图片，并且同步触发补光灯。
31.作为一种具体示例，步骤2中求出车号所在最小外接矩形，对最小外接矩形图像进行取窗，具体如下：
32.步骤2.1、对swt算法提取到的车号区域采取形态学操作，将车号字符之间的空隙填满，车号区域形成一大连通域，对这个大连通域进行连通域分析，得到车号轮廓，求取车号轮廓的最小外接矩形；
33.步骤2.2、根据设置像素大小，对最小外接矩形图像的窗口进行取窗。
34.作为一种具体示例，步骤3中通过tilt算法对车号图像校正，对于输入车号图像的每个窗口，迭代求解几何变换的局部最优解，直到达成全局最优，具体过程为：
35.步骤3.1、对于输入车号图像的每个窗口，进行图像归一化，得到几何变换的雅克比矩阵；
36.步骤3.2、将alm算法结合tilt模型，迭代求解线性化凸优化问题，直至当前雅克比矩阵达到几何变换的局部收敛；
37.步骤3.3、通过迭代凸优化过程更新几何变换，直至所述几何变换达到全局收敛；
38.步骤3.4、输出当前低秩纹理和当前几何变换，得到校正后的车号图像，用于后续进行分割和识别。
39.作为一种具体示例，步骤3.1中几何变换的雅克比矩阵，计算公式如下：
[0040][0041]
其中，τ表示几何变换，i表示输入图像，||
·
||f表示f范数。
[0042]
作为一种具体示例，步骤3.2中，迭代求解线性化凸优化问题，直至当前雅克比矩阵达到几何变换的局部收敛，具体如下：
[0043]
使用迭代凸优化过程从归一化的图像恢复当前的低秩纹理，通过不断更新当前几何变换，直至达到几何变换的局部收敛；
[0044]
步骤3.2.1、求解下式的线性化凸优化问题：
[0045][0046]
其中参数定义如下：
[0047]
(1)i0表示恢复出的低秩纹理；
[0048]
(2)e表示图像中的稀疏野点或者是非高斯噪声，定义为稀疏误差；
[0049]
(3)i0+e表示低秩纹理图像中，被稀疏野点干扰，或者存在非高斯噪声；
[0050]
(4)i表示低秩纹理经过几何形变以及稀疏误差干扰后的视图；
[0051]
(5)γ＞0表示低秩纹理与稀疏误差之间的权重因子，||
·
||0为矩阵的零范数，数学意义表示为矩阵中非零元素的数目；
[0052]
(6)τ∈r
p
表示特定条件下的李氏群；
[0053]
步骤3.2.2、将alm算法结合tilt模型，求解线性化凸优化问题；
[0054]
步骤3.2.3、引入辅助拉格朗日函数求解原始约束凸优化问题：
[0055][0056]
其中，y是拉格朗日乘子，λ＝μ-1，||
·
||1为矩阵或者向量的1范数，μ表示不可行
点的惩罚因子；
[0057]
步骤3.2.4、通过迭代如下步骤直至收敛，寻找线性化凸优化问题的最优解i
0*
,e
*
，τ
*
：
[0058][0059]
对上式中的三个变量i0、e、δτ进行逐一求解，如下式所示：
[0060][0061]
令s
t
[
·
]为软阈值算子，上式的解分别为：
[0062][0063]
其中，μ＞0，uk,σk,vk为的奇异次分解svd，为的广义逆矩阵。
[0064]
作为一种具体示例，步骤3.3所述通过迭代凸优化过程更新几何变换，直至所述几何变换达到全局收敛，具体如下：
[0065]
当前矩阵达到几何变换的局部收敛，更新每个窗口的当前几何变换τ
←
τ+δτ
*
，判断是否达到全局收敛，如果没有，则将当前几何变换返回步骤3.1重新计算雅可比矩阵、迭代求解线性化凸优化问题，重复以上迭代过程，直至达成所述几何变换的全局收敛。
[0066]
作为一种具体示例，所述步骤4，具体如下：
[0067]
步骤4.1、针对车号校正后的二值化图像，将图像中每一列灰度值按列相加，得到投影曲线；
[0068]
步骤4.2、对步骤4.1垂直投影后得到的灰度和曲线分析，按照灰度值分割点将单个字符分割出来。
[0069]
作为一种具体示例，所述步骤5，具体如下：
[0070]
采用cnn技术对分割好的车号字符进行分类，对数据集进行扩展充分训练，引入bn优化vgg网络对数据集训练，能够解决梯度消失与梯度爆炸的问题，使用优化后的vgg-16网络对车号字符进行识别。
[0071]
下面结合附图及具体实施例对本发明作进一步描述。
[0072]
实施例
[0073]
结合图1，基于深度卷积神经网络的城轨列车车号识别方法，包括以下步骤：
[0074]
步骤1：确定工业相机的安装位置和角度，获取车号的完整图像，过程如下：
[0075]
将车号识别硬件系统安装在轨道一侧进行图像的拍摄，磁钢传感器根据车号位置和车轮之间的相对位置安装，系统硬件安装位置如图2所示。
[0076]
当列车的第一个车轮到来时，磁钢传感器发出信号，经过0.2ms后触发相机开始拍摄图片，并且同步触发补光灯，以求获得良好的图片质量，实际拍摄得到的原始车号图像如图3示。
[0077]
步骤2：求出车号所在最小外接矩形，对最小外接矩形图像进行取窗，具体过程如下：
[0078]
步骤2.1、对swt算法提取到的车号区域采取形态学操作，将车号字符之间的空隙填满，车号区域形成一个大连通域，对这个连通域进行分析，得到车号轮廓，求取其外接最小矩形框，实际效果如图4所示。
[0079]
步骤2.2、根据设置像素大小对所述最小外接矩形图像的窗口进行取窗。
[0080]
步骤3：对于输入图像的每个窗口，用于以下操作的迭代步骤：
[0081]
步骤3.1、对于所选图像进行归一化，得到几何变换的雅克比矩阵；
[0082]
步骤3.2、迭代求解线性化凸优化问题，直至当前矩阵达到几何变换的局部收敛；
[0083]
步骤3.2.1、将alm算法结合tilt模型，加速求解线性化凸优化的过程；
[0084]
步骤3.2.2、引入辅助拉格朗日函数求解原始约束凸优化问题，
[0085][0086]
步骤3.2.3、通过迭代如下步骤直至收敛来寻找线性化凸优化问题的最优解i
0*
,e
*
，τ
*
，
[0087][0088]
一般来说，为了保证算法的运算速度，我们对上式中的三个变量进行逐一求解，而不是并行求解，通过连续地使变量中的每一个最小化来逼近第一步，如下式所示：
[0089][0090]
给定以上所定义的拉格朗日函数，以上优化问题中的每一个具有非常简单的解。具体而言，令s
t
[
·
]为软阈值算子，上式的解分别为：
[0091][0092]
步骤3.3、通过迭代凸优化过程更新几何变换τ
←
τ+δτ
*
，直至所述几何变换达到全局收敛；
[0093]
步骤3.4、得到所述当前低秩纹理和所述当前几何变换，当前得到的低秩纹理就是经过校正后得到的车号变换前的原始图像，将原始图像输出，便于后续对车号进行分割和识别，实际校正效果如图5所示。
[0094]
步骤4：使用投影法对车号字符进行分割。
[0095]
采用投影法进行字符的分割，该方法能根据投影曲线很好的将字符分割开来，具体步骤是：对于二值变换质量较好的字符区域，将图像纵向的每一列的灰度值按列相加，最终得到一个投影的曲线，根据该曲线的极值点将车号字符区域分割成单个字符区域。
[0096]
步骤4.1、对于所述车号校正二值化图像，将图像中每一列灰度值按列相加，得到投影曲线如图6所示；
[0097]
步骤4.2、对垂直投影后得到的灰度和曲线分析，能够看到比较清晰的灰度波谷。这些点可以看作是分割点，在算法中找到这些接近0值的点，就能够将字符分割出来，实际分割效果如图7所示。
[0098]
步骤5：基于神经网络识别单个字符，得到完整车号结果，具体过程如下：
[0099]
采用cnn技术对分割好的车号字符进行分类。针对车号数据的数量较少、不同车号字符数量相差较多，难以达到对cnn进行训练的要求，所以使用数据增强以及人工生成的方式对车号数据集进行扩展，以求让神经网络得到充分的训练。
[0100]
在vgg-16的基础上进行改进，引入了批量标准化，该操作能够加快训练的速度，网络的泛化能力得到增强，并且有利于整体精度的提升。
[0101]
最后用验证集图片进行神经网络的识别精度分析，从最后的识别精度来看，使用优化的vgg-16网络进行车号字符识别的准确率高达99.54％，从准确率来说，该神经网络完全能够满足使用要求，实际识别效果如图8所示。