一种彩绘列车车号识别方法、系统及介质与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种彩绘列车车号识别方法、系统及介质。


背景技术：

2.目前城镇化越来越深入，列车普及度增加，列车的安全问题随之加强，列车停站时会针对列车进行检修，对列车进行检修时，需要获取列车的车号。
3.现在随着技术的发展，促进地方文化的宣传，列车车体上出现了彩绘图案。例如白鹈鹕、水蕨菜、红木棉、蜂虎鸟等。这些彩绘图案，对车体上的部分车号进行了遮挡，有的彩绘图案的颜色与车号的颜色相近，这大大增加了车号识别的难度。


技术实现要素：

4.为了解决上述背景技术中提出的问题，本发明提供一种彩绘列车车号识别方法、系统及介质。
5.第一方面，本发明申请提供一种彩绘列车车号识别方法，采用如下的技术方案：一种彩绘列车车号识别方法，包括以下步骤：获取监控采集的列车视频数据流，通过所述视频数据流获取帧间信息，根据所述帧间信息获取列车运动变化区域的图像；对图像进行预处理，去除噪音干扰；对去除噪音干扰后的图像进行车号字符区域定位，得到包含车号字符区域的分割图像；对分割图像进行hsl变换处理；对进行了hsl变换处理后的图像进行字符识别。
6.通过采用上述技术方案，通过获取监控采集的列车视频数据流，首先根据帧间信息获取列车运动变化的区域，得到列车的图像，对图像进行预处理去除噪音干扰，提高图像的清晰度和质量，对去除噪音干扰后的图像进行车号字符区域定位，并进行截取，得到包含车号字符区域的分割图像，对分割图像进行hsl变换，可以得到图像的亮度，亮度值越高，色彩越白，亮度值越低，色彩越黑，根据亮度值，去掉分割图像中与黑色车号不同的颜色，留下黑色车号字符图像，进行识别，自动化程度高，降低了车号识别的难度，可以有效识别列车的车号，提高了列车车号识别的精确度，且减少了列车车号识别的时间，提高了列车检修的效率。
7.优选的，所述对图像进行预处理，去除噪音干扰具体如下：采用滤波算法，通过高斯滤波去除噪音干扰。通过采用滤波算法可以有效去除噪音干扰，提高图像的清晰度和质量，便于目标定位、识别等后续工作的进行。
8.优选的，所述对去除噪音干扰后的图像进行车号字符区域定位，得到包含车号字符区域的分割图像，步骤具体包括：
获取去除噪音干扰后的图像，并将其发送至预设的字符区域定位模型；利用所述预设的字符区域定位模型对去除噪音干扰后的图像进行车号字符区域定位；将定位出车号字符区域的图像进行分割，得到包含车号字符区域的分割图像。
9.优选的，所述字符区域定位模型的具体生成步骤如下：获取初始模型和第一数据集，所述第一数据集包括常规列车图片和彩绘列车图片；对所述列车的车号图片中的字符进行区域标注，构成第一训练集和第一测试集；根据第一训练集和第一测试集对初始模型进行目标检测网络训练，生成字符区域定位模型。
10.通过将定位出车号字符区域的图像分割出来，减少非车号字符区域对字符识别的影响，提高车号识别的精准度。
11.优选的，所述对分割图像进行hsl变换处理，步骤具体包括：根据包含有车号字符区域的分割图像，将所述分割图像进行hsl变换，根据hsl变换中的l信息，对分割图像进行处理。
12.通过将图像进行hsl变换，可以得到图像的亮度l，即色彩的明暗程度，亮度值越高，色彩越白，亮度值越低，色彩越黑，根据得到的亮度值可以去掉分割图像中与黑色车号不同的颜色，留下黑色车号字符图像。
13.优选的，所述对进行了hsl变换处理后的图像进行字符识别，步骤具体包括：获取进行hsl变换处理后的图像，并将其发送至预先生成的轻量化的crnn网络模型；利用所述预先生成的轻量化的crnn网络模型，对进行hsl变换处理后的图像中的字符进行识别。
14.通过采用轻量化crnn网络模型，模型量化后模型变小，识别时间缩短。
15.优选的，所述轻量化crnn网络模型的具体生成步骤如下：获取第二数据集，所述第二数据集为常规列车图片和彩绘列车图片；通过字符区域定位模型对第二数据集进行处理，得到包含车号字符区域的分割图像，以及对分割图像进行hsl变换，利用亮度l信息对分割图像进行处理后得到的图像，构成第二训练集和第二测试集；根据第二训练集和第二测试集进行网络训练，生成轻量化的crnn网络模型。
16.第二方面，本发明申请提供一种彩绘列车车号识别的系统，采用如下的技术方案：一种彩绘列车车号识别的系统，包括：视频采集模块，用于获取列车行驶的视频数据，通过所述视频数据获取帧间信息，根据所述帧间信息获取列车运动变化区域的图像；噪音去除模块，用于将获取的列车运动变化区域的图像进行预处理，去除噪音干扰；字符定位模块，将去除噪音干扰后的图像进行车号字符区域定位，得到包含车号字符区域的分割图像；hsl变换模块，基于包含车号字符区域的分割图像，将其进行hsl变换处理；
字符识别模块，将进行hsl变换处理后的图像进行字符识别。
17.通过采用上述技术方案，通过视频采集模块获取列车的视频数据，首先根据帧间信息获取列车运动变化的区域，得到列车的图像，通过噪音去除模块对图像进行预处理去除噪音干扰，提高图像的清晰度和质量，通过字符定位模块对去除噪音干扰后的图像进行车号字符区域定位，并进行截取，得到包含车号字符区域的分割图像，通过hsl变换模块将分割图像进行hsl变换，可以得到图像的亮度，亮度值越高，色彩越白，亮度值越低，色彩越黑，根据亮度值，去掉分割图像中与黑色车号不同的颜色，留下黑色车号字符图像，并发送至字符识别模块进行识别，自动化程度高，降低了车号识别的难度，可以有效识别列车的车号，提高了列车车号识别的精确度，且减少了列车车号识别的时间，提高了列车检修的效率。
18.第三方面，本发明申请提供一种存有计算机程序的计算机可读存储介质，采用如下的技术方案：一种存有计算机程序的计算机可读存储介质，存储有实现第一方面中任一方法的计算机程序。
19.通过采用上述技术方案，通过获取监控采集的列车视频数据流，首先根据帧间信息获取列车运动变化的区域，得到列车的图像，对图像进行预处理去除噪音干扰，提高图像的清晰度和质量，对去除噪音干扰后的图像进行车号字符区域定位，并进行截取，得到包含车号字符区域的分割图像，对分割图像进行hsl变换，可以得到图像的亮度，亮度值越高，色彩越白，亮度值越低，色彩越黑，根据亮度值，去掉分割图像中与黑色车号不同的颜色，留下黑色车号字符图像，将其进行识别，自动化程度高，降低了车号识别的难度，可以有效识别列车的车号，提高了列车车号识别的精确度，且减少了列车车号识别的时间，提高了列车检修的效率。
20.综上所述，本发明具有如下的有益技术效果：1.本发明通过获取监控采集的列车视频数据流，首先根据帧间信息获取列车运动变化的区域，得到列车的图像，对图像进行预处理去除噪音干扰，通过预设的字符区域定位模型对去除噪音干扰后的图像进行车号字符区域定位并进行截取，得到包含有车号字符区域的分割图像，把分割图像进行hsl变换，利用l亮度信息对分割图像进行处理，得到黑色车号字符图像，通过预设的轻量化的crnn网络模型进行识别，可以准确识别车号；2.本发明自动化程度高，降低了车号识别的难度，可以有效识别列车的车号，提高列车车号识别的精确度，且减少了列车车号识别的时间，提高了列车检修的效率。
附图说明
21.图1是本发明其中一实施例示出的彩绘列车车号识别方法的流程图；图2是本发明其中一实施例示出的彩绘列车车号识别方法的结构框图；图3为轻量化crnn网络模型图。
22.附图标记说明：1、视频采集模块；2、噪音去除模块；3、字符定位模块；
4、hsl变换模块；5、字符识别模块。
具体实施方式
23.以下结合图1-图3对本发明作进一步详细说明。
24.本发明实施例公开一种彩绘列车车号识别方法。
25.在一可选的实施方式中，识别方法如图1所示，具体步骤如下：s1、获取监控采集的列车视频数据流，通过视频数据流获取帧间信息，根据帧间信息获取列车运动变化区域的图像；利用前后帧间信息的相关性获取动态图像，便于进行图像字符区域定位并识别。
26.s2、对图像进行预处理，去除噪音干扰；采用滤波算法去除噪音干扰，具体为采用高斯滤波去除噪音干扰，高斯滤波就是对整个图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
27.对图像去除噪音干扰后，可以提高图像的清晰度和质量，便于图像字符区域定位、识别等后续工作的进行。
28.s3、对去除噪音干扰后的图像进行车号字符区域定位，得到包含车号字符区域的分割图像；通过将定位出车号字符区域的图像分割出来，减少非车号字符区域对字符识别的影响，提高车号识别的精准度。
29.其中，步骤s3具体包括：获取去除噪音干扰后的图像，并将其发送至预设的字符区域定位模型；利用所述预设的字符区域定位模型对去除噪音干扰后的图像进行车号字符区域定位；将定位出车号字符区域的图像进行分割，得到包含车号字符区域的分割图像。
30.其中字符区域定位模型的具体生成步骤如下：获取初始模型和第一数据集，第一数据集包括常规列车图片和彩绘列车图片；对列车的车号图片中的字符进行区域标注，构成第一训练集和第一测试集；根据第一训练集和第一测试集对初始模型进行目标检测网络训练，生成字符区域定位模型；其中对列车的车号图片中的字符进行区域标注，区域是指字符在图像中的位置，区域标注就是对字符所在的位置通过区域标注软件进行标注，区域标注软件可以选用labelme。
31.需要说明的是，目标检测网络的训练过程分为两个阶段，第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向低层次进行传播训练的阶段，即反向传播阶段。具体过程如下：1、网络进行权值的初始化；2、输入数据经过网络向前传播得到输出值；
3、求出网络的输出值与目标值之间的误差；4、当误差大于我们的期望值时，将误差传回网络中，反向传播更新权值。
32.5、重复进行2-4步，直到误差等于或小于我们的期望值时，结束训练。
33.s4、对分割图像进行hsl变换处理；根据包含有车号字符区域的分割图像，分割图像为rgb图片，将分割图像进行hsl变换，根据hsl变换中的l信息，对分割图像进行处理。
34.通过将图像进行hsl变换，可以得到图像的亮度l，即色彩的明暗程度，亮度值越高，色彩越白，亮度值越低，色彩越黑，根据得到的亮度值可以去掉分割图像中与黑色车号不同的颜色，留下黑色车号字符信息。
35.具体处理过程如下：设rgb的颜色为（lr，lg，lb）,设l
max
为lr，lg，lb的最大值，l
min
为lr，lg，lb的最小值，lr，lg，lb的取值区间为[0,1]；（1）亮度l的计算公式：l=（l
max
+l
min
）/2特殊情形，当l
max
=l
min
，此时有l
max
=lr=lg=lb=l
min
，标明颜色为灰色，此时s=0，h不表示任何颜色；（2）饱和度s的计算，分两种情况：若l≤0.5，则s=（l
max-l
min
）/（l
max
+l
min
）；若l＞0.5，则s=（l
max-l
min
）/（2-l
max-l
min
）；（3）色调h的计算公式如下，分三种情形：当l
max
=lr时，h=60*（l
g-lb）/（l
max
+l
min
），颜色处于黄色和品红之间；当l
max
=lg时，h=120+60*（l
b-lr）/（l
max
+l
min
），颜色处于青色和黄色之间；当l
max
=lb时，h=240+60*（l
r-lg）/（l
max
+l
min
），颜色处于品红和青色之间；如果上述计算h出现负值，则增加360，因为h为周期函数。
[0036]
其中，hsl即色相、饱和度、亮度（英语：hue，saturation，lightness），色相（h）是色彩的基本属性，就是平常所说的颜色名称，如红色、黄色等；饱和度（s）是指色彩的纯度，越高色彩越纯，低则逐渐变灰，取0-100%的数值；亮度（l）指的是色彩的明暗程度，亮度值越高，色彩越白，亮度越低，色彩越黑；明度（v）和亮度（l），取0-100%；hsl变换后，统计每个像素点的亮度值，亮度值越高，色彩越白，亮度值越低，色彩越黑，选择合适的阈值，作为临界点，建立图像模版（亮度值大于阈值的点，图像模版中像素点的值为255，否则为0），然后，用图像模版与原rgb图做匹配，这样只保存黑色车号信息。
[0037]
s5、对进行了hsl变换处理后的图像进行字符识别；步骤s5具体包括：获取进行hsl变换处理后的图像，并将其发送至预先生成的轻量化的crnn网络模型；利用预先生成的轻量化的crnn网络模型，对进行hsl变换处理后的图像中的字符进行识别；其中，轻量化的crnn网络模型的具体生成步骤如下：获取第二数据集，第二数据集为常规列车图片和彩绘列车图片；通过字符区域定位模型对第二数据集进行处理，得到包含车号字符区域的分割图
像，以及对分割图像hsl变换，利用亮度l信息对分割图像进行处理后得到的图像，构成第二训练集和第二测试集；根据第二训练集和第二测试集进行网络训练，生成轻量化的crnn网络模型；对字符识别模型进行轻量化，得到轻量化crnn网络模型，轻量化crnn网络模型包含三部分，从下到上依次为：（1）卷积层：从输入图像中提取出特征序列；（2）循环层：预测从卷积层获取的特征序列的标签分布；（3）转录层：把从循环层获取的标签分布通过去重、整合等操作转换成最终的识别结果。
[0038]
如图3所示为轻量化crnn网络模型图。
[0039]
轻量化crnn网络模型，轻量化后模型小，字符识别时间缩短。
[0040]
基于上述彩绘列车车号识别方法，本技术实施例还公开了一种彩绘列车车号识别系统。
[0041]
在一可选的实施方式中，具体包括：视频采集模块1，用于获取列车行驶的视频数据，通过视频数据获取帧间信息，根据帧间信息获取列车运动变化区域的图像；噪音去除模块2，用于将获取的列车运动变化区域的图像进行预处理，去除噪音干扰；字符定位模块3，将去除噪音干扰后的图像进行车号字符区域定位，得到包含车号字符区域的分割图像；hsl变换模块4，基于包含车号字符区域的分割图像，将其进行hsl变换处理；字符识别模块5，将进行hsl变换处理后的图像进行字符识别。
[0042]
本发明实施例的工作过程通过视频采集模块1获取列车行驶的视频数据，从视频数据获取帧间信息，根据帧间信息获取列车运动变化区域的图像；将列车运动变化区域的图像发送至噪音去除模块2对其去除噪音干扰，再将去除噪音干扰后的图像发送至字符定位模块3对其进行车号字符区域定位，根据定位出的车号字符区域位置进行截取，得到包含车号字符区域的分割图像，将分割图像发送至hsl变换模块4，进行hsl变换，根据hsl变换中的l信息，对分割图像进行处理，去掉分割图像中与车号不同的颜色，留下车号字符图像，并将其发送至字符识别模块5识别出车号字符。
[0043]
本技术实施例还公开了一种存有计算机程序的计算机可读存储介质，存储有实现上述任一方法的计算机程序。
[0044]
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。