一种利用深度学习技术识别火车票的方法与流程

本发明涉及计算机图像检测技术领域，具体的说是一种利用深度学习技术识别火车票的方法。

背景技术：

21世纪是“信息世纪”，工业产业与社会生活的信息化程度直接决定了一个国家的综合国力。因此，我国自迈入新世纪以来，信息化建设始终是政府的工作重心之一。其中，随着我国交通建设的发展，交通枢纽的票务检验迫切需要信息化管理来支撑起日益增长的业务需求，效率低下的人力检票方式已经捉襟见肘。

目前，随着计算机图像检测技术的发展，图像检测也开始应用于检票领域。传统的目标检测速度慢且模型复杂，基于深度学习的目标检测的诞生吸引了很多研究者，其效果提升得益于rossgirshick等人提出的r-cnn。r-cnn是结合了区域提名方法和卷积神经网络cnn的目标检测方法，通过生成regionproposal,即图像检测的boundingbox完成选择性搜索，使用cnn完成对每个boundingbox的图像检测，每个boundingbox可以使用回归提高质量，解决了多目标检测的问题，但也有训练网络需要大量时间这样的缺点。ross还提出了fastr-cnn，解决了r-cnn的缺点，建立更快的目标检测算法，将图像而不是regionproposal输入到cnn产生卷积特征图谱。前两种算法使用selectiveresearch这样耗时、影响网络表现的过程寻找regionproposal。shaoqingren提出的fasterr-cnn使用了一种淘汰掉selectivesearch算法的目标检测算法，使得网络可以学习regionproposal。与前者不同，图像作为输入传递进提供了卷积特征图谱的卷积网络，另一个网络用来预测regionproposal，预测结果在标清目标域的roipoolinglayer中重新定义并且预测boundingbox的补偿值。该算法的高效性使其更适用于实时目标检测。

基于此，我们设计研发了一种利用深度学习技术识别火车票的方法，该方法能够准确高速识别出图中火车票的位置，大大提升了检票效率。

技术实现要素：

本发明针对目前技术发展的需求和不足之处，提供一种利用深度学习技术识别火车票的方法。

本发明的一种利用深度学习技术识别火车票的方法，解决上述技术问题采用的技术方案如下：

一种利用深度学习技术识别火车票的方法，该方法的实现过程包括：

s1、采集带有真实火车票的图像；

s2、以voc数据集的格式为标准，标注出s1阶段采集图像中所有的火车票并生成xml文件；

s3、利用计算机视觉技术，对s1阶段采集图像进行预处理和数据增广，同时，对标注文件也做出对应变换；

s4、将s2阶段标注完成的所有图像划分为训练集、验证集、测试集；

s5、基于keras开源框架，以faster-rcnn为技术核心，搭建深度学习神经网络；

s6、将s3阶段获得的增广数据送入s5阶段搭建的深度学习神经网络进行大规模训练，直到深度学习神经网络的输出结果与s2阶段标注数据具有较高的匹配度，将该深度学习神经网络作为最优网络模型输出；

s7、将最优网络模型部署于车站验票口位置，验票摄像头扫描火车票并由最优网络模型进行火车票的识别，实现自动验票。

在s5阶段，搭建深度学习神经网络的具体操作内容包括：

s5-1、以vgg16深度卷积网络为特征提取模块，对s1阶段采集图像进行特征提取；

s5-2、提取得到的特征将被一层3x3卷积核大小的卷积网络处理，并将结果正向传播给rpn，rpn由两个模块所组成，分别用于目标类别检测和目标位置检测，其中目标类别检测器用于判断某个区域内是否可能包含目标物体，目标位置检测器用于目标位置矩形框的精细修正；

s5-3、rpn的两个模块协同工作，生成一批可能存在目标物体的矩形区域，这批矩形区域被推送到中间层proposallayer，该层综合了之前计算出的所有结果，推算出精准的矩形区域，并陆续传播给后面的网络结构；

s5-4、将s5-3阶段所提取出的矩形区域和s5-1阶段所获得的数据，输入到另一个模块roipooling，该模块将不规则的矩形区域统一化，该模块可以保证即使输入矩形的大小不同，该模块输出的具有相同的大小；

s5-5、将s5-4阶段所获得的结果输入到全连接网络并以softmax的形式输出，完成深度学习神经网络的搭建，并得到最终预测结果。

在s1阶段，通过手机拍摄照片或者从网络上下载图像的方式采集带有真实火车票的图像，所采集图像中火车票应当占据超过图像面积的80％。

在s2阶段，利用github上的开源工具labelimg，对s1阶段采集图像中所有的火车票进行标注，获得用于标注火车票位置的xml文件。

在s4阶段，划分为训练集使用的图像数量占据所采集图像总数的60％以上，划分为验证集的图像数量等于划分为测试集的图像数量。

具体的，数据增广的方式包括但不限于图像的缩放、图像的旋转、图像的模糊、高斯噪声与椒盐噪声的混入、图像背景填充、图像的仿射变换和图像的灰度化与二值化。

具体的，对采集图像进行数据增广时，在数据增广方式选用图像背景填充的基础上，将s1阶段采集的所有图像以不同大小、不同旋转角度、不同模糊程度嵌入到背景图当中。

具体的，图像背景填充时，背景可以采用真实生活中的图片或桌面壁纸一类背景复杂的图像。

具体的，在s3阶段，具体利用opencv计算机视觉库中的图像变换api，编写用于数据增广的脚本，将数据集扩展到10万张图像左右。

本发明的一种利用深度学习技术识别火车票的方法，与现有技术相比具有的有益效果是：

1)本发明通过采集带有真实火车票的图像，并在采集图像中标注火车票位置，以faster-rcnn为技术核心，进行深度学习神经网络的搭建，实现火车票的自动识别，无需人工检票，可以提高检票效率，避免伪票乘车，同时，还可以提升各大交通枢纽的服务水平；

2)本发明训练得到的最优网络模型可以部署于车站验票口位置，由验票摄像头扫描火车票，并进一步由最优网络模型进行火车票的识别，实现自动快速验票，有效提升客流吞吐量。

附图说明

附图1是本发明的方法流程示意图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例一：

本实施例提出一种利用深度学习技术识别火车票的方法，结合附图1，该方法的实现过程包括：

s1、采集带有真实火车票的图像；

s2、以voc数据集的格式为标准，标注出s1阶段采集图像中所有的火车票并生成xml文件；

s3、利用计算机视觉技术，对s1阶段采集图像进行预处理和数据增广，同时，对标注文件也做出对应变换；

s4、将s2阶段标注完成的所有图像划分为训练集、验证集、测试集；

s5、基于keras开源框架，以faster-rcnn为技术核心，搭建深度学习神经网络；

s6、将s3阶段获得的增广数据送入s5阶段搭建的深度学习神经网络进行大规模训练，直到深度学习神经网络的输出结果与s2阶段标注数据具有较高的匹配度，将该深度学习神经网络作为最优网络模型输出；

s7、将最优网络模型部署于车站验票口位置，验票摄像头扫描火车票并由最优网络模型进行火车票的识别，实现自动验票。

在s5阶段，搭建深度学习神经网络的具体操作内容包括：

s5-1、以vgg16深度卷积网络为特征提取模块，对s1阶段采集图像进行特征提取；

s5-2、提取得到的特征将被一层3x3卷积核大小的卷积网络处理，并将结果正向传播给rpn，rpn由两个模块所组成，分别用于目标类别检测和目标位置检测，其中目标类别检测器用于判断某个区域内是否可能包含目标物体，目标位置检测器用于目标位置矩形框的精细修正；

s5-3、rpn的两个模块协同工作，生成一批可能存在目标物体的矩形区域，这批矩形区域被推送到中间层proposallayer，该层综合了之前计算出的所有结果，推算出精准的矩形区域，并陆续传播给后面的网络结构；

s5-4、将s5-3阶段所提取出的矩形区域和s5-1阶段所获得的数据，输入到另一个模块roipooling，该模块将不规则的矩形区域统一化，该模块可以保证即使输入矩形的大小不同，该模块输出的具有相同的大小；

s5-5、将s5-4阶段所获得的结果输入到全连接网络并以softmax的形式输出，完成深度学习神经网络的搭建，并得到最终预测结果。

在s1阶段，通过手机拍摄照片或者从网络上下载图像的方式采集带有真实火车票的图像，所采集图像中火车票应当占据超过图像面积的80％。

在s2阶段，利用github上的开源工具labelimg，对s1阶段采集图像中所有的火车票进行标注，获得用于标注火车票位置的xml文件。

在s4阶段，划分为训练集使用的图像数量占据所采集图像总数的60％以上，划分

为验证集的图像数量等于划分为测试集的图像数量。

在s3阶段，数据增广的方式包括但不限于图像的缩放、图像的旋转、图像的模糊、高斯噪声与椒盐噪声的混入、图像背景填充、图像的仿射变换和图像的灰度化与二值化。

在本实施例中，对采集图像进行数据增广时，在数据增广方式选用图像背景填充的基础上，将s1阶段采集的所有图像以不同大小、不同旋转角度、不同模糊程度嵌入到背景图当中。

在本实施例中，图像背景填充时，背景可以采用真实生活中的图片或桌面壁纸一类背景复杂的图像。

在本实施例的s3阶段，具体利用opencv计算机视觉库中的图像变换api，编写用于数据增广的脚本，将数据集扩展到10万张图像左右。

本实施例通过采集带有真实火车票的图像，并在采集图像中标注火车票位置，以faster-rcnn为技术核心，进行深度学习神经网络的搭建，实现火车票的自动识别，无需人工检票，可以提高检票效率，避免伪票乘车，同时，还可以提升各大交通枢纽的服务水平；

综上可知，本实施例训练得到的最优网络模型可以部署于车站验票口位置，由验票摄像头扫描火车票，并进一步由最优网络模型进行火车票的识别，实现自动快速验票，有效提升客流吞吐量。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。