电动自行车车牌识别系统及方法与流程

本发明涉及车牌识别技术领域，特别涉及电动自行车车牌识别系统及方法。

背景技术：

电动自行车在给人们出行带来便利的同时,也给交通秩序和安全带来了巨大挑战。如何治理和规范电动自行车,是牵涉亿万百姓人身权和财产权的法律课题。电动自行车治理最核心和关键的问题是电动自行车车牌识别。电动自行车车牌识别后，通过一些后续处理手段可以实现电动自行车综合治理，交通违法闯机动车道、闯红灯、闯隧道和高架桥、逆行和超速等违法行为，对于维护交通安全和城市治安自动化管理有着现实的意义。

在大数据时代，非结构数据(电动自行车视频抓拍图片)如何快速高效地处理图片化、形体化的信源，使之通过识别转化为可编辑的文本信息和特征数据，方便数据库的采集、管理、分析和决策，成为摆在城市电动自行车治理面前的共同难题。大数据开启了一次重大的时代转型，面对海量的电动自行车车牌识别数据，如何高效分析与处理数据，提取出用户需要的信息是一个巨大的挑战，所以有必要对这些问题进行解决。

技术实现要素：

本发明的目的是提供一种电动自行车车牌识别方法，所要解决的技术问题是：如何高效分析与处理数据、快速及精准识别自行车车牌的电动自行车车牌识别系统及方法。

本发明解决上述技术问题的技术方案如下：电动自行车车牌识别方法，包括以下步骤：

视频抓拍机对路段或路口处运行的电动自行车进行监控，当电动自行车运行过程中出现违法违规行为，则对电动自行车进行抓拍，生成抓拍图片信息传输通过网关传输至传输至kafka模块；

kafka模块将抓拍图片信息传输至mysql数据库进行存储，还将抓拍图片信息传输至数据处理模块；spark模块通过sparkstreaming对kafka模块的抓拍图片信息进行批量消费和处理，通过抓拍图片信息建立模型训练样本数据；将模型训练样本数据传输至数据处理模块；

所述数据处理模块利用模型训练样本数据对fasterr-cnn模型和fcn模型进行训练，将抓拍图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的抓拍图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型对抓拍图片信息进行文字识别，获取车牌信息。

本发明的有益效果是：实现了大数据的实时处理，结合电动自行车违法定位等信息，同时支持多车牌同时识别的功能；提升文字识别准确率，充分利用海量标注数据，提供高质量的识别结果，能高效分析与处理数据、快速及精准识别自行车车牌。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述数据处理模块还依据车牌信息查询车辆信息和用户信息，将车牌信息、车辆信息和用户信息关联并更新到mysql数据库及云数据库；所述数据处理模块依据车牌信息、车辆信息和用户信息生成违章信息传输至违章处理平台。

进一步，所述视频抓拍机对抓拍图片信息内的图片进行车牌识别，生成已识别出车牌的第一图片信息和未识别出车牌的第二图片信息。

采用上述进一步方案的有益效果是：视频抓拍机对抓拍图片信息进行初步车牌识别，能有效加快后续的数据处理，快速及精准识别自行车车牌。

进一步，所述数据处理模块分离出抓拍图片信息中已识别出车牌的第一图片信息和未识别出车牌的第二图片信息；依据第一图片信息中的第一车牌信息查询电动自行车的第一车辆信息和第一用户信息，并将第一车牌信息、第一车辆信息和第一用户信息关联并更新到mysql数据库及云数据库。

进一步，所述数据处理模块将第二图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的第二图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型进行文字识别，获取第二图片信息中的第二车牌信息；

所述数据处理模块还依据第二车牌信息查询第二车辆信息和第二用户信息，将第二车牌信息、第二车辆信息和第二用户信息关联并更新到mysql数据库及云数据库。

采用上述进一步方案的有益效果是：保证回归框的定位精度，同时提升运算速度。

进一步，所述fasterr-cnn模型输入第二图片信息，利用selectivesearch算法在第二图片信息中的图像上，从上到下提取多个建议窗口；将第二图片信息中的图像输入cnn算法进行特征提取；把建议窗口映射到cnn算法的最后一层卷积featuremap上；通过roipooling层使每个建议窗口生成固定尺寸的featuremap；利用softmaxloss(探测分类概率)和smoothl1loss(探测边框回归)对分类概率和边框回归联合训练，获取定位检测信息。

采用上述进一步方案的有益效果是：实现了全局特征和局部特征的联合，进而达到了电动自行车车牌图片由粗到精的像素级别标注。

上述实施例中，所述fasterr-cnn模型包括rpn(候选区域生成网络)和rcn(区域分类网络)；rpn通过监督学习的方法提取候选区域，获取无标签的区域和粗定位检测信息；rcn进行候选区域的分类和位置回归，获取定位检测信息。

采用上述进一步方案的有益效果是：能进一步快速及精准识别自行车车牌。

上述实施例中，所述fasterr-cnn模型在训练时，所述rpn和rcn通过端到端的方式联合优化。

进一步，所述识别模型利用基于双向长短期记忆神经网络的递归神经网络作为序列学习器。

采用上述进一步方案的有益效果是：在多种场景的文字识别上都有较大幅度的性能提升。

本发明解决上述技术问题的另一技术方案如下：电动自行车车牌识别系统，包括视频抓拍机、kafka模块、mysql数据库、spark模块、数据处理模块和违章处理平台；

所述视频抓拍机对路段或路口处运行的电动自行车进行监控，当电动自行车运行过程中出现违法违规行为，则对电动自行车进行抓拍，生成抓拍图片信息传输通过网关传输至传输至kafka模块；

所述kafka模块将抓拍图片信息传输至mysql数据库进行存储，还将抓拍图片信息传输至数据处理模块；spark模块通过sparkstreaming对kafka模块的抓拍图片信息进行批量消费和处理，通过抓拍图片信息建立模型训练样本数据；将模型训练样本数据传输至数据处理模块；

所述数据处理模块利用模型训练样本数据对fasterr-cnn模型和fcn模型进行训练，将抓拍图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的抓拍图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型对抓拍图片信息进行文字识别，获取车牌信息。

本发明的有益效果是：实现了大数据的实时处理，结合电动自行车违法定位等信息，同时支持多车牌同时识别的功能；提升文字识别准确率，充分利用海量标注数据，提供高质量的识别结果，能高效分析与处理数据、快速及精准识别自行车车牌。

附图说明

图1为本发明电动自行车车牌识别方法的流程图；

图2为本发明电动自行车车牌识别系统的模块框图。

附图中，各标号所代表的部件列表如下：

1、视频抓拍机，2、kafka模块，3、网关，4、mysql数据库，5、spark模块，6、数据处理模块，7、违章处理平台。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1和图2所示，电动自行车车牌识别方法，包括以下步骤：

视频抓拍机1对路段或路口处运行的电动自行车进行监控，当电动自行车运行过程中出现违法违规行为，则对电动自行车进行抓拍，生成抓拍图片信息传输通过网关3传输至传输至kafka模块2；

kafka模块2将抓拍图片信息传输至mysql数据库4进行存储，还将抓拍图片信息传输至数据处理模块6；spark模块5通过sparkstreaming对kafka模块2的抓拍图片信息进行批量消费和处理，通过抓拍图片信息建立模型训练样本数据；将模型训练样本数据传输至数据处理模块6；

所述数据处理模块6利用模型训练样本数据对fasterr-cnn模型和fcn模型进行训练，将抓拍图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的抓拍图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型对抓拍图片信息进行文字识别，获取车牌信息。

本实施例应用先进的计算机视觉算法，高性能dsp设备，实现了大数据的实时处理，结合电动自行车违法定位等信息，同时支持多车牌同时识别的功能。

通过训练样本数据对fasterr-cnn模型和fcn模型进行训练，以提升文字识别准确率，充分利用海量标注数据，提供高质量的识别结果；高度定制化：针对众多具体的电动自行车视频抓拍图片光学字符识别应用场景，进行了大量的模型优化。

基于全卷积网络的文字检测多尺度全卷积网络通过对多个阶段的反卷积结果的融合，实现了全局特征和局部特征的联合，进而达到了由粗到精的像素级别标注，适应于电动自行车车牌这种中文文字比较小的场景。

本实施例能高效分析与处理数据、快速及精准识别自行车车牌。

上述实施例中，所述数据处理模块6还依据车牌信息查询车辆信息和用户信息，将车牌信息、车辆信息和用户信息关联并更新到mysql数据库4及云数据库；所述数据处理模块6依据车牌信息、车辆信息和用户信息生成违章信息传输至违章处理平台7。

上述实施例中，所述视频抓拍机1对抓拍图片信息内的图片进行车牌识别，生成已识别出车牌的第一图片信息和未识别出车牌的第二图片信息。

视频抓拍机1对抓拍图片信息进行初步车牌识别，能将已识别出车牌的第一图片信息和未识别出车牌的第二图片信息进行区分，能有效加快后续的数据处理，快速及精准识别自行车车牌。

上述实施例中，所述数据处理模块6分离出抓拍图片信息中已识别出车牌的第一图片信息和未识别出车牌的第二图片信息；依据第一图片信息中的第一车牌信息查询电动自行车的第一车辆信息和第一用户信息，并将第一车牌信息、第一车辆信息和第一用户信息关联并更新到mysql数据库4及云数据库。

上述实施例中，所述数据处理模块6将第二图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的第二图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型进行文字识别，获取第二图片信息中的第二车牌信息；

所述数据处理模块6还依据第二车牌信息查询第二车辆信息和第二用户信息，将第二车牌信息、第二车辆信息和第二用户信息关联并更新到mysql数据库4及云数据库。

通过将文字定位转换为对特定关键字目标的检测问题，利用fasterr-cnn模型进行检测，为了保证回归框的定位精度同时提升运算速度，对原有框架和训练方式进行了微调:关键字目标的类内变化有限，裁剪zf模型的网络结构，将5层卷积减少到3层；fasterr-cnn模型训练过程中提高正样本的重叠率阈值，并根据关键字或关键条目的宽高比范围来适配rpn层anchor的宽高比。本实施例保证回归框的定位精度，同时提升运算速度。

上述实施例中，所述fasterr-cnn模型输入第二图片信息，利用selectivesearch算法在第二图片信息中的图像上，从上到下提取多个建议窗口；将第二图片信息中的图像输入cnn算法进行特征提取；把建议窗口映射到cnn算法的最后一层卷积featuremap上；通过roipooling层使每个建议窗口生成固定尺寸的featuremap；利用softmaxloss(探测分类概率)和smoothl1loss(探测边框回归)对分类概率和边框回归联合训练，获取定位检测信息。

本实施例实现电动自行车车牌足够精细的定位，利用语义分割中常用的fcn模型全卷积网络来进行像素级别的文字/背景标注；多尺度全卷积网络通过对多个阶段的反卷积结果的融合，实现了全局特征和局部特征的联合，进而达到了电动自行车车牌图片由粗到精的像素级别标注。

上述实施例中，所述fasterr-cnn模型包括rpn候选区域生成网络和rcn区域分类网络；rpn通过监督学习的方法提取候选区域，获取无标签的区域和粗定位检测信息；rcn进行候选区域的分类和位置回归，获取定位检测信息。

rcn引入类别概念，同时进行候选区域的分类和位置回归，给出定位检测信息，能进一步快速及精准识别自行车车牌。

上述实施例中，所述fasterr-cnn模型在训练时，所述rpn和rcn通过端到端的方式联合优化。

上述实施例中，所述识别模型利用基于双向长短期记忆神经网络的递归神经网络作为序列学习器。所述识别模型利用序列学习器来有效建模序列内部关系；为了引入更有效的输入特征，采用卷积神经网络模型来进行特征提取，以描述图像的高层语义；此外在损失函数的设计方面，考虑到输出序列与输入特征帧序列无法对齐，使用结构化的loss序列对序列的损失，另外引入了背景类别以吸收相邻字符的混淆性。整体网络结构分为三层：

为了有效控制字符切分和识别后处理的错误传播效应，实现端到端文字识别的可训练性，采用序列学习框架的识别模型。所述识别模型整体分为三层：卷积层，递归层和翻译层；其中卷积层提特征，递归层既学习特征序列中字符特征的先后关系，又学习字符的先后关系，翻译层实现对时间序列分类结果的解码。

由于序列学习框架对训练样本的数量和分布要求较高，采用了真实样本+合成样本的方式；真实样本以电动自行车视频抓拍图片为主，合成样本则考虑了字体、形变、模糊、噪声、背景等因素；基于上述序列学习框架和训练数据，在多种场景的文字识别上都有较大幅度的性能提升。

如图1和图2所示，电动自行车车牌识别系统，包括视频抓拍机1、kafka模块2、mysql数据库4、spark模块5、数据处理模块6和违章处理平台7；

所述视频抓拍机1对路段或路口处运行的电动自行车进行监控，当电动自行车运行过程中出现违法违规行为，则对电动自行车进行抓拍，生成抓拍图片信息传输通过网关3传输至传输至kafka模块2；

所述kafka模块2将抓拍图片信息传输至mysql数据库4进行存储，还将抓拍图片信息传输至数据处理模块6；spark模块5通过sparkstreaming对kafka模块2的抓拍图片信息进行批量消费和处理，通过抓拍图片信息建立模型训练样本数据；将模型训练样本数据传输至数据处理模块6；

所述数据处理模块6利用模型训练样本数据对fasterr-cnn模型和fcn模型进行训练，将抓拍图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的抓拍图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型对抓拍图片信息进行文字识别，获取车牌信息。

本实施例应用先进的计算机视觉算法，高性能dsp设备，实现了大数据的实时处理，结合电动自行车违法定位等信息，同时支持多车牌同时识别的功能。

通过训练样本数据对fasterr-cnn模型和fcn模型进行训练，以提升文字识别准确率，充分利用海量标注数据，提供高质量的识别结果；高度定制化：针对众多具体的电动自行车视频抓拍图片光学字符识别应用场景，进行了大量的模型优化。

基于全卷积网络的文字检测多尺度全卷积网络通过对多个阶段的反卷积结果的融合，实现了全局特征和局部特征的联合，进而达到了由粗到精的像素级别标注，适应于电动自行车车牌这种中文文字比较小的场景。

本实施例能高效分析与处理数据、快速及精准识别自行车车牌。

上述实施例中，所述数据处理模块6还依据车牌信息查询车辆信息和用户信息，将车牌信息、车辆信息和用户信息关联并更新到mysql数据库4及云数据库；所述数据处理模块6依据车牌信息、车辆信息和用户信息生成违章信息传输至违章处理平台7。

上述实施例中，所述视频抓拍机1对抓拍图片信息内的图片进行车牌识别，生成已识别出车牌的第一图片信息和未识别出车牌的第二图片信息。

视频抓拍机1对抓拍图片信息进行初步车牌识别，能将已识别出车牌的第一图片信息和未识别出车牌的第二图片信息进行区分，能有效加快后续的数据处理，快速及精准识别自行车车牌。

上述实施例中，所述数据处理模块6分离出抓拍图片信息中已识别出车牌的第一图片信息和未识别出车牌的第二图片信息；依据第一图片信息中的第一车牌信息查询电动自行车的第一车辆信息和第一用户信息，并将第一车牌信息、第一车辆信息和第一用户信息关联并更新到mysql数据库4及云数据库。

上述实施例中，所述数据处理模块6将第二图片信息传输至训练后的fasterr-cnn模型中进行车牌文字初步定位检测，再利用训练后的fcn模型对车牌文字初步定位的第二图片信息进行再次定位，获取定位检测信息；所述fcn模型将定位检测信息传输至基于序列学习的识别模型，利用识别模型进行文字识别，获取第二图片信息中的第二车牌信息；

所述数据处理模块6还依据第二车牌信息查询第二车辆信息和第二用户信息，将第二车牌信息、第二车辆信息和第二用户信息关联并更新到mysql数据库4及云数据库。

通过将文字定位转换为对特定关键字目标的检测问题，利用fasterr-cnn模型进行检测，为了保证回归框的定位精度同时提升运算速度，对原有框架和训练方式进行了微调:关键字目标的类内变化有限，裁剪zf模型的网络结构，将5层卷积减少到3层；fasterr-cnn模型训练过程中提高正样本的重叠率阈值，并根据关键字或关键条目的宽高比范围来适配rpn层anchor的宽高比。本实施例保证回归框的定位精度，同时提升运算速度。

上述实施例中，所述fasterr-cnn模型输入第二图片信息，利用selectivesearch算法在第二图片信息中的图像上，从上到下提取多个建议窗口；将第二图片信息中的图像输入cnn算法进行特征提取；把建议窗口映射到cnn算法的最后一层卷积featuremap上；通过roipooling层使每个建议窗口生成固定尺寸的featuremap；利用softmaxloss(探测分类概率)和smoothl1loss(探测边框回归)对分类概率和边框回归联合训练，获取定位检测信息。

本实施例实现电动自行车车牌足够精细的定位，利用语义分割中常用的fcn模型全卷积网络来进行像素级别的文字/背景标注；多尺度全卷积网络通过对多个阶段的反卷积结果的融合，实现了全局特征和局部特征的联合，进而达到了电动自行车车牌图片由粗到精的像素级别标注。

上述实施例中，所述fasterr-cnn模型包括rpn候选区域生成网络和rcn区域分类网络；rpn通过监督学习的方法提取候选区域，获取无标签的区域和粗定位检测信息；rcn进行候选区域的分类和位置回归，获取定位检测信息。

rcn引入类别概念，同时进行候选区域的分类和位置回归，给出定位检测信息，能进一步快速及精准识别自行车车牌。

上述实施例中，所述fasterr-cnn模型在训练时，所述rpn和rcn通过端到端的方式联合优化。

上述实施例中，所述识别模型利用基于双向长短期记忆神经网络的递归神经网络作为序列学习器。所述识别模型利用序列学习器来有效建模序列内部关系；为了引入更有效的输入特征，采用卷积神经网络模型来进行特征提取，以描述图像的高层语义；此外在损失函数的设计方面，考虑到输出序列与输入特征帧序列无法对齐，使用结构化的loss序列对序列的损失，另外引入了背景类别以吸收相邻字符的混淆性。

为了有效控制字符切分和识别后处理的错误传播效应，实现端到端文字识别的可训练性，采用序列学习框架的识别模型。所述识别模型整体分为三层：卷积层，递归层和翻译层；其中卷积层提特征，递归层既学习特征序列中字符特征的先后关系，又学习字符的先后关系，翻译层实现对时间序列分类结果的解码。

由于序列学习框架对训练样本的数量和分布要求较高，采用了真实样本+合成样本的方式；真实样本以电动自行车视频抓拍图片为主，合成样本则考虑了字体、形变、模糊、噪声、背景等因素；基于上述序列学习框架和训练数据，在多种场景的文字识别上都有较大幅度的性能提升。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。