一种车牌识别方法、装置及系统与流程

本发明涉及图像识别技术领域，特别涉及一种车牌识别方法、装置及系统。

背景技术：

随着经济水平和人民生活水平的不断提高，各大中小城市中车辆不断的增加。与此同时，随之而来的交通问题也越来越备受关注。在交通违法行为识别的过程中，违法车辆车牌的自动、准确识别尤为重要。目前，车牌识别的算法通常采用基于卷积神经网络的算法。其中，快速区域卷积神经网络算法是目前最先进的用于目标检测的深度学习神经网络之一。所述快速区域卷积神经网络由两部分网络构成；一部分用于生成目标可能出现的区域，另一部分用于在所述目标区域对待检测目标进行精确定位并识别。直接使用所述快速区域卷积神经网络算法检测并识别车牌号码，需要再对所述快速区域卷积神经网络输出的每一位车牌号码识别结果进行一系列后处理算法，例如合并重叠面积大的字符识别结果，按照车牌字符位置分布规律对候选字符进行筛选，按照车牌字符种类对候选字符进行筛选等等。最终得到包含多个字符识别结果的车牌完整识别结果。

因此，在发明人开发自动车牌识别的过程中，发现现有技术中至少存在如下问题：

现有技术中获取到完整的车牌识别结果，需要复杂的后处理算法，参数众多，调试复杂。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种车牌识别方法，包括：

获取待检测图像及基于卷积神经网络的目标检测识别模型；

通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像进行车牌识别；

获取所述待检测图像中车牌信息；所述车牌信息包括：车牌字符组的内容及车牌字符组中每个字符的坐标位置。

本发明还提供了一种车牌识别装置，包括：

信息获取单元，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

信息识别单元，用于通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像进行车牌识别；

信息输出单元，用于获取所述待检测图像中车牌信息；所述车牌信息包括：车牌字符组的内容及车牌字符组中每个字符坐标位置。

本发明还提供了一种车牌识别系统，包括：如上所述车牌识别装置。

本发明的技术方案通过基于卷积神经网络的目标检测识别模型对所述待检测图像进行车牌识别；并获取所述待检测图像中车牌信息。由于所述基于卷积神经网络的目标检测识别模型能够学习到车牌字符组坐标位置，从而使得通过所述基于卷积神经网络的目标检测识别模型识别出来的待检测图像中的车牌信息，即包含了车牌中所有字符内容及各个字符的坐标位置。因此通过基于卷积神经网络的目标检测识别模型实现车牌字符的整体识别，大大降低了车牌识别的处理难度，解决了现有技术中传统快速区域卷积神经网络算法应用于车牌识别时需要复杂的后处理算法的问题。

附图说明

图1为本发明实施例提供的一种车牌识别方法流程图；

图2为本发明实施例提供的另一种车牌识别方法流程图；

图3为本发明实施例提供的一种车牌识别装置结构示意图；

图4为本发明实施例提供的一种车牌识别系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1为所示为本发明实施例提供的一种车牌识别方法流程图；该方法包括：

101：获取待检测图像及基于卷积神经网络的目标检测识别模型；

102：通过所述基于卷积神经网络的目标检测识别模型，对所述待检测图像进行车牌识别；

103：获取所述待检测图像中车牌信息；所述车牌信息包括：车牌字符组的内容及车牌字符组中每个字符的坐标位置。

基于以上实施例，以国标中规定的小型汽车号牌的车牌识别为例进行说明本发明技术方案，其他号牌只要具有固定格式，可同理实现；预设标注一定数量的训练样本，每个训练样本包含7个字符的坐标位置，每个字符的坐标位置包含以下四个字段：

{x,y,w,h} (1)

其中，x为车牌中字符外接矩形左上角的横坐标，y为车牌中字符外接矩形左上角的纵坐标，w为车牌中字符的宽度，h为车牌中字符的高度。需注意的是，字符在外接矩形里居中；如图2所示，为本发明实施例提供的另一种车牌识别方法流程图；该方法包括：

201：获取带标注的训练样本、待训练样本图像及配置参数；所述标注的训练样本带有车牌字符组中每个字符的坐标位置。

所述带标注的训练样本中已经标注所述训练样本中字符组中每个字符的坐标位置，字符类型；所述配置参数包括：车牌长宽比、车牌尺度，车牌框位置搜索步长及车牌标准信息；所述标注的训练样本带有车牌字符组中每个字符的坐标位置就是指以上所述国标车牌中七个字符的坐标位置。

还需说明的是，所述标注的训练样本还可以携带有车牌字符组中每个字符的外接矩形的坐标位置。所述字符组的车牌外接矩形是指所述字符组外边框，所述外接矩形也可以通过字符组字符坐标计算获取。

202：根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置；该步骤具体包括：根据所述车牌长宽比、车牌尺度，车牌框位置搜索步长，生成所述待训练样本图像的候选推荐区域；根据车牌标准信息，确定所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置。具体的讲，就是按照预先配置参数，即自定义的车牌尺度和车牌长宽比在所述待训练样本图像上生成候选推荐区域，并根据车牌标准信息，即国标中规定的比例在候选推荐区域上计算7个字符的坐标位置，每个候选推荐区域可以由32维向量描述；其中，4维描述整体七个字符的外接矩形，即以上所述车牌外接矩形，也就是推荐区域的坐标位置，剩下28维描述7个字符各自的坐标位置。

其中，假定以候选推荐区域的左上角为坐标原点，向右为x轴正方向，向下为y轴正方向，则x_i为第i个字符的外接矩形的左上角横坐标，y_i为第i个字符的外接矩形的左上角纵坐标，w_rpn为候选推荐区域的宽，h_rpn为候选推荐区域的高，为国标中第i个字符的外接矩形的宽，为国标中第i个字符的外接矩形的高，为国标中七个字符的外接矩形的宽，为国标中七个字符外接矩形的高，假定以国标中七个字符的外接矩形的左上角为坐标原点，向右为x轴正方向，向下为y轴正方向，则为国标中第i个字符的外接矩形的左上角横坐标，国标中第i个字符的外接矩形的左上角纵坐标。

203：根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本。具体确定正样本与负样本的方法如下：所述候选推荐区域的七个字符坐标位置分别与标注车牌的七个坐标位置的重叠面积比例(按式(6)计算)大于设定的阈值，且七个字符中最大重叠面积比例大于设定的阈值为正样本；不符合上述标准的候选推荐区域为负样本。

其中，表示两个区域的并集的面积，表示两个区域的交集的面积。

需要说明的是，所述正负样本的区分的作用是为了以下候选推荐区域检测器时，让卷积神经网络学习哪些是待检测目标区域，哪些是背景区域；所述候选推荐区域检测器中的卷积神经网络根据所述区分出来的正样本标签1，负样本标签0进行学习训练，以便在车牌识别过程中定位候选推荐区域；所述正样本为待检测目标区域，所述负样本为背景区域。

204：根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置及所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型，即采用快速区域卷积神经网络(fast rcnn)的四步训练法训练获取所述基于卷积神经网络的目标检测识别模型；所述基于卷积神经网络的目标检测识别模型具体包括：候选推荐区域检测器和字符识别分类器；具体获取过程如下：

根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置及所述待训练样本图像的候选推荐区域的样本类型，获取候选推荐区域检测器；

根据所述候选推荐区域检测器输出的所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置及带标注的训练样本中标注的各个字符类别及坐标位置，获取字符识别分类器。

205：获取待检测图像及基于卷积神经网络的目标检测识别模型；所述基于卷积神经网络的目标检测识别模型包括：候选推荐区域检测器和字符识别分类器。

206：通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像进行车牌识别；该步骤具体包括：通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的候选推荐区域；所述候选推荐区域携带有车牌字符组中每个字符的坐标位置；在所述待检测图像的候选推荐区域内，进行车牌识别，获取所述车牌字符组的内容。具体实现过程如下：

通过所述候选推荐区域检测器获得待检测图像的候选推荐区域及所述候选推荐区域中七位字符的坐标位置，通过所述字符识别分类器对所述候选推荐区域中七位字符坐标位置中的字符进行一一识别，判断各个字符类型并精确定位字符位置。

207：获取所述待检测图像中车牌信息；所述车牌信息包括：车牌字符组的内容及车牌字符组中每个字符的坐标位置。该步骤具体包括：获取所述待检测图像中车牌字符组的内容及车牌字符组中每个字符的坐标位置；按照所述车牌字符组中每个字符的坐标位置，将所述车牌字符组的内容同时输出。具体的讲，就是将所述候选推荐区域检测器输出的所述候选推荐区域中七位字符作为一组及所述字符识别分类器识别出来的七个字符类型，将最终识别出来的所述字符内容及其对应的坐标位置整体输出。

如图3所示，为本发明实施例提供的一种车牌识别装置；该装置包括：

信息获取单元301，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

信息识别单元302，用于通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像进行车牌识别；

信息输出单元303，用于获取所述待检测图像中车牌信息；所述车牌信息包括：车牌字符组的内容及车牌字符组中每个字符坐标位置。

需要说明的是，该装置还包括：

样本获取单元，用于获取带标注的训练样本、待训练样本图像及配置参数，所述标注的训练样本带有车牌字符组中每个字符的坐标位置；

区域位置确定单元，用于根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置；所述配置参数包括：车牌长宽比、车牌尺度，车牌框位置搜索步长及车牌标准信息；所述区域位置确定单元，具体用于根据所述车牌长宽比、车牌尺度，车牌框位置搜索步长，生成所述待训练样本图像的候选推荐区域；根据车牌标准信息，确定所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置；

样本类型确定单元，用于根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

目标检测模型获取单元，用于根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置及所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型；

所述基于卷积神经网络的目标检测识别模型包括：候选推荐区域检测器和字符识别分类器；所述目标检测模型获取单元，具体用于根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置及所述待训练样本图像的候选推荐区域的样本类型，获取候选推荐区域检测器；根据所述候选推荐区域检测器输出的所述待训练样本图像的候选推荐区域中车牌字符组中每个字符的坐标位置及带标注的训练样本中标注的各个字符类别及坐标位置，获取字符识别分类器。

还需要说明的是，所述信息识别单元包括：

区域确定子单元，用于通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的候选推荐区域；所述候选推荐区域携带有车牌字符组中每个字符的坐标位置；

车牌信息识别子单元，用于在所述待检测图像的候选推荐区域内，进行车牌识别，获取所述车牌字符组的内容；

所述信息输出单元，包括：

信息获取子单元，用于获取所述待检测图像中车牌字符组的内容及车牌字符组中每个字符的坐标位置；

信息输出子单元，用于按照所述车牌字符组的内容中每个字符的坐标位置，将所述车牌字符组的内容同时输出。

如图4所示，为本发明实施例提供的一种车牌识别系统；该系统包括：如上所述车牌识别装置。

本发明技术方案通过描述整个车牌的区域位置，且描述了车牌上七个字符的区域位置。相应的，通过增加区域推荐网络的输出维度，达到同时提取同一个车牌上的七个字符的区域位置的目的，通过本发明所训练的基于卷积神经网络的目标检测识别模型可以同时输出全部七个字符的识别结果，避免了现有技术中复杂的后处理算法流程。

本发明通过将同一个车牌上的七个字符当做一组字符来训练的方法，让卷积神经网络不仅学会了字符的标签，也同时学会了字符之间的位置关系。而现有技术，需要人为设定参数来描述字符的位置关系，且需要过滤冗余的字符检测结果并组成合理的车牌识别结果，算法复杂度高，参数调试困难，且识别率低。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。