一种车牌检测方法及装置与流程

本申请涉及图像模式识别、视频目标检测与跟踪、智能视频监控或智能交通等技术领域，特别涉及一种车牌检测方法及装置。

背景技术：

随着汽车保有量的快速增长，如何对车辆进行高效地监管成了当前面临的最大难题。车牌是车辆的关键标识，在高速公路、城市公路、各个马路闸口都离不开车牌识别系统，在未来的全自动化管制中车牌识别无疑是最重要的一环。

而车牌识别中最重要的一环是车牌检测，车牌检测的结果会影响到最终的识别结果。通常的检测方法使用传统的车牌识别方法，例如，局部二值模式(localbinarypattern，lbp)级联分类网络、支持向量机(supportvectormachine，svm)等。上述传统的车辆检测算法在一些背景复杂环境下车牌检测的鲁棒性较低。

技术实现要素：

本申请实施例提供一种车牌检测方法及装置，用于提高车牌检测的准确性。

第一方面，本申请提供了一种车牌检测方法，包括：获取待识别图像，其中，所述待识别图像中包括至少一辆待识别车辆；利用第一检测模型对所述待识别图像进行目标检测，获得所述至少一辆待识别车辆的车头/车尾的第一子图像；利用第二检测模型对所述第一子图像进行目标检测，获得所述至少一辆待识别车辆的车牌的第二子图像；利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像，以利用所述第三子图像进行字符识别。

在本申请实施例中，终端设备在获取待识别图像后，则对待识别图像进行三级目标检测。即先检测出待识别车辆的车头/车尾，再根据车头/车尾的第一子图像检测出车牌，最后根据车牌的第二子图像检测出车牌字符图像，层层缩小检测范围，也就是先检测大目标，再在大目标区域检测小目标，将小目标的检测框限制在一个容易检测的局部区域，从而能够有效去除复杂的背景干扰，提高检测的准确性，进而能够提高后续字符识别的准确性。

在一个可能的设计中，所述方法还包括：

利用第一训练样本集对第一检测网络进行训练，获得所述第一检测模型；所述第一训练样本集对应至少两种光照强度和/或倾斜角度；

利用第二训练样本集对第二检测网络进行训练，获得所述第二检测模型；所述第二训练样本集对应至少两种光照强度和/或倾斜角度；

利用第三训练样本集对第三检测网络进行训练，获得所述第三检测模型；所述第三训练样本集对应至少两种光照强度和/或倾斜角度；

其中，所述第一检测网络、所述第二检测网络及所述第三检测网络均包括候选区域提醒rpn层和分类与回归层。

在本申请实施例中，第一训练样本集、第二训练样本集及第三训练样本集均对应至少两种光照强度和/或倾斜角度，从而能够降低因光照强度和/或倾斜角度对目标检测的影响，以提高目标检测的准确性。

在一个可能的设计中，所述第一检测网络的第一rpn层、所述第二检测网络的第二rpn层及所述第三检测网络的第三rpn层中卷积层的卷积核的尺寸依次变小。

在本申请实施例中，第一rpn层的卷积层的卷积核尺寸大于第二rpn层的卷积层的卷积核的尺寸，第二rpn层的卷积层的卷积核的尺寸大于第三rpn层的卷积层的卷积核的尺寸，在能够保证提取更多分辨率的特征图的同时，减少计算量。

在一个可能的设计中，利用第一训练样本集对第一检测网络进行训练，得到所述第一检测模型，包括：

对所述第一训练样本集中的数据进行边缘检测处理，获得处理后的第一训练样本集；

利用所述处理后的第一训练样本集对所述第一检测网络进行训练，得到所述第一检测模型。

在本申请实施例中，在对第一检测网络进行训练之前，还要对第一训练样本集中的数据进行边缘检测，以突出第一训练样本集中图像数据的特征，从而能够更好的训练第一检测网络。

在一个可能的设计中，利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像，包括：

对所述第二子图像进行倾斜角度的校正，得到校正后的第二子图像；

利用所述第三检测模型对所述校正后的第二子图像进行目标检测，获得所述第三子图像。

在本申请实施例中，在对第二子图像进行目标检测之前，还对第二子图像进行倾斜角度的校正，从而能够避免倾斜角度对目标检测的影响，进而能够提高目标检测的准确率。

第二方面，本申请实施例还提供一种车牌检测装置，包括：

获取模块，用于获取待识别图像，其中，所述待识别图像中包括至少一辆待识别车辆；

第一检测模块，用于利用第一检测模型对所述待识别图像进行目标检测，获得所述至少一辆待识别车辆的车头/车尾的第一子图像；

第二检测模块，用于利用第二检测模型对所述第一子图像进行目标检测，获得所述至少一辆待识别车辆的车牌的第二子图像；

第三检测模块，用于利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像，以利用所述第三子图像进行字符识别。

在一个可能的设计中，所述装置还包括：

第一训练模块，利用第一训练样本集对第一检测网络进行训练，获得所述第一检测模型；所述第一训练样本集对应至少两种光照强度和/或倾斜角度；

第二训练模块，用于利用第二训练样本集对第二检测网络进行训练，获得所述第二检测模型；所述第二训练样本集对应至少两种光照强度和/或倾斜角度；

第三训练模块，用于利用第三训练样本集对第三检测网络进行训练，获得所述第三检测模型；所述第三训练样本集对应至少两种光照强度和/或倾斜角度；

其中，所述第一检测网络、所述第二检测网络及所述第三检测网络均包括候选区域提醒rpn层和分类与回归层。

在一个可能的设计中，所述第一检测网络的第一rpn层、所述第二检测网络的第二rpn层及所述第三检测网络的第三rpn层中卷积层的卷积核的尺寸依次减小。

在一个可能的设计中，在所述第一训练模块用于利用第一训练样本集对第一检测网络进行训练，得到所述第一检测模型时，具体用于：

对所述第一训练样本集中的数据进行边缘检测处理，获得处理后的第一训练样本集；

利用所述处理后的第一训练样本集对所述第一检测网络进行训练，得到所述第一检测模型。

在一个可能的设计中，在所述第三检测模块利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像时，具体用于：

对所述第二子图像进行倾斜角度的校正，得到校正后的第二子图像；

利用所述第三检测模型对所述校正后的第二子图像进行目标检测，获得所述第三子图像。

第三方面，本申请还提供一种字符识别装置，包括：

存储器，存储有指令；

处理器，用于读取所述存储器中存储的指令，执行如第一方面及第一方面的任意一种设计的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

第六方面，本申请提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面中的方法。

在一个可能的设计中，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的方法。

在本申请实施例中，终端设备在获取待识别图像后，则对待识别图像进行三级目标检测。即先检测出待识别车辆的车头/车尾，再根据车头/车尾的第一子图像检测出车牌，最后根据车牌的第二子图像检测出车牌字符图像，层层缩小检测范围，也就是先检测大目标，再在大目标区域检测小目标，将小目标的检测框限制在一个容易检测的局部区域，从而能够有效去除复杂的背景干扰，提高检测的准确性，进而能够提高后续字符识别的准确性。

附图说明

图1为本申请提供的一种应用场景的示意图；

图2为本申请提供的一种车牌检测方法的流程示意图；

图3为本申请提供的三级目标检测的流程示意图；

图4为本申请对第二子图像进行第一次校正的示意图；

图5为本申请对第二子图像进行第二次校正的示意图；

图6为本申请提供的车牌检测方法的完整流程示意图；

图7为本申请提供的车牌检测装置的结构示意图；

图8为本申请提供的另一车牌检测装置的结构示意图；

图9为本申请提供的车牌检测装置是服务器时的结构示意图；

图10为本申请提供的车牌检测装置是终端设备时的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

以下，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。且在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

本申请实施例提供的车牌检测方法可以应用于终端设备和服务器交互的实施环境中。当本申请提供的车牌检测方法应用于终端设备和服务器交互的实施环境中时，请参见图1，该实施环境包括：包括服务器、与服务器通过网络相连的终端设备。其中，终端设备可以通过无线网络例如无线保真(wirelessfidelity，wifi)、第三代移动通信技术(the3thgenernation，3g)、第四代移动通信技术(the4^thgenernation，4g)、第五代移动通信技术(the5^thgenernation，5g)与服务器进行通信，或者通过有线网络与服务器进行通信。终端设备可以是独立的具有图像采集功能的设备，例如摄像头、枪型摄像机、球形摄像机等，也可以是集成有图像采集功能模块的设备，例如计算机、智能手机、平板电脑等。服务器可以是应用服务器，也可以是万维网(worldwideweb)服务器，在实际应用部署时，该服务器可以是独立的服务器，也可以是由多个服务器组成的集群服务器，服务器还可以是嵌入式智能分析设备，例如嵌入式开发板，算法的运行平台。

在图1所示的应用场景下，终端设备用于将自身录制的视频数据发送至服务器，服务器用于执行本申请实施例提供的车牌检测方法，以在终端设备发送的视频数据包括的各视频帧中进行车牌检测。

此处应理解，本申请实施例提供的车牌检测方法还可以应用于终端设备中。其中，终端设备可以是具有智能分析一体球机(球机是球形摄像机的简称，用于获取视频数据)，也可以是便携式设备，作为示例移动设备，例如手机、平板电脑、笔记本计算机或具备无线通讯功能的可穿戴设备(如智能手表或智能眼镜等)等。该移动设备的示例性实施例包括但不限于搭载或者其它操作系统的设备。

在下面的介绍过程中，以该车牌检测方法应用于终端设备为例进行说明。应理解，该车牌检测方法的执行主体并不仅限于终端设备，还可以应用于服务器等具备图像处理功能的设备。请参见图2，为本申请实施例提供的一种车牌检测方法的流程示意图，该方法的流程描述如下：

s201：获取待识别图像，其中，所述待识别图像中包括至少一辆待识别车辆；

在进行车牌检测时，影响车牌检测准确率的一个重要因素就是图像的清晰度，也就是说在待识别图像的清晰度较低时，可能会存在误检测，继而会导致车牌字符的误识别，从而影响整个车牌识别的准确率。而待识别图像的清晰度往往容易受终端设备在采集图像时所处环境因素的影响，例如光照强度。

在本申请实施例中，为避免光照强度对车牌检测的影响。在终端设备采集视频数据之前，首先获取终端设备当前所处环境的光照强度，例如可以通过终端设备中光线传感器来采集终端设备所处环境的光照强度。在采集到的光照强度大于第一预设光照强度且小于第二预设光照强度时，终端设备便可以进行视频数据的采集，而在采集到的光照强度小于第一预设光照强度或大于第二预设光照强度时，为避免因光照强度的影响，可以通过人工干预，利用终端设备中的光源对所处环境的光照强度进行调整，使得终端设备所处环境的光照强度能够满足视频数据采集的条件。

在终端设备所处环境的光照强度满足条件时，终端设备便开始采集视频数据，在采集到视频数据后，则从视频数据中截取视频帧数据，也就是上述的待识别图像。其中，待识别图像中包括至少一辆待识别车辆。

在获取待识别图像后，终端设备则对待识别图像进行车牌检测。在本申请实施例中，对待识别图像进行三级检测，先检测出待识别车辆的车头/车尾，再根据车头/车尾的第一子图像检测出车牌，最后根据车牌的第二子图像检测出车牌字符图像，层层缩小检测范围，也就是先准确检测大目标，再在大目标区域检测小目标，将小目标的检测框限在最可能、最容易检测的一个局部区域，从而能够有效去除复杂的背景干扰，提高检测的准确性。三级检测具体包括如下步骤：

s202：利用第一检测模型对所述待识别图像进行目标检测，获得所述至少一辆待识别车辆的车头/车尾的第一子图像；

s203：利用第二检测模型对所述第一子图像进行目标检测，获得所述至少一辆待识别车辆的车牌的第二子图像；

s204：利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像，以利用所述第三子图像进行字符识别。

在本申请实施例中，在利用检测模型对待识别图像进行车牌检测之前，首先介绍如何获得各检测模型，具体包括如下步骤：

利用第一训练样本集对第一检测网络进行训练，获得所述第一检测模型；所述第一训练样本集对应至少两种光照强度和/或倾斜角度；

利用第二训练样本集对第二检测网络进行训练，获得所述第二检测模型；所述第二训练样本集对应至少两种光照强度和/或倾斜角度；

利用第三训练样本集对第三检测网络进行训练，获得所述第三检测模型；所述第三训练样本集对应至少两种光照强度和/或倾斜角度；

其中，所述第一检测网络、所述第二检测网络及所述第三检测网络均包括候选区域提醒rpn层和分类与回归层。

此处应理解的是，检测网络模型是检测网络通过不断的学习训练得到的，此处将第一检测模型对应的检测网络称为第一检测网络，将第二检测模型对应的检测网络称为第二检测网络，将第三检测模型对应的检测网络称为第三检测网络。

在本申请实施例中，第一检测网络、第一检测网络和第三检测网络的网络结构可以相同，例如第一检测网络、第二检测网络和第三检测网络均包括候选区域提醒rpn层和分类与回归层，下面则详细进行介绍：

1)卷积层、池化层：用于提取特征图(featuremap)，供后续的候选区域提醒(regionproposalnetworks，rpn)层和全连接层使用。在具体实现过程中，为使得提取的特征图更具有代表性，更能反映数据的内在分布特征，还可以使用残差网络(residualneuralnetwork，resnet)或加速模型性能(performancevsaccuracy)网络替代上述网络。

2)rpn层：包括3层卷积层，对卷积层、池化层输出的特征图进行卷积，得到结果中包括2个分数和4个坐标，再结合预先定义的anchors，经过后处理就可以生成候选框。并利用softmax判断候选框是前景还是背景，从中选取前景候选框(应为物体一般在前景中)，并利用边界框回归(boundingboxregression)调整候选框的位置，从而得到特征子图。

此处需要说明的，rpn层包括的每个卷积层后面会跟一个修正线性单元(rectifiedlinearunit，relu)或带泄露修正线性单元(leakyrelu)，这样能够提高生成候选区域的可靠度和目标检测的准确率，而且能够有效地缩短预测时间。

3)感兴趣区域(regionofinterest，roi)层，将大小尺寸不同的特征子图池化成相同的大小，然后送入后续的全连接层中进行物体类别分类和位置调整回归。

4)分类层，利用roi层输出的特征图，判断特征图的类别，同时再次对boundingbox进行回归，从而得到精确的形状和位置。

在本申请实施例中，由于对第一检测模型、第二检测模型、第三检测模型的检测对象依次是车头/车尾、车牌、车牌字符，不难看出，第一检测模型、第二检测模型及第三检测模型的检测对象的尺寸依次减小。那为了在保证能够提取出更多分辨率的特征图的前提下，减少计算量，可以设置第一检测网络的第一rpn层、第二检测网络的第二rpn层、第三检测网络的第三rpn层包括的卷积层的卷积核的尺寸依次减少，也就是第一rpn层的卷积层的卷积核的尺寸大于第二rpn层的卷积层的卷积核的尺寸，第二rpn层的卷积层的卷积核的尺寸大于第三rpn层的卷积层的卷积核的尺寸。

在此需要说明的是，第一检测网络、第二检测网络及第三检测网络的结构除了是上述的网络结构外，还可以是(singleshotmultiboxdetector，ssd)的网络结构，或者为其它目标检测的网络结构。

在介绍完第一检测网络、第二检测网络、第三检测网络的结构后，下面则接着介绍如何对第一检测网络、第二检测网络、第三检测网络进行训练，已得到第一检测模型、第二检测模型及第三检测模型，由于对第一检测网络、第二检测网络、第三检测网络的训练过程较为相似，那么在下面介绍过程，则以第一检测为例进行详细描述，其它则不再赘述。

首先准备第一训练样本集。在本申请实施例中，第一训练样本集中的训练样本数据的获取方式包括但不限于以下两种，下面分别进行介绍。

方式一

终端设备采集一个周期内每天不同时间段的车辆的车头/车位的图像，该周期可以是半个月、一个星期、五个工作日等。由于是采集一天不同时间段内车辆的车头/车尾图像，所获取的车头/车尾图像数据自然会包含不同光照强度的情况，且在终端设备采集过程中，被采集的车辆是运动变化的，例如前进、左拐、右拐等，因此所采集到的车头/车尾图像数据会包含不同的倾斜角度。

方式二

终端设备采集一张车头/车尾图像，然后利用图像处理技术，例如对该车头/车尾图像的光照强度进行调整，对该车头/车尾图像进行拉伸、缩放、旋转，进而能够得到一组图像，该组图像中就包括了对应不同光照强度的车辆照片以及包括对应不同倾斜角度的照片。

再次，利用获得的第一训练样本集对第一检测网络进行训练

在采集完车头/车尾图像或得到经处理后的车头/车尾图像后，则将获得的车辆图像数据中的75％作为第一检测的训练数据，也就是第一检测网络的训练样本集，将车头/车尾图像数据中剩余的25％作为第一检测网络的测试数据。

在对第一检测网络进行训练之前，先利用图像标注工具labelme对第一训练集样本集中的车头/车尾图像进行标注，也就是在训练样本集中的车头/车尾图像上标注出车头/车尾区域，然后将标注后的车头/车尾图像数据输入第一检测网络中，训练完成得到第一检测模型。

此处应理解，对第二检测网络进行训练的第二训练样本集中的数据是车牌图像数据，对第三检测网络进行训练的第三训练样本集中的数据是车牌字符图像数据。

在本申请实施例中，为提高对第一检测网络的训练效果，在对第一检测网络进行训练之前，还需要对第一训练样本集中的数据进行处理，包括如下步骤：

对所述第一训练样本集中的数据进行边缘检测处理，获得处理后的第一训练样本集；

利用所述处理后的第一训练样本集对所述第一检测网络进行训练，得到所述第一检测模型。

在本申请实施例中，对第一训练样本集中的数据进行边缘检测的方法，作为示例：1，直接对训练样本集中的图像数据进行平滑滤波，之后利用sobel算子计算图像梯度，进行阈值处理，得到图像边缘图；2，marr-hildreth检测算法；3，canny算子算法，先高斯滤波，在求梯度幅值图像，然后非最大值抑制(non-maximumsuppression，nms)，最后双阈值处理加上连接分析进行连接边缘。

在本申请实施例中，同样可以对第二检测网络的第二训练样本集中的数据进行边缘检测处理，对第三检测网络的第三训练样本集中的数据进行边缘检测处理。在得到处理后的第一训练样本集、处理后的第二训练样本集及处理后的第三训练样本集后，则利用第一训练样本集对第一检测网络进行训练，得到第一检测模型，利用处理后的第二训练样本集对第二检测网络进行训练，得到第二检测模型，利用处理后的第三训练样本集对第三检测网络进行训练，得到第三检测模型。

在获得第一检测模型、第二检测模型及第三检测模型之后，则利用第一检测模型、第二检测模型及第三检测模型对待识别图像进行目标检测，三次检测的过程示意图可以参见图3。

在本申请实施例中，终端设备在采集视频数据时，会由于外在因素的影响，例如车牌悬架的角度和位置、车辆的轨迹或终端设备的倾斜，导致从视频数据中获取的视频帧图像倾斜，而当视频帧图像的倾斜角度大于或等于2度时，就会影响后续检测准确度，以及后续的分割准确度和字符识别率。因此，在本申请实施例中，在对车牌的第二子图像进行检测之前，还需要对第二子图像进行倾斜角度的校正，具体包括如下步骤：

对所述第二子图像进行倾斜角度的校正，得到校正后的第二子图像；

利用所述第三检测模型对所述校正后的第二子图像进行目标检测，获得所述第三子图像。

在具体实现过程中，对第二子图像进行矫正主要包括以下步骤：

步骤一、角度检测

在本申请实施例中，采用基于radon变换的方法，搜索构成矩形的直线段及其倾斜角度。其中，randon变换的基本思想是点-线的对偶性。图像变换前在图像空间，变换后在参数空间。具体步骤如下：

对第二子图像进行二值化，然后对二值图像边缘化后进行radon变换，接着计算出radon变换矩阵中的峰值。radon变换后，原图像中的直线段对应radon空间中的点，且线段越长，对应的点亮度越大。所以在radon空间中找峰值点(ρ，θ)，θ即为对应原图像中的直线段的倾斜角度。

步骤二、校正

校正为分两步。首先，把表示车牌区域的四边型的一边规划到与y轴平行，如图4所示。不失一般性，假设旋转中心为(x0，y0)，旋转角度为α，把原图中任一点(x，y)转换到点(xk，yk)，可用下式描述：

其中，顺时针时，α取负值，逆时针时取正值。

然后，再对变换后的新图像操作。根据车牌水平边的斜率对像素位置进行调整，取平行四边形的最低点为基准像素点，以之作一基准水平线，底边上各像素点垂直下沉到基准直线上，图像上其它元素再依次下移，如图5所示。

设最低点a的坐标为(x1，y1)，斜边与基准直线的夹角为β，车牌中的任一像素点(x，y)，校正得到新点的坐标为(x′，y′)，其关系可用下式表示：

这样，经过两次校正，倾斜的图像就转换到正常的位置。

在对第二子图像进行倾斜校正后，得到校正后的第二子图像，然后利用第第三检测模型对校正后的第二子图像进行目标检测，得到第三子图像。在得到第三子图像后，则对第三子图像进行字符分割和字符识别。

在本申请实施例中，对第三子图像进行字符分割的方法可以是基于车牌投影、像素统计特征、或者是实例分割等分割方法，而对分割后的车牌字符进行识别的方法可以是可支持向量机(supportvectormachine，svm)，也可以是基于神经网络，例如卷积神经网络(convolutionalneuralnetworks，cnn)、循环神经网络(recurrentneuralnetwork，rnn)、前馈神经网络以及后馈神经网络中的至少一种。其中，神经网络模型可以是通过样本字符进行训练后得到的模型，该样本字符为标注为实际字符结果的数据。

上面分步骤详细的介绍了本申请提供的车牌检测方法，下面则给出将基于车牌检测方法完整流程图，具体请参见图6。

步骤1：获取待识别图像；其中，待识别图像是从获取的视频数据中提取的，视频数据是终端设备利用图像采集单元采集的包括至少两帧图像的数据。

步骤2：利用第一检测模型对待识别图像进行检测，获得待识别车辆的车头/车尾的第一子图像。

步骤3：利用第二检测模型对第一子图像进行检测，获得待识别车辆的车牌的第二子图像；

步骤4：对第二子图像进行倾斜角度的校正，获得校正后的第二子图像。此处的校正方法在上面已经详细介绍，在此不再赘述。

步骤5：利用第三检测模型对校正后的第二子图像进行检测，获得待识别车辆的车牌字符的第三子图像。

步骤6：对第三子图像字符识别，获得至少一个待识别字符；此处的字符识别方法同上述介绍的字符识别算法，在此不再赘述。

步骤7：输出至少一个待识别字符。

基于同一发明构思，请参见图7，本申请还提供一种车牌检测装置700，包括：

获取模块701，用于获取待识别图像，其中，所述待识别图像中包括至少一辆待识别车辆；

第一检测模块702，用于利用第一检测模型对所述待识别图像进行目标检测，获得所述至少一辆待识别车辆的车头/车尾的第一子图像；

第二检测模块703，用于利用第二检测模型对所述第一子图像进行目标检测，获得所述至少一辆待识别车辆的车牌的第二子图像；

第三检测模块704，用于利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像，以利用所述第三子图像进行字符识别。

在一个可能的设计中，所述装置还包括：

第一训练模块，利用第一训练样本集对第一检测网络进行训练，获得所述第一检测模型；所述第一训练样本集对应至少两种光照强度和/或倾斜角度；

第二训练模块，用于利用第二训练样本集对第二检测网络进行训练，获得所述第二检测模型；所述第二训练样本集对应至少两种光照强度和/或倾斜角度；

第三训练模块，用于利用第三训练样本集对第三检测网络进行训练，获得所述第三检测模型；所述第三训练样本集对应至少两种光照强度和/或倾斜角度；

其中，所述第一检测网络、所述第二检测网络及所述第三检测网络均包括候选区域提醒rpn层和分类与回归层。

在一个可能的设计中，所述第一检测网络的第一rpn层、所述第二检测网络的第二rpn层及所述第三检测网络的第三rpn层中卷积层的卷积核的尺寸依次减小。

在一个可能的设计中，在所述第一训练模块用于利用第一训练样本集对第一检测网络进行训练，得到所述第一检测模型时，具体用于：

对所述第一训练样本集中的数据进行边缘检测处理，获得处理后的第一训练样本集；

利用所述处理后的第一训练样本集对所述第一检测网络进行训练，得到所述第一检测模型。

在一个可能的设计中，在所述第三检测模块704利用第三检测模型对所述第二子图像进行目标检测，获得所述至少一辆待识别车辆的车牌字符的第三子图像时，具体用于：

对所述第二子图像进行倾斜角度的校正，得到校正后的第二子图像；

利用所述第三检测模型对所述校正后的第二子图像进行目标检测，获得所述第三子图像。

请参见图8，本申请实施例还提供一种车牌检测装置，包括：

存储器801，用于存储指令；

处理器802，用于读取所述存储器中存储的指令，实现如图4所示的基于实例分割的字符识别方法。

其中，存储器801的数量可以是一个或多个，存储器801可以是只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)或磁盘存储器等等。

处理器802可以包括一个或多个处理核心，例如4核核心处理器、8核核心处理器。处理器802可以是中央处理器(centralprcessingunit，cpu)、通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(fieldprogrammablegatearray，fpga)或其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。处理器802也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu，协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器802可以再集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器802还可以包括人工智能(artificialintelligence，ai)处理器，该ai处理器用于处理有关机器学习的操作。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。

在介绍本申请提供的车牌检测方法之前就提到，本申请的执行主体可以是服务，也可以是终端设备，因此此处的车牌检测装置800可以服务器，也可以是终端设备；其中，在车牌检测装置800为终端设备时，终端设备可以是智能分析一体球机，也可以是手机。

请参见图9，在字符识别装置800是服务器时，车牌检测装置800还可以包括至少一个电源，至少一个有线或无线网络接口，至少一个输入输出接口，和/或至少一个操作系统。

请参见图10，在字符识别装置1000是终端设备时，此处以终端设备是球机为例，球机还可以无线通信模块、语音采集模块、传感器及电源等部件。本领域普通技术人员应理解，上述给出的球机结构并不构成对球机的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面以终端设备是球机，对球机的各个构成部件进行具体的介绍：

无线通信模块，作为示例，wifi模块、蓝牙模块、3g模块、4g模块、5g通信模块，或者为其它下一代通信模块等；

语音采集模块，例如麦克风，用于采集语音信息，以实现语音自动定位或者是声音识别，以实现身份识别等；

球机还可以包括至少一种传感器，例如光传感器、加速度传感器、重力传感器。球机还可以包括给各个部件供电的电源，其中，电源可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

本申请实施例还提供一种计算机存储介质，该存储介质可以包括存储器，该存储器可存储有程序，该程序执行时包括如前的图2所示的方法实施例中记载的终端设备所执行的全部步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。