混合车牌识别方法、装置、电子设备与流程
本申请涉及车牌识别技术领域，特别是涉及一种混合车牌识别方法、装置、电子设备及存储介质。
背景技术
车牌识别是城市智能交通发展的重要应用，随着车量种类的增多，和车牌形态、颜色、内容等的多样化以及车辆数量的增加，对车牌识别技术的要求也越来越严格，在保证车牌识别准确率的前提下，车牌识别的效率也至关重要。现有技术中常见的车牌识别方法有两种：第一种，传统的基于车牌字符分割和字符识别的方法；第二种，基于神经网络的字符识别方法。基于神经网络的字符识别方法由于可以提取到更细致的车牌图像特征，识别准确率较高。基于神经网络的字符识别方法的车牌识别流程为：首先进行车牌矫正，得到符合要求的车牌图像；然后，确定车牌的类型；最后，基于车牌类型选择相应的神经网络模型对不同类型的车牌图像进行识别。通过对现有技术的研究，发明人发现，由于车牌的多样化，如车牌包含的字符长度不一致，因此，现有技术中需要基于不同长度的车牌选择不同的神经网络模型进行车牌识别。现有技术中的通过神经网络模型进行车牌识别时，无法通过一个神经网络模型对不同长度的车牌进行识别，需要先识别出车牌号码长度，再通过相应的神经网络模型进行车牌号码识别。
可见，现有技术中基于神经网络进行车牌识别时，需要多次进行识别，并且需要至少两个网络模型，识别效率低下。
技术实现要素：
本申请提供一种混合车牌识别方法，至少解决车牌识别效率低下的问题。
为了解决上述问题，第一方面，本申请实施例提供了一种混合车牌识别方法包括：
获取目标车牌的车牌图像；
将所述车牌图像作为预先训练的车牌识别网络模型的输入，获得所述车牌识别网络模型输出的分类结果，其中，所述分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；
根据所述m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定所述目标车牌对应的车牌号码长度和车牌号码；
其中，m为大于1的整数。
可选的，所述车牌识别网络模型包括：用于输出所述车牌图像中的高维车牌特征的基础网络，以及分别以所述基础网络输出的所述高维车牌特征作为输入的车牌号码长度分类网络和车牌号码分类网络；其中，所述车牌号码长度分类网络用于输出所述m种车牌号码长度各自的分类结果，所述车牌号码分类网络用于输出所述对应每种车牌号码长度的车牌号码的分类结果。
可选的，所述根据m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定所述目标车牌对应的车牌号码长度和车牌号码的步骤，包括：
根据置信度最高的所述车牌号码长度的分类结果确定所述目标车牌的车牌号码长度；
根据所述置信度最高的所述车牌号码长度的分类结果，确定可信的所述车牌号码的分类结果；
根据预设的车牌号码字符字典、可信的所述车牌号码的分类结果中前指定位数号码的分类结果，确定所述目标车牌的车牌号码，其中，所述指定位数等于所述车牌号码长度。
可选的，所述车牌号码分类网络进一步包括卷积层和第一线性分类器，所述卷积层将所述高维车牌特征转换为m×n×p大小的三维车牌特征，其中，m为车牌号码长度的种类数，n为m种车牌号码长度中最大车牌号码长度，p为预设车牌号码字符字典中的字符数，n、m和p为正整数；所述第一线性分类器用于根据所述m×n×p大小的三维车牌特征确定m种车牌号码长度的车牌号码的分类结果。
可选的，所述车牌号码长度分类网络进一步包括全连接层和第二线性分类器，所述全连接层用于根据所述高维车牌特征经过拉伸后得到长度q的一维车牌特征确定长度t的一维车牌特征；所述第二线性分类器用于根据所述长度t的一维车牌特征确定m种车牌号码长度的分类结果，其中，q和t为正整数。
可选的，所述车牌识别网络模型的损失函数为losstotal＝λcharlosschar+λtypelosstype，所述损失函数中：losschar表示车牌号码分类网络的损失函数，通过公式
可选的，所述将所述车牌图像作为预先训练的车牌识别网络模型的输入，获得所述车牌识别网络模型输出的分类结果的步骤之前，还包括：
获取m种车牌号码长度的若干车牌图像；
确定每个所述车牌图像的样本标签，所述样本标签包括：车牌号码中包括的每个字符基于预设的车牌号码字符字典的真实分类结果、车牌号码长度的真实分类结果；
当所述车牌图像中的车牌号码包括的字符数量小于所述m种车牌号码长度中的最大长度值时，对所述车牌图像的所述样本标签进行补齐处理；
根据所述车牌图像和所述车牌图像的样本标签，训练所述车牌识别网络模型。
第二方面，本申请实施例提供了一种混合车牌识别装置，包括：
车牌图像获取模块，用于获取目标车牌的车牌图像；
车牌分类模块，用于将所述车牌图像作为预先训练的车牌识别网络模型的输入，获得所述车牌识别网络模型输出的分类结果，其中，所述分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；
车牌识别结果确定模块，用于根据所述m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定所述目标车牌对应的车牌号码长度和车牌号码；
其中，m为大于1的整数。
可选的，所述车牌识别网络模型包括：用于输出所述车牌图像中的高维车牌特征的基础网络，以及分别以所述基础网络输出的所述高维车牌特征作为输入的车牌号码长度分类网络和车牌号码分类网络；其中，所述车牌号码长度分类网络用于输出所述m种车牌号码长度各自的分类结果，所述车牌号码分类网络用于输出所述对应每种车牌号码长度的车牌号码的分类结果。
可选的，在根据所述m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定所述目标车牌对应的车牌号码长度和车牌号码时，所述车牌识别结果确定模块进一步包括：
车牌号码长度确定子模块，用于根据置信度最高的所述车牌号码长度的分类结果确定所述目标车牌的车牌号码长度；
车牌号码确定子模块，用于根据所述置信度最高的所述车牌号码长度的分类结果，确定可信的所述车牌号码的分类结果，以及根据预设的车牌号码字符字典、可信的所述车牌号码的分类结果中前指定位数号码的分类结果，确定所述目标车牌的车牌号码，其中，所述指定位数等于所述车牌号码长度。
可选的，所述车牌号码分类网络进一步包括卷积层和第一线性分类器，所述卷积层将所述高维车牌特征转换为m×n×p大小的三维车牌特征，其中，m为车牌号码长度的种类数，n为m种车牌号码长度中最大车牌号码长度，p为预设车牌号码字符字典中的字符数，n、m和p为正整数；所述第一线性分类器用于根据所述m×n×p大小的三维车牌特征确定m种车牌号码长度的车牌号码的分类结果。
可选的，所述车牌号码长度分类网络进一步包括全连接层和第二线性分类器，所述全连接层用于根据所述高维车牌特征经过拉伸后得到长度q的一维车牌特征确定长度t的一维车牌特征；所述第二线性分类器用于根据所述长度t的一维车牌特征确定m种车牌号码长度的分类结果，其中，q和t为正整数。
可选的，所述车牌识别网络模型的损失函数为losstotal＝λcharlosschar+λtypelosstype，所述损失函数中：losschar表示车牌号码分类网络的损失函数，通过公式
可选的，所述装置还包括：
样本图像获取模块，用于获取m种车牌号码长度的若干车牌图像；
样本标签确定模块，用于确定每个所述车牌图像的样本标签，所述样本标签包括：车牌号码中包括的每个字符基于预设的车牌号码字符字典的真实分类结果、车牌号码长度的真实分类结果；
样本标签补齐模块，用于当所述车牌图像中的车牌号码包括的字符数量小于所述m种车牌号码长度中的最大长度值时，对所述车牌图像的所述样本标签进行补齐处理；
模型训练模块，用于根据所述车牌图像和所述车牌图像的样本标签，训练所述车牌识别网络模型。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的混合车牌识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的混合车牌识别方法的步骤。
本申请实施例公开的混合车牌识别方法，先通过获取目标车牌的车牌图像，并将所述车牌图像作为预先训练的车牌识别网络模型的输入，以及获得所述车牌识别网络模型输出的分类结果，其中，该分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；然后，根据获得的m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码；其中，m为大于1的整数，解决了现有技术中识别多种车牌号码长度的车牌时，需要采用多种车牌识别网络模型的问题。这样，即使在包含不同种车牌号码长度的混合车牌识别场景下，通过本申请实施例公开的混合车牌识别方法，采用一个车牌识别网络模型就可以识别多种长度的车牌，减少了车牌识别的步骤和需要的车牌识别网络模型数量，有效提升了车牌识别的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的混合车牌识别方法流程图；
图2是本申请实施例二的混合车牌识别方法的流程图；
图3是本申请实施例二的混合车牌识别方法的一个步骤的流程图；
图4是本申请实施例二中车牌识别网络模型的结构示意图；
图5是本申请实施例三的混合车牌识别装置结构示意图之一；
图6是本申请实施例三的混合车牌识别装置的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本实施例公开的一种混合车牌识别方法，如图1所示，该方法包括：步骤110至步骤130。
步骤110，获取目标车牌的车牌图像。
本申请的一些实施例中，目标车牌可以各种号码长度的车牌，如车牌号码长度为8个字符长度的新能源汽车的车牌、车牌号码长度为7个字符长度的普通汽车的车牌。每种车牌号码长度对应一种车牌类型。
优选的，本申请实施例中获取的目标车牌的图像为经过旋转切分后得到的包括完整车牌的车牌图像，车牌图像中包括尽量少的背景信息。
本申请具体实施时，获取的车牌图像为经过预处理的预设尺寸的图像，图像可以为(40,160,3)大小，其中，40和160表示图像的宽和高，3表示图像的颜色通道数。
步骤120，将车牌图像作为预先训练的车牌识别网络模型的输入，获得车牌识别网络模型输出的分类结果，其中，分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果。
其中，m为大于1的整数。
本申请基于卷积神经网络进行车牌识别。
本申请具体实施时采用的卷积神经网络是多任务的卷积神经网络，两个任务共享一部分网络参数，同时，各自还具有每个任务对应的网络分支的参数。基于多任务的卷积神经网络构建车牌识别网络模型，该车牌识别网络模型是一个端到端训练的网络；其中，车牌识别网络模型包括三部分网络：基础网络、车牌号码长度分类网络和车牌号码分类网络。其中，车牌号码长度分类网络对应车牌号码长度分类任务，车牌号码分类网络对应车牌号码分类任务，车牌号码长度分类网络和车牌号码分类网络共享基础网络。三部分网络作为一个整体进行训练。
具体的，车牌号码长度分类网络用来预测输入的车牌图像中的车牌分类至哪种车牌号码长度，以及分类为各车牌号码长度的相应置信度；车牌号码分类网络用来预测输入的车牌图像中的车牌分类至不同车牌号码长度时，对应该车牌号码长度的一组车牌号码分类结果。其中，每组车牌号码分类结果包括车牌号码中依序排列的每个字符的预测为不同字符类别的置信度。
本申请具体实施时，首先需要搜集不同号码长度的车牌图像作为训练样本，然后训练预先构建的车牌识别网络模型。
具体应用过程中，将目标车牌的图像输入至训练好的车牌识别网络模型，然后，将车牌识别网络模型对应该输入的输出结果作为该目标车牌的车牌号码长度分类结果和车牌号码分类结果。以通过车牌号码长度为7个字符长度的车牌图像和车牌号码长度为8个字符长度的车牌图像训练得到的车牌识别网络模型举例，则m等于2。
在具体应用过程中，输入目标车牌图像之后，该车牌识别网络将输出目标车牌的车牌号码长度分类为7个字符长度的置信度和分类为8个字符长度的置信度，同时，还会输出分类为7个字符长度时车牌号码的分类结果和分类为8个字符长度时车牌号码的分类结果。
步骤130，根据获得的m种车牌号码长度各自的分类结果，以及对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码。
在本申请的一些实施例中，车牌识别网络模型输出的分类结果分为两部分：第一部分，车牌号码长度的分类结果，是一个长度m的数据，每位的数值代表分类到该位对应的车牌号码长度的置信度；第二部分，车牌号码的分类结果，有m组数据，每组数据代表分类到相应车牌号码长度时对应的车牌号码的分类结果，车牌号码的分类结果为每个车牌号码字符分类为预设字符的置信度。其中，所述预设字符可以通过预先构建车牌号码字符字典定义。
具体实施时，可以确定第一部分的车牌号码长度的分类结果中置信度最高的车牌号码长度类别对应的车牌号码长度作为目标车牌的车牌号码长度。
然后，确定第二部分的车牌号码的分类结果中与上述置信度最高的车牌号码长度类别对应的一组车牌号码的分类结果，作为对目标车牌的车牌号码的分类结果，进一步根据该目标车牌的车牌号码的分类结果，确定目标车牌的车牌号码。
本申请实施例公开的混合车牌识别方法，通过获取目标车牌的车牌图像；将车牌图像作为预先训练的车牌识别网络模型的输入，获得所述车牌识别网络模型输出的分类结果，其中，分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；根据m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码；其中，m为大于1的整数，解决了现有技术中识别多种车牌号码长度的车牌时，需要采用多种车牌识别网络模型的问题。通过本申请实施例公开的混合车牌识别方法，采用一个车牌识别网络模型就可以识别多种长度的车牌，减少了车牌识别的步骤和需要的车牌识别网络模型数量，有效提升了车牌识别的效率。
实施例二
本实施例公开的一种混合车牌识别方法，如图2所示，该方法包括：步骤210至步骤240。
步骤210，基于m种车牌号码长度的若干车牌图像，训练车牌识别网络模型。
其中，m为大于1的整数。
在本申请的一些实施例中，将车牌图像作为预先训练的车牌识别网络模型的输入，获得所述车牌识别网络模型输出的分类结果之前，还包括：基于m种车牌号码长度的若干车牌图像，训练车牌识别网络模型。
进一步的，如图3所示，基于m种车牌号码长度的若干车牌图像，训练车牌识别网络模型，包括子步骤2101至子步骤2105。
本实施例中，以训练能够识别两种车牌号码长度(如7个字符长度和8个字符长度)的车牌图像中的车牌号码为例，详细说明车牌识别网络模型的训练方案。具体到本实施例中，m等于2。
子步骤2101，获取m种车牌号码长度的若干车牌图像。
首先，获取若干包含7个字符的车牌图像和包含8个字符的车牌图像，用于生成训练样本。
例如，通过网络、道路路口监控中截取若干张包含普通车和新能源汽车车牌的车牌图像。在本申请的一些实施例中，为了扩充训练样本的数量，还可以对已经采集到的车牌图像进行切分，提取出其中的单个字符的图像，然后按照车牌的生成规律，生成若干车牌图像。
子步骤2102，确定每个车牌图像的样本标签，该样本标签包括：车牌号码中包括的每个字符基于预设的车牌号码字符字典的真实分类结果、车牌号码长度的真实分类结果。
神经网络是一种数值运算，输入和输出都是张量，张量里面都是数值。例如，训练时输入的是车牌图像的图像数据，输出的分类结果置信度。因此，需要预先构建车牌号码字符字典，用于在训练车牌识别网络模型时，用数值表示车牌图像样本的标签，以及，在车牌识别时，将车牌识别模型的输出的类别索引转换为车牌号码字符。
在构建车牌号码字符字典时，根据车牌识别的应用场景，将可能出现在待识别车牌中的字符全部包括在车牌号码字符字典中。车牌可能出现的字符大概包括：字母a到z(除去o和i)、数字0到9、各省简称京到琼，还包括特殊字符如：警，学，特，使等。为了描述方便，本申请实施例中以车牌号码字符字典包含数字0到9，京，津，a，b，共14个字符举例说明车牌号码字符字典的构建和使用方法。具体实施时，可以依序将车牌号码字符进行排列，以便通过自然数0到13进行索引。假设构建的车牌号码字符字典为：{‘0’,‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘a’,‘b’,‘京’,‘津’}，则车牌号码字符字典中各车牌号码字符的索引关系分别为：第0位索引的字符为“0”，第1位索引的字符为“1”，…，第12位索引的字符为“京”，第13位索引的字符为“津”。
具体实施时，车牌号码字符字典中还需要包括占位符。其中，占位符可以为不会在车牌号码中出现的任何字符，本实施例中，假设占位符为“？”,则车牌号码字符字典为：{‘0’,‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘a’,‘b’,‘？’,‘京’,‘津’}。
后续实施例中，以车牌号码字符字典中包括65个字符为例，说明车牌识别网络模型的训练和使用方法。例如，车牌号码字符字典为：{‘0’,‘1’,‘2’,‘3’,‘4’,‘5’,‘6’,‘7’,‘8’,‘9’,‘a’,‘b’,……,‘？’,‘京’,‘津’},其中，‘？’为占位符。
在本申请的一些实施例中，上述车牌图像的样本标签包括两个字段，其中一个字段为号码标签，另一个字段为长度标签。号码标签和长度标签中的每一位数值通常用0或1表示。数值为1的标签位表示样本的真实类别为该标签为对应的类别。其中，号码标签表示车牌图像中车牌号码中的每个字符分类为车牌号码字符字典中相应索引对应的字符的置信度(即概率)，为一个n×p大小的二维张量，n等于车牌识别网络模型可以分类的最大车牌号码长度，p等于车牌号码字符字典中包含的字符数量，具体到本实施例中n＝8,p＝65。
其中，长度标签表示车牌图像中车牌的车牌号码长度识别为不同种车牌号码长度的置信度(即概率),为一个长度m的一维张量，m等于车牌号码长度的种类，具体到本实施例中m＝2。
例如，基于前述构建的车牌号码字符字典，当车牌图像中包括的车牌号码为“津a12345”时，其样本标签中第一个车牌号码字符“津”对应的号码标签部分可以表示为(0,0,0,0,0,0,0,0,0,0,0,…,0,0,0,1)，第二个车牌号码字符“a”对应的号码标签部分可以表示为(0,0,0,0,0,0,0,0,0,0,1,0,…,0,0,0)；其长度标签可以表示为(1,0)，其中，第一个数字，即数字“1”表示该车牌图像的真实类别为7个字符长度车牌的置信度为1，第二个数字，即数字“0”表示该车牌图像的真实类别为8个字符长度车牌的置信度为1。具体到本实施例中，车牌图像中包括的车牌号码为“津a12345”时，车牌号码中包括的每个字符的分类结果置信度将为一个7×65大小的二维张量。
之后，当车牌图像中的车牌号码包括的字符数量小于所述m种车牌号码长度中的最大长度值时，对车牌图像的样本标签进行补齐处理。
不同号码长度的车牌图像用于训练同一个网络模型时，需要将所述车牌图像缩放到相同的尺寸。
另一方面，对于一个网络模型而言，一个张量中每个维度的长度都是相同的。而由上述描述可见，对于包括7个字符长度的车牌号码，生成的长度为7×p的号码标签，对于包括8个字符长度的车牌号码，生成的是8×p的号码标签，即对于包含7个字符的车牌图像和包含8个字符的车牌图像，实际提取的车牌图像的张量在车牌号码对应的大小是不同的，理论上无法用于同一个网络模型训练中。
为了解决上述问题，本申请具体实施时，设定网络模型输出m种识分类结果，每种分类结果对应一种车牌号码长度。让网络自己学习预测的车牌是哪种长度的车牌，并预测对应于不同车牌号码长度预测结果的车牌号码预测结果。具体到本实施例而言，车牌识别网络模型设置两个分类结果，即车牌号码为7个字符长度的车牌时7个字符长度的车牌号码的分类结果、车牌号码为8个字符长度的车牌时8个字符长度的车牌号码的分类结果。
子步骤2103，当车牌图像中的车牌号码包括的字符数量小于所述m种车牌号码长度中的最大长度值时，对该车牌图像的样本标签进行补齐处理。
同时，对于本申请最终需要得到包含7个字符长度的分类结果和包含8个字符长度的分类结果的情况，本申请将包含7个字符长度车牌号码的车牌图像的样本标签中的号码标签进行补齐处理，具体到本实施例而言，即把7×65的号码标签补齐为8×65的号码标签，使每个样本标签的张量具有相同大小。
本申请的一些实施例中，通过把车牌图像的样本标签划分为包括号码标签和长度标签两个字段，对于号码标签字段，按照最大车牌号码长度的车牌图像定义号码标签，即把号码标签定义为n×p大小的二维张量，其中，n等于最大车牌号码长度，具体到本实施例而言，n＝8。
然后，对于包括的车牌号码长度小于最大车牌号码长度的车牌图像，将其样本标签中号码标签通过添加占位符对应的分类结果，以使不同车牌号码长度的车牌图像具有相同长度的张量。
具体实施时，可以通过在车牌号码长度小于最大车牌号码长度的车牌图像包括的车牌号码的结尾补充占位符，使补充占位符后的车牌号码长度等于车牌号码长度最大值。然后，根据补充占位符后的车牌号码确定车牌图像的号码标签，这样，得到号码标签与最大车牌号码长度的车牌图像的号码标签长度相同。
例如，对于包括的车牌号码为“津a12345”的车牌图像，首先将车牌号码补齐为“津a12345？”，其中，“？”为占位符；然后，确定补齐后的车牌号码“津a12345？”的号码标签，作为该车牌图像的号码标签。具体实施过程中，占位符可以为车牌号码中不会出现的任何字符。
子步骤2104，构建车牌识别网络模型。
本申请通过多任务网络进行车牌识别，因此首先需要构建多任务网络。在本申请的一个具体实施例中，构建的车牌识别网络模型包括两个任务，一个车牌号码长度分类任务，一个车牌号码分类任务，两个任务对应的网络可以共享一部分网络，因此，本申请的车牌识别网络模型结构如图4所示，包括：基础网络410、车牌号码长度分类网络420和车牌号码分类网络430。其中，基础网络410用于输出车牌图像中的高维车牌特征，车牌号码长度分类网络420和车牌号码分类网络430分别以上述基础网络410输出的高维车牌特征作为输入；其中，车牌号码长度分类网络用于输出m种车牌号码长度各自的分类结果，车牌号码分类网络用于输出对应每种车牌号码长度的车牌号码的分类结果。
车牌号码分类网络430进一步包括卷积层和第一线性分类器，卷积层将高维车牌特征转换为m×n×p大小的三维车牌特征，其中，m为车牌号码长度的种类数，n为m种车牌号码长度中最大车牌号码长度，p为预设车牌号码字符字典中的字符数，n、m和p为正整数；上述第一线性分类器用于根据m×n×p大小的三维车牌特征确定m种车牌号码长度的车牌号码的分类结果。
本申请的车牌识别网络模型使用了全卷积层的结构，将输入图像的大小通过若干卷积层进行卷积处理，提取特征，然后，通过特征填充，改变特征图大小,使得输出大小为期望的输出大小，将车牌号码的类别预测结果放在输入图像的颜色通道维度中，这样减少了模型的参数数量，在一定程度上对网络有正则化的效果，提高了网络的鲁棒性。
如图4所示，基础网络410中包括三组特征提取结构，每组特征提取结构通过一个卷积层对输入的数据进行卷积运算，然后，通过特征填充，调整特征图大小；接下来通过最大池化层抽取图像特征。进一步经过三层卷积层进行卷积运算，输出预设维度的高维车牌特征。
然后，车牌号码分类网络430的卷积层进一步对基础网络410输出的高维车牌特征进行卷积处理，将高维车牌特征转换为m×n×p大小的三维车牌特征。然后，第一线性分类器基于m×n×p大小的三维车牌特征进行分类识别，得到输入的图像中车牌号码包含的每个字符的分类结果。其中，分类结果表示为字符预测为车牌号码字符字典中相应索引位置的字符(即对应字符类别)的置信度。
所述车牌号码长度分类网络420进一步包括全连接层和第二线性分类器，上述全连接层用于根据高维车牌特征经过拉伸后得到长度q的一维车牌特征确定长度t的一维车牌特征；所述第二线性分类器用于根据所述长度t的一维车牌特征确定m种车牌号码长度的识别结果，其中，q和t为正整数。
本申请的一些实施例中，基础网络410还可以包括其他数量的特征提取结构，如5层。基础网络410包括的特征提取结构的数量和卷积层的数量根据使用的卷积核的大小，输入图像的大小，以及期望输出的高维车牌特征的维度确定。同理，车牌号码分类网络430和车牌号码长度分类网络420也可以包含更多数量的卷积层，车牌号码分类网络430和车牌号码长度分类网络420中包括的卷积层的数量根据使用的卷积核的大小，输入图像的大小，以及预测结果的张量长度确定。
具体到本实施例而言，以输入图像大小为(40,160,3),车牌号码字符字典中包括65个字符为例，车牌识别网络的识别过程如下：
基础网络410的第一个卷积层采用3×3的卷积核，对输入图像进行卷积运算，得到的特征张量大小为(40,160,32)；对卷积得到的张量上下填充两个像素，得到的特征张量大小为(44,160,32)；第一个最大池化层采用3×3的卷积核，以步长为2进行特征压缩，得到的特征张量大小为(22,80,32)；第二个卷积层采用3×3的卷积核，对输入图像进行卷积运算，得到的特征张量大小为(24,80,64)；对卷积得到的张量上下填充两个像素，得到的特征张量大小为(26,80,64)；第二个最大池化层采用3×3的卷积核，以步长为2进行特征压缩，得到的特征张量大小为(13,40,64)；第三个卷积层采用3×3的卷积核，对输入图像进行卷积运算，得到的特征张量大小为(13,40,64)；对卷积得到的张量上下填充两个像素，得到的特征张量大小为(16,40,128)；第二个最大池化层采用3×3的卷积核，以步长为2进行特征压缩，得到的特征张量大小为(8,20,128)；第四个卷积层采用3×3的卷积核，对输入图像进行卷积运算，得到的特征张量大小为(4,10,256)；第五个卷积层采用2×2的卷积核，对输入图像进行卷积运算，得到的特征张量大小为(3,9,128)；第六个卷积层采用2×2的卷积核，对输入图像进行卷积运算，得到的特征张量大小为(2,8,128)。
在本申请的一些实施例中，上述网络结构中，对每个卷积层的输出还要经过激活函数进行非线性变化，通常采用的激活函数是relu函数。
车牌号码长度分类网络420将基础网络输出的特征张量进行拉伸，得到大小为2048的向量；全连接层基于2048的向量进行分类，得到大小为2的向量；之后，第二线性分类器基于全连接层输出的特征进行分类识别，得到大小为2的向量，作为车牌号码长度的分类结果。
车牌号码分类网络430中的卷积层通过1×1的卷积核对基础网络输出的高维车牌特征进行卷积运算，改变输入特征的颜色通道数，得到大小为(2,8,65)的特征张量；然后，第一线性分类器基于得到的(2,8,65)的特征张量进行分类识别，得到的(2,8,65)的张量，作为车牌号码的分类结果。
对于车牌号码长度分类任务，首先通过对基础网络410输出的高维车牌特征进行拉伸处理，然后进一步通过第二线性分类器基于拉伸后的车牌特征进行分类识别，得到输入的图像中车牌号码长度的分类结果。其中，分类结果表示为车牌号码长度为预设长度的置信度。具体到本实施例而言，第二线性分类器的输出结果，即车牌号码长度分类网络420的输出结果可以表示为一个2×2大小的二维张量。
子步骤2105，根据车牌图像和车牌图像的样本标签，训练车牌识别网络模型。
车牌识别网络模型的训练过程如下：将若干车牌号码长度为7的车牌图像样本和若干车牌号码长度为8的车牌图像样本分别输入至构建的车牌识别网络模型，以车牌识别网络模型的输出和样本标签之间的差值最小为目标，优化网络参数，最后得到车牌识别网络模型的最佳参数。并以所述最佳参数的车牌识别网络模型用于进行车牌识别。
由于本申请训练的车牌识别网络模型为多任务的网络模型，因此，在模型训练过程中需要采用联合损失函数进行模型优化训练，具体实施时，车牌识别网络模型的损失函数为losstotal＝λcharlosschar+λtypelosstype，该损失函数中：losschar表示车牌号码分类网络的损失函数，通过公式
在本申请的一些实施例中，车牌识别网络模型的损失函数可以表示为：
具体到本实施例而言，车牌识别网络模型可以是7个字符长度的车牌和8个字符长度的车牌，因此，最大车牌号码长度为8，车牌号码长度的分类结果包括2个，分别为输入车牌图像中的车牌号码长度是7位的置信度、以及，车牌号码长度是8位的置信度。具体实施时，车牌识别网络模型的损失函数可以表示为：
步骤220，获取目标车牌的车牌图像。
获取目标车牌的车牌图像的具体实施方式参见实施例一，本实施例不再赘述。
步骤230，将车牌图像作为预先训练的车牌识别网络模型的输入，获得车牌识别网络模型输出的分类结果，其中，分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果。
其中，车牌号码的分类结果包括：车牌号码中每个字符分类至预设车牌号码字符字典中相应字符的置信度。将车牌图像输入至训练好的车牌识别网络模型之后，车牌识别网络模型将输出所述车牌图像中的车牌号码的两种分类结果，一种对应包括7个字符长度的车牌分类结果，一种对应包括8个字符长度的车牌分类结果。每种分类结果进一步包括两个部分：一部分为车牌号码长度的分类别结果，即车牌号码包括7个或8个字符的置信度；另一部分为车牌号码的分类结果，即车牌号码中每个字符分类至为预设车牌号码字符字典中相应字符的置信度。其中，相应字符通过该字符在预设车牌号码字符字典中的位置索引确定。
在本申请的一个实施例中，车牌识别网络模型输出的分类结果包括：由车牌号码长度分类网络输出的m种车牌号码长度的分类结果；由车牌号码分类网络输出的、与所述m种车牌号码长度的分类结果对应的m种车牌号码的分类结果。具体到本实施例中，以车牌识别网络模型输出7位和8位，两种字符长度的车牌分类结果举例，详细说明车牌识别网络模型输出结果的含义。
由车牌号码长度分类网络输出的两种车牌号码长度的分类结果，可以表示为out2(1,2)，即1×2大小的矩阵，其中，第一个维度1表示识别一张车牌，第二个维度中的“2”表示两个元素，第一个元素用于表示分类为第1种车牌号码长度的置信度，第二个元素用于表示分类为第2种车牌号码长度的置信度，每个元素代表哪种车牌号码长度在车牌识别网络模型训练时由用户定义。
例如，假设定义车牌号码长度的识别结果中第一个元素表示预测为7位字符长度的置信度，第一个元素表示预测为8位字符长度的置信度，如果车牌号码长度分类网络输出结果out2的第二个维度的元素为{0.85,0.15}，则表示输入图像中的车牌号码为7位字符长度的置信度为0.85，为8位字符长度的置信度为0.15。本申请的一些实施例中，预测得到的置信度数值仅作为例子，实际的预测置信度数值为32位或64位浮点数或者其他类型的数值。
由车牌号码分类网络输出的车牌号码的分类结果，可以表示为out1(1，2，8,65)，即1×2×8×65大小的矩阵，其中，第一个维度1表示别是一张车牌，第二个维度表示每张车牌预测出两个结果，out1[0，1，：,：]表示其中八位数字车牌的预测结果，out1[0，1,0，：]用于表示车牌号码中一张车牌预测的八位结果中第一个字符预测为车牌号码字符字典中第1到第65个字符的置信度，out1[0，1,1，：]用于表示车牌号码中第2个字符预测为车牌号码字符字典中第1到第65个字符的置信度。
依次类推，可以得到车牌号码中每个字符预测为车牌号码字符字典中相应字符的置信度。如果车牌号码分类网络输出的识别结果out1中out1[0，1,0，：]为：{0.01,0.02.0.01,,,,0.002,0.04,0.01,0.14,0.01,0.01,0.01,0.01,0.01,0.01,0.02,0.76,0.001},则表示该车牌号码中第一个字符预测为车牌号码字符字典中第一个位置的字符(具体到前述字符字典中为“0”)的置信度为0.01，车牌号码中第一个字符预测为车牌号码字符字典中第二个位置的字符(具体到前述字符字典中为“1”)的置信度为0.02，…依次类推，可以得到车牌号码中每个字符预测为车牌号码字符字典中相应位置的字符的置信度。
在本申请的其他实施例中，还可以为车牌号码字符字典中的每个字符建立索引值，车牌识别卷积模型的车牌号码输出结果中，每个字符的依序排列的p个置信度，与相应索引值对应，如，第一个置信度为索引值0对应的置信度。
本实施例中假设车牌号码字符字典包括65个字符，可以得到上述识别结果。如果车牌号码字符字典包括p个字符，则车牌识别网络模型将输出每个字符预测为p个不同字符时的置信度，即每个字符将对应长度为p的张量。
步骤240，根据上述m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码。
在本申请的一些实施例中，根据m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码。
具体的，先根据置信度最高的车牌号码长度的分类结果确定目标车牌的车牌号码长度，以及根据置信度最高的车牌号码长度的分类结果，确定可信的所述车牌号码的分类结果，然后，根据预设的车牌号码字符字典、可信的所述车牌号码的分类结果中前指定位数号码的分类结果，确定目标车牌的车牌号码，其中，指定位数等于车牌号码长度。
以上一步骤中得到的2种车牌号码长度对应的车牌号码分类结果及相应的置信度举例。对于车牌号码长度分类网络输出结果out2第二个维度的取值为{0.85,0.15}，由于置信度0.85最高，则可以确定第一种车牌号码长度，即7位字符长度的分类结果置信度最高。
然后，取车牌号码识别结果中的第一组车牌号码识别结果，即与7位字符长度对应的车牌号码识别结果作为车牌识别网络模型输出的车牌号码预测结果。进一步的，由于车牌识别网络模型输出的预测结果为一组数值，表示每个车牌号码字符预测为车牌号码字符字典中指定字符的置信度，因此，需要根据预测结果中的置信度和车牌号码字符字典进行转化，得到最终的车牌号码。例如，对于车牌号码分类网络输出的识别结果out1中out1[0，1,0，：]为：{0.01,0.02.0.01,0.002,0.04,0.01,0.14,0.01,0.01,0.01,0.01,0.01,0.01,0.02,0.76,0.001},即第一组输出结果的前65个置信度，对应7位字符长度的车牌号码中第一个字符预测为车牌号码字符字典中第1至第65字符的各自的置信度。然后，根据车牌号码字符字典确定其中最大置信度(即0.76)对应的字符为字典中第64个字符，即“津”，则确定识别的得到的车牌号码的第一个字符为“津”。
进一步的，由于在模型训练时，对车牌号码标签进行了补齐操作，对于7位字符长度的车牌号码也将输出8位的识别结果，在转化为字符串之后，仅取前7位的字符作为车牌号码，第8位字符为占位符。
本申请实施例公开的混合车牌识别方法，通过预先训练车牌识别网络模型，并将获取的目标车牌的图像作为预先训练的车牌识别网络模型的输入，获得该车牌识别网络模型输出的分类结果，其中，分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；根据所述m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码；其中，m为大于1的整数，解决了现有技术中识别多种车牌号码长度的车牌时，需要采用多种车牌识别网络模型的问题。通过本申请实施例公开的混合车牌识别方法，采用一个车牌识别网络模型就可以识别多种长度的车牌，减少了车牌识别的步骤和需要的车牌识别网络模型数量，有效提升了车牌识别的效率。并且，与现有技术相比，本申请实施例中采用的车牌识别网络模型具有更少的参数，体积更小。
进一步的，现有技术中进行多种长度的车牌识别时，首先经过一个模型判断目标车牌的长度，然后，再通过与该长度对应的模型进一步识别车牌号码，识别速度较慢。本申请通过一个模型即可完成车牌识别，提升了识别速度。
本申请实施例中采用的车牌识别网络模型采用全卷积层的结构，将出入图像的大小通过若干卷积层进行卷积运算，使用填充处理,使得输出期望的特征大小，并且，将车牌号码字符的类别预测结果存储在图像的颜色通道中，减少了模型的参数数量，在一定程度上提高了网络的鲁棒性。进一步的，由于对车牌号码长度进行的网络部分与预测车牌号码类别的网络部分共享了一部分网络参数，进一步减少了模型参数，缩小了模型体积。
本申请实施例中采用的车牌识别网络模型，由于在识别车牌号码的网络部分使用了1×1的卷积核，以改变特征图通道数，然后通过一个分类器进行分类，相比现有技术中为每一个车牌号码字符训练一个分类器，分类器部分模型参数减小了2个数量级。以本实施例中的模型举例，由于第一线性分类器上层输入65通道，输出65通道，那么使用的卷积核使用的参数数量为1×1×65×65+65。而现有技术中为每一个车牌号码字符对应一个分类器，在卷积后得到的高维车牌特征后面并联8个全连接层，输出为1×65×8，使用flatten将特征图拉成一维向量，使用的参数数量为1×2×8×65×1×65×8+8。可见本申请实施例中采用的车牌识别网络模型使用的模型参数更少，模型体积更小，因此模型训练效率高，车牌识别速度更快。
本申请实施例中公开的车牌识别网络模型的模型参数与现有技术中识别混合车牌是采用的三个模型相比，较其中一个识别车牌号码的模型的参数少，因此，本申请实施例中公开的车牌识别网络模型与现有技术中三个模型相比，体积至少减少一半。所以，通过本申请实施例中公开的车牌识别网络模型进行车牌识别占用更少的存储资源和所需加载模型的内存资源，并且识别速度更快。
在加载车牌识别网络模型进行识别时，本申请实施例中的模型由于减少了模型参数的数量，所以，模型体积更小，节省了运行车牌识别网络模型的系统的内存空间，并且模型加载速度快，可以有效提升车牌识别系统的性能和运行效率。
实施例三
本实施例公开的一种混合车牌识别装置，如图5所示，所述装置包括：
车牌图像获取模块500，用于获取目标车牌的车牌图像；
车牌分类模块510，用于将车牌图像作为预先训练的车牌识别网络模型的输入，获得该车牌识别网络模型输出的分类结果，其中，分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；
车牌识别结果确定模块520，用于根据该m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码；
其中，m为大于1的整数。
可选的，车牌识别网络模型包括：用于输出车牌图像中的高维车牌特征的基础网络，以及分别以基础网络输出的高维车牌特征作为输入的车牌号码长度分类网络和车牌号码分类网络；其中，车牌号码长度分类网络用于输出上述m种车牌号码长度各自的分类结果，车牌号码分类网络用于输出上述对应每种车牌号码长度的车牌号码的分类结果。
可选的，如图6所示，在根据m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定目标车牌对应的车牌号码长度和车牌号码时，上述车牌识别结果确定模块520进一步包括：
车牌号码长度确定子模块5201，用于根据置信度最高的上述车牌号码长度的分类结果确定目标车牌的车牌号码长度；
车牌号码确定子模块5202，用于根据置信度最高的车牌号码长度的分类结果，确定可信的车牌号码的分类结果，以及用于根据预设的车牌号码字符字典、可信的车牌号码的分类结果中前指定位数号码的分类结果，确定目标车牌的车牌号码，其中，指定位数等于车牌号码长度。
可选的，车牌号码分类网络进一步包括卷积层和第一线性分类器，卷积层将高维车牌特征转换为m×n×p大小的三维车牌特征，其中，m为车牌号码长度的种类数，n为m种车牌号码长度中最大车牌号码长度，p为预设车牌号码字符字典中的字符数，n、m和p为正整数；第一线性分类器用于根据m×n×p大小的三维车牌特征确定m种车牌号码长度的车牌号码的分类结果，以及每个车牌号码的识别结果对应的置信度。
可选的，车牌号码长度分类网络进一步包括全连接层和第二线性分类器，全连接层用于根据高维车牌特征经过拉伸后得到长度q的一维车牌特征确定长度t的一维车牌特征；第二线性分类器用于根据长度t的一维车牌特征确定m种车牌号码长度的分类结果，其中，q和t为正整数。
可选的，车牌识别网络模型的损失函数为losstotal＝λcharlosschar+λtypelosstype，损失函数中：losschar表示车牌号码分类网络的损失函数，通过公式
可选的，如图6所示，装置还包括：
样本图像获取模块530，用于获取m种车牌号码长度的若干车牌图像；
样本标签确定模块540，用于确定每个车牌图像的样本标签，样本标签包括：车牌号码中包括的每个字符基于预设的车牌号码字符字典的真实分类结果、车牌号码长度的真实分类结果；
样本标签补齐模块550，用于当车牌图像中的车牌号码包括的字符数量小于上述m种车牌号码长度中的最大长度值时，对该车牌图像的样本标签进行补齐处理；
模型训练模块560，用于根据车牌图像和该车牌图像的样本标签，训练车牌识别网络模型。
本实施例公开的混合车牌识别装置用于实现实施例一的混合车牌识别方法，该装置的各个模块的具体实施方式参见实施例一和实施例二中相应步骤的具体实施方式，本实施例不再赘述。
本申请实施例公开的混合车牌识别装置，先通过预先训练车牌识别网络模型，并将获取的目标车牌的图像作为预先训练的车牌识别网络模型的输入，获得车牌识别网络模型输出的分类结果，其中，该分类结果包括：m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果；然后，根据m种车牌号码长度各自的分类结果、对应每种车牌号码长度的车牌号码的分类结果，确定该目标车牌对应的车牌号码长度和车牌号码；其中，m为大于1的整数，解决了现有技术中识别多种车牌号码长度的车牌时，需要采用多种车牌识别网络模型的问题。通过本申请实施例公开的混合车牌识别装置，采用一个车牌识别网络模型就可以识别多种长度的车牌，减少了车牌识别的步骤和需要的车牌识别网络模型数量，有效提升了车牌识别的效率。并且，与现有技术相比，本申请实施例中采用的车牌识别网络模型具有更少的参数，体积更小。
进一步的，现有技术中进行多种长度的车牌识别时，首先经过一个模型判断目标车牌的长度，然后，再通过与长度对应的模型进一步识别车牌号码，识别速度较慢。本申请通过一个模型即可完成车牌识别，提升了识别速度。
本申请实施例中采用的车牌识别网络模型采用全卷积层的结构，将出入图像的大小通过若干卷积层进行卷积运算，使用填充处理,使得输出期望的特征大小，并且，将车牌号码字符的类别预测结果存储在图像的颜色通道中，减少了模型的参数数量，在一定程度上提高了网络的鲁棒性。进一步的，由于预测车牌号码长度的网络部分与预测车牌号码的网络部分共享了一部分网络参数，进一步减少了模型参数，缩小了模型体积。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一和实施例二所述的混合车牌识别方法。所述电子设备可以为pc机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一和实施例二所述的混合车牌识别方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种混合车牌识别方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
- 还没有人留言评论。精彩留言会获得点赞！