一种车牌识别方法和装置与流程

本发明涉及图像处理领域，更具体的说，涉及一种车牌识别方法和装置。

背景技术：

车牌号码作为车辆的身份信息，是智能交通系统对车辆进行登记、处罚、收费和管理的重要凭证。因此，车牌信息的准确获取是智能交通系统的关键环节。

目前，采用基于水平垂直纹理信息的车牌检测方法检测得到车牌信息，该方法检测车牌信息的过程包括：通过霍夫变换、颜色模型和边缘检测等图像算法定位到图像中的车牌区域，然后将获取的车牌区域与预设的字符模板向量作比对，进而去识别图像中的车牌信息。

但是基于水平垂直纹理信息的车牌检测方法仅适用于车牌在图像中的成像不倾斜的情况，其中，车牌在图像中的成像不倾斜是指车牌在图像中的成像为长方形。对于车牌在图像中的成像是倾斜的这种情况，采用基于水平垂直纹理信息的车牌检测方法无法检测得到车牌信息。

因此，亟需一种能够在图像中车牌的成像为倾斜状态时，仍能够识别车牌信息的方法。

技术实现要素：

有鉴于此，本发明提供一种车牌识别方法和装置，以解决现有技术中没有在图像中车牌的成像为倾斜状态时，能够识别图像中的车牌信息的方法的问题。

为解决上述技术问题，本发明采用了如下技术方案：

一种车牌识别方法，包括：

检测车牌的成像在视频帧中的区域位置信息；其中，所述视频帧中包含有完整的所述车牌的成像；

从所述视频帧中，基于所述区域位置信息，得到包含有完整的所述车牌的成像的第一图像；

从所述第一图像中检测得到所述车牌的成像的四个顶点；

根据所述四个顶点，采用预设算法，调整所述第一图像中的所述车牌的成像，得到第二图像；其中，所述第二图像中所述车牌的成像不倾斜；

识别所述第二图像中的车牌信息。

优选地，所述检测车牌的成像在视频帧中的区域位置信息后，还包括：

基于所述区域位置信息，扩大所述视频帧中包含所述车牌的成像的区域；

相应的，从所述视频帧中，基于所述区域位置信息，得到包含有完整的所述车牌的成像的第一图像，包括：

从扩大后的图像中，基于所述区域位置信息，截取得到所述第一图像。

优选地，从所述第一图像中检测得到所述车牌的成像的四个顶点，包括：

采用角点检测算法，检测得到所述第一图像中的各角点；

采用边缘检测算法，检测得到所述第一图像中的各边缘线；

根据各角点和各边缘线，选取出所述四个顶点。

优选地，根据所述四个顶点，采用预设算法，调整所述第一图像中的所述车牌的成像，得到第二图像，包括：

根据所述四个顶点，将所述第一图像中的所述车牌的成像在预设平面投影，得到第三图像；

计算变化矩阵；

根据所述变化矩阵，调整所述第三图像，得到所述第二图像。

优选地，识别所述第二图像中的车牌信息，包括：

采用光学字符识别OCR技术，识别所述第二图像中的车牌信息。

优选地，识别所述第二图像中的车牌信息后，还包括：

计算车牌识别结果置信度；

判断所述车牌识别结果置信度是否大于预设数值；

若判断出所述车牌识别结果置信度大于所述预设数值，输出所述车牌信息。

一种车牌识别装置，包括：

第一检测单元，用于检测车牌的成像在视频帧中的区域位置信息；其中，所述视频帧中包含有完整的所述车牌的成像；

图像处理单元，用于从所述视频帧中，基于所述区域位置信息，得到包含有完整的所述车牌的成像的第一图像；

第二检测单元，用于从所述第一图像中检测得到所述车牌的成像的四个顶点；

调整单元，用于根据所述四个顶点，采用预设算法，调整所述第一图像中的所述车牌的成像，得到第二图像；其中，所述第二图像中所述车牌的成像不倾斜；

识别单元，用于识别所述第二图像中的车牌信息。

优选地，还包括：

扩大单元，用于所述第一检测单元检测车牌的成像在视频帧中的区域位置信息后，基于所述区域位置信息，扩大所述视频帧中包含所述车牌的成像的区域；

相应的，所述图像处理单元包括：

截取单元，用于从扩大后的图像中，基于所述区域位置信息，截取得到所述第一图像。

优选地，所述第二检测单元包括：

角点检测单元，用于采用角点检测算法，检测得到所述第一图像中的各角点；

边缘线检测单元，用于采用边缘检测算法，检测得到所述第一图像中的各边缘线；

选取单元，用于根据各角点和各边缘线，选取出所述四个顶点。

优选地，所述调整单元包括：

投影单元，用于根据所述四个顶点，将所述第一图像中的所述车牌的成像在预设平面投影，得到第三图像；

计算单元，用于计算变化矩阵；

图像调整单元，用于根据所述变化矩阵，调整所述第三图像，得到所述第二图像。

优选地，所述识别单元包括：

识别子单元，用于采用光学字符识别OCR技术，识别所述第二图像中的车牌信息。

优选地，还包括：

置信度计算单元，用于所述识别单元识别所述第二图像中的车牌信息后，计算车牌识别结果置信度；

判断单元，用于判断所述车牌识别结果置信度是否大于预设数值；

信息输出单元，用于若所述判断单元判断出所述车牌识别结果置信度大于所述预设数值，输出所述车牌信息。

相较于现有技术，本发明具有以下有益效果：

本发明提供了一种车牌识别方法和装置，本发明中对车牌的成像进行了调整，得到了车牌的成像不倾斜的第二图像，进而能够去识别所述第二图像中的车牌信息。解决了现有技术中没有在图像中车牌的成像为倾斜状态时，能够识别图像中的车牌信息的方法的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种车牌识别方法的方法流程图；

图2为本发明提供的顶点检测方法的方法流程图；

图3为本发明提供的第二图像获取方法的方法流程图；

图4为本发明提供的一种车牌识别装置的结构示意图；

图5为本发明提供的另一种车牌识别装置的结构示意图；

图6为本发明提供的再一种车牌识别装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种车牌识别方法，参照图1，包括：

S101、检测车牌的成像在视频帧中的区域位置信息；

其中，视频帧预先获取。视频帧是从摄像机中获取的，获取的视频帧一般是监控场景中包含车辆的车牌的图像。其中，摄像机可以是球型摄像机，其中，球型摄像机可以获取得到多张包含有完整的车牌的成像的视频帧，只需从中选取一张包含有完整的车牌的成像的视频帧即可。

可选的，除了能够检测到车牌的成像在视频帧中的区域位置信息，还能够检测到车牌的种类信息，其中，不同的车具有不同的车牌种类，如卡车和小汽车的车牌种类不同，此外，车牌的种类信息还包括红色车牌和黄色车牌等。

S102、从视频帧中，基于区域位置信息，得到包含有完整的车牌的成像的第一图像。

可选的，本发明的另一实施例中，检测车牌的成像在视频帧中的区域位置信息后，还包括：

基于区域位置信息，扩大视频帧中包含车牌的成像的区域；

相应的，从视频帧中，基于区域位置信息，得到包含有完整的车牌的成像的第一图像，包括：

从扩大后的图像中，基于区域位置信息，截取得到第一图像。

具体的，检测得到区域位置信息，即能够知道车牌的成像在视频帧中的大概区域位置，将该区域位置进行预设比例的扩大，进而从扩大后的图像中截取得到第一图像。其中，从扩大后的图像中截取得到第一图像，是为了使第一图像中包含有完整的车牌的成像

S103、从第一图像中检测得到车牌的成像的四个顶点；

具体的，从第一图像中检测得到车牌的成像的四个顶点是指从第一图像中定位到车牌的成像的四个顶点。

S104、根据四个顶点，采用预设算法，调整第一图像中的车牌的成像，得到第二图像。

其中，第二图像中车牌的成像不倾斜、且预设算法可以为图像重投影技术。

图像重投影技术是在保持摄像机投影中心不变的情况下，通过改变聚焦和成像平面的方向，将实际获取的景物图像重新投影到另一个图像平面上，从而实现图像几何特性变化的一种变化方法。

S105、识别第二图像中的车牌信息。

可选的，采用光学字符识别OCR技术，识别第二图像中的车牌信息。

OCR(Optical Character Recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

可选的，本发明的另一实施例中，步骤S105后，还包括：

计算车牌识别结果置信度；

判断车牌识别结果置信度是否大于预设数值；

若判断出车牌识别结果置信度大于预设数值，输出车牌信息。

具体的，在识别车牌信息的过程中，会计算得到一个车牌识别结果置信度，车牌识别结果置信度代表本次车牌信息识别的准确程度，车牌识别结果置信度为一个数值，将车牌识别结果置信度与预设数值做比较，当车牌识别结果置信度大于预设数值时，说明本次识别的准确程度较高，此时输出识别得到的车牌信息，同时输出车牌识别结果置信度。

当车牌识别结果置信度不大于预设数值时，说明本次识别的准确程度较低，此时不输出识别得到的车牌信息，也不输出车牌识别结果置信度。

本实施例中对车牌的成像进行了调整，得到了车牌的成像不倾斜的第二图像，进而能够去识别第二图像中的车牌信息。解决了现有技术中没有在图像中车牌的成像为倾斜状态时，能够识别图像中的车牌信息的方法的问题。

本发明提供的车牌识别方法应用于车牌检测器，车牌检测器根据深度学习CNN卷积神经网络模型构建，其中车牌检测器在训练过程中，会采用各种视角不同车牌的海量数据作为训练标本。由于每一类倾斜视角都有海量的训练样本数据，所以采用本发明中提供的车牌检测器，在图像中车牌的成像为倾斜状态时，也能够识别图像中的车牌信息。

可选的，本发明的另一实施例中，步骤S103包括：

S201、采用角点检测算法，检测得到第一图像中的各角点；

角点检测算法可以是Harris角点检测算法，Harris角点检测算法的计算公式如下所示：

其中，E为角点响应强度，I(x,y)为车牌的成像中(x,y)像素点的像素灰度值，(u,v)为车牌的成像中(x,y)像素点的偏移向量，角点为车牌的成像的顶点或者车牌的成像中字符拐点等。

通过Harris角点检测算法，能够检测到多个角点，多个角点中包含车牌的成像的顶点。

S202、采用边缘检测算法，检测得到第一图像中的各边缘线；

其中，边缘检测算法可以是索贝尔算子Sobel边缘检测算法，(x,y)像素点的梯度大小一般可以采用公式|G|＝|G_x|+|G_y|计算，梯度方向计算公式为

其中G_x和G_y分别为如下公式所示：

G_x＝{f[x+1,y-1]+2*f[x+1,y]+f[x+1,y+1]}

-{f[x-1,y-1]+2*f[x-1,y]+f[x-1,y+1]}

G_y＝{f[x-1,y+1]+2*f[x,y+1]+f[x+1,y+1]}

-{f[x-1,y-1]+2*f[x,y-1]+f[x+1,y-1]}

计算得到每个像素点的梯度后，就能够得到第一图像中的各边缘线。

S203、根据各角点和各边缘线，选取出四个顶点。

具体的，结合各角点、各边缘线以及车牌的固有属性来确定车牌的成像的四个顶点。其中，车牌的固有属性可以为车牌的固定的宽高比例。

本实施例中，采用角点检测算法，检测得到第一图像中的各角点，采用边缘检测算法，检测得到第一图像中的各边缘线，进而能够根据各角点和各边缘线，选取出四个顶点。

可选的，本发明的另一实施例中，步骤S104包括：

S301、根据四个顶点，将第一图像中的车牌的成像在预设平面投影，得到第三图像。

其中，预设平面为摄像机的相机平面。

S302、计算变化矩阵；

变化矩阵为第三图像畸变校正的矩阵。

S303、根据变化矩阵，调整第三图像，得到第二图像。

需要说明的是，步骤S301至步骤S303为图像重投影技术的具体实现步骤。

本实施例中，采用图像重投影技术，对第三图像进行调整，得到第二图像，进而能够去识别第二图像中的车牌信息。

可选的，本发明的另一实施例中提供了一种车牌识别装置，其中，车牌识别装置可以为车牌检测器。参照图4，车牌识别装置包括：

第一检测单元101，用于检测车牌的成像在视频帧中的区域位置信息；其中，视频帧中包含有完整的车牌的成像；

图像处理单元102，用于从视频帧中，基于区域位置信息，得到包含有完整的车牌的成像的第一图像；

第二检测单元103，用于从第一图像中检测得到车牌的成像的四个顶点；

调整单元104，用于根据四个顶点，采用预设算法，调整第一图像中的车牌的成像，得到第二图像；其中，第二图像中车牌的成像不倾斜；

识别单元105，用于识别第二图像中的车牌信息。

车牌识别装置可以为车牌检测器。

可选的，本发明的另一实施例中，还包括：

扩大单元，用于第一检测单元101检测车牌的成像在视频帧中的区域位置信息后，基于区域位置信息，扩大视频帧中包含车牌的成像的区域；

相应的，图像处理单元包括：

截取单元，用于从扩大后的图像中，基于区域位置信息，截取得到第一图像。

可选的，本发明的另一实施例中，识别单元105包括：

识别子单元，用于采用光学字符识别OCR技术，识别第二图像中的车牌信息。

可选的，本发明的另一实施例中，还包括：

置信度计算单元，用于识别单元识别第二图像中的车牌信息后，计算车牌识别结果置信度；

判断单元，用于判断车牌识别结果置信度是否大于预设数值；

信息输出单元，用于若判断单元判断出车牌识别结果置信度大于预设数值，输出车牌信息。

本实施例中对车牌的成像进行了调整，得到了车牌的成像不倾斜的第二图像，进而能够去识别第二图像中的车牌信息。解决了现有技术中没有在图像中车牌的成像为倾斜状态时，能够识别图像中的车牌信息的方法的问题。

需要说明的是，本实施例中的各个单元的工作过程，请参照图1中对应的实施例中的内容，在此不再赘述。

可选的，本发明的另一实施例中，参照图5，第二检测单元103包括：

角点检测单元1031，用于采用角点检测算法，检测得到第一图像中的各角点；

边缘线检测单元1032，用于采用边缘检测算法，检测得到第一图像中的各边缘线；

选取单元1033，用于根据各角点和各边缘线，选取出四个顶点。

本实施例中，采用角点检测算法，检测得到第一图像中的各角点，采用边缘检测算法，检测得到第一图像中的各边缘线，进而能够根据各角点和各边缘线，选取出四个顶点。

需要说明的是，本实施例中的各个单元的工作过程，请参照图2中对应的实施例中的内容，在此不再赘述。

可选的，本发明的另一实施例中，参照图6，调整单元104包括：

投影单元1041，用于根据四个顶点，将第一图像中的车牌的成像在预设平面投影，得到第三图像；

计算单元1042，用于计算变化矩阵；

图像调整单元1043，用于根据变化矩阵，调整第三图像中的车牌的成像，得到第二图像。

本实施例中，采用图像重投影技术，对第三图像进行调整，得到第二图像，进而能够识别第二图像中的车牌信息。

需要说明的是，本实施例中的各个单元的工作过程，请参照图3中对应的实施例中的内容，在此不再赘述。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。