车牌号码的识别方法、装置及存储介质与流程

本发明涉及图像识别领域，具体而言，涉及一种车牌号码的识别方法、装置及存储介质。

背景技术：

车牌号码是标识车辆身份的唯一性标识，车牌是车牌号码的载体，通过车牌检测识别获取车牌号码后可以唯一的确定车辆身份信息。虽然当前在车辆身份识别方面出现了各种基于车辆其它特征进行识别的技术，但基于车牌的识别仍是当前及未来若干年内车辆身份识别最可靠准确及实用的途径之一，是基于车辆身份的交通、安防等众多领域应用的基础，具有重要的意义。

但是，目前相关技术中尚未提供在复杂动态场景中还能够保持高准确率识别车牌号码的方案。

技术实现要素：

本发明实施例提供了一种车牌号码的识别方法、装置及存储介质，以至少解决相关技术中如何准确识别车牌号码的问题。

根据本发明实施例的一个方面，提供了一种车牌号码的识别方法，包括：获取车牌的图像或视频；从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别，其中，所述车牌的车牌关键点包括所述车牌上预先定义的区域的特征点。

在至少一个示例性实施例中，所述车牌的车牌关键点包括：车牌外框关键点和/或车牌字符关键点，其中，所述车牌外框关键点包括用于标示车牌外框区域的特征点，所述车牌字符关键点包括用于标示车牌字符区域的特征点。

在至少一个示例性实施例中，从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别包括：从所述车牌的图像或视频中检测所述车牌外框关键点；根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；基于所述车牌区域的图像和所述车牌类型对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别包括：从所述车牌的图像或视频中检测所述车牌字符关键点；根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；基于所述字符分割的结果对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别包括：从所述车牌的图像或视频中检测所述车牌外框关键点；根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；根据所述车牌类型从所述车牌区域的图像中检测所述车牌字符关键点；根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；基于所述字符分割的结果对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，在根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型之后，所述方法还包括：在确定所述车牌区域的图像满足预设的矫正需求判定条件的情况下，根据检测到的所述车牌外框关键点对所述车牌区域的图像进行矫正。

在至少一个示例性实施例中，根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型包括：根据检测到的所述车牌外框关键点判断所述车牌的图像或视频是否满足预设的车牌整体质量评估条件；在判断所述车牌的图像或视频满足预设的车牌整体质量评估条件的情况下，根据检测到的所述车牌外框关键点提取所述车牌区域的图像并确定所述车牌的车牌类型。

在至少一个示例性实施例中，根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割包括：根据检测到的所述车牌字符关键点判断所述车牌的图像或视频是否满足预设的车牌细节质量评估条件；在判断所述车牌的图像或视频是否满足预设的车牌细节质量评估条件的情况下，根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割。

在至少一个示例性实施例中，根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别包括：对所述同一车牌的多帧图像或含有所述同一车牌的视频不同帧检测所得到的车牌关键点的多个检测结果进行融合，并根据融合后的车牌关键点的检测结果对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，用于标示车牌外框区域的特征点包括：车牌外框角标识点和/或车牌外框边标识点；用于标示车牌字符区域的特征点包括：车牌字符行标识点和车牌单字符位置标识点。

根据本发明实施例的另一个方面，提供了一种车牌号码的识别装置，包括：图像或视频输入模块，设置为获取车牌的图像或视频；车牌关键点检测模块，设置为从所述车牌的图像或视频中检测所述车牌的车牌关键点，其中，所述车牌的车牌关键点包括所述车牌上预先定义的区域的特征点；车牌号码识别模块，设置为根据所述车牌关键点检测模块检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，所述车牌的车牌关键点包括：车牌外框关键点和/或车牌字符关键点，其中，所述车牌外框关键点包括用于标示车牌外框区域的特征点，所述车牌字符关键点包括用于标示车牌字符区域的特征点。

在至少一个示例性实施例中，所述车牌关键点检测模块，设置为从所述车牌的图像或视频中检测所述车牌外框关键点；所述车牌号码识别模块包括：第一车牌区域提取及类型确定单元，设置为根据所述车牌关键点检测模块检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；第一车牌号码识别单元，设置为基于所述车牌区域的图像和所述车牌类型对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，所述车牌关键点检测模块，设置为从所述车牌的图像或视频中检测所述车牌字符关键点；所述车牌号码识别模块包括：第一字符位置确认及字符分割单元，设置为根据所述车牌关键点检测模块检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；第二车牌号码识别单元，设置为基于所述字符分割的结果对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，所述车牌关键点检测模块，设置为从所述车牌的图像或视频中检测所述车牌外框关键点；所述车牌号码识别模块包括：第二车牌区域提取及类型确定单元，设置为根据所述车牌关键点检测模块检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；所述车牌关键点检测模块，设置为根据所述车牌类型从所述车牌区域的图像中检测所述车牌字符关键点；所述车牌号码识别模块还包括：第二字符位置确认及字符分割单元，设置为根据所述车牌关键点检测模块检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；第三车牌号码识别单元，设置为基于所述字符分割的结果对所述车牌的车牌号码进行识别。

根据本发明实施例的又一个方面，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

通过本发明实施例中提供的方案，将关键点检测应用于车牌检测中，可以准确的检测出车牌各关键点的位置，从而实现对车牌号码的准确识别，因此，可以解决相关技术中如何准确识别车牌号码的问题，实现了车牌号码的高效、准确的识别。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例1的车牌号码的识别方法的流程图；

图2是根据本发明实施例2的车牌号码的识别装置的结构框图；

图3是根据本发明实施例2的车牌号码的识别装置的第一示例性结构框图；

图4是根据本发明实施例2的车牌号码的识别装置的第二示例性结构框图；

图5是根据本发明实施例2的车牌号码的识别装置的第三示例性结构框图；

图6是根据本发明实施例4的小型汽车号牌外框关键点示意图；

图7是根据本发明实施例4的大型汽车后号牌外框关键点示意图；

图8是根据本发明实施例4的小型汽车号牌字符关键点示意图；

图9是根据本发明实施例4的新能源小型汽车号牌字符关键点示意图；

图10是根据本发明实施例4的大型汽车后号牌字符关键点示意图；

图11是根据本发明实施例4的车牌关键点的检测定位的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在服务器、监控设备或者类似的运算装置中执行。

在本实施例中提供了一种车牌号码的识别方法，图1是根据本发明实施例1的车牌号码的识别方法的流程图，如图1所示，该流程包括如下步骤：

步骤s102，获取车牌的图像或视频；

步骤s104，从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别，其中，所述车牌的车牌关键点包括所述车牌上预先定义的区域的特征点。

通过上述步骤，将关键点检测应用于车牌检测中，可以准确的检测出车牌各关键点的位置，从而实现对车牌号码的准确识别，因此，可以解决相关技术中如何准确识别车牌号码的问题，实现了车牌号码的高效、准确的识别。此外，该方案无需对实际待检测车牌进行额外标注或加工，而是通过关键点检测技术准确检测预先定义的关键点，即可实现对车牌和车牌字符的精准检测定位，进而实现对车牌号码的准确识别。

可选地，上述步骤的执行主体可以为服务器、监控终端等，但不限于此。

在至少一个示例性实施例中，所述车牌的车牌关键点可以包括：

车牌外框关键点，其中，所述车牌外框关键点包括用于标示车牌外框区域的特征点；和/或，

车牌字符关键点，其中，所述车牌字符关键点包括用于标示车牌字符区域的特征点。

其中，用于标示车牌外框区域的特征点可以包括：车牌外框角标识点和/或车牌外框边标识点。通过这两种标识点中的至少一种，可以实现对车牌外框的识别，从而便于确定车牌区域并提取车牌区域的图像，在此基础上还可以进行丰富的应用扩展，如车牌质量评估中的车牌倾斜、截断、遮挡检测，基于视频的多帧车牌图像融合等。

其中，用于标示车牌字符区域的特征点包括：车牌字符行标识点和车牌单字符位置标识点。通过这两种标识点，可以实现对车牌上字符位置的准确定位，通过对这两种标识点的检测可以很方便地得到车牌字符分割的结果，同时可以得到车牌各个字符的准确位置，一方面可以用于车牌字符识别，另一方面还可以用于质量较差车牌的多帧融合识别。

根据具体输入图像状态、道路倾斜度或平坦度、系统设置或精度要求等因素，步骤s104从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别的过程，可以采用多种方式进行实现，以下给出几种示例性的实施例。

(1)在所述车牌的车牌关键点包括所述车牌外框关键点的情况下

步骤s104可以包括如下操作：

s104-1-1：从所述车牌的图像或视频中检测所述车牌外框关键点；

s104-1-2：根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；

s104-1-3：基于所述车牌区域的图像和所述车牌类型对所述车牌的车牌号码进行识别。

也就是说，通过车牌外框关键点提取车牌区域的图像并确定车牌类型后，可以直接将车牌区域的图像和车牌类型的判定结果输入图像识别模块，进行车牌号码的识别。

(2)在所述车牌的车牌关键点包括所述车牌字符关键点的情况下

步骤s104可以包括如下操作：

s104-2-1：从所述车牌的图像或视频中检测所述车牌字符关键点；

s104-2-2：根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；

s104-2-3：基于所述字符分割的结果对所述车牌的车牌号码进行识别。

也就是说，通过车牌字符关键点确定字符位置后，可以直接将车牌的图像或视频以及确定的字符位置输入图像识别模块，进行车牌号码的识别。

(3)在所述车牌的车牌关键点包括所述车牌外框关键点和所述车牌字符关键点的情况下

步骤s104可以包括如下操作：

s104-3-1：从所述车牌的图像或视频中检测所述车牌外框关键点；

s104-3-2：根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；

s104-3-3：根据所述车牌类型从所述车牌区域的图像中检测所述车牌字符关键点；

s104-3-4：根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；

s104-3-5：基于所述字符分割的结果对所述车牌的车牌号码进行识别。

也就是说，通过车牌外框关键点提取车牌区域的图像并确定车牌类型后，可以进一步通过车牌字符关键点确定字符位置，之后可以将车牌区域的图像或视频以及确定的字符位置输入图像识别模块，进行车牌号码的识别。

针对于从所述车牌的图像或视频中检测所述车牌的车牌关键点的具体方式，本实施例对此不作限定，从而对输入的车牌图像或视频进行关键点的准确探测。

在根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型之后，可以根据车牌区域的图像的情况执行相应的矫正手段，从而提高车牌区域的图像的质量，进一步提高车牌号码的识别准确度。因此，在至少一个示例性实施例中，在步骤s104-1-2或s104-3-2之后，所述方法还可以包括：

在确定所述车牌区域的图像满足预设的矫正需求判定条件的情况下，根据检测到的所述车牌外框关键点对所述车牌区域的图像进行矫正，其中，矫正需求判定条件是一种预设的用于判定是否需要对车牌区域的图像进行矫正的判定条件，可以由管理员预先设置或者在系统中预存，其中矫正需求判定条件可以包括车牌倾斜判定条件、车牌截断判定条件、车牌遮挡判定条件等等，相应的对所述车牌区域的图像进行矫正的手段分别包括车牌区域角度调整、车牌区域拼接、车牌区域增强处理辅以车辆其他辅助信息采集等等。

根据检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型的过程，可以在经过评估确定车牌整体质量符合要求的情况下执行，如果车牌整体质量不符合要求，则可以舍弃当前的车牌图像或视频数据。因此，在至少一个示例性实施例中，步骤s104-1-2和步骤s104-3-2可以包括：

根据检测到的所述车牌外框关键点判断所述车牌的图像或视频是否满足预设的车牌整体质量评估条件；

在判断所述车牌的图像或视频满足预设的车牌整体质量评估条件的情况下，根据检测到的所述车牌外框关键点提取所述车牌区域的图像并确定所述车牌的车牌类型。

根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割的过程，可以在经过评估确定车牌细节质量符合要求的情况下执行，如果车牌细节质量不符合要求，则可以舍弃当前的车牌图像或视频数据。因此，在至少一个示例性实施例中，步骤s104-2-2和s104-3-4可以包括：

根据检测到的所述车牌字符关键点判断所述车牌的图像或视频是否满足预设的车牌细节质量评估条件；

在判断所述车牌的图像或视频是否满足预设的车牌细节质量评估条件的情况下，根据检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割。

在单幅车牌图像质量较差，检测识别可靠性不高的情况下，基于检测到的车牌关键点信息，可以实现多帧车牌图像的识别结果融合，以实现更加准确的车牌号码识别。因此，在至少一个示例性实施例中，根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别可以包括：对同一车牌的多帧图像或含有所述同一车牌的视频的不同帧进行检测所得到的车牌关键点的多个检测结果进行融合，并根据融合后的车牌关键点的检测结果对所述车牌的车牌号码进行识别。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种车牌号码的识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例2的车牌号码的识别装置的结构框图，如图2所示，该装置包括：

图像或视频输入模块22，设置为获取车牌的图像或视频；

车牌关键点检测模块24，设置为从所述车牌的图像或视频中检测所述车牌的车牌关键点，其中，所述车牌的车牌关键点包括所述车牌上预先定义的区域的特征点；

车牌号码识别模块26，设置为根据所述车牌关键点检测模块24检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别。

在至少一个示例性实施例中，所述车牌的车牌关键点可以包括：

车牌外框关键点，其中，所述车牌外框关键点包括用于标示车牌外框区域的特征点；和/或，

车牌字符关键点，其中，所述车牌字符关键点包括用于标示车牌字符区域的特征点。

其中，用于标示车牌外框区域的特征点可以包括：车牌外框角标识点和/或车牌外框边标识点。通过这两种标识点中的至少一种，可以实现对车牌外框的识别，从而便于确定车牌区域并提取车牌区域的图像，在此基础上还可以进行丰富的应用扩展，如车牌质量评估中的车牌倾斜、截断、遮挡检测，基于视频的多帧车牌图像融合等。

其中，用于标示车牌字符区域的特征点包括：车牌字符行标识点和车牌单字符位置标识点。通过这两种标识点，可以实现对车牌上字符位置的准确定位，通过对这两种标识点的检测可以很方便地得到车牌字符分割的结果，同时可以得到车牌各个字符的准确位置，一方面可以用于车牌字符识别，另一方面还可以用于多帧质量较差车牌的融合识别。

图3是根据本发明实施例2的车牌号码的识别装置的第一示例性结构框图，如图3所示，在至少一个示例性实施例中，

所述车牌关键点检测模块24，设置为从所述车牌的图像或视频中检测所述车牌外框关键点；

所述车牌号码识别模块26包括：

第一车牌区域提取及类型确定单元261，设置为根据所述车牌关键点检测模块24检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；

第一车牌号码识别单元262，设置为基于所述车牌区域的图像和所述车牌类型对所述车牌的车牌号码进行识别。

图4是根据本发明实施例2的车牌号码的识别装置的第二示例性结构框图，如图4所示，在至少一个示例性实施例中，

所述车牌关键点检测模块24，设置为从所述车牌的图像或视频中检测所述车牌字符关键点；

所述车牌号码识别模块26包括：

第一字符位置确认及字符分割单元263，设置为根据所述车牌关键点检测模块24检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；

第二车牌号码识别单元264，设置为基于所述字符分割的结果对所述车牌的车牌号码进行识别。

图5是根据本发明实施例2的车牌号码的识别装置的第三示例性结构框图，如图5所示，在至少一个示例性实施例中，

所述车牌关键点检测模块24，设置为从所述车牌的图像或视频中检测所述车牌外框关键点；

所述车牌号码识别模块26包括：

第二车牌区域提取及类型确定单元265，设置为根据所述车牌关键点检测模块24检测到的所述车牌外框关键点提取车牌区域的图像并确定所述车牌的车牌类型；

所述车牌关键点检测模块24，设置为根据所述车牌类型从所述车牌区域的图像中检测所述车牌字符关键点；

所述车牌号码识别模块26还包括：

第二字符位置确认及字符分割单元266，设置为根据所述车牌关键点检测模块24检测到的所述车牌字符关键点确定字符位置并对所述车牌进行字符分割；

第三车牌号码识别单元267，设置为基于所述字符分割的结果对所述车牌的车牌号码进行识别。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

步骤s1，获取车牌的图像或视频；

步骤s1，从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别，其中，所述车牌的车牌关键点包括所述车牌上预先定义的区域的特征点。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种服务器或监控装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

步骤s1，获取车牌的图像或视频；

步骤s1，从所述车牌的图像或视频中检测所述车牌的车牌关键点，并根据检测到的所述车牌的车牌关键点，对所述车牌的车牌号码进行识别，其中，所述车牌的车牌关键点包括所述车牌上预先定义的区域的特征点。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

实施例4

图像关键点是指对于图像中关键特征、关键物体、物体与其他物体或同一物体内的不同部分等进行定位的点，通过关键点可以获取对于图像的检测识别理解等具有重要意义的关键区域的位置，是当前诸多计算机视觉领域应用的基础，如人脸识别、人体关键点检测、人体动作识别等。

本实施例通过检测车牌的图像或视频中的车牌关键点，从而实现车牌号码的识别，能够做到对车牌边框、车牌文字区域的准确定位，还可以实现对车牌质量的评估，以最终实现对车牌字符位置准确的获取。

以下对于本实施例中的车牌关键点定义方法进行举例说明。需要注意的是，本实施例的文字描述及附图所示的关键点定义方法，只是为了说明关键点的定义所提供的其中一种示例性定义方法，在实际应用中并不限定于这种定义方法，因此采用其他的关键点定义方法也应包括在本发明的保护范围内。

车牌的设计是基于一定的设计规范和国家标准，例如，中国的机动车号牌制作过程需符合《中华人民共和国机动车号牌ga36-2007》标准及公安部等相关机构后续颁布的其它号牌制作使用规范，例如关于新能源汽车号牌设计制作规范。这使车牌作为一种人工标准化设计的产物，在总体上具有一定的共同特点有一定的相似性，同时具体上有根据国家地区、车辆类型有不同的设计细节。以中国车牌为例，根据车牌形状，字符数目的不同，可以分为大型汽车前号牌，大型汽车后号牌，小型汽车号牌，警用汽车号牌等，新能源汽车有依据车辆类型划分为大型汽车前后号牌、小型汽车号牌等，这些车牌的使用、制作都具有一定的共同特征，同时在具体字符数目、尺寸细节等方面又有所区别。基于上述特点，本实施例提出了一种基于车牌关键点检测的车牌检测与识别方法，其车牌关键点分为两种，一种是车牌外框关键点，另一种是车牌字符关键点，对车牌上的关键位置进行关键点的定义举例说明如下(需要注意的是，以下所举例的关键点定义仅仅是为了理解之便，本领域技术人员应当理解，可以根据实际需要对关键点进行不同于此处的定义，此处所例举的定义不应当被理解为对本发明保护范围的限定)：

一、车牌边框关键点的定义方法(车牌外框关键点)

车牌外框关键点是指车牌外框上的关键点，是区分车牌区域与非车牌区域的关键位置。由于不同类型车牌具有相似的形状，本实施例采用不同的关键点标示车牌外框，这些关键点共有12个，全部位于车牌的外边框上。当然，12个关键点可以仅仅使用部分。

主要包括：

(1)车牌外框角点，共4个，分别位于车牌左上、右上、右下、左下外边框的四角；

(2)左右边框关键点，共2个，分别位于车牌左侧边框，右侧边框的中点；

(3)车牌上下边框关键点，共6个，分别位于车牌上下边框的3个四分位点。

图6是根据本发明实施例4的小型汽车号牌外框关键点示意图，图7是根据本发明实施例4的大型汽车后号牌外框关键点示意图。此处以中国车牌中的几种常见车牌为例，其他车牌号牌根据其相应特点与之类似。

二、对车牌字符位置进行定位的关键点的定义方法(车牌字符关键点)

车牌字符关键点是指车牌外框内对车牌字符区域及具体字符的关键点，是区分车牌字符区域与非字符区域的关键位置。同时，标准车牌中每个字符的高度与宽度都有相应的标准规定，根据车牌字符关键点还可以得到车牌中每个字符的准确位置。车牌字符关键点全部位于车牌外框内部，根据不同的车牌类型及字符数目，关键点的数目不同。

主要包括：

1.字符行外侧中点：

根据车牌类型不同，车牌上的字符可以分为单行字符和多行字符，字符行外侧中点是指车牌每层最左侧字符的左侧中点，最右侧字符的右侧中点，用于标示车牌每行字符的上下位置。关键点数目为车牌字符行数的2倍。

2.字符上下边缘点：

字符上下边缘关键点是指车牌每个字符的上方中点及下方中点，用于标示字符的左右位置。关键点数目为车牌字符数目的2倍。

图8是根据本发明实施例4的小型汽车号牌字符关键点示意图，图9是根据本发明实施例4的新能源小型汽车号牌字符关键点示意图，图10是根据本发明实施例4的大型汽车后号牌字符关键点示意图。此处以中国车牌中的几种主要代表车牌为例，其他车牌号牌根据其相应特点与之类似。

以下详细说明车牌关键点的检测定位的处理过程，该过程可以通过基于关键点检测的车牌检测及识别的装置来实现。

基于关键点检测的车牌检测及识别的装置可以包括以下组成部分或模块：待处理图像或视频输入模块，车牌外框关键点检测模块，车牌整体质量评估模块，车牌区域提取及校正模块，车牌字符关键点检测模块，车牌字符质量评估模块，车牌字符分割模块，车牌字符识别模块，这些模块既可以单独作用也可以与其他模块联合作用，同时也可以根据具体需求选用其中部分模块，还可以将这些模型与其他方法模块进行结合使用。

图11是根据本发明实施例4的车牌关键点的检测定位的流程图，如图11所示，该流程可以包括以下处理步骤。

步骤s1101，从输入数据获取车牌的图像或视频。

步骤s1102，进行车牌边框关键点的检测，外框关键点检测除了输出车牌关键点的位置外还输出关键点是否存在、置信度等多维信息。

步骤s1103，将上述输出的信息输入车牌整体质量评估模块，判断车牌整体质量，若根据模块通过各类信息判断，满足设定的标准，则继续进行下一步，否则舍弃这一组关键点，通过车牌质量评估模块可以获取高质量的车牌，舍弃难以识别处理的车牌，提高效率，降低不必要的资源消耗。

步骤s1104，车牌关键点检测及质量整体评估通过后，根据识别到的关键点位置信息进行车牌区域的提取，这时提取的车牌由于原始场景及拍摄角度等问题，可能会有扭曲、倾斜等问题，根据关键点的位置信息，可以将其映射至标准车牌的形态，同时根据前面获取的特征识别出车牌类型，以继续后续分析及标准化处理。

获取矫正后的车牌后可以直接对其进行输出，如步骤s1105所示，也可以将其输入至车牌字符关键点检测模块，如步骤s1106所示。两个步骤可以同时或二选一执行。

步骤s1105，车牌矫正后提取的信息可以直接输入车牌字符识别模块进行识别，此时跳过车牌字符关键点检测模块，直接输出车牌检测结果。

步骤s1106，将车牌检测结果输入至车牌字符关键点检测模块，提取出车牌中字符的对应关键点及其属性等信息。

步骤s1107，进行车牌细节质量评估，判断车牌字符是否满足后续字符分割识别或直接进行字符识别的需求。

步骤s1108，如果车牌细节质量评估结果表明其满足标准，将车牌字符关键点检测结果输入车牌字符分割模块，由于车牌字符有标准的宽、高，根据字符关键点可以完全确定其位置区域，对于车牌字符分割、识别带来了极大的便利。

步骤s1109，车牌字符分割的结果或者车牌字符关键点检测后的结果经车牌细节质量评估可以直接输入车牌字符识别模块，识别出车牌字符。

步骤s1110，将车牌字符的识别结果输出。

车牌关键点是一种用于车牌检测或识别的总体框架与方法，其里面具体步骤的实现不局限于具体的方法，如车牌外框关键点检测既可以用传统的方法进行实现，也可以用深度学习的方法实现。

本实施例提供的方案具有以下优点：

基于关键点检测的车牌检测方法将关键点检测的用于车牌检测中，可以准确的检测出车牌各关键点的位置，从而得到车牌区域，同时通过关键点检测可以获取与车牌形状位置有关的大量信息，可以在此基础上进行丰富的应用扩展，如车牌质量评估中的车牌倾斜、截断、遮挡检测，基于视频的多帧车牌图像融合等；

基于关键点检测的车牌字符分割方法在车牌关键点检测方法的基础上进一步的将关键点检测策略引入到车牌字符识别中，通过关键点的检测可以直接得到车牌字符分割的结果，同时可以得到准确的车牌各个字符的准确位置，一方面可以用于车牌字符识别，也可以用于多帧质量较差车牌的融合识别；

车牌关键点定义方法根据不同的车牌类型，在车牌外框检测上采用同一种关键点定义方法提高效率，在车牌字符关键点检测上上采用不同的关键点定义的方法，获得字符级的精细关键点信息。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。