一种车牌识别结果融合方法及装置与流程

本发明涉及图像处理、视频监控以及安防，特别涉及一种车牌识别结果融合方法及装置。

背景技术：

随着城市的日益现代化，机动车的保有量持续增加，智能交通系统发挥着越来越重要的作用。车牌识别技术是现代智能交通系统的重要组成部分，有着十分广泛的应用。

多帧融合技术主要是针对单帧车牌识别率不稳定的情况，是采集多帧视频图像，利用视频图像内在信息综合提高车辆识别的正确率的方法。目前主要的车牌识别方法是采用基于单摄像头的数字图像处理方法，然而由于受到光线、天气等影响而使用摄像头拍摄的图像质量较低时，很有可能会造成识别准确信大大降低，而不能保证获取的车牌识别结果为最佳结果。

综上所述，目前迫切需要提出一种不仅具有更高准确性，而且可以有效选择最佳车牌识别结果的车牌识别结果融合方法及装置。

技术实现要素：

有鉴于此，本发明的主要目的在于提高车牌识别的准确性，并且可以得到唯一的最佳车牌识别结果。

为达到上述目的，按照本发明的第一个方面，提供了一种车牌识别结果融合方法，该方法包括：

第一步骤，获取视频图像中每一帧的车牌图像；

第二步骤，统计每一帧车牌图像的宽度，通过车牌识别获取每一帧车牌图像的识别结果、以及识别结果对应的置信度，并将车牌置信度、车牌字符、车牌宽度、车牌出现时间、车牌图像依次存入队列；

第三步骤，根据多个车牌图像的识别结果对应的置信度，按照置信度从大到小进行排序，若最大置信度对应的识别结果数量大于1，则转入第五步骤，否则转入第四步骤；

第四步骤，对最大置信度对应的识别结果与非最大置信度对应的识别结果进行一一字符比对，若存在与最大置信度车牌完全相同字符的车牌时，则转入第八步骤，否则返回第三步骤；

第五步骤，对最大置信度对应的多个识别结果进行一一字符比对，若多个最大置信度的车牌字符完全相同，则转入第八步骤，否则转入第六步骤；

第六步骤，查找与最大置信度的车牌字符完全相同的车牌数量，分别计数；若计数结果相同时，则转入第七步骤，否则转入第八步骤；

第七步骤，对车牌识别中的车牌宽度进行比较，比对每个车牌置信度最大的车牌宽度识别结果、计算车牌宽度阈值的差值；

第八步骤，筛选输入的车牌识别结果，并输出最佳车牌识别结果。

进一步地，所述第三步骤包括：

若所述第三步骤中车牌置信度最大的车牌数量等于1时，在所述队列中去除车牌置信度最大的车牌字符，对剩余的车牌字符进行比对，判断是否存在与车牌置信度最大的车牌字符完全相同的车牌字符，并转入所述第四步骤；

否则，提取所述队列中所有车牌置信度最大的车牌字符，对所述队列中提取的车牌字符进行比对，判断多个车牌置信度最大的车牌字符是否完全相同，并转入所述第五步骤。

进一步地，所述第四步骤包括：

若所述第三步骤中存在与最大置信度车牌完全相同字符的车牌时，记录并传输最大置信度车牌字符数据至所述第八步骤；

否则，将当前车牌的车牌置信度清零，返回到所述第三步骤。

进一步地，所述第五步骤包括：

若车牌字符比对结果与最大置信度的车牌字符完全相同时，记录并传输最大置信度车牌字符数据至所述第八步骤；

否则，从非最大置信度的车牌字符中，查找与最大置信度的车牌字符完全相同的车牌，分别计数后转入所述第六步骤。

进一步地，所述第六步骤包括：

若计数结果相同时，则转入所述第七步骤；

否则，则输出计数结果最大的车牌字符，记录并传输最大置信度车牌字符数据至所述第八步骤。

进一步地，所述第七步骤包括：

若差值只有1个最小值时，记录并传输最大置信度车牌字符数据至所述第八步骤；

否则，识别车牌出现时间，输出距离视频结束时间更近的车牌，记录并传输最大置信度车牌字符数据至所述第八步骤。

进一步地，所述第八步骤包括：

筛选队列中与传输的车牌字符数据完全相同且差值最小的最优车牌图像，输出并存储最大置信度的车牌信息与最优车牌图像。

进一步地，所述车牌信息为车牌置信度、车牌字符、车牌宽度和车牌出现时间。

按照本发明的另一个方面，提供了一种车牌识别结果融合装置，该装置包括：

车牌图像获取模块，获取视频图像中每一帧的车牌图像；

车牌识别模块，统计每一帧车牌图像的宽度，通过车牌识别获取每一帧车牌图像的识别结果、以及识别结果对应的置信度，并将车牌置信度、车牌字符、车牌宽度、车牌出现时间、车牌图像依次存入队列；

车牌置信度比较模块，根据多个车牌图像的识别结果对应的置信度，按照置信度从大到小进行排序，若最大置信度对应的识别结果数量大于1，则转入第二车牌字符比对模块，否则转入第一车牌字符比对模块；

第一车牌字符比对模块，对最大置信度对应的识别结果与非最大置信度对应的识别结果进行一一字符比对，若存在与最大置信度车牌完全相同字符的车牌时，则转入车牌识别结果输出模块，否则返回车牌置信度比较模块；

第二车牌字符比对模块，对最大置信度对应的多个识别结果进行一一字符比对，若多个最大置信度的车牌字符完全相同，则转入车牌识别结果输出模块，否则转入车牌数量计数结果输出模块；

车牌数量计数结果输出模块，查找与最大置信度的车牌字符完全相同的车牌数量，分别计数；若计数结果相同时，则转入车牌宽度比较模块，否则转入车牌识别结果输出模块；

车牌宽度比较模块，对车牌识别中的车牌宽度进行比较，比对每个车牌置信度最大的车牌宽度识别结果、计算车牌宽度阈值的差值；

车牌识别结果输出模块，筛选输入的车牌识别结果，并输出最佳车牌识别结果。

进一步地，所述车牌置信度比较模块包括：

若所述车牌置信度比较模块中车牌置信度最大的车牌数量等于1时，在所述队列中去除车牌置信度最大的车牌字符，对剩余的车牌字符进行比对，判断是否存在与车牌置信度最大的车牌字符完全相同的车牌字符，并转入所述第一车牌字符比对模块；

否则，提取所述队列中所有车牌置信度最大的车牌字符，对所述队列中提取的车牌字符进行比对，判断多个车牌置信度最大的车牌字符是否完全相同，并转入所述第二车牌字符比对模块。

进一步地，所述第一车牌字符比对模块包括：

若所述车牌置信度比较模块中存在与最大置信度车牌完全相同字符的车牌时，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块；

否则，将当前车牌的车牌置信度清零，返回到所述车牌置信度比较模块。

进一步地，所述第二车牌字符比对模块，包括：

若车牌字符比对结果与最大置信度的车牌字符完全相同时，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块；

否则，从非最大置信度的车牌字符中，查找与最大置信度的车牌字符完全相同的车牌，分别计数后转入所述车牌数量计数结果输出模块。

进一步地，所述车牌数量计数结果输出模块包括：

若计数结果相同时，则转入所述车牌宽度比较模块；

否则，则输出计数结果最大的车牌字符，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块。

进一步地，所述车牌宽度比较模块包括：

若差值只有1个最小值时，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块；

否则，识别车牌出现时间，输出距离视频结束时间更近的车牌，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块。

进一步地，所述车牌识别结果输出模块包括：

筛选队列中与传输的车牌字符数据完全相同且差值最小的最优车牌图像，输出并存储最大置信度的车牌信息与最优车牌图像。

进一步地，所述车牌信息为车牌置信度、车牌字符、车牌宽度和车牌出现时间。

与现有的车牌比对技术相比，本发明的车牌识别结果一方面可以解决多帧车牌识别后，无法有效选择最佳车牌识别结果的问题，另一方面可以输出更为清晰的车牌图像，提高了车牌识别的准确性，得到唯一的最佳车牌识别结果。

附图说明

图1示出了按照本发明的一种车牌识别结果融合方法的流程图。

图2示出了按照本发明的一种车牌识别结果融合装置的框架图。

具体实施方式

为使能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1给出了按照本发明的一种车牌识别结果融合方法的流程图。如图1所示，按照本发明的一种车牌识别结果融合方法包括：

第一步骤s1，获取视频图像中每一帧的车牌图像；

第二步骤s2，统计每一帧车牌图像的宽度，通过车牌识别获取每一帧车牌图像的识别结果、以及识别结果对应的置信度，并将车牌置信度、车牌字符、车牌宽度、车牌出现时间、车牌图像依次存入队列；

第三步骤s3，根据多个车牌图像的识别结果对应的置信度，按照置信度从大到小进行排序，若最大置信度对应的识别结果数量大于1，则转入第五步骤s5，否则转入第四步骤s4；

第四步骤s4，对最大置信度对应的识别结果与非最大置信度对应的识别结果进行一一字符比对，若存在与最大置信度车牌完全相同字符的车牌时，则转入第八步骤s8，否则返回第三步骤s3；

第五步骤s5，对最大置信度对应的多个识别结果进行一一字符比对，若多个最大置信度的车牌字符完全相同，则转入第八步骤s8，否则转入第六步骤s6；

第六步骤s6，对输出判断是否出现相同的车牌数量计数的结果；若计数结果相同时，则转入第七步骤s7，否则转入第八步骤s8；

第七步骤s7，对车牌识别中的车牌宽度进行比较，比对每个车牌置信度最大的车牌宽度识别结果、计算车牌宽度阈值的差值；

第八步骤s8，筛选输入的车牌识别结果，并输出最佳车牌识别结果。

所述第一步骤s1中所述的获取视频图像中的每一帧的车牌图像，可以通过现有的车牌分割技术实现。实施例，“李炜,黄心汉,王敏,等.车牌自动识别系统中车牌分割的研究[j].信号处理,2000(s1):41-44”。

所述第二步骤s2中车牌置信度、车牌字符，可以通过现有的车牌识别算法实现。实施例“魏武,张起森,王明俊,等.一种基于模板匹配的车牌识别方法[j].中国公路学报,2001,14(1):104-106.”。

进一步地，所述第三步骤s3包括：

若所述第三步骤s3中车牌置信度最大的车牌数量等于1时，在所述队列中去除车牌置信度最大的车牌字符，对剩余的车牌字符进行比对，判断是否存在与车牌置信度最大的车牌字符完全相同的车牌字符，并转入所述第四步骤s4；

否则，提取所述队列中所有车牌置信度最大的车牌字符，对所述队列中提取的车牌字符进行比对，判断多个车牌置信度最大的车牌字符是否完全相同，并转入所述第五步骤s5。

进一步地，所述第三步骤s3中，车牌字符比对方法为现有的字符串匹配技术。实施例，“万国根,秦志光.改进的ac-bm字符串匹配算法[j].电子科技大学学报,2006,35(4):531-533”

实施例，例如只有1个最大置信度的车牌，则转入所述第四步骤s4。

实施例，例如有3个最大置信度的车牌，则转入所述第五步骤s5。

进一步地，所述第四步骤s4包括：

若所述第三步骤s3中存在与最大置信度车牌完全相同字符的车牌时，记录并传输最大置信度车牌字符数据至所述第八步骤s8；

否则，将当前车牌的车牌置信度清零，返回到所述第三步骤s3。

进一步地，所述车牌宽度阈值为90~150像素。例如，车牌宽度阈值可以为110像素或者130像素。

实施例，例如京a12345为最大置信度对应的车牌字符，且非最大置信度的车牌中，也存在京a12345的车牌，记录车牌字符为京a12345，转入所述第八步骤s8。

实施例，例如京a12345为最大置信度对应的车牌字符，但非最大置信度的车牌字符对应为京b23456或者京c34567，则将京a12345的置信度清零。

进一步地，所述第五步骤s5包括：

若车牌字符比对结果与最大置信度的车牌字符完全相同时，记录并传输最大置信度车牌字符数据至所述第八步骤s8；

否则，从非最大置信度的车牌字符中，查找与最大置信度的车牌字符完全相同的车牌，分别计数后转入所述第六步骤s6。

实施例，例如京a12345、京a12345为最大置信度对应的车牌字符，车牌字符完全相同，记录车牌字符为京a12345，转入所述第八步骤s8。

实施例，例如京a12345、京a12345、京b23456为最大置信度对应的车牌字符，车牌字符不完全相同，则转入所述第六步骤s6。

进一步地，所述第六步骤s6包括：

若计数结果相同时，则转入所述第七步骤s7；

否则，则输出计数结果最大的车牌字符，记录并传输最大置信度车牌字符数据至所述第八步骤s8。

实施例，例如京a12345、京b23456、京c34567为最大置信度对应的车牌字符，车牌字符为京a12345的有8个，车牌字符为京b23456的有8个，车牌字符为京c34567的有8个，车牌字符为京a12345、京b23456、京c34567的数量一样，则转入所述第七步骤s7。

实施例，例如京a12345、京b23456、京c34567为最大置信度对应的车牌字符，车牌字符为京a12345的有10个，车牌字符为京b23456的有6个，车牌字符为京c34567的有8个，车牌字符为京b23456数量更多，记录车牌字符为京a12345，转入所述第八步骤s8。

进一步地，所述第七步骤s7包括：

若差值只有1个最小值时，记录并传输最大置信度车牌字符数据至所述第八步骤s8；

否则，识别车牌出现时间，输出距离视频结束时间更近的车牌，记录并传输最大置信度车牌字符数据至所述第八步骤s8。

实施例，例如京a12345、京b23456为最大置信度对应的车牌字符，车牌宽度阈值为110。车牌字符为京a12345的最小差值为2，车牌字符为京b23456的最小差值为3，车牌字符为京a12345的最小差值最小。记录车牌字符为京a12345，转入所述第八步骤s8。

进一步地，所述。

实施例，例如京a12345、京b23456为最大置信度对应的车牌字符，车牌宽度阈值为110。车牌字符为京a12345的最小差值为3，车牌字符为京b23456的最小差值为3，车牌字符为京a12345、京b23456的最小差值一样。车牌字符为京a12345的最大置信度车牌出现时间为0:31.77、车牌字符为京b23456的最大置信度车牌出现时间为0:12.48。京a12345距离视频结束的时间更近，记录车牌字符为京a12345，转入所述第八步骤s8。

进一步地，所述第八步骤s8包括：

筛选队列中与传输的车牌字符数据完全相同且差值最小的最优车牌图像，输出并存储最大置信度的车牌信息与最优车牌图像。

进一步地，所述车牌信息为车牌置信度、车牌字符、车牌宽度和车牌出现时间。

进一步地，所述第二步骤s2、所述第三步骤s3、所述第四步骤s4、所述第五步骤s5、所述第六步骤s6、所述第七步骤s7、所述第八步骤s8中车牌置信度为车牌全部字符的置信度。

实施例，例如传输的车牌字符为京a12345，则寻找车牌字符为京a12345且差值最小的最小车牌图像，输出车牌字符为京a12345的最大置信度的车牌置信度、车牌字符、车牌宽度、车牌出现时间和最优车牌图像。例如，28，京a12345，130，0:31.77，最优车牌图像。

图2给出了按照本发明的一种车牌识别结果融合装置的框架图。如图2所示，按照本发明的一种车牌识别结果融合装置包括：

车牌图像获取模块1，获取视频图像中每一帧的车牌图像；

车牌识别模块2，统计每一帧车牌图像的宽度，通过车牌识别获取每一帧车牌图像的识别结果、以及识别结果对应的置信度，并将车牌置信度、车牌字符、车牌宽度、车牌出现时间、车牌图像依次存入队列；

车牌置信度比较模块3，根据多个车牌图像的识别结果对应的置信度，按照置信度从大到小进行排序，若最大置信度对应的识别结果数量大于1，则转入第二车牌字符比对模块5，否则转入第一车牌字符比对模块4；

第一车牌字符比对模块4，对最大置信度对应的识别结果与非最大置信度对应的识别结果进行一一字符比对，若存在与最大置信度车牌完全相同字符的车牌时，则转入车牌识别结果输出模块8，否则返回车牌置信度比较模块3；

第二车牌字符比对模块5，对最大置信度对应的多个识别结果进行一一字符比对，若多个最大置信度的车牌字符完全相同，则转入车牌识别结果输出模块8，否则转入车牌数量计数结果输出模块6；

车牌数量计数结果输出模块6，对输出判断是否出现相同的车牌数量计数的结果；若计数结果相同时，则转入车牌宽度比较模块7，否则转入车牌识别结果输出模块8；

车牌宽度比较模块7，对车牌识别中的车牌宽度进行比较，比对每个车牌置信度最大的车牌宽度识别结果、计算车牌宽度阈值的差值；

车牌识别结果输出模块8，筛选输入的车牌识别结果，并输出最佳车牌识别结果。

所述车牌图像获取模块1中所述的获取视频图像中的每一帧的车牌图像，可以通过现有的车牌分割技术实现。实施例，“李炜,黄心汉,王敏,等.车牌自动识别系统中车牌分割的研究[j].信号处理,2000(s1):41-44”。

所述车牌识别模块2中车牌置信度、车牌字符，可以通过现有的车牌识别算法实现。实施例“魏武,张起森,王明俊,等.一种基于模板匹配的车牌识别方法[j].中国公路学报,2001,14(1):104-106.”。

进一步地，所述车牌置信度比较模块3包括：

若所述车牌置信度比较模块3中车牌置信度最大的车牌数量等于1时，在所述队列中去除车牌置信度最大的车牌字符，对剩余的车牌字符进行比对，判断是否存在与车牌置信度最大的车牌字符完全相同的车牌字符，并转入所述第一车牌字符比对模块4；

否则，提取所述队列中所有车牌置信度最大的车牌字符，对所述队列中提取的车牌字符进行比对，判断多个车牌置信度最大的车牌字符是否完全相同，并转入所述第二车牌字符比对模块5。

进一步地，所述车牌置信度比较模块3中，车牌字符比对方法为现有的字符串匹配技术。实施例，“万国根,秦志光.改进的ac-bm字符串匹配算法[j].电子科技大学学报,2006,35(4):531-533”

实施例，例如只有1个最大置信度的车牌，则转入所述第一车牌字符比对模块4。

实施例，例如有3个最大置信度的车牌，则转入所述第二车牌字符比对模块5。

进一步地，所述第一车牌字符比对模块4包括：

若所述车牌置信度比较模块3中存在与最大置信度车牌完全相同字符的车牌时，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块8；

否则，将当前车牌的车牌置信度清零，返回到所述车牌置信度比较模块3。

进一步地，所述车牌宽度阈值为90~150像素。例如，车牌宽度阈值可以为110像素或者130像素。

实施例，例如京a12345为最大置信度对应的车牌字符，且非最大置信度的车牌中，也存在京a12345的车牌，记录车牌字符为京a12345，转入所述车牌识别结果输出模块8。

实施例，例如京a12345为最大置信度对应的车牌字符，但非最大置信度的车牌字符对应为京b23456或者京c34567，则将京a12345的置信度清零。

进一步地，所述第二车牌字符比对模块5包括：

若车牌字符比对结果与最大置信度的车牌字符完全相同时，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块8；

否则，从非最大置信度的车牌字符中，查找与最大置信度的车牌字符完全相同的车牌，分别计数后转入所述车牌数量计数结果输出模块6。

实施例，例如京a12345、京a12345为最大置信度对应的车牌字符，车牌字符完全相同，记录车牌字符为京a12345，转入所述车牌识别结果输出模块8。

实施例，例如京a12345、京a12345、京b23456为最大置信度对应的车牌字符，车牌字符不完全相同，则转入所述车牌数量计数结果输出模块6。

进一步地，所述车牌数量计数结果输出模块6包括：

若计数结果相同时，则转入所述车牌宽度比较模块7；

否则，则输出计数结果最大的车牌字符，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块8。

实施例，例如京a12345、京b23456、京c34567为最大置信度对应的车牌字符，车牌字符为京a12345的有8个，车牌字符为京b23456的有8个，车牌字符为京c34567的有8个，车牌字符为京a12345、京b23456、京c34567的数量一样，则转入所述车牌宽度比较模块7。

实施例，例如京a12345、京b23456、京c34567为最大置信度对应的车牌字符，车牌字符为京a12345的有10个，车牌字符为京b23456的有6个，车牌字符为京c34567的有8个，车牌字符为京b23456数量更多，记录车牌字符为京a12345，转入所述车牌识别结果输出模块8。

进一步地，所述车牌宽度比较模块7包括：

若差值只有1个最小值时，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块8；

否则，识别车牌出现时间，输出距离视频结束时间更近的车牌，记录并传输最大置信度车牌字符数据至所述车牌识别结果输出模块8。

实施例，例如京a12345、京b23456为最大置信度对应的车牌字符，车牌宽度阈值为110。车牌字符为京a12345的最小差值为2，车牌字符为京b23456的最小差值为3，车牌字符为京a12345的最小差值最小。记录车牌字符为京a12345，转入所述车牌识别结果输出模块8。

进一步地，所述。

实施例，例如京a12345、京b23456为最大置信度对应的车牌字符，车牌宽度阈值为110。车牌字符为京a12345的最小差值为3，车牌字符为京b23456的最小差值为3，车牌字符为京a12345、京b23456的最小差值一样。车牌字符为京a12345的最大置信度车牌出现时间为0:31.77、车牌字符为京b23456的最大置信度车牌出现时间为0:12.48。京a12345距离视频结束的时间更近，记录车牌字符为京a12345，转入所述车牌识别结果输出模块8。

进一步地，所述车牌识别结果输出模块8包括：

筛选队列中与传输的车牌字符数据完全相同且差值最小的最优车牌图像，输出并存储最大置信度的车牌信息与最优车牌图像。

进一步地，所述车牌信息为车牌置信度、车牌字符、车牌宽度和车牌出现时间。

进一步地，所述车牌识别模块2、所述车牌置信度比较模块3、所述第一车牌字符比对模块4、所述第二车牌字符比对模块5、所述车牌数量计数结果输出模块6、所述车牌宽度比较模块7、所述车牌识别结果输出模块8中车牌置信度为车牌全部字符的置信度。

实施例，例如传输的车牌字符为京a12345，则寻找车牌字符为京a12345且差值最小的最小车牌图像，输出车牌字符为京a12345的最大置信度的车牌置信度、车牌字符、车牌宽度、车牌出现时间和最优车牌图像。例如，28，京a12345，130，0:31.77，最优车牌图像。

与现有的车牌比对技术相比，本发明的车牌识别结果一方面可以解决多帧车牌识别后，无法有效选择最佳车牌识别结果的问题，另一方面可以输出更为清晰的车牌图像，提高了车牌识别的准确性，得到唯一的最佳车牌识别结果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。