一种鲁棒的车牌识别方法及其系统与流程

本发明涉及智能交通管理技术领域，尤其涉及一种鲁棒的车牌识别方法及其系统。

背景技术：

车牌识别是智能交通管理中的重点，多年来已形成了基本的技术架构，但是随着应用场景的增加，也面临着越来越多的挑战。

该技术主要有三大指标：识别率、实时性、鲁棒性。识别率指标要求卡口图像识别率不低于98％，电子警察图像不低于93％。实时性指标要求图像中的车牌能够实时识别，具体识别时间随着应用场景的不同需在数十毫秒至1秒之间变动。鲁棒性指标则要求在光照变化、雨雾天气、车牌倾斜、污损、车牌图像尺寸较小等各种情况下，识别率均能保持稳定。

针对这三个目标，现有技术中已经开发了多种车牌识别算法。虽然算法繁多，但是通常都由以下步骤组成，即：车牌定位、车牌倾斜校正、字符分割、字符识别。

车牌定位常见的有基于颜色、边缘、样本训练的三类方法。基于颜色的方法寻找与车牌颜色相近的区域。基于边缘的方法则根据车牌字符多，边缘丰富的特点，寻找竖向边缘密集的区域。基于训练的方法则采集车牌特征做训练，得到一个专用分类器，再使用该分类器定位车牌。其中，常见的方式为类Haar特征+Adaboost分类器方式。

车牌定位后，需要对车牌做倾斜校正。如不做校正，会造成字符切割不准确并进一步影响字符识别。常见的方式是利用Hough变换，计算出车牌的倾斜角度，然后再反向旋转同样的倾斜角度，从而达到校正的目的。

车牌校正后，需要对车牌做字符分割，常用的方法有连通域法和投影法。连通域法做连通域搜索找到字符，投影法则先对车牌做投影，再通过分析投影找出字符的位置。

上述现有技术的基本架构都是通过逐级排除，缩小搜索空间，最终找到并识别车牌字符。

目前，有关车牌识别的文献非常多，但是基本上都是基于上述框架，主要的改进点都集中在车牌定位、倾斜校正、字符分割、字符识别的这几个步骤的具体实现上，而忽略了以下算法框架自身的缺陷。

1)单向流程，识别率难以提高：

基于单向流程来完成识别，一旦某步骤失败，则识别失败。假定车牌定位、倾斜校正、字符分割(考虑7个字符)、字符识别的正确率分别为99.5％，则相当于1+1+7+7＝16个环节串行，总体的识别率就已经降到了99.5％^16＝92.3％。而且，99.5％的单步骤正确率实际上是很难达到的。由此可见，对于单向、纯串行结构的系统框架而言，识别率很难进一步提高。

2)每个模块内部处理方式单一，鲁棒性差适：

以字符分割为例，通常会固定使用投影法或者连通域法。当车牌定位的范围过大，将车牌周边过多的图像也划进来后，就容易导致投影法失败。光照不均，则容易导致连通域法失败。而一旦失败，并没有任何的补救措施，这也是鲁棒性差的重要原因。

3)“车牌”的概念，限制了处理的灵活性：

车牌定位时，会先搜索ROI(Region of Interest，感兴趣区域)，再在ROI内做车牌粗定位和细定位。粗定位找到车牌的可能存在区域，细定位则进一步确定边界。然后对车牌做倾斜校正，再分割字符。因此，车牌定位要非常准确，不大不小。过大，车牌周边的图像容易导致倾斜校正失败；过小，则直接导致字符缺失。另一个问题是车牌还分单层、双层、黑底白字、白底黑字、乃至不同国家和地区的各式车牌。设计者往往以本国的车牌为主要的识别对象，车牌定位和倾斜校正所使用的参数通常也是基于本国的常见车牌类型。结果，车牌形式一变，就要对算法和参数做较大调整。这一方面导致车牌算法的维护工作量大，另一方面导致车牌识别系统在出口到其他国家和地区时遇到困难，乃至贻误商机。

4)车牌定位运算量大：

利用传统方法做车牌定位时，通常会对所有像素做运算。例如，基于颜色的方法会读取每个像素点的颜色，基于边缘的方法会对每个像素点取边缘。因此，造成运算量偏大。通常，车牌定位阶段会占到算法总运算量的60％以上，影响了识别的实时性。

综上所述，如果只是提高系统中各个单一模块的性能，则整体性能的提升效果并不显著。而且单一模块的性能在提升到一定程度后，进一步提高的难度很大。在系统模块内部，由于方法单一，通常一次只能产生一个处理结果，一旦该结果错误，则识别失败。另外，“车牌”这个概念，夹在ROI和字符之间，增加了一个识别层次，降低了识别率，同时缺乏灵活性。车牌定位时，对全部像素的无差别运算也导致了运算量大，影响了实时性。

总而言之，现有技术中，单向、单一的流程以及“车牌”的概念导致传统的车牌识别方法及其系统的前后步骤依赖性强、鲁棒性差、设计难度大、灵活性差。

技术实现要素：

为了解决上述技术问题，本发明提供了一种新的鲁棒的车牌识别方法及其系统。

本发明提供的鲁棒的车牌识别方法，包括：

兴趣区域搜索步骤，对待识别图像进行检测，找出图像中的非平坦区作为可能存在车牌的兴趣区域；

候选区域检测步骤，对兴趣区域进行字符检测，将兴趣区域中存在多个相邻字符的区域作为候选区域；

候选区域识别步骤，对候选区域中的字符进行识别，其中首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后基于样本空间来识别未检出的字符。

优选地，所述候选区域识别步骤中，基于样本空间来识别未检出的字符是指分析样本空间中每个样本的置信度，获得置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，从而识别出未检出的字符。

优选地，所述候选区域识别步骤中，识别已检出的字符包括以下小步骤：

S310、对已检出的字符提取字符样本；

S320、通过对步骤S310所获得的字符样本进行缩放和/或倾斜来获取扩展样本；

S330、建立包括步骤S310所获得的字符样本以及步骤S320所获得的扩展样本的样本空间；

S340、分析步骤S330所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出。

优选地，所述候选区域识别步骤中，识别未检出的字符包括以下小步骤：

S350、获得已检出的字符的样本空间中置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，并对其提取字符样本；

S360、通过沿着最佳倾斜角度滑动步骤S350所获得的字符样本来获取扩展样本；

S370、建立包括步骤S350所获得的字符样本以及步骤S360所获得的扩展样本的样本空间；

S380、分析步骤S370所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出。

优选地，所述候选区域识别步骤中，同时采用投影法和连通域法来提取字符样本，若两个方法的结果有重叠，则重叠部分合并，非重叠部分保留，作为字符样本。

优选地，所述候选区域识别步骤中，还对字符识别结果中易混淆的字符进行再次识别。

优选地，所述候选区域识别步骤中，根据字符识别结果判断车牌类型，并输出包括车牌类型、车牌号和/或识别置信度的车牌识别结果。

优选地，所述兴趣区域搜索步骤包括以下小步骤：

S110、计算待识别图像的积分图；

S120、利用积分图计算每个区域的均方差和平均值；

S130、若一个区域的均方差与平均值的商大于预先给定的阈值，则判断该区域为非平坦区。

优选地，所述兴趣区域搜索步骤还包括以下步骤：

S140、对非平坦区内的字符的大小进行估算，以便据此设置字符检测时所使用的搜索框的大小，从而提高检测速度。

此外，本发明还提供鲁棒的车牌识别系统，其特征在于，包括：

车牌定位模块，用于分析输入图像中车牌所在区域，输出车牌定位结果；

倾斜校正模块，其输入端连接所述车牌定位模块，用于对定位的车牌进行倾斜校正，输出车牌校正结果；

字符分割模块，其输入端连接所述倾斜校正模块，用于对校正的车牌进行字符分割，输出字符样本结果；

字符识别模块，其输入端连接所述字符分割模块，用于根据字符样本进行字符识别，输出字符识别结果；

识别控制模块，其输入端连接所述字符识别模块，用于判断字符识别结果的置信度，若置信度符合要求，则输出字符识别结果，否则根据预设的控制逻辑返回所述车牌定位模块、倾斜校正模块、字符分割模块和字符识别模块中的一个模块，重新开始识别。

优选地，所述车牌定位模块、倾斜校正模块、字符分割模块和字符识别模块中的至少一个模块包括控制逻辑子模块和结果缓存子模块，以及若干彼此并联的功能子模块，其中：

每一所述功能子模块的输入端连接所述控制逻辑子模块的输出端，能够根据所述控制逻辑子模块输出的指令启动而执行相应的功能，并将执行结果按照其正确度/置信度从高至低的顺序输出给所述结果缓存子模块。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

1、本发明采用了基于置信度判断的二次识别架构，因此不必再强求一次性获得正确的字符样本并识别正确。同时在各个模块内部使用子模块并联，降低了各个模块的设计难度，提高了识别率。

2、本发明在具体的实现环节，通过积分图，使用较少的运算量即排除了大部分平坦的区域，仅对少量非平坦区域做边缘检测，大大降低了运算量，提高了ROI的检测速度。此外，在做边缘检测时，通过估计字符的大小范围，减少了搜索框的大小范围，极大降低了字符搜索的运算量。

3、本发明去除了车牌定位和车牌校正过程，代之以字符检测，因此不必再预先假设车牌的形式，具备更大的灵活性，仅通过增加车牌模板就能适应不同的车牌形式。将字符检测、倾斜校正、车牌定位、字符识别融合为一体，减少了串行环节，提高了识别率。

4、本发明在字符识别环节，先识别已经检出的字符。通过已识别的字符样本以及通过缩放和/或倾斜而获得的扩展样本，可以进一步确认倾斜校正和字符分割的正确性。在获得正确的倾斜角度和字符大小后，可以更有效地分割出其他未检出的字符，提高了准确率，也减小了运算量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例一的车牌识别系统的组成示意图；

图2是本发明实施例二的车牌识别系统中的车牌定位模块的组成示意图；

图3是本发明实施例二的车牌识别系统中的倾斜校正模块的组成示意图；

图4是本发明实施例二的车牌识别系统中的字符分割模块的组成示意图；

图5是本发明实施例二的车牌识别系统中的字符识别模块的组成示意图；。

图6是本发明实施例一至三的车牌识别系统中的识别控制模块的组成示意图；

图7是本发明实施例三的车牌识别方法的工作流程图；

图8是本发明实施例三的车牌识别方法的兴趣区域搜索步骤的流程图；

图9是本发明实施例三的车牌识别方法的候选区域检测步骤的流程图；

图10是本发明实施例三的车牌识别方法的候选区域识别步骤的流程图；

图11是本发明实施例三的候选区域识别步骤的识别已检出字符的工作流程图；

图12是本发明实施例三的候选区域识别步骤的识别未检出字符的工作流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。

第一实施例

本发明提出了一个新的车牌识别系统，以解决上述传统技术中存在的若干问题。该系统实质是在传统的系统框架的基础上增加了一个识别控制模块，这也是本发明的核心部分，具体请参见图1和图6。

如图1所示，该系统主要包括：

车牌定位模块110，用于分析输入图像中车牌所在区域，输出车牌定位结果；

倾斜校正模块120，其输入端连接所述车牌定位模块110，用于对定位的车牌进行倾斜校正，输出车牌校正结果；

字符分割模块130，其输入端连接所述倾斜校正模块120，用于对校正的车牌进行字符分割，输出字符样本结果；

字符识别模块140，其输入端连接所述字符分割模块130，用于根据字符样本进行字符识别，输出字符识别结果；

识别控制模块150，其输入端连接所述字符识别模块140，用于判断字符识别结果的置信度，若置信度符合要求，则输出字符识别结果，否则根据预设的控制逻辑控制系统返回所述车牌定位模块110、倾斜校正模块120、字符分割模块130和字符识别模块140中的一个模块，重新开始识别(也称二次识别)。例如，可以是返回倾斜校正模块120，从对车牌重新进行倾斜校正开始，执行后续字符分割和字符识别等一系列的操作，以获得更加准确的结果。

本发明通过设置识别控制模块实现二次识别的功能，并且将二次识别的关注点放在如何获取到正确的样本上，包括例如对字符做正确的校正、正确的分割等。这就使得不再强求运行时必须一次性获得正确的字符样本并一次性成功。尤其是在没有识别出满意结果时，可以在图像中获取更多的其他样本，或对同一样本做多次的识别，从而最终获得正确结果。当识别多次仍然没有正确结果时，则结束，并告知识别失败。

第二实施例

为了更好地与二次识别机制相适应，本发明提出还可以对系统内的车牌定位模块110、倾斜校正模块120、字符分割模块130、字符识别模块140分别做进一步的改进，具体请参见图2至图5。

在此需要指出的是，虽然在本实施例中，如图2至图5所示，系统中的四个模块均做了改进，但是由于各模块之间相对独立，因此在实际应用时可以根据具体要求只对部分模块进行改进，而且各模块中所增设的彼此并联的功能子模块的数量也可不尽相同。

在此，以图4所示的字符分割模块为例进行详细说明。

改进后的字符分割模块130包括控制逻辑子模块131和结果缓存子模块132，以及若干彼此并联的字符分割子模块(即功能子模块)133，其中：

每一个字符分割子模块133的输入端连接控制逻辑子模块131的输出端，每一个字符分割子模块133的输出端连接结果缓存子模块132。这些字符分割子模块133之间各自独立，互为补充，能够分别根据控制逻辑子模块131输出的指令启动而采用不同的方法进行字符分割，并将字符分割结果按照某种准则排序放入结果缓存子模块132中。在此应当指出的是，该“准则”并非固定不变，它可由使用者自行修改和决定。当然，也可没有任何准则，字符分割结果直接放入结果缓存子模块132中。

此外，在本发明中，为了与字符识别置信度(即字符识别结果的可信程度)区分，上述用于衡量字符分割结果正确性的准则可以称为“正确度”。例如对于字符分割，可以认为字符长宽比例越接近标准字符的长宽比，则正确分割的可能性越大，正确度越高。

具体地，字符分割子模块1运行后生成一系列结果，将结果按字符分割正确度的高低存入结果缓存子模块132中，并优先输出其中正确度最高的处理结果，供用户识别。如果识别失败，则输出正确度次高的结果，如此类推。如果全部结果都失败，则由控制逻辑子模块131启动其他的字符分割子模块，例如字符分割子模块2。如此反复识别后仍然失败，则停止。

采用这种框架结构的优点是，每个功能子模块均能做二次处理，提高了识别率和鲁棒性。例如，做字符分割时，传统的系统架构仅能使用单一方法(此处假定使用投影法)，且仅保留一个计算结果。但是，本发明提出的系统在引入结果缓存子模块后，能够计算出一系列可能的结果，当第一个结果失败后，可以立即输出第二个计算结果。假定第一个结果的成功率为95％，第二个结果的成功率为90％，则成功率将提升到100％-(1–95％)x(1–90％)＝99.5％。而且进一步地，字符分割子模块1采用连通域方法完成字符分割，而字符分割子模块2采用投影法完成字符分割，字符分割子模块1和字符分割子模块2并联，进一步提高了成功率。

总之，本发明的车牌识别系统通过结果缓存和并联结构扩大了搜索空间，可将成功率提高1到2个数量级，提高了模块的处理能力。

第三实施例

上述系统框架的核心思想在于根据置信度选择是否进行二次识别，以便扩大样本空间，并由此提高识别率。但是，鉴于二次识别会导致复杂度提高，因此本发明提出，根据应用场景，对算法环节做取舍改进。如图7所示，本发明提出了一个相对简化的车牌识别方法，该方法兼顾了识别率、鲁棒性和实时性的要求。

该方法的核心思想虽然也是基于置信度做二次识别，但是去除了车牌定位，代之以ROI检测和候选区检测。例如，通过积分图检测出非平坦区域作为ROI。但是考虑到检出的ROI中可能存在散热器、车灯、树木等其他干扰因素，因此在检出ROI后，还要通过字符检测，进一步搜索出字符密集区域作为候选区。这可以有效地排除散热器、车灯、树木等干扰区域，但是其结果仍然可能与车身上的电话号码、广告字符、路牌等混淆，因此还需要进一步地继续识别。此外，在对ROI检测时可以优选使用积分图，以减小运算量。同时，不再以车牌为单位进行校正，而是改为以字符为单位进行校正，并将其融入到字符分割步骤中。此外，在做字符检测时，还可以利用边缘运算所得到的参数估计字符大小，减少字符的搜索空间，大幅度提高检测速度。整体上，省去了传统识别方法中的车牌定位和车牌倾斜校正两个步骤，减少了由步骤串行所造成的识别率下降的问题。以字符为单位进行倾斜校正，减少了光照、螺钉、连字符等影响，增加了校正的次数，使校正更可靠。同时，摒弃了“车牌”的概念，从“以牌找字”改为“以字找牌”，这样就不再预先假定车牌的具体形式，使得适用范围更广。只要找到一个字符密集排列的区域，就认为可能是车牌。这样，无论单层、双层、白底黑字、黑底白字、不同国家地区的车牌，甚至于标牌、印刷品等，虽然变化多端，均能有效地定位并识别。此外，在后续扩展时，仅需增加车牌模板，而识别时仅增加对不同车牌模板的匹配检测，其他的可以不做修改，灵活度更高。

以下按照图7至图12所示的流程图详细地说明该方法的工作原理。

如图7所示，该方法主要包括三大步骤：

兴趣区域搜索步骤，对待识别图像进行检测，找出图像中的非平坦区作为可能存在车牌的兴趣区域(ROI)；

候选区域检测步骤，对兴趣区域进行字符检测，将兴趣区域中存在多个相邻字符的区域作为候选区域；

候选区域识别步骤，对候选区域中的字符进行识别，其中首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后基于样本空间来识别未检出的字符。

如图8所示，关于兴趣区域的搜索可以优选利用积分图来实现，具体步骤如下：

S110、计算待识别图像的积分图；

S120、利用积分图计算每个NxN区域的均方差和平均值，根据实际情况，N可以取4或8；

S130、若一个区域的均方差与平均值的商大于预先给定的阈值，则判断该区域为非平坦区与平坦区之间的边缘区域，由此找出图像中的非平坦区。

S140、对非平坦区内的字符的大小进行估算，以便据此设置字符检测时所使用的搜索框的大小，从而提高检测速度。

在此需要指出的是，在确定非平坦区后，本来可以直接执行候选区检测步骤，但为了减小运算量，可以优选地在对边缘区域进行检测时，估计出字符的大小(大致高度和/或宽度)，以便减小后续字符检测时的计算量。具体的估计方法多种多样，在此不做限定。常见的有例如《基于边缘检测和投影法的车牌定位算法研究》(卓均飞，胡煜，科技通报，2010，03：438-441)所提及的投影法。又或者，当场景固定时，也可以如《基于差影法与摄像机定标技术的车牌定位研究》(罗佳佳，武汉理工大学，2008)所提及的那样，在图像中人工定标，然后按照特定的投影关系，根据边缘区域在图像中的位置，大致估计出字符的高度范围。

如图9所示，候选区域检测步骤主要涉及对字符的检测，尤其是对相邻字符的检测。

在确定兴趣区域后，对兴趣区域内的字符进行检测。推荐类Haar特征结合Adaboost分类器。该方式对字符的倾斜、光照均不敏感，通常可以在车牌框内检出至少3个字符。检测时，根据上一步获得的字符高度参数，可以仅使用接近字符高度的搜索框，从而大幅度减少搜索框的大小和数量。计算类Haar特征时，也需要使用积分图，之前在兴趣区域检测步骤中已经使用了积分图，现在可以继续复用该图。

在本发明中，对于孤立字符直接排除。对于短距离内存在多个相邻字符的区域则设为候选区域。在实际应用时，可以例如采用一个5至7倍字符宽度的滑动窗口作为搜索框，当窗内至少存在3个字符时，则认为该窗口所在的区域为候选区域。

在此需要说明的时，候选区域可以是一个或多个，因此需要遍历所有的兴趣区域，找出所有的候选区域。

如图10所示，候选区识别步骤主要涉及两个方面：对已检出字符的识别和对未检出字符的识别。其中，首先识别已检出的字符，建立包括已检出的字符的字符样本以及通过缩放和/或倾斜字符样本而获得的扩展样本的样本空间，然后分析样本空间中每个样本的置信度，获得置信度最高时所对应的字符缩放尺寸和/或倾斜角度，根据字符缩放尺寸和/或倾斜角度以及相应的字符样本来对未检出的字符进行分割，从而识别出未检出的字符。

如图11所示，对已检出字符的识别主要包括以下步骤：

S310、对已检出的字符提取字符样本；

S320、通过对步骤S310所获得的字符样本进行缩放和/或倾斜来获取扩展样本；

S330、建立包括步骤S310所获得的字符样本以及步骤S320所获得的扩展样本的样本空间；

S340、分析步骤S330所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出,若在遍历所有样本后，仍然未找到可信样本，则宣布识别失败，并终止识别。

如图12所示，对未检出字符的识别主要包括以下步骤：

S350、获得已检出的字符的样本空间中置信度最高时所对应的字符缩放尺寸和/或倾斜角度，据此来分割未检出的字符，并对其提取字符样本；

S360、通过沿着最佳倾斜角度滑动步骤S350所获得的字符样本来获取扩展样本；

S370、建立包括步骤S350所获得的字符样本以及步骤S360所获得的扩展样本的样本空间；

S380、分析步骤S370所建立的样本空间中每个样本的置信度，根据置信度来判断样本是否可信，当找到可信样本时，将其作为字符识别结果输出，若在遍历所有样本后，仍然未找到可信样本，则宣布识别失败，并终止识别。

此外，考虑到混淆字的特殊情况，本发明还可以优选采用例如《基于易混淆字符集神经网络的车牌识别算法研究》(朱皓，华中师范大学，2014)所提及的混淆字识别方法对上述字符识别结果中例如4-A、0-Q、5-S这一类的易混淆字符进行再次识别。相应地，这在系统架构上对应于图5中的字符识别模块140的字符识别子模块2，是对字符识别模块140的另一个字符识别子模块1的补充，当字符识别结果中存在某个易混淆字符时，此时字符识别模块140的控制逻辑模块141可以认为单纯的置信度判别已经不能满足准确识别的要求，因此启动字符识别子模块2专门对混淆字符进行识别。

最终根据所有的字符识别结果判断车牌类型，并输出包括车牌类型、车牌号、识别置信度和/或车牌位置信息的车牌识别结果。当然，车牌识别结果所包含的内容可以根据具体要求进行删减或增加。

与现有技术不同的是，在上述字符识别过程中，可以同时采用两种或两种以上的方法(例如投影法和连通域法)来提取字符样本，从而得到更精确的样本。在实际应用时，可将投影法和连通域法各运行一次(对应于第二实施例中的字符样本模块130中的字符分割子模块1和2)，当然也不排除将其他方法也并联进来。然后将这种两方法的识别结果都放入结果缓冲区(对应于字符样本模块130中的结果缓冲子模块132)中。这两种方法输出的字符样本，如有重叠部分则合并(或任选其一)，非重叠部分则保留，作为字符样本，以备后续使用。这样可以扩大样本空间，减少遗漏的可能性。此处未规定“重叠”的判断准则，可以是分毫不差，也可以是相差在一定范围内，这个可由使用者自行决定。

此外，对于候选区内检出的字符，其样本框往往还存在偏大、偏小、位置偏移、倾斜等情况，因此需要在此基础上进一步调整，以获得更精确的样本框，并对样本做识别。这期间，也可以通过识别的置信度来确定所获得样本的准确性。对此，本发明提出对提取的字符样本进行缩放和/或倾斜，以获得其扩展样本，从而进一步地扩大样本空间，提高识别的准确度。

例如，对样本框按0.8,0.9,1.1,1.2四个比例做缩放，倾斜范围为正负15度，每次倾斜时偏转1度。也可以根据实际情况对缩放比例、倾斜范围、偏转步长做增减。如此，可以得到一系列的扩展样本，将这些样本放入结果缓存中。此步骤实际上是将字符分割和倾斜校正合二为一。在传统的车牌识别方法中，倾斜校正只做一次，并且是以车牌为单位来做，每次只获得一个倾斜角度，一旦倾斜角度有误，将导致识别失败。而本发明的方法则以字符为单位进行倾斜校正，利用多次倾斜、缩放的方法获得一系列的样本。此步骤与图3、图4中多个子模块并联的方法本质上是一样的，都是扩大了样本空间。也可以认为是在图3、图4中，各自增加了一个基于相邻搜索，扩大样本空间的子模块。

假设，在候选区内有三个候选字符C₁、C₂、C₃，对每个字符做缩放和倾斜角时，所得样本分别标记为其中S为缩放尺寸，θ为倾斜角。遍历所有的缩放尺寸和倾斜角，得到一系列样本：

其中n1为缩放尺寸的个数，n2为倾斜角度的个数。

对每次得到的样本计算联合置信度，根据置信度来判断样本是否可信。样本可信，则采纳为识别结果。样本不可信，则识别下一个样本。同时，还获得置信度最高时所对应的字符缩放尺寸S_best和倾斜角度θ_best。

在候选区内，根据已经识别的字符C₁、C₂、C₃以及最佳缩放尺寸S_best和倾斜角度θ_best，推断出其他未检出的字符所在的位置，对它们进行分割并提取字符样本。然后，在字符样本处，使其沿θ_best角度向两侧滑动，每滑动一次，取一个新的样本并识别。在此，滑动步长建议设置为1/10的样本宽度，滑动次数建议设置为4次，即左右各2次，当然也可不限于此。然后分析每个样本的置信度，根据置信度来判断样本是否可信。样本可信，则采纳为识别结果。样本不可信，则识别下一个样本。当然，在车牌识别未完全的情况下，系统的识别控制模块会发出相应的控制指令，重新进行识别。

本发明提高了车牌识别率，增强了鲁棒性，提高了对不同类型车牌的适应性，降低了识别国外车牌的难度。另外本发明中的技术还可用于OCR识别，特别对标语、标牌等识别效果较好，这也扩大了本发明的适用范围。

以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。