专利名称：用于定位车牌的方法和系统的制作方法
技术领域：
本发明总体上涉及一种用于定位车牌的方法和系统，尤其涉及一种用于从复杂图 像中自动定位多个车牌的方法和系统。
背景技术：
随着交通系统的快速发展，在过去的二十年期间，车辆的自动识别在很多应用中 已变得越来越实用。与此相关地，自动车牌识别(LPR)成为了重要的研究课题。自动车牌 识别方法可以应用于电子收费站以帮助识别违规车辆。一个典型的车牌识别系统主要包括 三个处理模块，即车牌检测模块或车牌定位模块、文字分割模块、以及文字识别模块。在这 些模块当中，用于检测和定位车牌的车牌定位模块被认为是整个车牌识别系统中最关键的 阶段。到目前为止，已提出了一些用于通过视觉图像处理来定位所需的车牌的技术。如 今具有一些关于车牌定位的算法，例如基于颜色特征的方法(例如参照“am ffeigang,Hou Guojiang， Jia Xing， A Study of Locating Vehicle License Plate Based on Color Feature and Mathematical Morphology, Signal Processing，2002，6th International Conference，748-751 vol. 1，August 2002”)，基于边缘提取的方法(例如参照 “Rafael C.Gonzalez, Ricgard Ε.Woods, Digital Image Processing (Second Edition)， Prentice-Hall Inc，2002” ；以及 “K. Kanayama，Y. Fujikawa, K. Fujimoto, and M. Horino, Development of Vehicle-license Number Recognition System Using Real-time Image Processing and its Application to Travel-time Measurement， Processings of IEEE Vehicular Technology Conference， pages 789—804，1991 Processing， Addsion-Wesley Publishing Co.，Reading，a Mass.，1992”)，基于直方图分析的方法(例如参照 "D.U. Cho, Y. H. Cho, Implementation of Preprocessing Independent of Environment and Recognition of Car Number Plate Using Histogram and Template Matching， The Journal of the Korean Institute of Communication Sciences，23 (1) :94-100, 1998”)，基于对称的方法(例如参照“D. S.Kim，S.I· Chien，Automatic Car License Plate Extraction Using ModifiedGeneralized Symmetry Transform and Image Warping, Proc. IEEEInt. Symp. on Industrial Electronics, Vol. 3， pp. 2022—2027，2001，，)， ■ 于形态学算子的方法(例如参照 “Μ. Shridhar，J. W. Miller，G.Houle，L. Bijinagte， Recognition of License Plate Image :Issues and Perspectives, Proceed of Iht. Conf. on Document Analysis and Recognition，pagel7_20，1999”)等等。基于颜色的方 法一般是有用且快速的。然而，当照明条件改变时，颜色特征不稳定。因此，需要一种不论车牌的颜色或朝向的变化如何都能够从复杂图像中自动定位 多个车牌的有效且容易实施的技术。
发明内容
考虑到在前述现有技术中存在的技术问题，提供一种用于从复杂图像中自动定位 车牌的新方法。基本上，根据本发明的用于定位车牌的方法包括两个主要阶段，即，首先，定 位图像中的文字串，然后从该图像中定位长线段。之后，根据定位出的文字串和线段之间的 诸如位置关系之类的几何关系来定位车牌。根据本发明的一个方面，提供一种用于从图像中定位一个或多个车牌的方法，包 括文字串定位步骤，在所述图像上定位出一个或多个文字串；线段定位步骤，在所述图像 上定位出多个线段，所定位出的线段中的每一条线段的长度都大于预定长度阈值；车牌区 域定位步骤，根据所定位出的文字串和所定位出的线段之间的几何关系，定位出一个或多 个车牌区域。根据本发明的另一个方面，提供一种用于从图像中定位一个或多个车牌的系统， 包括文字串定位装置，用于在所述图像上定位出一个或多个文字串；线段定位装置，用于 在所述图像上定位出多个线段，所定位出的线段中的每一条线段的长度都大于预定长度阈 值；车牌区域定位装置，用于根据所定位出的文字串和所定位出的线段之间的几何关系，定 位出一个或多个车牌区域。根据本发明的又一个方面，提供一种用于自动车牌识别的系统，包括图像摄取装 置，用于摄取图像；如上所述的用于从图像中定位一个或多个车牌的系统；提取装置，用于 从已定位出的车牌中提取文字串；以及光学字符识别装置，用于将文字串转换成作为车牌 号码的文本。受益于根据本发明的上述方法和系统，即使在一幅图像中有具有不同朝向的多个 车牌，这些车牌均可以通过简单而快速的方式准确地被各自定位。由于所提取的特征是对 复杂背景具有鲁棒性的，因此所提出的方法和系统即使在提取不同照明和朝向的车牌时也 良好工作。从参照附图的以下描述中，本发明的其他特征和优点将变得清晰。
并入说明书并且构成说明书一部分的附示本发明的实施例，并且与描述一起 用于说明本发明的原理。图1是示出用于实施根据本发明的用于定位车牌的系统的计算装置的布置的框图。图2是示出根据本发明的用于定位车牌的系统的示例性配置的框图，所述用于定 位车牌的系统的示例性配置由各个模块装置构成。图3是示出实施根据本发明的定位车牌的方法的总体处理的流程图。图4是示出根据本发明的一个示例性实施例的基于一个已定位出的文字串和多 个已定位出的长线段之间的几何关系来定位车牌区域的详细处理的流程图。图5a_5c是用于例示已定位出的文字串和已定位出的长线段之间的几何关系的 示意图。图6是示出根据本发明的另一个示例性实施例的基于多个已定位出的文字串和 多个已定位出的长线段之间的几何关系来定位一个或多个车牌区域的详细处理的流程图。图7示出根据本发明的又一个示例性实施例的用于定位车牌的处理的流程图。
图8-14各示出根据本发明的定位车牌的一个示例中的中间处理结果之一，以有 助于理解本发明的原理和处理。图15示出用于自动车牌识别处理的流程图。图16示出应用了根据本发明的用于定位车牌的系统的自动车牌识别系统。
具体实施例方式以下将参照附图详细描述本发明的实施例。
图1是示出用于实施根据本发明的用于定位车牌的系统的计算装置100的布置的 框图。为了简单起见，该系统被示出为被构建在单个计算装置中。然而，不论该系统是构建 在单个计算装置中还是构建在多个计算装置中作为网络系统，该系统都是有效的。如图1所示，计算装置100用于实施定位车牌的处理。计算装置100可以包含CPU 101、芯片组102、RAM 103、存储控制器104、显示控制器105、硬盘驱动器106、CD-ROM驱动 器107、以及显示器108。计算装置100还可以包括连接在CPU 101和芯片组102之间的 信号线111、连接在芯片组102和RAM 103之间的信号线112、连接在芯片组102和各种外 围装置之间的外围装置总线113、连接在存储控制器104和硬盘驱动器106之间的信号线 114、连接在存储控制器104和⑶-ROM驱动器107之间的信号线115、以及连接在显示控制 器105和显示器108之间的信号线116。客户端120可以直接或经由网络130连接到计算装置100。客户端120可以将任 务发送给计算装置100，并且计算装置100可以将结果返回给客户端120。图2是示出根据本发明的用于定位车牌的系统2000的示例性配置的框图，所述用 于定位车牌的系统2000的示例性配置由各个模块装置构成。如图2所示，用于定位车牌的系统2000可以包括文字串定位装置210，用于在 图像上定位出一个或多个文字串；线段定位装置220，用于在所述图像上定位出多个线段； 车牌区域定位装置230，用于根据所定位出的文字串和所定位出的线段之间的几何关系，定 位出一个或多个车牌区域。所述用于定位车牌的系统2000还可以包括车牌精细定位装置 240，用于在所定位出的车牌区域中找到车牌的精确边界。根据一个示例性实施例，所述车牌区域定位装置230可优选包括文字串中心线 检测装置2310，用于检测文字串的中心线，所述中心线在该文字串的长度方向上延伸；线 段选择装置2320，用于从所定位出的线段中选择各平行于所述中心线并且各具有一个部分 的线段，所述部分具有正对中心线的部分长度，所述部分长度与所述中心线的长度之比在 预定范围内；上下边界确定装置2330，用于确定在所述中心线的一侧与所述中心线具有最 近距离的线段作为上边界，并且确定在所述中心线的另一侧与所述中心线具有最近距离的 线段作为下边界；以及车牌区域确定装置2340，用于基于所述上边界、所述下边界、以及所 述文字串，定位出车牌区域。上述装置是用于实施以下所要描述的过程的示例性的且/或优选的模块。用于实 施各种步骤的模块并没有在以上被详尽地描述。然而，当具有执行某种过程的步骤时，即有 用于实施同种过程的相应的功能模块或装置。以下所描述的步骤和与这些步骤对应的装置 的所有组合所定义的技术方案都包括在本发明的公开内容中，只要它们构成的技术方案是 完整的且可应用的即可。
在本说明书中，术语“垂直(vertical)”指的是基本上垂直。具体地，如果一条直 线与绝对垂直的直线所成的角度小于预定角度，则这条直线可被认为是“垂直的”。类似地， 术语“水平”指的是基本上水平。具体地，如果一条直线与绝对水平的直线所成的角度小于 预定角度，则这条直线可被认为是“水平的”。在本说明书中，术语“平行”是指基本上平行。具体地，如果两条直线所成的角度 小于预定角度，则这两条直线可被认为是相互“平行的”。类似地，术语“正交”是指基本上 正交。具体地，如果两条直线所成的角度与90度之间的差小于预定角度，则这两条直线可 被认为是相互“正交的”。上述各个预定角度可以由本领域技术人员根据实际应用和具体要求来确定。图3是示出实施根据本发明的定位车牌的方法的总体处理的流程图。在步骤S310中，从图像中定位文字串。定位文字串的主要原因是，文字串是车牌 的最重要的特征，因此文字串可用作用于搜索车牌的“向导”。对于具体的应用，已经提出了用于从图像和视频中提取文字串或提取文本的各种 方法，例如在“C. M. Lee，A. Kankanhalli，AutomaticExtraction of Characters in Complex Images， International Journalof Pattern Recognition Artificial Intelligence， 9(1) (1995)67-82”中公开的方法。根据所使用的特征，可将文字串提取方法或文本提取方 法分类为以下的类型基于连通单元(CC)的方法，基于边缘的方法，以及基于纹理的方法。 虽然在这里仅列出文字串提取方法或文本提取方法中的一些作为示例，但是应注意，所有 这些方法都可以用于步骤S310，只要它们能够用于从图像或视频中提取文字串即可。请注 意，在实践中，包含在车牌中的文字串可能不仅仅包含诸如汉字、字母或数字之类的文字上 的字符，而且可能还包括一些诸如短线或圆点之类的符号。在本发明的一种示例性实施中， 采用基于连通单元的文字串提取方法。在步骤S330中，将线段检测技术应用于图像以检测出所有的长线段。在检测出的 长线段当中，一些长线段给出车牌的边界的粗略位置。请注意，长线段是指比预定阈值长的 线段。该预定阈值可以由本领域技术人员根据实际应用和具体要求来确定，或者可以考虑 文字串的长度来确定。所使用的线段检测技术可以是基于Hough变换的技术，或者可以是基于连通单元分析的技术。这些技术是已知的，并且已在很多文献中被讨论，因此在这里不详细描述它 们。在步骤S350中，在定位出文字串和长线段之后，基于所定位出的文字串和长线段 之间的几何关系来定位车牌区域。在此可使用的所述几何关系可以包括例如关于平行和/或正交的关系、角度关 系、距离关系、在某个位置关系下的长度的关系、或者共线关系等等的特征。只要文字串和 长线段之间的几何关系表征了典型的车牌的特征(例如表示文字串与车牌的边界之间的 几何关系的特征)，文字串与长线段之间的这样的几何关系就可在此被使用。此外，可采用各种处理序列以用于定位多个车牌。例如，所述多个车牌可以按照并 行方式或者按照串行方式被处理。仅仅是为了示例的目的，在图4-7中示出各种实施例以用来说明根据本发明的定 位车牌的方法。
图4是示出根据本发明的一个示例性实施例的基于一个已定位出的文字串和多 个已定位出的长线段之间的几何关系来定位车牌区域的详细处理的流程图。图5a_5c是用 于例示已定位出的文字串和已定位出的长线段之间的几何关系的示意图。请注意，图4中 执行的处理可在图3的步骤S310和S330之后执行。在此示例性实施例中，关注在上述的步骤S310和S330中定位出的一个文字串和 多个线段。在步骤S410中，检测文字串的中心线(在图fe中用CL指示)，所述中心线在文字 串的长度方向上延伸。本领域中已知各种用于检测文字串的中心线的方法。例如，中心线 可被检测为完全包围文字串的最小的矩形的中间高度处的直线，也可被检测为完全包围被 处理后的文字串的最小的矩形的中间高度处的直线，所述被处理后的文字串是通过使原始 文字串经过某种图像处理后获得的。在步骤S430中，从已定位出的线段中选择一些线段作为车牌区域的上边界和下 边界的可能的候选。所选择的线段应满足关于与文字串的几何关系的一些预定要求。例如， 所选择的线段应优选地满足以下要求中的至少一个(1)每个所选择的线段应平行于文字串的中心线；(2)每个所选的线段应具有一个部分，该部分具有正对中心线的部分长度(参照 图恥和5c)，并且所述部分长度与中心线的长度的比应在预定范围内(例如不小于0. 7)。图恥示出其中所述部分长度足够长从而该线段作为车牌区域的上边界和下边界 之一的可能性较高的情况，而图5c示出其中所述部分长度不足够长从而该线段作为车牌 区域的上边界和下边界之一的可能性非常低的情况。虽然给出了线段与文字串之间的一些具体的几何关系作为示例，本领域技术人员 可以构思出其他这样的几何关系。如果没有找到满足关于所述几何关系的要求的线段或者仅在所述文字串的一侧 找到满足关于所述几何关系的要求的线段，则确定不存在对应于该文字串的车牌区域，并 且可以检查该图像中的其他文字串以继续该处理。在步骤S450中，在找到满足上述要求的线段作为所选择的线段的情况下，在所选 择的线段中在中心线的一侧与该中心线距离最近的线段被确定为车牌区域的上边界，并且 在所选择的线段中在中心线的另一侧与该中心线距离最近的线段被确定为车牌区域的下 边界。在步骤S470中，可以由所述上边界、下边界和文字串来定位车牌区域。例如，可以 根据所确定的上边界和下边界的位置以及文字串的长度来确定车牌区域的左边界和右边 界。例如，车牌区域的左边界和右边界可被确定为完全包围所述上边界、下边界和文字串的 最小的矩形的左边和右边。在基于所确定的上边界和下边界以及文字串来确定车牌区域时 也可利用其他特征，诸如典型车牌的一般长宽比等。在图4所示的上述的示例性实施例中，描述了在一幅图像中定位一个车牌区域的 处理的一个具体示例。以下示例性实施例将给出在一幅图像中定位一个或多个车牌区域的 处理的示例。图6是示出根据本发明的另一个示例性实施例的基于已定位出的文字串和已定 位出的长线段之间的几何关系来定位一个或多个车牌区域的详细处理的流程图。
在此示例性实施例中，在上述的步骤S310和S330中定位出多个文字串的文字串集合和多个线段。也就是说，可以在图3的步骤S310和S330之后执行在图6中执行的处理。在步骤S610中，选择该文字串集合中的一个文字串，并且将其从文字串集合中移 除。也就是说，文字串集合中仅包含未处理过的文字串。优选地，首先选择文字串集合中最 长的文字串。对于所选择的文字串，执行以下的步骤S630-S670。在步骤S630中，尝试根据此文字串和线段之间的几何关系来定位与所选择的文 字串对应的车牌区域。只要所述文字串和线段之间的几何关系表征了典型的车牌的特征， 文字串与长线段之间的这样的几何关系就可在此被使用。作为一个具体例子，对于所选择 的文字串，可以在步骤S630中使用用于单个文字串的步骤S410-S470的处理。在步骤S650中，从步骤S630的结果判断是否存在与所选择的文字串对应的车牌 区域。此判断例如可以基于是否具有满足关于所述几何关系的要求的线段，如步骤S430所 述。如果在步骤S650中确定不能定位与所选择的文字串对应的车牌区域(S卩，与所选 择的文字串对应的车牌区域不存在，步骤S650中为“否”)，则流程前进到步骤S690以检查 在文字串集合中是否还剩余有任何文字串。如果在步骤S650中确定定位出与所选择的文字串对应的车牌区域(S卩，存在与所 选择的文字串对应的车牌区域，步骤S650中为“是”)，则流程前进到步骤S670，在步骤S670 中，从文字串集合中移除在该车牌区域中包含的所有文字串。在步骤S690中，判断是否在文字串集合中剩余有任何文字串，也就是说，是否有 任何文字串未被处理并且不被包含在任何已定位的车牌区域中。如果在步骤S690中确定仍有至少一个文字串剩余在文字串集合中(步骤S690中 为“是”)，则流程进入步骤S610，并且以与上述相似的方式处理剩余的文字串。如果在步骤S690中确定没有文字串剩余在文字串集合中(步骤S690中为“否”)， 则流程结束，并将所有已定位出的车牌区域作为输出。根据上述的实施例，即使在一幅图像中有多于一个的车牌，这些车牌可以文字串 为基础而被全部找到。根据本发明的又一个示例性实施例，可以基于已定位出的车牌区域找到车牌的精 确边界。图7示出根据本发明的又一个示例性实施例的用于定位车牌的处理的流程图。在此示例性实施例中，已根据例如参照图3-6描述的方法定位出了至少一个车牌 区域。虽然在图像中可能定位出多个车牌区域，为了简单起见，图7仅示出用于一个车牌区 域的处理的流程。关于图像中包含的其他可能的车牌中的每一个，可以采用类似的处理。在步骤S710中，以该车牌区域中包含的文字串的倾斜角转动该图像。在转动之 后，要被精确定位的车牌将呈现为正立，这可使得之后的处理更加容易，并且使得所检测的 车牌边界更加精确。如果该图像已经是几乎正立的，则也可以省略步骤S710。在步骤S720中，在转动后的图像上切割下包含整个车牌区域的矩形形状的局部 子图像。通过略微扩大所述车牌区域来确保整个车牌被包含在该子图像的矩形中而获得该矩形。将分析限制在子图像内可降低计算成本并避免与其他对象的干扰。在步骤S730中，通过检测切割下的子图像上的边缘来获得边缘图像。例如Carmy 算子可被用于该实施中。然而，本领域内已知的其他常用的边缘检测技术也可在此应用，诸 如Sobel算子、Prewitt算子等。根据边缘图像的像素的梯度方向，边缘图像中的像素被分 类为具有水平梯度方向的水平边缘(构成近似垂直线)和具有垂直梯度方向的垂直边缘 (构成近似水平线)。在步骤S740中，通过对垂直边缘执行Hough变换来找到精确的上边界和下边界。 由于水平线上的边缘均具有垂直梯度方向，因此在检测水平线时只需要考虑垂直边缘。首先，通过使用Hough变换将垂直边缘的坐标变换到参数空间。然后，通过找到参 数空间上的局部最大点来找到所有的水平线。最后，从所找到的水平线中选择精确的上边 界和精确的下边界。在文字串的上侧，与文字串的距离最近的直线被选择作为候选的精确 的上边界；并且在文字串的下侧，与文字串的距离最近的直线被选择作为候选的精确的下 边界。在此，可优选参考一个模板来验证所述候选的精确边界是否适当。该模板可包括 关于例如车牌的高度(从精确的上边界到精确的下边界的距离)与文字串的高度的比的信 息。如果不满足准则，例如车牌的高度与文字串的高度的比不在预定的范围之内，则将检查 其他的水平线，直到找到满足此准则的边界作为精确的边界为止。因此，利用此模板，精确 的上边界与精确的下边界之间的距离满足所述准则。在步骤S750中，通过利用与找到精确的上边界和精确的下边界的方式类似的方 式来找到精确的左边界和精确的右边界。首先，将水平边缘变换到参数空间，并且通过搜索 参数空间中的局部最大点来找到垂直线。由于已知精确的上边界和精确的下边界，因此不 需要变换高于上边界的边缘和低于下边界的边缘。最后，通过参考模板从检测出的垂直线 中选择精确的左边界和精确的右边界。在步骤S760中，优选地，通过参考所述模板来验证所检测出的由所述精确的上边 界、精确的下边界、精确的左边界和精确的右边界形成的车牌是否是真实的车牌。该模板可 进一步包括以下信息中的至少一个(1)标准长宽比，其中，如果所定位出的车牌的长宽比与标准长宽比之间的差的绝 对值高于第一阈值，则确定该定位出的车牌不是真实的车牌；以及(2)上边界长度与下边界长度之间的标准差，其中如果实际的差与标准差之间的 差的绝对值高于第二阈值，则确定该定位出的车牌不是真实的车牌，所述实际的差是所定 位出的车牌的精确的上边界的长度和精确的下边界的长度之间的差。可以对于具体应用和需要而决定上述的阈值。图8-14示出根据本发明来定位车牌的一个示例中的中间处理结果，以有助于理 解本发明的原理和处理。图8是包含车牌的原始图像。为了保护隐私，车牌中的文字串中的一个文字被掩 蔽了。图9示出根据步骤S310和S330中执行的处理而获得的已定位出的线段和文字 串。可以看出，定位出三个文字串(由粗线表示，并由“文字串”指示)以及大量的线段(由 细线表示)。
图10示出根据步骤S720中执行的处理切割的车牌的子图像，其中，根据步骤S350 执行的处理定位出的车牌区域由虚线指示。图11示出 根据在步骤S730中执行的处理从图10所示的子图像中检测到的边缘图像。图12示出通过使图11中的垂直边缘经过Hough变换而获得的检测出的水平线。图13示出通过使图11中的水平边缘经过Hough变换而获得的检测出的垂直线。图14示出根据本发明的方法最终定位出的精确的车牌。可以看出，非常精确地确 定出了车牌的位置。从根据本发明的定位车牌的处理获得的结果可以被进一步应用于自动车牌识别 系统中。也就是说，在根据本发明获得车牌区域之后，车牌中的文字串可被识别为指示车牌 号码的文本。图15示出自动车牌识别处理的流程图。在步骤S1510中，由诸如数字静态照相机或视频摄像机之类的图像摄取装置拍摄 车辆，从而产生一幅或多幅图像。在步骤S1530中，对所述一幅或多幅图像执行根据本发明的定位车牌的处理，使 得在图像中定位出车牌的区域。在步骤S1550中，提取位于车牌内的文字串。在步骤S1570中，使所提取的文字串经过光学字符识别(OCR)处理。结果，获得车 牌号，并且所述车牌号可被用于识别车辆。图16示出应用了根据本发明的用于定位车牌的系统2000的自动车牌识别系统 1600。自动车牌识别系统1600可以包括用于摄取图像的图像摄取装置1610，用于根据 任何前述实施例或其组合从图像中定位车牌的所述系统2000，用于从已定位出的车牌中提 取文字串的提取装置1650，以及用于将文字串转换成作为车牌号码的文本的光学字符识别 装置1670。已经参照用于说明本发明的附图描述了各个实施例。根据本发明的用于定位车牌 的方法和系统可以从复杂图像中自动定位多个车牌，无论这些车牌的颜色或朝向的变化如 何，并且所述方法和系统是有效的且容易实施的。可以通过许多方式来实施本发明的方法和系统。例如，可以通过软件、硬件、固件、 或其任何组合来实施本发明的方法和系统。上述的方法步骤的次序仅是说明性的，本发明 的方法步骤不限于以上具体描述的次序，除非以其他方式明确说明。此外，在一些实施例 中，本发明还可以被实施为记录在记录介质中的程序，其包括用于实现根据本发明的方法 的机器可读指令。因而，本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当 理解，上述示例仅意图是示例性的而非限制本发明的范围。本领域技术人员应该理解，上述 实施例可以被修改而不脱离本发明的范围和实质。本发明的范围是通过所附的权利要求限 定的。
权利要求
1.一种用于从图像中定位一个或多个车牌的方法，包括文字串定位步骤，在所述图像上定位出一个或多个文字串；线段定位步骤，在所述图像上定位出多个线段，所定位出的线段中的每一条线段的长 度都大于预定长度阈值；车牌区域定位步骤，根据所定位出的文字串和所定位出的线段之间的几何关系，定位 出一个或多个车牌区域。
2.如权利要求1所述的方法，其中，对于所定位出的文字串中的至少一些文字串中的 每一个文字串，在所述车牌区域定位步骤中执行以下步骤文字串中心线检测步骤，检测文字串的中心线，所述中心线在该文字串的长度方向上 延伸；线段选择步骤，从所定位出的线段中选择各平行于所述中心线并且各具有一个部分的 线段，所述部分具有正对中心线的部分长度，所述部分长度与所述中心线的长度之比在预 定范围内；上下边界确定步骤，确定在所述中心线的一侧与所述中心线具有最近距离的线段作为 上边界，并且确定在所述中心线的另一侧与所述中心线具有最近距离的线段作为下边界； 以及车牌区域确定步骤，基于所述上边界、所述下边界、以及所述文字串，定位出车牌区域。
3.如权利要求2所述的方法，其中，包含在已经定位出的车牌区域中的文字串在后续 的对于其他车牌区域的处理中不被考虑。
4.如权利要求1或2所述的方法，进一步包括车牌精细定位步骤，在所定位出的车牌区域中找到车牌的精确边界。
5.如权利要求4所述的方法，其中，对于每个所定位出的车牌区域，所述车牌精细定位 步骤包括切割步骤，基于所定位出的车牌区域，从所述图像中切割子图像；边缘检测步骤，从所述子图像中检测边缘；精确上下边界寻找步骤，通过对具有垂直梯度方向的边缘执行Hough变换，找到精确 的上边界和精确的下边界；精确左右边界寻找步骤，通过对具有水平梯度方向的边缘执行Hough变换，找到精确 的左边界和精确的右边界；确定步骤，定位出由所找到的精确的上边界、精确的下边界、精确的左边界、和精确的 右边界所定义的车牌。
6.如权利要求5所述的方法，其中，对于每个所定位出的车牌区域，所述车牌精细定位 步骤进一步包括转动步骤，在所述切割步骤之前或之后以所述文字串的中心线的倾斜角转动所述图像。
7.如权利要求5所述的方法，其中，对于每个所定位出的车牌区域，所述车牌精细定位 步骤进一步包括验证步骤，通过参考模板信息来验证所定位出的车牌是否是真实的车牌。
8.如权利要求7所述的方法，其中，所述模板信息包括与以下中的一个或多个有关的信息标准长宽比，其中，如果所定位出的车牌的长宽比与标准长宽比之间的差的绝对值高 于第一阈值，则确定该定位出的车牌不是真实的车牌；以及上边界长度与下边界长度之间的标准差，其中如果实际的差与标准差之间的差的绝对 值高于第二阈值，则确定该定位出的车牌不是真实的车牌，所述实际的差是所定位出的车 牌的精确的上边界的长度和精确的下边界的长度之间的差。
9.一种用于从图像中定位一个或多个车牌的系统，包括 文字串定位装置，用于在所述图像上定位出一个或多个文字串；线段定位装置，用于在所述图像上定位出多个线段，所定位出的线段中的每一条线段 的长度都大于预定长度阈值；车牌区域定位装置，用于根据所定位出的文字串和所定位出的线段之间的几何关系， 定位出一个或多个车牌区域。
10.如权利要求9所述的系统，其中，所述车牌区域定位装置包括文字串中心线检测装置，用于检测文字串的中心线，所述中心线在该文字串的长度方 向上延伸；线段选择装置，用于从所定位出的线段中选择各平行于所述中心线并且各具有一个部 分的线段，所述部分具有正对中心线的部分长度，所述部分长度与所述中心线的长度之比 在预定范围内；上下边界确定装置，用于确定在所述中心线的一侧与所述中心线具有最近距离的线段 作为上边界，并且确定在所述中心线的另一侧与所述中心线具有最近距离的线段作为下边 界；以及车牌区域确定装置，用于基于所述上边界、所述下边界、以及所述文字串，定位出车牌 区域。
11.如权利要求10所述的系统，其中，包含在已经定位出的车牌区域中的文字串在后 续的对于其他车牌区域的处理中不被考虑。
12.如权利要求9或10所述的系统，进一步包括车牌精细定位装置，用于在所定位出的车牌区域中找到车牌的精确边界。
13.如权利要求12所述的系统，其中，所述车牌精细定位装置包括 切割装置，用于基于所定位出的车牌区域，从所述图像中切割子图像； 边缘检测装置，用于从所述子图像中检测边缘；精确上下边界寻找装置，用于通过对具有垂直梯度方向的边缘执行Hough变换，找到 精确的上边界和精确的下边界；精确左右边界寻找装置，用于通过对具有水平梯度方向的边缘执行Hough变换，找到 精确的左边界和精确的右边界；确定装置，用于定位出由所找到的精确的上边界、精确的下边界、精确的左边界、和精 确的右边界所定义的车牌。
14.如权利要求13所述的系统，其中，所述车牌精细定位装置进一步包括转动装置，用于在进行所述切割之前或之后以所述文字串的中心线的倾斜角转动所述 图像。
15.如权利要求13所述的系统，其中，所述车牌精细定位装置进一步包括 验证装置，用于通过参考模板信息来验证所定位出的车牌是否是真实的车牌。
16.如权利要求15所述的系统，其中，所述模板信息包括与以下中的一个或多个有关 的信息标准长宽比，其中，如果所定位出的车牌的长宽比与标准长宽比之间的差的绝对值高 于第一阈值，则确定该定位出的车牌不是真实的车牌；以及上边界长度与下边界长度之间的标准差，其中如果实际的差与标准差之间的差的绝对 值高于第二阈值，则确定该定位出的车牌不是真实的车牌，所述实际的差是所定位出的车 牌的精确的上边界的长度和精确的下边界的长度之间的差。
17.一种用于自动车牌识别的系统，包括 图像摄取装置，用于摄取图像；根据权利要求9-16中的任何一个权利要求所述的用于从图像中定位一个或多个车牌 的系统；提取装置，用于从已定位出的车牌中提取文字串；以及 光学字符识别装置，用于将文字串转换成作为车牌号码的文本。
全文摘要
本发明提供一种用于从图像中定位一个或多个车牌的方法和系统，所述方法包括文字串定位步骤，在所述图像上定位出一个或多个文字串；线段定位步骤，在所述图像上定位出多个线段，所定位出的线段中的每一条线段的长度都大于预定长度阈值；车牌区域定位步骤，根据所定位出的文字串和所定位出的线段之间的几何关系，定位出一个或多个车牌区域。根据本发明，可以以容易且有效的方式从复杂图像中自动定位出多个车牌，无论这些车牌的颜色或朝向的变化如何。
文档编号G06K9/00GK102054174SQ200910209088
公开日2011年5月11日 申请日期2009年10月30日 优先权日2009年10月30日
发明者张宏志, 胥立丰 申请人:佳能株式会社