专利名称：车牌检测方法和装置的制作方法
技术领域：
本发明涉及图像处理领域的车牌检测技术，更具体而言，涉及一种车牌检测方法和装置。
背景技术：
随着模式识别、机器视觉领域理论、算法的不断成熟及计算机技术的日益发展，智能交通系统正迅速经历着由概念设想向实际应用的 转折。机动车牌照的检测与识别作为智能交通的一项关键技术在许多场景有着重要的应用价值，如道路监控、路桥自动收费站、停车场出入口等。近年，国内外不少研究者致力于机动车牌照检测与识别领域的算法研究。其中，文献[I]利用车牌丰富的竖直纹理，采用水平投影的方法能够快速确定车牌位置。然而这类简单利用投影知识进行定位的算法无法适应复杂背景下的车牌定位需求。文献[2]提出了一种广为推介的方法，在机动车牌照检测与识别诸多算法中占有重要的地位。[2]通过模糊映射的方法综合分析车牌的颜色、纹理信息，能够在多种复杂情况下较为准确地定位车牌。然而，提取含有颜色信息的特征进行车牌定位必需以一国的车牌信息作为先验知识，使其应用受到很强的地域限制。文献[3]作为基于学习方法的代表，级联地提取全局和局部特征对车牌进行描述，能够很好的在算法执行时间和准确率之间达到均衡。基于统计学习的方法带来优势的同时，也不可避免地引入了漏检，很难满足对检测率有严格要求的实际应用。文献[4]创新性地利用了特征MSER来提取车牌并分割车牌上的单个字符，经证实在理想情况下该方法十分有效。但，MSER在检测车牌区域的时候需要以包围车牌的其他环境为对比，即算法受到环境影响较大，鲁棒性有待提高。参考文献[I]D.Zheng, Y.Zhao, and J. Wang, “An efficient method of licenseplatelocation，’’Pattern Recognit. Lett.，vol. 26，no. 15，pp. 2431-2438，Nov. 2005.[2]X. Shi, W. Zhao, and Y. Shen，“Automatic License PlateRecognition SystemBased on Color Image Processing，”vol.3483，0.Gervasi et al.，Ed.New York Springer-Verlag,2005，pp.1159-1168.[3]H. Zhang，W. Jia，X. He，and Q. Wu，“Learning-based licenseplate detectionusing global and local features，，，in Proc. 18th ICPR，HongKong，2006，vol.2，pp. 1102-1105.[4]Michael Donoser，Clemens Arth, and Horst Bischof，“Detecting，Trackingand Recognizing License Plates，”ACCV 2007，Part II，LNCS4844，pp.447-456，2007.
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。鉴于现有技术的上述情况，本发明提出了一种鲁棒的车牌检测方法，其能有效的检测车牌而不需要特定的颜色和国别等先验信息。此外，本发明还可以结合车辆检测技术来去除虚假检测。根据本发明的一个方面，提供了一种车牌检测方法，包括对输入图像进行边缘检测，以获得边缘图像；利用预定义 的中心环绕差分模板作为特征模板扫描所述边缘图像，以计算所述边缘图像中每个像素的特征值；以及根据每个像素的特征值、按照空间邻近关系将所述边缘图像中的像素聚类成一个或更多个像素集合，其中，每个像素集合对应于一个候选车牌，对于每个像素集合，其中的像素的位置的平均值为该像素集合所对应的候选车牌的位置，用于计算该像素集合中像素的特征值的中心环绕差分模板的尺寸的平均值为该像素集合所对应的候选车牌的尺寸。根据本发明的另一方面，提供了一种车牌检测装置，包括边缘检测器，用于对输入图像进行边缘检测，以获得边缘图像；模板扫描单元，用于利用预定义的中心环绕差分模板作为特征模板扫描所述边缘图像，以计算所述边缘图像中每个像素的特征值；以及聚类单元，用于根据每个像素的特征值、按照空间邻近关系将所述边缘图像中的像素聚类成一个或更多个像素集合，其中，每个像素集合对应于一个候选车牌，对于每个像素集合，其中的像素的位置的平均值为该像素集合所对应的候选车牌的位置，用于计算该像素集合中像素的特征值的中心环绕差分模板的尺寸的平均值为该像素集合所对应的候选车牌的尺寸。
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中图I示出根据本发明第一实施例的车牌检测方法的流程图；图2示出根据本发明第一实施例的变型的车牌检测方法的流程图；图3a_3d示出根据本发明第一实施例的车牌检测过程的示意图；图4a_4e示出根据本发明实施例的示例差分模板的示意图；图5示出根据本发明第一实施例的车牌检测装置的示意图；图6示出根据本发明第二实施例的车牌检测方法的流程图；图7a_7d示出根据本发明第二实施例的后处理过程的示意图；图8a_8e示出根据本发明第二实施例的车牌检测过程的示意图；图9示出根据本发明第二实施例的车牌检测装置的示意图；图10示出根据本发明第三实施例的车牌检测方法的流程图；图11示出根据本发明第三实施例的车牌检测区域确定的示意图；图12示出根据本发明第三实施例的车牌检测装置的示意图；以及
图13示出可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。
具体实施例方式鉴于现有技术的上述情况，本发明的发明人构思了一种车牌检测装置和方法，以便能够鲁棒而有效的检测车牌而不需要特定的颜色和国别等先验信息。此外，根据本发明实施例的车牌检测装置和方法还可以结合车辆检测技术来去除虚假检测。使用根据本发明实施例的车牌检测装置和方法能够检测出可能的车牌(也称为候选车牌)，包括车牌在图像中的位置以及车牌的尺寸。下面参照附图来说明本发明的实 施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。以下结合图1-13来详细描述根据本发明实施例的车牌检测方法和装置。(第一实施例)图I示出根据本发明第一实施例的车牌检测方法的流程图。如图I所示，在步骤Slio中，对输入图像进行边缘检测，以获得边缘图像。例如，在实际应用中，可以对由安装在道路上的视频监视系统采集到的视频图像序列中的每个图像进行车牌检测，也可以根据需要，对视频图像序列中的特定图像进行车牌检测。边缘是图像中一定数量像素的亮度发生变化的地方。对图像进行边缘检测的好处是能够突出边缘区域，同时使背景图像中无关的部分暗淡。一般车牌的字符与底色之间都有较大的亮度差异，边缘丰富。因此，在对图像进行边缘检测并生成边缘图像后，车牌部分会很明显地突显出来。可以利用各种现有技术的方法进行边缘检测，例如基于梯度的边缘检测方法等，这里不再赘述。在经过边缘检测得到的边缘图像中，虽然边缘部分与图像其他部分有了明显的区分，但是为了获得更好的、更清晰的边缘信息，并简化运算，作为本发明第一实施例的一个变型，在边缘检测之后和进一步处理之前，还可以对边缘图像进行包括二值化的预处理，以得到二值化的边缘图像。经过二值化的图像为单色位图，白色像素的值为1，黑色像素的值为0，反之亦然。图2示出了包括预处理过程的车牌检测方法的流程图。与图I相比，在图2所示的车牌检测方法中增加了对边缘进行预处理的步骤，以简化运算，见步骤S220。图2中的步骤S210、S230和S240分别与图I中的步骤SI 10、S120和S130相同。根据第一实施例的其他变型，除了二值化的预处理之外，还可以对边缘图像进行包括腐蚀和膨胀等的预处理，以部分地消除边缘图像中的噪声，并使边缘平滑。图3a_3d示出根据本发明第一实施例的车牌检测过程的示意图。为了更清晰地示出边缘信息，在图3a_3d中，所示出的边缘图像是进行了至少包括二值化的预处理之后的边缘图像。但是应当理解，这种对边缘图像的预处理并不是必需的。图3b是对图3a的输入图像进行边缘检测之后获得的边缘图像。在图3b中，白色像素表示边缘，也称为边缘像素。黑色像素表示背景。当然，也可以使用黑色像素表示边缘，白色像素表示背景。在图3a_3d的示例中，检测的边缘是输入图像中的竖直边缘。应当理解，也可以检测输入图像中的水平边缘，或者同时检测图像中的竖直边缘和水平边缘。另外，应当理解，由于采集到的图像可能是从多个视角拍摄的，图像中的车辆主体可能有一定的水平倾斜或竖直倾斜，因此这里的竖直边缘不仅包含绝对竖直的边缘，也可以包含与竖直线呈一定角度的边缘，即有一定倾斜度的竖直边缘。同理，当采用水平边缘时，水平边缘也不仅包含绝对水平的边缘，也可以包含与水平线呈一定角度的边缘，即有一定倾斜度的水平边缘。继续参考图1，在步骤S120中，利用中心环绕差分模板来扫描边缘图像以计算每个像素的特征值，并生成特征值图像。中心环绕差分模板是一种差分模板。这里的差分模板指的是空间域上的差分模板，通常包括两个区域。在应用时，取两个区域内包含的元素值之和的差作为差分模板的值。在中心环绕差分模板中，两个区域中的一个区域为中心区域，两个区域中的另一个区域为围绕在中心区域周围的封闭或非封闭区域，也可称为环绕区域。使用中心环绕差分模板作为特征模板来进行车牌检 测，也是利用了车牌的字符与底色之间都有较大的亮度差异，即会产生明显的边缘，以及字符区域的边缘比较丰富的这一现象。根据本发明的一个实施例，所设计的中心环绕差分模板中的中心区域对应于边缘图像中的候选车牌的区域，环绕区域对应于边缘图像中的候选车牌周围的封闭或非封闭区域。作为示例，图4a_4e示出了根据本发明实施例的几种示例中心环绕差分模板的示意图。其中，用白色表示中心环绕差分模板的中心区域，用黑色表示中心环绕差分模板的环绕区域，以示区分，反之亦然。可以看到，在这些示例中，图4a中的中心环绕差分模板的环绕区域是封闭的，图4b_4e中的中心环绕差分模板的环绕区域是非封闭的。作为示例，以图4a示出的中心环绕差分模板为例来说明步骤S120的工作过程，其他形式的中心环绕差分模板也同样适用以下工作过程。图4a中的中心环绕差分模板为嵌套的两个同心矩形，组成回字型模板。内部矩形(白色部分)即为中心区域，对应于边缘图像中的候选车牌区域。外部矩形中围绕内部矩形的部分(黑色部分)即为环绕区域，对应于边缘图像中的候选车牌的周围区域。该中心环绕差分模板的值定义为中心区域(内部矩形)中的像素值之和减去环绕区域(外部矩形中位于内部矩形之外的区域)的像素值之和，如以下公式所示feature = sum (Pc) -sum (Ps)(公式 I)其中，feature为差分模板的值，P。为中心环绕差分模板的中心区域中的元素的值，Ps为中心环绕差分模板的环绕区域中的元素的值。sum为求和符号。当利用图4a的中心环绕差分模板来扫描边缘图像时，对于每个像素，利用公式I来计算以该像素为中心环绕差分模板中的中心区域的中心点时所述中心环绕差分模板的值，作为该像素的特征值。这时，具体地，Pc表示边缘图像中位于中心环绕差分模板的中心区域中的像素的值，Ps表示边缘图像中位于中心环绕差分模板的环绕区域中的像素的值。该中心环绕差分模板中的中心区域(内部矩形)的尺寸即为当前像素位置可能存在的车牌的尺寸。当然，根据实际计算精度要求，也可以相隔预定量的像素计算一次。由于在边缘图像中，通常车牌区域的边缘像素要比车牌区域的周边区域中的边缘像素多很多，因此在根据中心环绕差分模板计算像素特征值时，如果像素的特征值为负数，则基本上可以认为用于计算该像素的中心环绕差分模板所覆盖的边缘图像中，中心环绕差分模板的中心区域中的边缘像素数量小于环绕区域中的边缘像素数量，因此不可能是车牌，可以不考虑。具体而言，可以将这样的负像素特征值重置为0，以方便后续生成特征值图像和/或聚类。
在实际应用中，可以定义不同形状、尺寸和不同宽高比的多个中心环绕差分模板。对于边缘图像中的每个像素，利用每个中心环绕差分模板计算该像素的特征值，然后取其中最大的值作为该像素的最终特征值。同样，所述最大的值所对应的中心环绕差分模板中的中心区域的尺寸即为当前像素位置可能存在的车牌的尺寸。图3c示出了图3b中的边缘图像在经过差分模板扫描之后生成的特征值图像，其中反映了每个像素的特征值。注意，图3c并不是二值图像，其中的像素有多种亮度，对应不同的特征值。需要说明，图3c的生成特征值图像的步骤不是车牌检测所必需的步骤，而是为了示例性地示出图3b的边缘图像中的每个像素的特征值分布情况。根据本发明的一个实施例，可以在设计中心 环绕差分模板时，将中心环绕差分模板的中心区域和环绕区域的面积设计为相等，仍利用公式I来计算像素特征值。或者，根据本发明的另一实施例，如果中心区域和环绕区域的面积不相等，则在计算像素特征值时，将公式I中引入面积加权系数，以使中心区域和环绕区域的面积相当于相等，如以下的公式2所示feature = α X sum (Pc) - β X sum (Ps)(公式 2)其中，系数α和β即为面积加权系数。当α取值为中心环绕差分模板的环绕区域与中心区域的面积之比时，β取值为I。或者，当β取值为中心环绕差分模板的中心区域与环绕区域的面积之比时，α取值为I。在图4a中的中心环绕模板中，环绕区域封闭性地包围中心区域。在图4b_4e所示的中心环绕差分模板中，环绕区域非封闭性地包围中心区域。可以认为图4b_4e所示的模板是对图4a中的模板的扩展。当图像中的车牌区域附近存在较多的其他边缘使得车牌边缘的突出性下降时，可以使用这些扩展模版来加强车牌边缘的突出性。应当理解，图4a_4e中给出的中心环绕差分模板仅是示例，而不是为了限定本发明。除了这里给出的中心环绕差分模板之外，本发明的实施例还可以使用其他结构和形状的中心环绕差分模板。由于目前车牌主要是矩形的，因此在图4a_4e中给出的中心环绕差分模板都是矩形的。例如，图4a中给出的是回字型中心环绕差分模板。但是如果车牌为其他形状时，本发明的实施例也可以使用其他形状的中心环绕差分模板。例如，当车牌为圆形时，本发明的实施例可以使用由两个同心圆组成的中心环绕差分模板。继续参考图1，在步骤S120中计算出每个像素的特征值之后，在步骤S130中对边缘图像中的像素进行聚类，以得到候选车牌。具体而言，根据每个像素的特征值、按照空间邻近关系将边缘图像中的像素聚类成一个或多个像素集合，每个像素集合对应于一个候选车牌，每个像素集合中的像素的位置的平均值和用于计算像素特征值的中心环绕差分模板的尺寸的平均值即为当前像素集合所对应的候选车牌的位置和尺寸。这里，用于计算像素特征值的中心环绕差分模板的尺寸是指该中心环绕差分模板的中心区域的尺寸。根据本发明的实施例，可以采用任意的现有聚类方法。作为示例，可以采用mean-shift聚类方法，在边缘图像中，根据每个像素的特征值，每个像素会收敛到某个邻近的峰值像素。此峰值像素以及收敛到它的像素组成的像素集合就为一类。图3d示出了对特征值图像聚类之后生成的多个像素集合，由图3d中的方框指示。每个方框的位置和尺寸即为对应的像素集合中的像素的平均位置和尺寸。注意，为了清楚演示得到的候选车牌与实际车体的位置关系，在图3d中，将标识候选车牌的方框标记在边缘图像上。得到的候选车牌的位置和尺寸可以作为车牌检测结果。图5示出根据本发明第一实施例的车牌检测装置的示意图。其中，车牌检测装置500包括边缘检测器510、模板扫描单元530和聚类单元540。边缘检测器510用于对输入图像进行边缘检测，以获得边缘图像。模板扫描单元530用于利用中心环绕差分模板作为特征模板扫描边缘图像，以计算所述边缘图像中每个像素的特征值。聚类单元540用于根据每个像素的特征值、按照空间邻近关系将所述边缘图像中的像素聚类成一个或更多个像素集合，其中每个像素集合对应于一个候选车牌，每个像素集合中的像素的位置的平均值和用于计算像素特征值的中心环绕差分模板的尺 寸的平均值为该像素集合所对应的候选车牌的位置和尺寸。可选地，车牌检测装置500还可以包括预处理单元520 (由图5中的虚线框示出)。预处理单元520用于对边缘图像进行至少包括二值化的预处理，以获得二值化的边缘图像。可选地，预处理单元520还可以用于对二值化的边缘图像进行腐蚀和膨胀。关于车牌检测装置500中每个部件的详细操作，可以参考以上对根据本发明第一实施例的车牌检测方法的描述，这里不再重复。(第二实施例)从图3d中可以看到，通过根据本发明第一实施例的方法，得到了多个候选车牌。尽管候选车牌中包括了实际车牌，但是还包括了其他多个虚假车牌。为了提高车牌检测精度以及减少后续识别过程的计算代价，需要对得到的候选车牌进行后处理，以去除虚假车牌。以下描述根据本发明第二实施例的车牌检测方法和装置，其中对候选车牌进行了后处理。图6示出根据本发明第二实施例的车牌检测方法的流程图。与图I示出的根据本发明第一实施例的车牌检测方法相比较，在第二实施例中增加了对候选车牌进行后处理的步骤S640，以去除虚假车牌。可以利用任何现有的车牌后处理方法来去除虚假车牌。另外，与第一实施例类似地，第二实施例中也可以包括对边缘图像进行预处理的步骤S620。预处理步骤S620可以与图2中的预处理步骤S220相同。图6中的步骤S610、S630和S640分别与图I中的步骤S110、S120和S130相同。本发明的发明人通过分析发现，车牌一般具有固定的一个或更多个宽高比，且车牌底色与字符有较大差异。因此，作为示例，在本发明的实施例中，可以通过限定车牌尺寸、限定车牌宽高比、限定车牌内部的边缘像素填充度等方法来对候选车牌进行后处理，以去除虚假车牌。作为示例，图7a_7d示出根据本发明第二实施例的后处理过程的示意图。其中，图7a是车辆的车灯部分的图像。由于该车灯也是近似于矩形且内部具有一定的边缘，因此通过模板扫描和聚类后，车灯部分也可能成为候选车牌，如图7a中的虚线方框所示。图7a中的图像是在得到的候选车牌的基础上进行了一定的扩展而得到的。由于模版扫描以及聚类合并后得到的候选区域存在一定误差，为了防止在获得候选车牌时漏掉实际车牌的某些部分，在进行后处理时可以进行一定的扩展。图7b是图7a的图像经过边缘检测之后得到的边缘图像。图7c和图7d分别是图7b的边缘图像在水平方向和竖直方向上的投影图。根据一个实施例，检测候选车牌的水平投影的强度il。如果水平投影强度低于第一预定值，则确定该候选车牌为虚假车牌并去除。根据另一个实施例，在候选车牌的竖直投影中检测车牌的水平有效宽度wl，该宽度表示竖直投影图中边缘比较密集的区域的宽度，更接近于车牌的真实宽度。如果该水平有效宽度wl占整个候选车牌的宽度w2(即图7a中的虚线框(表示候选车牌)的宽度)的比例低于第二预定值，则确定该候选车牌为虚假车牌并去除。根据另一个实施例，检测候选车牌的水平投影中车牌的竖直有效高度hl，该高度表示水平投影图中边缘比较密集的区域的高度，更 接近于车牌的真实高度。如果该竖直有效高度hi占整个候选车牌的竖直高度h2(即图7b中的虚线框的高度)的比例低于第三预定值，则确定该候选车牌为虚假车牌并去除。由候选车牌的有效高宽Wl和hi限定的车牌区域(图7b中的实线框示出)更接近于真实车牌区域。根据另一个实施例，如果候选车牌的有效宽高比wl/hl超出预定范围，则确定该候选车牌为虚假车牌并去除。此外，还可以通过比较候选车牌内的边缘像素填充度是否达到阈值来判断该候选车牌是否是虚假车牌。例如，可以使用差分模板中的中心区域内的所有边缘像素占整个中心区域内的像素总数的比例作为该差分模板所对应的候选车牌内的边缘像素填充度。图8a_8e示出根据本发明第二实施例的车牌检测过程的示意图。其中图8a_8d与根据本发明第一实施例的车牌检测过程中相同，图Se示出了经过后处理去除了虚假车牌之后，得到仅一个候选车牌。在该示例中，该候选车牌即为实际车牌。与根据第一实施例的车牌检测相比，提高了精确度。同样，应当理解，为了更清晰地示出边缘信息，在图7a_7d及图8a_8e中，所示出的边缘图像是进行了至少包括二值化的预处理之后的边缘图像。但是应当理解，这种对边缘图像的预处理并不是必需的。图9示出根据本发明第二实施例的车牌检测装置的示意图。其中，车牌检测装置900包括边缘检测器910、模板扫描单元930、聚类单元940和后处理单元950。边缘检测器910、模板扫描单元930和聚类单元940的操作与根据第一实施例的车牌检测装置500中的相应单元的操作相同，后处理单元950用于对聚类单元940聚类后得到的候选车牌进行后处理，以去除虚假车牌。所述后处理包括限定车牌尺寸、限定车牌宽高比、限定车牌内部的边缘像素填充度中的至少一种。另外，可选地，车牌检测装置还可以包括预处理单元920(由虚线框示出)。预处理单元920的操作与图5中示出的预处理单元520的操作相同。关于车牌检测装置900中每个部件的详细操作，可以参考以上对根据本发明第二实施例的车牌检测方法的描述，这里不再重复。(第三实施例)通常，车牌位于车辆的正面和背面，且位于车辆的正面和背面的下部。因此，还可以将车牌检测范围缩小到车辆正面或背面以及车辆下部，以去除非车辆正面、背面区域或非车辆下部的虚假车牌，并减小计算量。以下描述根据本发明第三实施例的车牌检测方法和装置，其中通过与车辆检测技术相结合，缩小了车牌检测区域。图10示出根据本发明第三实施例的车牌检测方法的流程图。与图I示出的根据本发明第一实施例的车牌检测方法相比较，在第三实施例中，在对输入图像进行边缘检测之前，先在步骤S1010中对输入图像进行车辆检测，并选择拍摄视角为车辆正面或背面的输入图像作为边缘检测的输入图像。为了进一步缩小检测范围，在另一个实施例中，将拍摄视角为车辆正面或背面的输入图像中的车辆的下部区域作为边缘检测的输入图像。可以使用任意适合的现有车辆检测方法来进行车辆检测，例如统计学习方法等。注意，这里的车辆检测有别于运动区域检测等简单的区分前景和背景的方法，它特指基于先验的车辆特征信息来检测图像中是否有包含车辆的区域、甚至是什么种类的车辆、以及车辆的拍摄视角等的车辆检测方法，其中检测出的车辆符合所述先验的车辆特征。而基于运动区域检测等的简单方法，不能精确地确定图像中包含的运动区域中的对象就是车辆，另外，当图像中的车辆为静止时，基于运动区域检测等的简单方法更加难以检测出车辆。为了不模糊本发明，这里不详细描述车辆检测方法。 图10中的步骤S1020、S1040和S1050分别与图I中的步骤S110、S120和S130相同。另外，可选地，根据本发明第三实施例的方法还可以包括预处理步骤和后处理步骤中的至少一种，如图10中的步骤S1030和S1060所示(由虚线框所示)。其中，步骤S1030可以与图2中的步骤S220相同，步骤S1060可以与图6中的步骤S650相同。此外，自动提取的车辆的相关信息(例如，种类、视角)可以和车牌信息结合使用。图11示出根据本发明第三实施例的车牌检测区域确定的示意图。图11示出的是车辆正面图像。在该图像中，区域I表示通过车辆检测方法确定出的包含车辆的区域。区域2是车辆的下部区域，这可以根据预定范围在车辆区域中选择。图12示出根据本发明第三实施例的车牌检测装置的示意图。与根据本发明第一实施例的车牌检测装置相比，这里的车牌检测装置1200中增加了车辆检测器1260，用于进行车辆检测，并选择拍摄视角为车辆正面或背面的所述车辆图像输入到边缘检测器1210作为车牌检测区域。车辆检测器1260基于先验的车辆特征信息来检测输入图像中是否有包含车辆的区域并估计车辆的拍摄视角，其中，检测出的车辆是符合先验的车辆特征信息的车辆。可选地，车牌检测装置1200还可以包括预处理单元1220和后处理单元1250中的至少一种。预处理单元1220的操作与图5中所示的预处理单元520的操作相同。后处理单元1250的操作与图9中所示的后处理单元950的操作相同。关于车牌检测装置1200中每个部件的详细操作，可以参考以上对根据本发明第三实施例的车牌检测方法的描述，这里不再重复。上述装置中各个组成模块、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。图13示出可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。在图13中，中央处理单元(CPU) 1301根据只读存储器(ROM) 1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM) 1303的程序执行各种处理。在RAM 1303中，还根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口 1305也连接到总线1304。下述部件连接到输入/输出接口 1305 :输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1308 (包括硬盘等)、通信部分1309 (包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可连接到输入/输出接口 1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图13所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标) )、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等
坐寸ο在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
权利要求
1.一种车牌检测方法，包括 对输入图像进行边缘检测，以获得边缘图像； 利用预定义的中心环绕差分模板作为特征模板扫描所述边缘图像，以计算所述边缘图像中每个像素的特征值；以及 根据每个像素的特征值、按照空间邻近关系将所述边缘图像中的像素聚类成一个或更多个像素集合，其中，每个像素集合对应于一个候选车牌，对于每个像素集合，其中的像素的位置的平均值为该像素集合所对应的候选车牌的位置，用于计算该像素集合中像素的特征值的中心环绕差分模板的尺寸的平均值为该像素集合所对应的候选车牌的尺寸。
2.根据权利要求I的车牌检测方法，还包括 在利用所述中心环绕差分模板扫描所述边缘图像之前，对所述边缘图像进行至少包括二值化的预处理。
3.根据权利要求I的车牌检测方法，还包括 对所述候选车牌进行后处理以去除虚假车牌。
4.根据权利要求3的车牌检测方法，其中，所述后处理包括限定车牌尺寸、限定车牌宽高比、限定车牌内部的像素填充度中的至少一种。
5.根据权利要求I的车牌检测方法，还包括，在边缘检测之前 基于先验的车辆特征信息来检测所述输入图像中是否有包含车辆的区域并估计所述车辆的拍摄视角，其中，所述车辆是符合所述先验的车辆特征信息的车辆；以及 选择包含车辆的输入图像中拍摄视角为车辆正面或背面的输入图像作为所述边缘检测的输入图像。
6.根据权利要求5的车牌检测方法，其中，选择所述拍摄视角为车辆正面或背面的输入图像中的车辆的下部区域作为所述边缘检测的输入图像。
7.根据权利要求I的车牌检测方法，其中，所述边缘检测检测所述输入图像中的竖直边缘。
8.根据权利要求I的车牌检测方法，其中，所述中心环绕差分模板包括中心区域和环绕区域，所述中心区域对应于所述边缘图像中的候选车牌的区域，所述环绕区域对应于所述边缘图像中的候选车牌周围的封闭或非封闭区域。
9.根据权利要求8的车牌检测方法，其中，所述中心环绕差分模板的中心区域和环绕区域的面积相同，并且根据以下公式计算每个像素的特征值feature = sum (Pc)-sum (Ps), 其中，feature表示以该像素为所述中心环绕差分模板的中心区域的中心时所述中心环绕差分模板的值，作为该像素的特征值，Pc表示位于所述中心环绕差分模板的中心区域中的像素的值，Ps表示位于所述中心环绕差分模板的环绕区域中的像素的值。
10.根据权利要求8的车牌检测方法，其中，根据以下公式计算每个像素的特征值 feature = a X sum (Pc) - ^ X sum (Ps), 其中，feature表示以该像素为所述中心环绕差分模板的中心区域的中心时所述中心环绕差分模板的值，作为该像素的特征值，Pc表示位于所述中心环绕差分模板的中心区域中的像素的值，Ps表示位于所述中心环绕差分模板的环绕区域中的像素的值，并且 a和P为面积加权系数，a取值为所述中心环绕差分模板的环绕区域与中心区域的面积之比，^取值为1，或者，^取值为所述中心环绕差分模板的中心区域与环绕区域的面积之比，a取值为I。
11.根据权利要求I的车牌检测方法，其中，所述中心环绕差分模板包括具有不同尺寸和宽高比的多个中心环绕差分模板，并且将利用每个中心环绕差分模板计算出的特征值中最大的一个作为该像素的特征值。
12.—种车牌检测装置，包括 边缘检测器，用于对输入图像进行边缘检测，以获得边缘图像； 模板扫描单元，用于利用预定义的中心环绕差分模板作为特征模板扫描所述边缘图像，以计算所述边缘图像中每个像素的特征值；以及 聚类单元，用于根据每个像素的特征值、按照空间邻近关系将所述边缘图像中的像素聚类成一个或更多个像素集合，其中，每个像素集合对应于一个候选车牌，对于每个像素集合，其中的像素的位置的平均值为该像素集合所对应的候选车牌的位置，用于计算该像素集合中像素的特征值的中心环绕差分模板的尺寸的平均值为该像素集合所对应的候选车牌的尺寸。
13.根据权利要求12的车牌检测装置，还包括预处理单元，用于对所述边缘图像进行至少包括二值化的预处理。
14.根据权利要求12的车牌检测装置，还包括后处理单元，用于对所述候选车牌进行后处理以去除虚假车牌。
15.根据权利要求12-14中任意一项的车牌检测装置，还包括车辆检测器，用于在所述边缘检测器进行边缘检测之前 基于先验的车辆特征信息来检测所述输入图像中是否有包含车辆的区域并估计所述车辆的拍摄视角，其中，所述车辆是符合所述先验的车辆特征信息的车辆；以及 选择拍摄视角为车辆正面或背面的所述车辆图像作为所述边缘检测器的输入图像。
全文摘要
本发明公开一种车牌检测方法和装置。所述车牌检测方法包括对输入图像进行边缘检测，以获得边缘图像；利用中心环绕差分摸板作为特征模板扫描所述边缘图像，以获得所述边缘图像中每个像素的特征值；以及根据每个像素的特征值、按照空间邻近关系将所述边缘图像中的像素聚类成一个或更多个像素集合，其中，每个像素集合对应于一个候选车牌，对于每个像素集合，其中的像素的位置的平均值为该像素集合所对应的候选车牌的位置，用于计算该像素集合中像素的特征值的中心环绕差分模板的尺寸的平均值为该像素集合所对应的候选车牌的尺寸。
文档编号G06T5/00GK102682422SQ20111007486
公开日2012年9月19日 申请日期2011年3月16日 优先权日2011年3月16日
发明者吴伟国, 梅树起 申请人:索尼公司