基于多特征区域累积的车牌定位方法
【技术领域】
[0001] 本发明涉及一种车牌定位方法，具体涉及一种基于多特征区域累积的车牌定位方 法。
【背景技术】
[0002] 车牌识别技术是当前车辆管理智能化的一个重要应用，随着车辆的数目不断地激 增，给车辆的管理带来了极大的不便，加之人工成本的增加，传统的人工管理已经不满足现 在的需求。车牌识别技术是利用摄像头采集到的包含车牌信息的图像，利用图像处理、模 式识别等技术将车牌信息从中提取出来。车牌识别作为车辆管理系统的核心，其识别率一 直是众多的研究者们关注的焦点，特别是在不同场景下的车牌识别。由于原始图像一般采 集于露天的自然环境中，一般会受到光照、雨雪天气的影响以及车牌本身的污损、形变等因 素，使得车牌识别的难度大大增加。一般来说，车牌识别主要分为三个部分：车牌定位、字符 分割以及字符识别。其中车牌定位是整个车牌识别的基础也是核心，定位的正确与否决定 着整个系统的识别率。当然，车牌定位失败后续的步骤也失去了意义。因此，车牌定位作为 车牌识别技术的核心一直吸引着众多学者致力研究，诞生了众多的车牌定位的算法。概括 起来，主要有以下几类：基于形态学的车牌定位，它利用车牌本身的字符纹理特征，运用数 学形态学操作（膨胀、腐蚀，开/闭运算等）很容易找到车牌所在的区域，配合一定的候选 区筛选条件，即可找到车牌的具体位置。但是其不足是其数学形态学本身的结构元素不能 自适应，对于不同场景下的车牌定位鲁棒性（Robust)不强；基于形态学的方法容易导致车 牌区域与其他噪声边缘粘连，增大定位失败概率；在纹理信息较弱的情况下，特别是夜间， 基于形态学的定位方法往往定位失败。基于扫描线的车牌定位的方法，其原理是对预处理 后的二值图像以一定间隔的扫描线（水平、竖直方向）检测灰度跳变信息。记录下频繁跳 变的区域作为候选区，最终结合车牌先验知识确定最终车牌的位置。该方法具有实现简单、 速度快的特点，但只适用于二值化理想或简单场景下的车牌识别，对复杂场景或车牌污损 的情形适应性不强。基于颜色的车牌定位是利用我国车牌的背景和字符的固定颜色组合的 先验知识，对图像进行特定的颜色查找，最终得到目标颜色区块，从而确定车牌位置。在一 般情况下（光照均匀、车牌较干净），使用该方法定位准确。不适用暗色车牌或夜间颜色失 真的场景。
【发明内容】
[0003] 本发明的目的是提供基于多特征区域累积的车牌定位方法，使得能够适应车牌污 损、夜间环境以及多场景等复杂环境。能胜任实际应用的需求。
[0004] 本发明提供了如下的技术方案：
[0005] 基于多特征区域累积的车牌定位方法，包括如下步骤：
[0006] 预处理；
[0007] 区域提取；
[0008] 车牌粗定位；
[0009] 旋转矫正；
[0010] 精确定位。
[0011] 进一步的，预处理包括：灰度化、二值化和边缘检测；
[0012] 灰度化，基于RGB颜色空间转灰度图的公式如下：
[0013] Gray(i，j) = R(i，j)*0. 299+G(i，j)*0. 587+B(i，j)*0. 114 (I)
[0014] 其中Gray (i，j)为目标图像在点（i，j)上的灰度值，R、G、B为图像三个分量；
[0015] 二值化：灰度图采用0-255的灰度级来表示一幅图像，像素梯度并不明显，因此不 利于对图像进行分割和边缘的提取；同时，为了减少不必要的信息和计算量，我们只使用〇 和255两个值表示我们关注的目标；一般情况下，0代表背景，255代表关注的目标；二值化 的计算公式如下：
[0017] 边缘检测：采用Sobel算子可以根据需要提取水平方向或竖直方向的边缘信息。
[0018] 进一步的，区域提取包括：基于边缘特征的连通域提取、基于背景颜色特征的连通 域提取、基于字符颜色特征的连通域提取和形成区域累积图。
[0019] 进一步的，基于边缘特征的连通域提取包括如下步骤：
[0020] St印L对灰度图执行Top-Hat变换，去除高光区域；
[0021] Step 2.使用Sobel算子检测竖直边缘，破坏水平方向的线段；
[0022] Step 3.对边缘图进行去噪处理；具体做法为检索边缘图所有的轮廓记为C，任意 Ci 求取其面积 Area (Ci);若 Area (Ci)〈minAreaThresh 或 Area (Ci) >maxAreaThresh 则使用 黑色像素填充该轮廓，否则保留；其中minAreaThreash和maxAreaThresh表示允许的车牌 最小、最大面积。
[0023] St印4.构造合适的结构元素，执行闭运算，开运算操作；结构元素的大小一般设 定为22X4,具体值也可以根据实验结果进行微调；
[0024] Step 5.对上述步骤的连通域进行筛选；找出图像所有连通域，根据车牌面积、宽 高比例等条件滤除明显不符合车牌特征的区域；
[0025] Step 6.由上述步骤，最终得到候选区Sl。
[0026] 进一步的，基于背景颜色特征的连通域提取包括如下步骤：
[0027] St印1.将原始图像从RGB颜色颜色空间变换至HSV颜色空间，RGB转换HSV的计 算公式为：
CN 105117726 A 兄明书 3/7 页
[0031] Step 2.检测车牌固有的背景颜色，遍历图像每个像素，若该像素为车牌的固有颜 色，则设定该值为255,否则为0 ;
[0032] Step 3.对上述图像进行膨胀，使得白色像素连成区域；
[0033] Step 4.滤除以上面积、宽高比例不满足的连通域；
[0034] Step 5.由上述步骤，最终得到候选区S2。
[0035] 进一步的，基于字符颜色特征的连通域提取，具体步骤如下：
[0036] Step 1.对图像的HSV颜色图检测车牌字符颜色，遍历该图像的每个像素，若为目 标像素，则设定该值为255,否则为0 ;
[0037] Step 2.对上图二值化，并膨胀图像，使得字符色像素连成区域；
[0038] St印3.滤除面积、宽高比不满足的区域；
[0039] Step 4.由上述步骤，最终得到候选区S3。
[0040] 进一步的，区域累积具体方法如下：
[0041] St印1.创建与原图像尺寸MXN相等的单通道图f(x，y)，并将其所有像素值置零 操作，即
[0042] St印2.将提取的候选区SI, S2, S3归入候选集S，将每个区域Sjt成一个像素值 为P的单通道掩模Maski (X，y);
[0043] Step 3.对图像 f(x，y),
其中 x〇, y〇, w, h 分别 为区域Si在图像空间的起始坐标和宽高值；
[0044] Step 4.对上述的图像f (X，y)，计算区域叠加的层
[0046] Step 5.若layer = 0,则表示在所有的候选区域中没有重叠的区域，此时只取Sl 中的与车牌最相似的区域作为最终车牌区域；若layer = 1，滤除S中所有没有重叠的区 域，即Overlap⑶=0 ;若layer > 1，同理滤除Overlap⑶< 1的区域；
[0047] St印6.对图像f(x，y)进行二值化，其中阈倡最终选 出车牌的区域。
[0048] 本发明的有益效果是：方法结合车牌纹理、背景颜色以及车牌固有的背景及字符 颜色搭配等多特征对车牌进行定位。利用形态学获取到车牌的候选区域；利用查找颜色的 方法找出车牌候选区块以及字符颜色融合的连通域区块，接着使用一种区域累积的方法滤 除所有的较为明显的非车牌区域，继而结合车牌本身特征找到车牌大致的区域。最后，根据 该大致区域中的区域叠加得到一个最优的完整车牌区域。基于多特征区域累积的多类型车 牌定位的方法结合了目前主流算法的优点，克服各自相应的缺点，并提出一种区域累积车 牌筛选策略，使得能够适应车牌污损、夜间环境以及多场景等复杂环境。能胜任实际应用的 需求。
【附图说明】
[0049] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0050] 图1是本发明结构示意图；
[0051 ] 图2是一个较佳实施例的结构示意图；
[0052] 图3是Sobel算子边缘提取图；
[0053] 图4是基于区域累积提取车牌流程图；
[0054] 图5是基于纹理特征的候选区域；
[0055] 图6是基于颜色特征的候选区域；
[0056] 图7是区域累积图。
【具体实施方式】
[0057] 如图1-7所示，在本实施例中对于车牌的定位如下：
[0058] 预处理，由于摄像头采集到的图像往往是基于RGB的颜色图，为了降低图像识别 的计算复杂度，往往需要将图像的颜色空间变换到灰度空间。预处理的目的主要是去除或 减少非车牌区域的噪声，保留或增强车牌区域的结构特征信息。预处理主要包括灰度化、二 值化、边缘检测等步骤。
[0059] 灰度化：摄像头在采集图像的时候，所采集的数据一般是基于RGB颜色空间的 3-通道（channels)的彩色图像。虽然彩色图像可以保存更多的信息，但是必须以牺牲内存 和运算速度为代价。在车牌的定位中，需要进行的操作往往是不需要在颜色图下处理的，为 了满足实时性的要求，需要将图像进行灰度化处理。
[0060] 二值化：灰度图采用0-255的灰度级来表示一幅图像，像素梯度并不明显，因此不 利于对图像进行分割和边缘的提取。同时，为了减少不必要的信息和计算量，我们只使用〇 和255两个值表示我们关注的目标。一般情况下，0代表背景，255代表关注的目标。二值 化的计算公式如下：
[0062] 图像二值化主要的难点在于阈值的选择。一般情形下，有两种阈值的选择，一是基 于全局的固定阈值，二是自适应阈值法。前者的计算方法是获取灰度图的平均值，然后在平 均值的基础之上上下浮动，具体浮动数值参照实际的环境以及二值化的效果而定。自适应 算法采用大津法（OTSU)求阈值。OTSU算法主要思想是把图像的灰度数按灰度级分成2个 部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计 算来寻找一个合适的灰度级别来划分。OTSU算法计算阈值简单可靠性也较高。
[0063] 边缘检测，在图像分割中常用的边缘检测的算法有Canny算子、Sobel算子、 Laplace算子及Robert算子等。相对于其他算子，Sobel算子可以根据需要提取水平方向 或竖直方向的边缘信息，在水平方向的边缘和竖直方向的边缘响应效果最好。根据车牌本 身的纹理特征，其竖直方向的边缘信息呈规律分布，利于车牌区域的提取。因此本发明采用 Sobel算子作为边缘检测子。执行边缘检测效果如图3所示。
[0064] 在一般的情况下，车牌的纹理信息作为车牌定位的一个重要特征，通过提取车牌 的边缘信息，利用数学形态学进行一系列的膨胀、腐蚀，开/闭运算等操作可以获取到车牌 多个候选连通域。这种方法简单也高效，但是由于形态学操作存在的一些缺点