专利名称：一种高清视频流中多车牌定位的方法
技术领域：
本发明属于模式识别领域，具体涉及智能交通监控技术领域，特别涉及一种高清 视频流中多车牌定位的方法。
背景技术：
随着现代交通技术的发展，汽车已经成为人们日常生活中不可缺少的一种重要交 通工具，这必然对交通管理有一个更高的要求，随着对城市交通管理、高速公路收费、停车 场管理等的自动化，车牌识别技术的研究成为热门课题。车牌定位是车牌自动识别技术中 一个至关重要的环节，其定位的速度和准确程度直接影响到车牌识别系统的性能。传统的 智能交通系统大多基于标清(40万像素)图像，存在着视场小、分辨率低等缺陷。近年来， 百万像素级(200 500万像素)的高清摄像机开始用于交通监控中。由于高清摄像机视场 大、分辨率高、能给执法机关提供有力的证据，因而开始在智能交通系统中得到推广应用。 高清摄像机的监控区域中往往存在着多个车牌，故多车牌的快速准确定位直接决定着智能 交通系统的性能，是一个值得深入研究的领域。Choi等提出利用霍夫变换寻找垂直边缘提取汽车牌照的方法，此方法由于许多汽 车前部散热器产生的垂直边缘和某些牌照边框的扭曲或某些汽车牌照没有边框而鲁棒性 较差。Barroso等认为车牌区域具有较强的灰度变化特性，对图象分别做水平和垂直方向的 投影，根据投影的波峰和波谷的特点来判断车牌区域的水平和垂直位置。此方法仅依赖于 车牌的灰度投影特点定位，容易受其他区域的干扰，定位往往不够准确。戴青云等提出一种 基于形态学的方法，基本做法是先对图象进行边缘提取，再对边缘图象进行形态学运算， 直到图象中只留下待寻的目标。但这类方法的缺点在于因为需事先确定滤波算子的尺寸， 所以对车牌的大小不具有自适应性。谈永新等提出一种基于梯度投影的车牌定位方法，然 而梯度特征对路面的噪点或车身的纹理比较敏感，容易引起误报。
发明内容
本发明的目的在于提出一种高清视频流(分辨率大于200万像素)中多车牌定位 的方法。此方法具有对视频流中车牌的检测速度快、定位准确、漏报误报少、抗干扰性和可 靠性强等优点，且可以同时定位一帧中出现的多个车牌。本发明的技术方案为针对固定视场的高清摄像机获取的视频图像，首先采用背 景差分法获取运动区域，同时采用形态学滤波去除噪点；接着对获取的运动区域进行垂直 小波分解；然后分析运动区域的垂直小波分量，依据多项规则提取出一个或多个可能为车 牌的候选区域；最后对车牌的候选区域进行颜色聚类，根据颜色聚类的信息来判断该候选 区域是否为一个真实的车牌区域。本发明的具体实现步骤依次为(1)现场场景图像获取步骤高清摄像机以等间隔对现场视频进行采样以获得连 续的现场场景图像。
(2)将获取的彩色场景图像转换为灰度图像。转换公式为Gray = 0. 299R+0. 587G+0. 114B (1)其中，R、G、B为一个像素的红色，绿色，蓝色三个颜色通道的值，Gray为像素对应 的灰度值。(3)采用背景差分法提取前景运动区域对于交通场景来说，车辆都是运动的，因 此我们只需要在运动区域检测车牌即可，这样可大大提高车牌检测的速度。1、背景图像的初始化采用多帧平均法来初始化背景图像。将最初n帧(n = 100 200)的灰度图像的 平均值作为初始的背景图像。2、背景差分法提取前景运动区域用M(i，j，k)来表示第k帧图像中前景运动区域二值图像(i，j)处的值，则M(i， j，k)的计算公式为
M{i,j,k) = \’(2)其中F(i，j，k)为当前输入的第k帧图像在(i，j)处的像素灰度值，B(i，j，k)为 当前第k帧对应的背景图像在(i，j)处的像素灰度值，T为给定阈值。3、背景图像的更新背景图像需要随着场景的变化进行不断地更新。本发明中，为保证背景图像尽量 纯净，采用的更新策略为选择性更新，即只更新背景区域，前景运动区域不进行更新。更新 策略的表达式为
B(i,j,k + l) = <, m{3 )其中a e (0,1)称为学习因子，它体现了背景图像随着场景的变化进行更新的 快慢程度。(4)后处理步骤对提取到的变化区域进行形态学运算，以去除前景运动区域中 的噪点和空洞。形态学运算的基本运算为膨胀和腐蚀运算，分别定义为(f g) (n) = max {f (n_x) +g (x) | (n_x) G Df 且 x G Dg} (4)(f 0 g) (n) = min {f (n+x) -g (x) | (n+x) G Df 且 x G Dg} (5)式中f(n)是输入信号，定义域为 ={0,1,2,……，N} ；g(n)为一维结构元素序 列，其定义域为 ={0,1,2,……，P}；其中P和N都是整数，表示膨胀运算， 表示腐蚀运算。由基本运算可引出形态学开运算、闭运算的定义分别为(f o g) (n) = (f g g) (n) (6)(f g) (n) = (f g g) (n) (7)式中o表示开运算， 表示闭运算，开运算可以抑制图像中的正常脉冲(峰值) 噪声，闭运算可以抑制图像中的负脉冲(低谷)噪声。对背景差分法检测到的前景运动区 域，先进行一次开运算，然后进行一次闭运算。
(5)运动区域的垂直小波分解步骤对经过形态学运算后的前景运动区域进行垂 直小波分解。由于车牌中存在着多个字符，字符的垂直边缘一般都比较清晰明显，因此本发明 选择对运动区域进行垂直小波分解。在本发明中，采用二维离散小波变换对相应区域的进 行分解。
Φ{χ,γ) = φ{χ)φ{γ)
^Η{χ,γ) = φ{χ)ψ{γ)F( 8 ) Ψν(χ,γ) = ψ(χ)φ(γ)
Ψ°(χ,γ) = ψ(χ)ψ(γ)其中，Φ度量图片的低频分量，ΨΗ度量沿着列的变化(如水平边缘)，ΨΗ度量沿 着行的变化(如垂直边缘)，WD对应于对角线方向的变化。原始图像每经过一次二维离散 小波变换，图像都被分解为四个四分之一大小的图像，四个图像中的每一个均是由原图像 与一个小波基图像的内积后再经过X和y方向均进行两倍的间隔抽样生成的。经过一次二 维离散小波变换后，图像被分解为一幅低分辨率图像和三幅高频分量子图像分别包含水平 方向(HL)、垂直方向(LH)和对角方向(HH)的纹理信息。在此，仅对垂直方向的小波分量 (LH)进行分析，以提取车牌的候选区域。(6)车牌候选区域提取步骤对上一步骤中计算得到的垂直小波分量子图(LH)用 给定大小的区域P进行扫描，区域P的面积应略大于实际车牌的面积。当有区域满足下面 3条规则时，则认为该区域为车牌候选区域。判定规则如下规则1、计算区域P的垂直小波分量均值& ,公式为ΣΙ^^'^Ι(9) n其中η为区域P内的总像素数。由于车牌上字符的垂直纹理突出，故要求区域P 的垂直小波分量均值满足& >7； ,T1为给定阈值。规则2、计算区域P的垂直小波分量方差VP，公式为Vp=- X \LH(x,y)-WP\2 (10)
n (x,y)eP由于车牌上字符的分布是均勻的，故要求区域P的垂直小波分量方差满足VP< T2， T2为给定阈值。规则3、在以区域P为中心的一个较大区域W中，区域P的均值 ^应该为最大值，区域W的面积一般取区域P的9倍。(7)车牌确认步骤对获取的车牌候选区域进行颜色聚类，当判别规则满足时，判 定该候选区域为真实的车牌，同时输出其坐标信息；反之，则判定该候选区域不是真实的车 牌，跳至现场场景图像获取步骤，循环执行。颜色是判别车牌的重要信息之一，本发明中采用K均值聚类算法对车牌候选区域 进行颜色聚类，以获取该区域的颜色特征。K均值聚类算法原理为接受输入量K，然后将 η个数据对象划分为K个聚类以便使得所获得的聚类满足同一聚类中的对象相似度较高； 而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”来进行计算的。K均值聚类算法的工作过程说明如下首先选择K个初始聚类中心； 而对于被聚类的数据对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配 给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的聚类中心(该 聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为止。一般都采 用均方差作为标准测度函数.K个聚类具有以下特点各聚类本身尽可能的紧凑，而各聚类 之间尽可能的分开。目前常见的车牌颜色主要是蓝牌(蓝底白字)和黄牌(黄底黑字)，故聚类数目K 选择为4，初始聚类中心选择为蓝色(0，0，255)、白色(255，255，255)、黄色(255，255，0)、黑
色(0，0，0)。待K均值聚类算法收敛后，统计4类颜色的像素数蓝色Nbllffi，白色Nwhite,黄色 Nyellow和黑色Nbla。k。对于候选区域总像素数NP，若满足Nblue > 0. 3NP且Nwhite > 0. 3NP,则认 为候选区域为蓝色车牌；若满足Nyellw > 0. 3NP且Nbladt > 0. 3NP,则认为候选区域为黄色车 牌；若上述两条都不满足，则认为候选区域不是真实的车牌。目前常用的车牌定位方法一般采用对整图进行扫描的方法来检测车牌，导致在高 清视频流中的车牌定位速度不尽如人意。本发明采用背景差分法提取前景运动区域，使得 后续的处理仅针对运动区域，避免进行全图搜索，大大提高了车牌定位的处理速度。同时背 景图像利用选择性更新策略实时更新，因而能够准确提取运动区域，在抗干扰能力上也有 出色的表现。传统的车牌定位方法通常分析图像的梯度特征来定位车牌，然而梯度特征对 路面的噪点或车身的纹理比较敏感，容易引起误报。本发明对运动区域进行垂直小波分解， 分析得到的垂直小波分量，可过滤掉绝大部分的非车牌区域，避免了梯度特征的缺点。最后 采用颜色聚类的方法进一步保证了提取车牌的准确性。本发明实现了对高清视频流中多个 车牌的快速准确定位，漏、误报均在很低的范围之内，这是以前的技术所不能达到的。
图1、本发明高清视频流中多车牌定位方法的系统结构2、本发明高清视频流中多车牌定位方法的操作流程图
具体实施例方式实施实例1图1给出了本发明高清视频流中多车牌定位方法的系统构成示意图将高清摄像 头D捕捉到的道路区域C的视频图像传送到嵌入式高清车牌检测仪A，嵌入式高清车牌检测 仪A利用根据本发明高清视频流中多车牌定位方法的操作流程图编写的嵌入式视频图像 分析程序对捕捉到的视频图像进行实时分析。如果检测到道路区域中存在车牌，嵌入式高 清车牌检测仪A自动将车牌位置坐标以及截图等信息传送到后端的监控平台B ；如果道路 区域未检测到车牌，则返回流程的第一步重新开始循环。图2给出了本发明高清视频流中多车牌定位方法的程序流程图。具体步骤为1、 获取当前帧图像数据；2、将当前帧的彩色图像转换为灰度图像；3、通过背景差分法得到前 景运动区域；4、更新背景图像；5、对得到的前景运动区域进行形态学滤波去除噪点；6、对 去噪后的前景运动区域进行垂直小波分解；7、分析运动区域的垂直小波分量，依据多项规 则提取出一个或多个可能为车牌的候选区域；8、采用颜色聚类算法判别车牌候选区域，确认为真实车牌则输出车牌位置坐标，返回步骤1重新循环。本发明高清视频流中多车牌定位方法的具体操作步骤如下1、高清视频流车牌检测系统硬件平台的搭建监控摄像头要求为输出高清视频流的摄像头，按照图1所示将高清视频流接入嵌 入式高清车牌检测仪。同时，嵌入式高清车牌检测仪可以通过公众网络连接后端的监控平 台，实时上传车牌位置坐标以及截图等信息。2、获取当前帧图像并转换为灰度图像将获取的彩色场景图像转换为灰度图像。转换公式为Gray = 0. 299R+0. 587G+0. 114B (1)其中，R、G、B为一个像素的红色，绿色，蓝色三个颜色通道的值，Gray为像素对应 的灰度值。3、背景图像的初始化在系统启动时，系统默认为被监控的道路场景中没有出现车辆。采用多帧平均法 来初始化背景图像。将最初η帧(η = 100 200)的灰度图像的平均值作为初始的背景图像。4、采用背景差分法提取前景运动区域用M(i，j，k)来表示第k帧图像中前景运动区域二值图像(i，j)处的值，则M(i， j，k)的计算公式为 其中F(i，j，k)为当前输入的第k帧图像在(i，j)处的像素灰度值，B(i，j，k)为 当前第k帧对应的背景图像在(i，j)处的像素灰度值，T为给定阈值。5、背景图像的更新背景图像更新采用的更新策略为选择性更新，即只更新背景区域，前景运动区域 不进行更新。更新策略的表达式为 其中α e (0,1)称为学习因子，它体现了背景图像随着场景的变化进行更新的 快慢程度。6、形态学滤波对背景差分法检测的前景运动区域，先进行一次开运算，然后进行一次闭运算，以 去除前景运动区域中的噪点和空洞。7、运动区域的垂直小波分解对经过形态学运算后的前景运动区域进行垂直小波分解。本发明采用二维离散小 波变换对相应区域的进行分解。原始图像每经过一次二维离散小波变换，图像都被分解为 四个四分之一大小的图像，四个图像中的每一个均是由原图像与一个小波基图像的内积后 再经过X和y方向均进行两倍的间隔抽样生成的。经过一次二维离散小波变换后，图像被分解为一幅低分辨率图像和三幅高频分量子图像分别包含水平方向(HL)、垂直方向(LH) 和对角方向(HH)的纹理信息。在此，仅对垂直方向的小波分量(LH)进行分析，以提取车牌 的候选区域。8、提取候选车牌区域对上一步骤中计算得到的垂直小波分量子图(LH)用给定大小的区域P进行扫描， 区域P的面积应略大于实际车牌的面积。当有区域满足下面3条规则时，则认为该区域为 车牌候选区域。判定规则如下规则1、计算区域P的垂直小波分量均值，公式为M~p=~ Y\LH{x,y)\ (4)
n其中η为区域P内的总像素数。由于车牌上字符的垂直纹理突出，故要求区域P 的垂直小波分量均值满足％ >7；, T1为给定阈值。规则2、计算区域P的垂直小波分量方差VP，公式为4 =丄 Σ \LH(x,y)-M~P\2 ( 5 )
n (ATjOe尸由于车牌上字符的分布是均勻的，故要求区域P的垂直小波分量方差满足VP< T2， T2为给定阈值。规则3、在以区域P为中心的一个较大区域W中，区域P的均值&应该为最大值， 区域W的面积一般取区域P的9倍。9、车牌确认颜色是判别车牌的重要信息之一，故最后采用颜色信息对获取的候选车牌区域进 行确认。本发明中采用K均值聚类算法对车牌候选区域进行颜色聚类，以获取该区域的颜 色特征。K均值聚类算法原理为接受输入量K，然后将η个数据对象划分为K个聚类以便使 得所获得的聚类满足同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。 聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”来进行计算的。K均值聚类 算法的工作过程说明如下首先选择K个初始聚类中心；而对于被聚类的数据对象，则根据 它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表 的)聚类；然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值)；不断重复 这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数.K个聚 类具有以下特点各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。目前常见的车牌颜色主要是蓝牌(蓝底白字)和黄牌(黄底黑字)，故聚类数目K 选择为4，初始聚类中心选择为蓝色(0，0，255)、白色(255，255，255)、黄色(255，255，0)、黑 色(0，0，0)。待K均值聚类算法收敛后，统计4类颜色的像素数蓝色Nbllffi，白色Nwhite,黄色 Nyellow和黑色Nbla。k。对于候选区域总像素数NP，若满足Nblue > 0. 3NP且Nwhite > 0. 3NP,则认 为候选区域为蓝色车牌；若满足Nyellw > 0. 3NP且Nbladt > 0. 3NP,则认为候选区域为黄色车 牌；若上述两条都不满足，则认为候选区域不是真实的车牌。当候选车牌区域被确认为真实的车牌后，嵌入式高清车牌检测仪即可将车牌的位 置坐标以及截图等信息通过网络实时上传给监控中心。
权利要求
一种高清视频流中多车牌定位的方法，其特征在于针对固定视场的高清摄像机获取的视频图像，首先采用背景差分法法获取运动区域，同时采用形态学滤波去除噪点；接着对获取的运动区域进行垂直小波分解；然后分析运动区域的垂直小波分量，依据多项规则提取出一个或多个可能为车牌的候选区域；最后对车牌的候选区域进行颜色聚类，根据颜色聚类的信息来判断该候选区域是否为一个真实的车牌区域。
2.根据权利要求1所述的一种高清视频流中多车牌定位的方法，其步骤依次为1)获取当前帧图像并转换为灰度图像将获取的彩色场景图像转换为灰度图像；转换公式为Gray = 0. 299R+0. 587G+0. 114B (1)其中，R、G、B为一个像素的红色，绿色，蓝色三个颜色通道的值，Gray为像素对应的灰 度值；2)背景图像的初始化在系统启动时，系统默认为被监控的道路场景中没有出现车辆；采用多帧平均法来初 始化背景图像；将最初η帧的灰度图像的平均值作为初始的背景图像，其中，η = 100 200 ；3)采用背景差分法提取前景运动区域用M(i，j，k)来表示第k帧图像中前景运动区域二值图像(i，j)处的值，则M(i，j，k) 的计算公式为M{ij,k)-\l 如果(2) [ο其他其中F(i，j，k)为当前输入的第k帧图像在(i，j)处的像素灰度值，B(i，j，k)为当前 第k帧对应的背景图像在(i，j)处的像素灰度值，T为给定阈值；4)背景图像的更新背景图像更新采用的更新策略为选择性更新，即只更新背景区域，前景运动区域不进 行更新；更新策略的表达式为J(i-a)卯，MHaF(UJ)如果似ow) = o ( Λ [B(i.j.k)如果= 1其中α e (0，1)称为学习因子，它体现了背景图像随着场景的变化进行更新的快慢 程度；5)形态学滤波对背景差分法检测的前景运动区域，先进行一次开运算，然后进行一次闭运算，以去除 前景运动区域中的噪点和空洞；6)运动区域的垂直小波分解对经过形态学运算后的前景运动区域进行垂直小波分解。本发明采用二维离散小波变 换对相应区域的进行分解。原始图像每经过一次二维离散小波变换，图像都被分解为四个 四分之一大小的图像，四个图像中的每一个均是由原图像与一个小波基图像的内积后再经 过χ和y方向均进行两倍的间隔抽样生成的。经过一次二维离散小波变换后，图像被分解 为一幅低分辨率图像和三幅高频分量子图像分别包含水平方向HL、垂直方向LH和对角方向HH的纹理信息。在此，仅对垂直方向的小波分量LH进行分析，以提取车牌的候选区域；7)提取候选车牌区域对上一步骤中计算得到的垂直小波分量子图用给定大小的区域P进行扫描，区域P的 面积应略大于实际车牌的面积；当有区域满足下面3条规则时，则认为该区域为车牌候选 区域；判定规则如下规则1、计算区域P的垂直小波分量均值R ,公式为Μ~Ρ=~ ΣΙΖ//(Χ，力I (4)n (x,y)eP其中η为区域P内的总像素数；由于车牌上字符的垂直纹理突出，故要求区域P的垂直 小波分量均值满足^； > 7；, T1为给定阈值；规则2、计算区域P的垂直小波分量方差VP，公式为vP=- Σ \lh(x,y)-WpI2 (5) n由于车牌上字符的分布是均勻的，故要求区域P的垂直小波分量方差满足Vp < T2, T2 为给定阈值；规则3、在以区域P为中心的一个较大区域W中，区域P的均值 ^应该为最大值，区域 W的面积取区域P的9倍；8)车牌确认最后采用颜色信息对获取的候选车牌区域进行确认；本发明中采用K均值聚类算法对 车牌候选区域进行颜色聚类，以获取该区域的颜色特征；待K均值聚类算法收敛后，统计4类颜色的像素数蓝色像素Nbllffi，白色像素 趴一黄色 像素Nyellw和黑色像素Nbladt ；对于候选区域总像素数ΝΡ，若满足Nblue > 0. 3ΝΡ且Nwhite > 0. 3ΝΡ,则认为候选区域为蓝 色车牌；若满足Nyellw > 0. 3ΝΡ且Nbladt > 0. 3ΝΡ,则认为候选区域为黄色车牌；若上述两条 都不满足，则认为候选区域不是真实的车牌。
全文摘要
本发明公开了一种高清视频流中多车牌定位的方法，针对固定视场的高清摄像机获取的视频图像，采用背景差分法获取运动区域，同时采用形态学滤波去除噪点；接着对运动区域进行垂直小波分解，分析其垂直小波分量，依据多项规则提取出一个或多个可能为车牌的候选区域；最后对车牌的候选区域进行颜色聚类，根据颜色聚类的信息来判断该候选区域是否为一个真实的车牌区域。本发明可准确提取出运动区域，使得后续的处理仅针对运动区域，避免进行全图搜索，大大提高了车牌定位的处理速度；对运动区域垂直小波分量的分析，过滤掉了绝大部分的非车牌区域；颜色聚类的方法进一步保证了提取车牌的准确性。实现了对高清视频流中多个车牌的快速准确定位。
文档编号G06K9/62GK101931792SQ201010244888
公开日2010年12月29日 申请日期2010年8月4日 优先权日2010年8月4日
发明者丁天, 甘智峰, 赖页, 邵文简 申请人:丁天;甘智峰;邵文简;赖页