专利名称：一种基于可变形部件模型的车牌及驾驶员人脸定位方法
技术领域：
本发明属于物体检测技术领域，特别涉及车牌定位技术与人脸检测技术的组合应用。
背景技术：
随着社会的不断发展，现代交通的管理也日趋复杂、繁重。为了准确高效地监控交通状况和节约成本，很多的智能交通监控技术已经得到了广泛的应用。其中，车牌自动识别系统是目前比较成熟的技术，适用于各种交通场景。车牌识别系统分为车牌定位，字符分割与字符识别三部分。其中的车牌定位技术目前已经可以获得较高的准确率，但是也已经到达了一个瓶颈。如果不能利用场景中的其他信息，车牌定位的准确率基本无法得到进一步 的提闻。随着成像技术的发展，高清摄像机已经得到了广泛的应用。高清摄像机能够获得行驶中的车辆和驾驶员的清晰图像。目前对应此类场景下的人脸定位的研究还不多，而且由于驾驶员人脸一般是在前挡风玻璃的后面，容易受到光线和视角的影响，目前还无法得到较好的定位结果。因此，如果能将驾驶员的人脸信息与车辆的车牌信息有效地结合起来，则可以进一步的提高车牌定位的准确率。同时由于车牌和驾驶员人脸的相对位置比较固定，也可以通过车牌的定位结果来改善驾驶员人脸的定位结果。此外还可以通过车牌与驾驶员人脸的相对位置来进行车型的识别。
发明内容
本发明的目的是克服现有技术的不足，在高清摄像机获得的图像中进行驾驶员人脸定位和车牌定位，进而进行车型识别，为后续的交通监控任务提供更加有效的信息。本发明的目的是通过下述技术方案实现的。一种基于可变形部件模型的车牌与驾驶员人脸定位方法，具体实施步骤如下步骤一建立正面车辆的可变形部件模型将车牌和驾驶员人脸作为部件，建立正面车辆的可变形部件模型，通过训练数据，得到车牌与驾驶员人脸之间的位置关系，作为模型参数；正面视图中的车辆的可变形部件模型M定义如下M={partplate, partface, posplate；facJ⑴其中，partplate表示模型中的车牌部件，Partface表示模型中的人脸部件，posplate,face (Pplate, face，dpi ate,face}表示车牌与驾驶员人脸之间的位置关系。其中Pplat^表示车牌与驾驶员人脸的空间位置关系。对于不同国家和地区，由于驾驶员所在的位置不同，此位置关系也不同。对于大陆地区，需满足plate. x<face. x, plate. y<face. y，其中plate, x, face.X表示车牌和人脸的X坐标,plate, y, face, y表示车牌和人脸的y坐标,既车牌在人脸的左下方。
dplate；face表示车牌与人脸之间的距离，且dplate,face e Ni ( μ i, δ )，i e {big, middle, samll}(2)Ν(μ，δ)表示均值为μ，方差为δ的高斯模型。通过统计标注的车牌与人脸之间的距离，得到每一类型的车辆所对应的高斯模型的均指和方差，既得到了车辆的可变形部件模型。步骤二 进行车牌的粗定位，得到车牌的候选区域和对应的可信度。目前有多种车牌定位的方法可以得到车牌的候选区域和对应的可信度，本发明采用基于成对形态学算子的车牌定位方法获得车牌的候选区域和对应的可信度。设Smxn是大小为mXn的结构元且所有值为1，某个像素点的局部邻域由Smxn决 定。I表示灰度图像，@和Θ分别表示数学形态学中的腐蚀和膨胀操作，以下定义所用到的形态学操作闭运算:iu s, xj s ,x 开运算IO = (/ S_)十 Snix,,高帽运算1Δ Smxn=I-(I · Smxn)黑帽运算/Wwx =(/c^ x )-/高帽运算(top-hat)通过源图像和开运算图像做差，能够提取局部较亮的区域；黑帽变换(bot-hat)通过闭运算图像和源图像做差能够提取出局部较暗的区域。由于车牌背景亮度和字符亮度之间对比显著，利用这两个操作能够分离出车牌的字符和背景区域，并抑制背景，消除不均匀光照。而大陆车牌具有亮底暗字和暗底亮字两种类型，仅使用单一形态学操作(高帽变换或黑帽变换)无法同时成功提取出字符区域进行车牌定位。我们通过成对的形态学操作，将字符信息和车牌背景信息进行显式结合，能够在统一的框架下检测两种类型的车牌。以暗底亮字车牌为例，为了提取出字符区域，可对其进行高帽操作并二值化，如图2所示。现考虑暗底亮字车牌的背景区域，若选取水平方向的线形结构元Sixn，可将车牌背景划分为三部分，分别为字符间背景部分(红色)，字符内部背景部分(绿色)和其它背景部分(蓝色)，如图3(b)所示。在Sixn作用下，蓝色区域是局部非显著变化区域(像素点所在线形结构元邻域内的像素集亮度一致)，红色区域和绿色区域是局部显著变化的。若对暗底亮字车牌进行黑帽变换并二值化，则蓝色区域对应的背景被滤除而绿色区域和红色区域对应的背景被保留，如图3(c)所示。将不同区域进行背景归类(图3(d))，并仅考虑字符间部分背景(图3(e))，可以发现，字符间部分的背景区域满足车牌字符高度一致，均匀分布的特点。我们称字符间背景对应的区域为伪字符区域。对暗底亮字车牌进行成对的形态学操作能够分别提取出实际字符和伪字符，它们都满足车牌字符高度一致，分布均匀的特点，如图3(e)所示。因此可将它们的并集用来进行车牌定位。同样对于亮底暗字的车牌进行成对的形态学操作能够分别提取出伪字符和实际字符。成对的形态学算子方法有效解决了单个形态学算子方法的限制一需要预先知道车牌前景-背景搭配。成对算子分别用于提取实际字符区域和伪字符区域，将车牌前景信息和车牌背景信息有效结合共同表示车牌，能够将两种类型车牌统一进行处理。字符区域提取流程如下I)分别对灰度图像I进行如下形态学操作，I1 =IASb^I1=IVS她2)使用大津法对I1和I2分别进行二值化，得到对应二值图I3和I4 ;3)对I3和I4分别进行连通成分标记，得到两个连通成分集合Ctop和Cbtrt ；4)将真字符和伪字符合并，并通过车牌的先验大小利用面积对字符进行滤除，得到最终的字符集合c = Ctop U Cbot得到字符集合后，可以进一步得到每个字符的中心点。根据车牌上的字符分布在一条直线上的特点，我们通过判断这些中心点是否位于同一条直线上来定位车牌。通常车牌大小的变化范围在场景中是已知的，根据此先验知识，我们将检测窗口设置为最大车牌宽高的2倍。在图像中移动检测窗口进行车牌定位，在X方向上每次移动的步长为检测窗 口宽度的二分之一，在y方向上每次移动的步长为检测窗口高度的二分之一。这样可确保车牌将至少出现在一个窗口检测器中，并且可以显著减少候选区域的数目。在每个检测窗口中判断所得到的字符的中心点是否位于同一条直线上，如果位于同一条直线上的中心点的数目大于给定阈值，则认为这些中心点对应的区域为候选车牌区域。同时可计算该候选区域的置信度为confidenceplate= | num_c-num_thres |(3)其中num_c为所得到的字符数目，num_threS为设定的阈值。步骤三进行驾驶员人脸的粗定位，得到人脸的候选区域和对应的可信度。目前有多种人脸监测的方法可以得到驾驶员人脸的候选区域和对应的可信度，本发明采用基于AdaBoost的人脸检测方法获得驾驶员人脸的候选区域和对应的可信度。基于AdaBoost的人脸检测方法以矩形特征为依据来构造弱分类器，再用AdaBoost方法挑选出少量关键特征，对相应的弱分类器进行加权求和从而构建出强分类器，并将其作为最终分类器用于人脸检测。其中，每个矩形特征由2-3个矩形组成，如图4所示，其值为白色矩形内的像素值之和减去黑色矩形内的像素值之和。每个弱分类器由一个矩形特征组成，强分类器的的训练流程如下(I)给定训练数据(X1, Y1), ... (xn，yn)，其中Yi=O表示负样本，Yi=I表示正样本，η为训练样本的个数。
II(2)初始化权值，Yi=O时Μ! =-~ , Yi=I时Vl1 = — ,m, I分别是负
2/7721样本和正样本的个数。(3)对应 t=l，· · ·，T :
WtJA.归一化权值'^ ^ 1"
Zji=I tJB.对与每一个特征j，训练弱分类器h」，此若分类器的误差为ε J=EiWiIhj-(Xi)-YiC.选择具有最小误差的分类器htD.更新权值w丄,其中erO如果Xi被正确分类，否则ei=l，戽(4)则最终的强分类器为
权利要求
1.一种基于可变形部件模型的车牌及驾驶员人脸定位方法，其特征在于，一种基于可变形部件模型的车牌及驾驶员人脸定位方法，具体实现步骤如下 步骤一建立正面车辆的可变形部件模型 将车牌和驾驶员人脸作为部件，建立正面车辆的可变形部件模型，通过训练数据，得到车牌与驾驶员人脸之间的位置关系，作为模型参数； 正面视图中的车辆的可变形部件模型M定义如下 M= {partplate, partf ace，POSplate，face }(I) 其中，Partplate表示模型中的车牌部件，partf·表示模型中的人脸部件，posplat6jface (Pplate，face，dplate，face }表示车牌与驾驶员人脸之间的位置关系；其中Pplat^表示车牌与驾驶员人脸的空间位置关系；对于不同国家和地区，由于驾驶员所在的位置不同，此位置关系也不同；对于大陆地区，需满足 plate. x<face. x, plate. y<face. y，其中 plate, x, face, x表示车牌和人脸的X坐标，Plate, y, face, y表示车牌和人脸的y坐标，既车牌在人脸的左下方表示车牌与人脸之间的距离，且 dpiate.face G Ni ( μ i, δ )，i G {big, middle, samll}(2)Ν(μ, δ )表示均值为μ，方差为δ的高斯模型； 通过统计标注的车牌与人脸之间的距离，得到每一类型的车辆所对应的高斯模型的均指和方差，既得到了车辆的可变形部件模型； 步骤二 采用基于成对形态学算子的车牌定位方法进行车牌的粗定位，得到车牌的候选区域和对应的可信度 步骤三采用基于AdaBoost的人脸检测方法进行驾驶员人脸的粗定位，得到人脸的候选区域和对应的可信度 步骤四基于步骤一建立的正面车辆的可变形部件模型、步骤二得到的车牌候选区域和可信度以及步骤三得到的人脸候选区域和可信度进行车牌及驾驶员人脸的精细定位； 设L={lplate，lfacJ为模型M在图像中的一个实现；其中Iplate表示车牌在图像中的位置，If■表示人脸在车牌中的位置；Sm(lplate)表示车牌位置在Iplate的可信度，m(lfaJ表示人脸位置在Ifare的可信度；m(lplate，Iface)表示车牌与人脸之间的位置关系与模型的符合度，且
2.根据权利要求I所述的一种基于可变形部件模型的车牌及驾驶员人脸定位方法，其特征在于，采用基于成对形态学算子的车牌定位方法进行车牌的粗定位。
全文摘要
本发明为涉及一种基于可变形部件模型的车牌及驾驶员人脸定位方法，属于物体检测领域。该方法通过可变形部件模型对正面视图中的车辆进行建模，将车牌和驾驶员人脸作为模型中的部件，通过训练得到模型中的参数；基于所建立的模型进行精确的车牌定位和驾驶员人脸定位，并基于车牌与驾驶员人脸的相对位置关系进行车型识别。本发明可以充分的利用车牌和驾驶员人脸之间的位置信息，可以准确的定位车牌和驾驶员人脸，并得到车型信息。
文档编号G06K9/00GK102880863SQ201210352669
公开日2013年1月16日 申请日期2012年9月20日 优先权日2012年9月20日
发明者裴明涛, 郭志强, 杨敏, 王永杰, 董震 申请人:北京理工大学