多特征融合的卡口图像前车窗的定位与提取方法
【技术领域】
[0001] 本发明涉及一种定位技术，特别是一种多特征融合的卡口图像前车窗的定位与提 取方法。
【背景技术】
[0002] 随着科技的发展，法律制度的完善与加强，自动检测驾驶员是否按规定安全驾驶 将成为智能交通系统中一个重要组成部分。而车窗定位是自动检测安全驾驶的一个前期工 作，车辆是否按规定粘贴环保标志，驾驶员是否系安全带以及行驶中打电话将都在车窗区 域内搜索，因此如何更准确、快速的定位前车窗将是智能交通系统的一个关键点。
[0003] 车窗具有通透性和吸光性，对于卡口图像，车窗内的景象会映射在车窗上，光照的 变化、树影等都将反射在车窗上，这将导致车窗被遮挡或车窗的颜色改变；车窗因车型不 同，自身形状各异，车辆颜色多样、车辆距离摄像机采拍点的远近而导致同类型车的车窗的 大小不同等因素，都使得直接对卡口图像进行车窗定位难度较大。同时，仅从图像分析角度 来说，很难排除干扰区域或者认定该区域是车窗。
[0004] 针对前车窗定位方法，现有的技术多直接提取车窗特征，比如颜色特征和直线特 征，从而达到定位的效果。但其精确度较低且准确性较差，无法满足实际需求。
【发明内容】
[0005] 本发明的目的在于提供一种更精确的前车窗定位方法。为了解决上述技术问题， 公开一种基于多特征融合的卡口图像前车窗的定位与提取方法，包括车体定位、车牌定位、 车窗粗定位、候选区域分割、多特征提取、特征融合、车窗精定位、车窗提取。
[0006] -种多特征融合的卡口图像前车窗的定位与提取方法，包括：
[0007] 步骤1，对车辆的边界进行定位并按边界剪裁；
[0008] 步骤2,定位车辆的车牌；
[0009] 步骤3,建立车牌与车窗边界的关系，对车窗进行粗定位并按边界剪裁；
[0010] 步骤4,对粗定位的车窗进行区域划分，得到车窗的候选区域；
[0011] 步骤5,对各个候选区域提取形态学建筑物指数、形状、密封条光谱三种特征；
[0012] 步骤6,对三种特征进行融合并建立融合函数，实现车窗的精定位，并裁剪出车窗。
[0013] 本发明与现有技术相比，具有以下优点：通过对车窗进行多特征提取，避免了单特 征只适应于某一特殊环境的局限性，不仅提高了车窗检测的精确度还使得本发明具有较好 的鲁棒性。
[0014] 下面结合说明书附图对本发明做进一步描述。
【附图说明】
[0015] 图1为本发明方法流程图。
[0016] 图2 MBI特征提取流程图。
[0017] 图3(a)至（q)案例图片的各个步骤的结果示意图，图3(r) (s)是候选区域形状特 征的结果图，图3(t)是最终的车窗定位图。
[0018] 具体实施方
[0019] 结合图1，本发明主要包括以下步骤：
[0020] 步骤1，输入卡口图像，对车辆进行定位；
[0021 ] 步骤2,对检测到的车辆进行车牌定位；
[0022] 步骤3,根据车牌的中心点与车窗四个边界的关系，对车窗进行粗定位；
[0023] 步骤4,根据车窗的宽度特征，对粗定位的车窗进行区域划分，得到车窗的候选区 域；
[0024] 步骤5,对各个候选区域提取三种特征，对三种特征进行有效的融合；
[0025] 步骤6,根据融合函数，找到最符合条件的车窗区域，实现车窗的精定位，并裁剪出 车窗；
[0026] 为了便于理解，我们将做如下的字符说明，原始卡口图像为I，车体定位后的图像 I'，车窗粗定位的图像为I"，调整左右边界后的车窗粗定位图像为CAR1。
[0027] 步骤1包括车体上下边界定位、车体左右边界粗定位和车体左右边界精定位，具 体地：
[0028] (1)车体上下边界定位包括：
[0029] 步骤111 :输入卡口图像I，如图3(a)所示，对其进行灰度化和高斯滤波；
[0030] 步骤112 :用水平模板? &6对步骤ill所得的图像I进行模板 滤波，即对图像像素点进行卷积m阈值化处理，这里的阈值是用最大类 间方差法获得，得到图像IG，如图3(b)所示；
[0031] 步骤113 :用正方形结构元sel = [3, 3]，即边长为3,对IG进行连续i = 3次的 膨胀操作，得到水平二值图像IGH，如图3(c)所示，再用积分投影法对IGH按公式（1)进行 水平方向投影，得到集合HG
[0032]
Cl)
[0033] 式⑴中，I(x，y)表示待处理的水平二值图像中该点的值，η表示第X行的所有像 素点的个数，y是列。
[0034] 步骤114 :对于YIG中长度小于dl = 30的行，则该行为0,单位为像素，取YIG中 非零的第一个元素所在的行数为上边界，YIG中非零的最后一个元素所在的行数为下边界。
[0035] (2)车体左右边界粗定位的方法与车体上下边界定位相似，不同的是在步骤113 中，是对垂直二值图像进行竖直方向投影，如图3(d)所示，包括：
[0036] 步骤121，对输入的卡扣图像进行灰度化和高斯滤波处理得到图像I ;
[0037] 步骤122,采用水平模彳
/256对图像τ进行模板滤波后，得到 结果的绝对值采用最大类间方差法进行阈值化处理，得到图像IG ;
[0038] 步骤123,采用正方形结构元sel = [3, 3]，对图像IG进行连续3次的膨胀操作， 得到垂直二值图像IGH' ；
[0039] 步骤124，采用积分投影法^^) = 1./'(^'）对图像16!1'进行竖直方向上的投影， ^=I 得到集合YIG'，其中Γ (x，y)为图像IGH'点（x，y)的值，η表示第X行的所有像素点的个 数，y表不是第y列；
[0040] 步骤125,重新定义YIG'中长度小于40的列为0,取YIG'中非零的第一个元素 所在的列数为车体左边界，取YIG'中非零的最后一个元素所在的列数为车体右边界；
[0041] (3)车体左右边界精定位
[0042] 步骤131 :将水平二值图像和垂直二值图像相加，对新的图像进行竖直方向投影， 得到集合XIG ;
[0043] 步骤132 :对XIG标记连通区域，若相邻的连通区域间隔小于d2 = 10个像素点， 则合并相邻的连通区域，更新所有的连通区域后，找到长度最大的连通区域，则该区域的左 右边界即为车体的左右边界，记录车体左右边界的位置。在原始的图像I上按照所得的边 界裁剪，得到图像I'，如图3(e)所示。
[0044] 步骤2包括以下具体步骤：
[0045] 步骤21 :对步骤1中所得的图像I '用竖直方向的Sobel算子进行边缘检测，用se2 =[15, 13]的长方形结构元，即长为13宽为15,对边缘图像进行闭开操作，再用长方形结 构元se3 = [5, 10]，即长为10个像素点，宽为5个像素点，进行腐蚀操作，删除面积小于d3 =20的区域后，再用se3 = [5, 10]对之进行膨胀操作，删除面积小于d4 = 500的区域，得 到包含候选的连通的车牌区域，如图3(f)所示；
[0046] 步骤22 :对步骤21所得的连通区域，标志连通区域的最小外接矩阵，若两个区域 的水平高度相差d4 < 6个像素点的距离，同时竖直间隔，即第一个区域外接矩阵的右边界 与第二个区域的左边界的间隔不大于d5 = 70个像素点的距离，则合并这两个区域；
[0047] 步骤23 :更新各个连通区域的最小外接矩形，依据最小外接矩形的长宽比例和长 宽的大小，由车牌的结构特性，即要满足一定的长宽比2. 5 < rl < 7和宽度15 < widthi < 55和长度50 < Ienl < 180,筛选出满足以上条件的候选区域，如图3(g)所示；
[0048] 步骤24 :从候选的车牌区域中按照车牌通常居于车体中间这一对称性，将与车体 中心间隔最小且位于车体底部的连通区域标记为车牌区域；
[0049] 步骤25 :计算车牌区域的中心点（Cx，Cy)，车牌的长度Clen，其中