道路场景下车辆图像的表观特征分析方法
【技术领域】
[0001] 本发明涉及一种道路场景下车辆的表观特征分析方法，属于交通图像处理技术领 域。
【背景技术】
[0002] 对道路及治安卡口拍摄图像中的车辆进行定位和特征提取，形成该车辆结构化的 特征描述，并进一步用于车辆类型、品牌信息、车身颜色等的识别，是智能交通系统的重要 技术之一，可以在交通管理、公安监控、信息统计等领域广泛应用。如车辆类型的识别可对 路网中不同类型车辆的禁区行驶行为进行检测；车辆品牌和号牌的识别可直接用于套牌车 辆的检测；品牌信息、车身颜色的识别则可用于汽车行业的信息统计和市场调查等。
[0003] 在现有的文献中，已有一些车辆类型识别和车辆品牌识别的方法，大部分方法从 具体的车辆识别目标（如车牌、车标、车辆前脸、车身形状等）出发，未对车辆进行全局到局 部的分析理解，因此受实际道路场景中的干扰影响较大，其方法准确率和实际应用仍有较 大差距。
[0004] 具体地，车辆类型的识别主要用于各型轿车、各型客车、各型货车的区分。如申请 号为201210350574. 2的中国专利申请中提出利用背景剪除提取目标车辆区域的轮廓，计 算轮廓形状的几何不变矩用于识别车型，这种利用视频的方法简单有效，但应用范围受到 局限；如申请号为201310471461. 2的中国专利申请中提出利用车辆号牌底色判断车辆类 型，这种方法直观快速，但仅能区分少部分车型；如申请号为201210082814. 5的中国专利 申请中提出将轮廓与车辆的3D模型库进行匹配并判断车辆类型的方法，该方法需要建立 多种类型的车辆3D模型库，并确定摄像机的拍摄视角，实施方式较为复杂。
[0005] 车辆品牌的识别用于鉴定车辆所属的具体厂商，如大众、别克、丰田等，主要有基 于车标和车辆前脸区域的识别方法。如申请号为201210042809. 1的中国专利申请中提出 利用Adaboost组合分类器结合图像Haar特征的提取，对图像中的车标进行检测和分类， 判断车辆的品牌，这种方法的难点在于车标图像种类众多、尺寸不一，因此难以保证很高 的分类准确性；如申请号为201310416016. 6的中国专利申请中提出利用车辆前脸区域， 包括大灯、雾灯、通气栅、后视镜、雨刷、车标、保险杠等多个位置，构建hog (histogram of gradient)和LBP (Local Binary Pattern)的组合特征向量，用于车辆品牌的识别，该方法 的抗干扰性强，但对车辆局部细节区域的图像清晰度有较高的要求。
[0006] 可见，已有的一些车辆类型识别和车辆品牌识别的方法仍然存在较为明显的缺 陷，这是由于大部分方法仍然针对具体识别问题，缺乏对图像全局的整体分析理解，使用的 技术手段容易受应用环境所局限。因此，本发明从全局到局部的表观特征分析角度出发，提 出一种能够对道路场景下拍摄的车辆图像进行准确的车辆定位、车型识别、品牌识别的方 法，具有高识别率和低误报性能。
【发明内容】
[0007] 本发明的目的是克服现有技术的不足，提供一种道路场景下车辆图像的表观特征 分析方法，能够更加准确的识别车辆，且实施简便。
[0008] 本发明所述的道路场景下车辆图像的表观特征分析方法，包括：对图像进行预处 理；对图像中的目标车辆进行定位；对目标车辆区域的主要部件进行分割；根据目标车辆 主要部件分割结果计算主要部件的相对关系，判断车辆类型；对目标车辆主要部件提取表 观特征，并与各品牌车辆的主要部件表观特征描述库进行特征匹配，获得目标车辆的品牌 信息。
[0009] 其中，图像的预处理可以包括去除图像噪声、图像畸形校正，还可以包括通过统计 图像像素的灰度值，计算图像的平均灰度和对比度，判断是否为白天拍摄的图像，如果图像 的平均灰度高于设定阈值或者对比度低于设定阈值，则判定该图像为白天拍摄。
[0010] 图像中目标车辆的定位可采用全局梯度分析与全局号牌检测结合的方式。通过全 局梯度分析可大致确定目标车辆区域的，进一步检测区域内号牌位置，基于对称性获得目 标车辆准确位置；或者，在全局图像中检测号牌位置，进一步对号牌周围图像区域进行梯度 分析，获得目标车辆准确位置。
[0011] 梯度分析的方法涉及一种梯度复杂度算子，包括：嵌套的两个图像窗口。其图像窗 口的尺度根据检测目标的大小进行调整，计算输出为这两个图像窗口的梯度统计值比值；
[0012] 对目标车辆图像区域的主要部件的分割可基于局部梯度分析，获得目标车辆主要 部件的边缘区域，从而进行区分。提取的目标车辆主要部件的图像区域一般包括目标车辆 的前脸、引擎盖、车顶、前挡风玻璃和车侧面图像区域。
[0013] 所述判断车辆类型可依据分割得到的目标车辆主要部件的相对位置、相对尺度关 系。
[0014] 车辆品牌信息的获取可依据分割得到的目标车辆主要部件的表观特征与各品牌 车辆的主要部件表观特征描述库的匹配结果。
[0015] 所述特征描述库是通过对各品牌车辆的主要部件图像区域进行人工分割，并进一 步提取特征建立的，且特征数据的记录对应车辆品牌信息。
[0016] 通过上述方案形成的车辆表观特征分析方案，可以对拍摄的白天道路场景图像中 的目标车辆进行准确的定位、主要部件分割、特征分析，从而获得车辆类型和车辆品牌信 息。该方案要求摄像机拍摄的角度为目标车辆的前上方，符合我国道路及治安卡口的视频 监控设备安装要求，可广泛应用于道路及治安卡口的视频图像监控系统中。本发明方法成 熟可靠、实现成本低，通过摄像机、嵌入式处理器或者计算机便可以实现，而且通过对特征 描述库的更新可提高方法的性能和支持的车辆品牌数目。
【附图说明】
[0017] 图1示出本发明的总体流程图。
[0018] 图2示出梯度复杂度算子示意图。
[0019] 图3示出车辆定位方法的流程图。
[0020] 图4示出梯度复杂度算子对图像的滤波响应示意图。
[0021] 图5示出全局图像号牌检测结果示意图。
[0022] 图6示出车辆主要部件分割及梯度直方图统计方向示意图。
[0023] 图7示出车辆主要部件分割坐标位置示意图。
【具体实施方式】
[0024] 下面结合具体附图和实施例对本发明进一步阐述。本实施例中，输入图像要求为 白天拍摄并包含目标车辆的单张图像或者视频的某帧。
[0025] 图1示出了本发明的车辆表观特征分析方法的流程图概览。
[0026] 本发明的针对道路场景下的车辆表观特征分析方法包括以下步骤：
[0027] 步骤S1、图像预处理：对摄像机拍摄的道路场景图像去除图像噪声、图像畸形校 正，并判定是否为白天拍摄的图像。
[0028] 在实施例中，去除图像噪声采用均值滤波、中值滤波或者高斯滤波方法。
[0029] 图像畸形校正根据摄像机实际成像效果决定是否进行，若改摄像机的图像畸变使 得图像中目标车辆发生严重变形，则应根据摄像机及其镜头参数计算图像仿射矩阵，利用 该仿射矩阵对图像数据进行空间映射，生成无畸变或畸变较小的新图像。
[0030] 步骤Sl中引入图像是否"白天拍摄"的判定，通过统计图像像素的灰度值，计算图 像的平均灰度和对比度，如果图像的平均灰度高于设定阈值或者对比度低于设定阈值，则 可确定该图像为白天拍摄的（夜晚拍摄的图像平均灰度值较小，且由于闪光灯，其对比度 较大）。因此本发明中"白天拍摄"的概念为自我设定的范围，视图像属性而定。
[0031] 步骤S2、目标车辆定位：在图像中准确检测出目标车辆所在的区域，消除图像背 景对后续分析的影响。目前的车辆定位技术中有多种方案，用的比较广泛的是Haar特征和 Adaboost组合分类器结合的方案。该方法利用多尺度的滑动窗口在图像中遍历，对窗口中 的数据提取Haar特征并通过离线学习得到的Adaboost组合分类器进行分类，确定当前窗 口是否为车辆。该方法优点是准确性高，但计算复杂度高，实时性一般，且对新场景的适应 性差。因此，在实施例中，本发明采用全局梯度分析与全局号牌检测结合的方式。
[0032] 本步骤中，使用了 一种梯度复杂度算子201。图2示出了该算子的结构及其在图像 中滤波的示意。该算子由嵌套的两个图像窗口组成。其外围窗口大小为W 1XH1像素，内部 窗口大小为W2XH2像素，W i、氏、W2、H2的取值根据检测目标的大小来确定，算子的计算输出 为这两个图像窗口的加权梯度统计值比值： ,,,、fu(x,v) WJl,
[0033] Κ',.ν) .T7T 7T， //,(x^v) W2U7
[0034] 其中（x，y)为当前算子所在图像像素位置202，hJPh2分别为外围窗口和内部窗 口中各像素的梯度值之和。
[0035] 图3示出了步骤S2的处理流程，进一步包括：
[0036] 步骤S21、全局梯度分析：利用梯度复杂度算子对图像进行全局滤波。该滤波操 作通过如下方式提高计算速度：基于Sobel算子计算梯度分布，进一步计算梯度分布的积 分图像。本实施例中，为了使算子能对车辆边缘区域203进行响应，WjP H 2取值为车辆车 梁/柱的图像像素宽度，WJP H i取值分别为W 2和H 2的两倍。图4示出了图像经过该算子 的滤波输出（该图像进行了反相和标准化）。
[0037] 然后，对滤波图像进行二值化，获得图像中边缘变化比较强烈的区域（一般为车 辆边缘区域，其他纹理复杂的区域如绿化带、栅栏、树枝等会被滤去）。在实施例中，二值化 的阈值根据算子两个窗口面积比值的大小设置为I. 8。
[0038] 继续利用图像形态学操作，对二值化图像多次闭运算和开运算，使得边缘区域相 互融合。
[0039] 进一步，计算二值化图像中各个连通区域的面积和长宽比，滤除面积较小以及长 宽比不符合车辆比例的连通区域，剩下的连通区域为大致的车辆候选位置。
[0040] 步骤S22、局部号牌检测：如果步骤S21中能够获得一个或多个车辆候选位置，则 利用车辆号牌检测方法来对这些车辆候选目标位置进一步确认。
[0041] 当前车辆号牌检测技术也存在多种方案，考虑本发明针对的是白天拍摄的图像， 采用基于颜色检测的方式来检测车辆号牌。首先对车辆候选位置的梯度值进行二值化获得 车辆的边缘像素；然后遍历每个边缘像素，判断该像素左右相邻像素的颜色是否分别蓝色 和白色、或者黄色和黑色，如果是则判定该像素为号牌区域的边缘像素；最后，对通过判定 的像素进行图像闭运算，得到的融合区域为车辆的号牌位置。进一步删除通过上述方式不 能获得号牌位置的车辆候