专利名称：一种从交通图像中检测车辆位置、姿态和三维轮廓的方法
技术领域：
本发明涉及智能交通监控领域，该方法属于图像处理和模式识别技术领域范畴， 是一种从交通图像中检测车辆位置、姿态和三维轮廓的方法。
背景技术：
在智能交通监控领域中，准确的获得车辆的位置、姿态、轮廓等信息有着广泛的应 用范围，例如统计车流量、车牌识别、车型分类等应用。随着科技水平的进步，近来已经有了 许多种交通视频监控系统可以检测车辆的位置、尺寸等信息，但是目前依然存在两个问题: 第一，现有的车辆的识别技术还无法准确获得车辆的三维轮廓的信息，这给进一步的应用 带来很大困难，导致现有的这些系统应用都是采用近似的计算结果(例如根据车辆长度进 行车辆分类)，误差较大。第二，一个现实问题是随着城市交通越来越拥挤，交通视频监控图 像中的车辆通常存在遮挡现象，这给识别车辆带来困难，遮挡现象通常会使车辆识别系统 的性能下降。如果不能够识别被遮挡的车辆，将不能满足交通视频监控系统在拥堵繁忙的 交通环境下的使用要求。因此，为了满足现实环境对于智能交通监控系统中车辆信息获取的要求，要求监 控系统不仅能够准确地识别车辆的位置、姿态和三维轮廓，还要求监控系统可以在车辆存 在遮挡的情况下具有良好的适应性。这正是本发明试图解决的问题。
发明内容
本发明目的在于从一帧交通视频监控图像中，识别车辆的位置、姿态和三维轮 廓，并计算出车辆的三维轮廓的实际尺寸，即使在车辆存在遮挡的情况下，也可以计算出车 辆的位置、姿态和三维轮廓信息。为了实现上述发明目的，本发明提供一种从交通图像中检测车辆位置、姿态和三 维轮廓的方法，所述方法包括以下步骤步骤Sl 设定象征活动基元模型，所述象征活动基元模型属于形变模板，由一些 Gabor滤波器组成，每个Gabor滤波器可以在一定的小范围内改变位置和角度；步骤S2 将图像中的每个像素位置都与一个象征活动基元模型进行匹配，如果在 这个像素位置有一辆车辆存在，则匹配的得分就会比较高；反之如果在这个像素位置没有 车辆存在，则匹配的得分较低，根据得分的高低来检测出图像中车辆的位置；步骤S3 对图像中可能存在的车辆遮挡进行处理如果图像中一辆车辆的一部分 被遮挡，这辆车与象征活动基元模型的匹配得分就比未被遮挡的车辆得分要低；利用现实 世界的车辆在正常情况下车辆相互不接触和不重叠的现实依据对遮挡情况下的车辆进行 识别，找到图像中与象征活动基元模型匹配得分高的位置，并且得分高的位置上的车辆三 维轮廓在世界坐标中具有相互不重叠的特征，则此得分高的位置就是检测出来的车辆；由 于象征活动基元模型确定了车辆的轮廓，结合已检测出来的车辆和其确定的位置，就获得 车辆的姿态和轮廓；
步骤S4 根据摄像机标定参数的结果提供了三维世界坐标和二维图像坐标转换 的关系，将图像中已检测出来的车辆轮廓依据摄像机标定参数转换到世界坐标中，计算出 车辆的三维轮廓的实际尺寸。本发明与现有技术相比优点在于(1)本发明使用一种独创的形变模板-象征活动基元模型-检测和识别车辆的位 置、姿态和轮廓。象征活动基元模型具有良好的形变性，可以适用于检测具有不同颜色、尺 寸、形状的车辆，象征活动基元模型具有较好的鲁棒性，适用于各种复杂的智能交通监控系 统中车辆的检测和识别。(2)本发明使用一种独创的方法对智能交通监控领域中常见的车辆遮挡问题进行 了处理，该方法通过估计多个车辆三维轮廓的相容性，解决了遮挡车辆的检测和识别问题。(3)本发明检测出了车辆的三维轮廓，为解决例如车型分类、车牌识别等问题，提 供了一种方法基础。本发明对于交通监控系统中各种常见的拍摄角度都有良好的适应性，可以从各种 不同的角度观察检测出的车辆三维轮廓，可以用于车型识别、车牌识别、车辆行为判断。
图1是本发明的从交通图像中检测车辆位置、姿态和三维轮廓的方法的流程图。图2是本发明中独创的象征活动基元模型的示意图。图3是本发明中独创的处理车辆遮挡的示意图。图4是本发明中计算车辆三维轮廓实际尺寸的示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。如图1本发明的从交通图像中检测车辆位置、姿态和三维轮廓的方法的流程图所 示，整体流程分为5个部分a)是数字摄像机采集的一帧图像，b)采用象征活动基元模型识 别图像中的位置、姿态、轮廓，c)处理车辆之间存在遮挡的问题，d)计算车辆三维轮廓的尺 寸，最后得到车辆的三维轮廓的尺寸。由于得到了车辆的三维轮廓的实际尺寸，所以可以从 各种角度观察车辆的三维轮廓，e)显示了从两个角度观察车辆的三维轮廓的结果，左边的 图像是从拍摄视角显示车辆三维轮廓，右边的图像是从俯视视角显示车辆的三维轮廓。如图2所示，本发明中独创的象征活动基元模型是由一些伽柏(Gabor)滤波器组 成。第一行显示了一辆车的象征活动基元模型，其中每一个黑线段为一个Gabor滤波器，第 二行表示这个模型可以分解为5个部分，第三行表示这5个部分可以进一步分解为一些简 单的Gabor滤波器，这些Gabor滤波器具有不同的尺寸(大小)和方向，第四行和第五行表 示需要利用这些Gabor滤波器对图像进行识别。设定象征活动基元模型的步骤如下步骤Sll 给定一帧图像I，在某个像素点X，y的伽柏(Gabor)函数为G(x> y) α e{-[(x/as)2+(y/ay)2]/2}eix
式中，G(x，y)为Gabor函数；x，y为图像的某一像素位置；ο x，0y*G(x，y)的设 置参数；e为数学常数，即自然对数函数的底数；ix为虚部。步骤S12 对G (x, y)进行旋转和缩放，得到BX,y,S,a(X',y') = G(x/sx ,y/sy)/(sx2 + Sy2)在Bx,y,s,a(x'，y')中，χ --- (χ' — χ) COSOL — (y' — y)sinay = (χ' — x)sina — (y — y)cosaS = [sx, sy]式中，Bx,y,s,a(x'，y')为对G(x，y)旋转和缩放后的结果；S，夕为中间变量；x，y 为图像的某一像素位置；Χ' ,ι'为X，y附近的一个像素位置；S表示缩放的尺度，其中Sx， Sy分别为X，y方向的缩放尺度；α表示旋转的角度；cos为余弦函数；sin为正弦函数。显 然，由不同的参数值X' ,1'，a，s会得到不同的Bx,y,s,a(x' ,y')，所以这些参数的设定 会影响到识别的结果。这些参数是通过对实际图像样本的学习确定的。步骤S13 由于目的是检测图像中的车辆，所以根据“稀疏编码”理论，可以认为图 像是由车辆和非车辆两类目标组成，表示为下式
J式中，I为一幅图像；CAR表示一辆车辆，由11个&组成，Bi = BXi,yi,Si,ai ； U表示
图像中除了车辆以外的其它信息；Ci是设定系数，m表示图像中车辆的数量；车辆是由一些 Gabor函数的变形Bi组成。该式表示了图像是由车辆和非车辆信息组成，车辆是由一些Gabor函数的变形Bi 组成。利用象征活动基元模型检测图像中车辆的步骤为是将象征活动基元模型与图像中 的每个像素位置进行匹配，模型匹配的公式如下
M(x,y) = Z m^ (MATCH (I, ΒΧ +叫 yi+Ayi,明+Δα ))r—^ ΔχΕ^δ ,δ ] xy
1= Aye[-6f,6f]
Δα￡ [-SfjSf]式中，M(χ, y)表示对图像的某个像素位置进行匹配的得分；nB表示民成而而 滤波器的数量；MATCH 0表示使用一个Bwpi,Cti滤波器对图像I进行匹配；Xi，Yi为 图像的像素位置；81表示缩放的尺度；、表示旋转的角度；ΔΧ，Δγ, Δ α表示每 个'BXi +ΔΧ ,^+Δγ^ ,α +Δ^滤波器可以在设定的范围内移动和旋转以便获得最佳的 匹配值；[一δ},碎]，[-δ ,δ ], [―δ『,δ〖]分别表示Δχ, Δγ, Δ α的范围。由于 Bxi+/^,器可以在设定的范围内移动和旋转，所以对于不同形状和姿态 的车辆都有良好的识别结果。M(x, y)值越高在x，y位置处越可能有一车辆存在，根据实际图像样本的学习结 果，可以设定一个阈值，匹配结果大于这一阈值的就是一辆检测出来的车辆，车辆的位置、
6姿态和轮廓由象征活动基元模型的参数决定。如图3所示，本发明中独创的处理车辆遮挡的方法的原理是虽然二维图像中的 车辆可能存在遮挡，但是对于三维世界存在的车辆来说，一般情况下车辆之间没有重叠，所 以可以估计出图像中的车辆的三维尺寸，根据估计结果，可以判断车辆在三维世界中是否 存在遮挡(如果估计出车辆在三维世界中存在遮挡，则这个估计是错误的，反正则说明估 计是正确的)。对于图像中可能存在的车辆遮挡进行处理的方法为对于一幅图像，生成 与图像有相同像素尺寸的得分表，记录在图像中每个像素位置的象征活动基元模型匹配得 分，得分表示象征活动基元模型在该像素位置的匹配程度，得分越高表示匹配越相似，找到 得分表中的得分最大的且互不相容的像素位置即车辆的位置，所述互不相容是车辆的三维 轮廓在三维世界坐标中不重叠。其计算步骤如下1、首先计算出对一幅图像进行象征活动基元模型匹配的结果获得匹配的得分表， 得分表中的每个位置标记为非车辆。2、找到得分表中未被标记为车辆的位置中最大值记为Mi。即在得分表中标记为非 车辆的位置中，找到最大值记为Mi。3、如果Mi小于一个设定的阈值T，则结束整个过程；4、如果Mi大于一个设定的阈值T，则计算下式
权利要求
一种从交通图像中检测车辆位置、姿态和三维轮廓的方法，包括以下步骤步骤S1设定象征活动基元模型，所述象征活动基元模型属于形变模板，由一些Gabor滤波器组成，每个Gabor滤波器可以在一定的小范围内改变位置和角度；步骤S2将图像中的每个像素位置都与一个象征活动基元模型进行匹配，如果在这个像素位置有一辆车辆存在，则匹配的得分就会比较高；反之如果在这个像素位置没有车辆存在，则匹配的得分较低，根据得分的高低来检测出图像中车辆的位置；步骤S3对图像中可能存在的车辆遮挡进行处理如果图像中一辆车辆的一部分被遮挡，这辆车与象征活动基元模型的匹配得分就比未被遮挡的车辆得分要低；利用现实世界的车辆在正常情况下车辆相互不接触和不重叠的现实依据对遮挡情况下的车辆进行识别，找到图像中与象征活动基元模型匹配得分高的位置，并且得分高的位置上的车辆三维轮廓在世界坐标中具有相互不重叠的特征，则此得分高的位置就是检测出来的车辆；由于象征活动基元模型确定了车辆的轮廓，结合已检测出来的车辆和其确定的位置，就获得车辆的姿态和轮廓；步骤S4根据摄像机标定参数的结果提供了三维世界坐标和二维图像坐标转换的关系，将图像中已检测出来的车辆轮廓依据摄像机标定参数转换到世界坐标中，计算出车辆的三维轮廓的实际尺寸。
2.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特 征在于，设定象征活动基元模型的步骤如下步骤Sll 对于给定的一帧图像I，其在某个像素点X，y的Gabor函数为G(Xi7) OC ef [(x~)2+(y/ )2]/2}一式中，G(x，y)为Gabor函数；x，y为图像的某一像素位置；ο x，。y*G(x，y)的设置参 数；e为数学常数，即自然对数函数的底数；ix为虚部； 步骤S12 对G(x，y)进行旋转和缩放，得到 Bw,a(x'y) = G(x/sx,y/sy)/(sx2 + sy2)在 Bx,y,s,a(x' ,y')中， χ = (χ — x)cosa — (y — y)sinay = (χ — x)sina — (y — y)cosaS — [Sx，Sy]式中，Bx,y,s,a(X'，y')为对G(x，y)旋转和缩放后的结果；S，夕为中间变量；X，y为 图像的某一像素位置；χ' ,ι'为x，y附近的一个像素位置；s表示缩放的尺度，其中^，Sy 分别为X，y方向的缩放尺度；α表示旋转的角度；COS为余弦函数；sin为正弦函数；步骤S13 根据稀疏编码理论检测交通图像中的车辆，设定图像是由车辆和非车辆两 类目标组成表示为下式 I = Σ ι CARj + U CAR = ΣΓ=ι CiBi式中，I为一幅图像；CAR表示一辆车辆，由11个&组成，Bi = BXi,yi,Si,ai;U表示图像中除了车辆以外的其它信息；Ci是设定系数，m表示图像中车辆的数量；车辆是由一些Gabor 函数的变形Bi组成。
3.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特 征在于利用象征活动基元模型检测图像中车辆的步骤为是将象征活动基元模型与图像 中的每个像素位置进行匹配，匹配过程如下式M(x,y) = E^1 max^eh5f 5f3 (MATCH (I, Dxi +ΔΧ ,γ +AyirSbCCi+Aai J JAye卜砣对] Aae[-6f,6f]式中，M(x，y)表示对图像的某个像素位置进行匹配的得分；nB表示BXi,yi,Si,ai滤 波器的数量；MATCH O表示使用一个BxiiybSi^i滤波器对图像I进行匹配；Xi，yi为图 像的像素位置；Si表示缩放的尺度；、表示旋转的角度；ΔΧ，Δγ, Δ α表示每个 BxdA^yrNiyi, 《，^ 滤波器可以在设定的范围内移动和旋转以便获得最佳的匹配值； 1-δΙ,δΙ], [-δ ,δ ], [_δ『,δΠ分别表示 Δχ, ΔΥ, Δ α 的范围；M(x, y)值越高在x，y位置处越可能有一车辆存在，根据实际图像的学习结果，设定一 个阈值，匹配结果大于这一阈值的就是一辆检测出来的车辆；利用象征活动基元模型确定 了车辆的轮廓，结合已检测出来的车辆和其确定的位置获得车辆的姿态和轮廓。
4.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特 征在于，对图像中可能存在的车辆遮挡进行处理的步骤为对于一幅图像，生成与所述图像 有相同像素尺寸的得分表，记录在图像中每个像素位置的象征活动基元模型匹配得分，得 分表示象征活动基元模型在该像素位置的匹配程度，得分越高表示匹配越相似，找到得分 表中的得分最大的且互不相容的像素位置即车辆的位置；所述互不相容是车辆的三维轮廓 在世界坐标中不重叠。
5.根据权利要求1所述的从交通图像中检测车辆位置、姿态和三维轮廓的方法，其特 征在于，根据摄像机标定的结果和检测出来的车辆轮廓，计算车辆三维轮廓在世界坐标中 的尺寸，其步骤为步骤41、根据象征活动基元模型识别的结果，计算出车辆中轴线在地面的投影，记为 IineG ；步骤42、计算车辆轮廓中与中轴线垂直且与地面平行的横线的中垂线与IineG相交获 得交点分别为 pointCl，pointC2，...；步骤43、根据交点pointCl，pointC2,...计算出横线的实际高度，并以此计算出车辆 三维轮廓的实际尺寸。
全文摘要
本发明是一种从交通图像中检测车辆位置、姿态和三维轮廓的方法，该方法利用一个数字摄像机对交通场景进行图像采集，采用象征活动基元模型检测车辆的位置、姿态和轮廓，对于可能存在的车辆遮挡现象进行了处理，最后根据数字摄像机的标定结果和已识别出的车辆轮廓计算出车辆三维轮廓的实际尺寸。本发明对于交通监控系统中各种常见的拍摄角度都有良好的适应性，可以从各种不同的角度观察检测出的车辆三维轮廓，可以用于车型识别、车牌识别、车辆行为判断。
文档编号G06T7/00GK101976341SQ20101026467
公开日2011年2月16日 申请日期2010年8月27日 优先权日2010年8月27日
发明者汤淑明, 王飞跃, 顾原 申请人:中国科学院自动化研究所