专利名称：一种公交车车型识别方法
技术领域：
本发明属于计算机视频处理技术领域，具体为一种公交车车型识别方法，尤其是设计一种适合于公安卡口监控应用的公交车车型识别方法。
背景技术：
目前，车型识别技术在公安监控中发挥着越来越重要的作用，而公交车作为一种重要的城市交通工具，更是监控中的重点监控对象。特征点匹配法和3D模型匹配法是两种常见的车型检测方法。但是特征点匹配法通常需要将提取的全部2D特征(如边缘线段，边缘像素点等)与模型的2D特征进行匹配(参见Grimson, W.，“The combinatorics of heuristic search terminationfor object recognition in cluttered environment, ” IEEE Trans. PAMI. , vol.13, no. 9，pp. 920-935，1991.)因而其计算量较大，实时性相对较差，不能直接应用于卡口实时监控系统。传统的3D匹配的方法(参见(参见Tan, T. N.，Sullivan, G.D·，Baker, K.
D., “Model-based localization and recognition ofroad vehicles,，，Int. J. Comput.Vis.，vol. 27，no. I, pp. 5-25，1998.)其识别准确率依赖于3D模型库的完备程度，然而大部分应用设备很难拥有完备的3D车辆模型数据库，且方法复杂度会随模型数量的增加而线性增加，因此也难以直接应用于卡口监控设备上。经检索发现，公开号为101783076A的中国发明专利，该发明公开了一种视频监控模式下的快速车型识别方法，按照以下步骤实施设置道路监控装置，并将车辆分成轿车、以特殊色彩标识的出租车、面包车、中型车、公交车及大型货车，步骤I、初始化，对视频监控装置进行训练学习；步骤2、提取车辆目标区域的面积及其外接矩形的长和宽，构造相应特征，并将车辆目标粗分类为小型车、中型车、大型车；步骤3、对小型车多个目标分别提取车身的主色调特征识别出出租车，再提取小型车车窗相对位置特征参数，进一步确定面包车或轿车；步骤4、提取车顶亮度特征参数及车顶纹理特征参数，确定大型车是否为公交车。该专利在判决是否为公交车时采用车顶亮度及车顶纹理作为主要特征，因而易受光照变化的影响；而本发明以公交车的形状和LSD特征线段作为主要特征，因而光照的变化对方法的影响较小，使得方法的鲁棒性更好，有利于提高识别的准确度。
发明内容
本发明的目的在于克服上述现有技术的不足之处，提出一种新的公交车车型识别方法，该方法基于3D模型匹配和LSD特征线段提取算法，避免了车型数据库的准备工作以及对场景中所有车辆进行3D建模和匹配过程，减少了计算量，提高运算准确率同时减少计
禅且昇里。为实现上述目的，本发明采用的技术方案是首先对监控视频进行混合高斯建模，得到待处理的车辆前景图像；而后对车辆进行公交车车型初步识别；其次根据车辆的位置信息及公交车车型的特点，建立相应的3D模型；同时使用LSD线段提取算法提取车辆的特征线段；最后采用一种结合模板匹配和最短距离匹配的综合算法，对车辆的3D模型和线段特征进行匹配。经实验证实，本发明对于公交车车型识别具有较高的正确率，且实时性满足卡口监控设备需求。本发明方法具体包括以下步骤第一步对监控视频进行混合高斯背景建模，得到待处理的车辆前景图像。第二步在世界坐标系下，对所得到的车辆进行公交车车型初步识别。具体步骤为①对第一步中所得到的车辆前景图像进行轮廓提取，得到N个连通区域Qk，k=l，2，...，N，对每个连通区域Ω,，可以得到一个包含0,且面积最小的矩形区域Rk, k=l, 2，· · ·，N。 ②在世界坐标系下，由矩形Rk底部两点Pl，P2构造判断点pm，具体是
"Pm-X = (PiJ+Pl-xV 2< pm.y = (pvy +P2-V)/2-1
. Pm-=Pvz其中，I表示公交车车身长度，Rk为包含待识别车辆全部轮廓的最小矩形框，(x，y，z)表示在世界坐标系中各点的三维坐标。③在图像坐标系下，根据Pn^p Rk的位置关系初步判断该车辆是否为公交车，若Pm e Rk，则初步判断该车辆为公交车，进行第三步；若凡^馬，则判断该车辆为非公交车，判断结束。第三步在世界坐标系下，根据公交车车型特点及Rk位置信息，构建当前车辆的3D模型。具体步骤为①Rk底端两点Pl，p2作为3D模型前端底部两点。②由P1, p2构建公交车3D模型前端顶部两点P3, p4，具体是I Pi "Υ = Ρι Α .少=Ρ' ;V，A -- = Pv-+h
\ρ4·χ = Pi-x^ P4-y = Pi-y, p4-z = p2.z+h其中，h表示公交车高度，(x，y, z)表示在世界坐标系中各点三维坐标；。③根据公交车在xOy上的投影图，构建3D模型尾端底部两点p5，P6,具体是
Θ = arctan^^~EjJl.)
Pi jc ~ Pi x< prx = Pi.x-lsme
P.y = P1 ..V -1 cos Θ其中，(i, j) e {(1,5), (2,6)}, Θ表示在投影图中，线段(Pl, P2)与y轴的夹角，I表示公交车车身长度，(x，y，z)表示在世界坐标系中各点三维坐标。④由p5，p6构建3D模型尾端顶部两点p7，P8,具体为
「…。w i^·χ = Ps; Pi-V = Ps 少，Pj· = Ps-+ hi
[Λ = Pe -x^ P -y = P6 -少，Ih ·2 =P6-Z + h其中，h表示公交车高度，(X，y, Z)表示在世界坐标系中各点三维坐标。。
⑤由3D模型8个端点得到12条线段集合，其中根据卡口相机的视角和端点的位置可以判断线段(Pl，P2) (Pl, P3) (p2) P4) (p3, P4) (p3, P7) (p4, P8)为相机可见线段，线段(P5, P6)为相机不可见线段，线段(P2，P6) (P6，P8)则需根据P6的位置进行判断，具体是在图像坐标系下，若P6 ^ R(A234)，则(p2, P6) (P6, P8)为相机可见线段；若P6 e R(P1234)，则其为不可见线段。R(P12M)表示由点Pl，P2，Pv P4构成的矩形。同理，对线段(Pi，P5) (p5. P7)进行判断。选择相机可见线段作为3D模型的线段集合。至此可以得到该车辆的3D模型。第四步采用LSD线段提取算法对第二步中得到的车辆进行特征线段提取。第五步采用模版匹配法和最短距离法相结合的方法对第三步中得到的3D模型和第四步中得到的特征线段进行匹配计算，得到识别结果。具体步骤为①采用模板匹配法，计算匹配系数η 1；具体是
_Σ%
ψ其中，φ =Threshold、[Threshold1m [Ο α β(φ)] + y}，表示 3D 模型灰度图与特征线段灰度图之间的重合区域；Ψ为3D模型灰度图，其像素值为O或I ; P为LSD特征线段灰度图；(的表示对图像进行形态学膨胀处理；Σ I表示对灰度图像I进行像素求和；
表示对灰度图〗做阈值处理，具体是Threshold；(Ix ν) = '，，/γ"ν ^ V
…
-%，表示除去重叠区域约的特征线段图；IU )表示像素α的灰度值；ρ(α )表示像素α在图像坐标系下的位置，初始化计数器sum=0。则最小距离法具体实施如下(I)对像素a e 11^且1(0)关0，以ρ(α)为中心，st印为边长建立正方形搜索窗。(2)计算像素α到％的最短距离，具体为
"⑷=\\ρ(α) - ρ(β0)\\ = nim \p(a) -ρ(β)\\,Ι(β)本 O(3)若 d(a) < dTH,则令 sum=sum+l 及 I ( β。) =0, dTH 为设定阈值。(4)重复步骤(I)直到Vh中的像素完全遍历。④计算匹配系数η2,具体为
sum%:灰
根据η2判断当前车辆是否为公交车，具体是若n2>THd，THd为设定阈值，表示特征线段与3D模型重合比例较大，判断该车辆为公交车；反之，则判断该车辆为非公交车，判断结束。与现有技术相比，本发明的主要贡献和特点在于1)利用车辆位置信息和公交车车型特点构建3D模型，因而不需要完备的车型数据库；2)利用公交车车型特点对待判断车辆进行初步判断，以避免对场景中所有车辆进行3D建模和匹配过程，减少了计算量；3)采用一种结合的匹配算法，先采用模板匹配法对3D模型和特征线段进行初次匹配，最短距离法只需对初次匹配后剩余3D模型像素点及特征线段像素点进行匹配运算，提高运算准确率同时减少计算量。本发明尤其适用于公安卡口应用的公交车车型识别分析。
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显
图I为本发明公交车车型识别方法总流程框图。图2为本发明实施例中示意图，其中(a)为公交车初步识别示意，(b) (C)为公交车在xOy面上投影示意图。图3为本发明实施例中3D模型8个端点建立过程示意图。图4为本发明实施例中可见线段示意图，其中(a)摄像机视角下公交车可见线段；(b)为公交车不可见线段及可能可见线段示意图。图5 (a) (b)为LSD特征线段提取示意图。图6为本发明实施例中识别过程示意图(a)为待判断车辆，(b)为特征线段灰度图，(c )为3D模型灰度图，(d)表示模版匹配法中，3D模型灰度图与特征线段灰度图叠加结果，Ce)表示3D模型图与特征线段图重合区域，Cf)为3D模型图除去重合区域示意图。图7为本发明实施例卡口监控场景示意图，相机与水平面夹角小于45°。
具体实施例方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。实施例本实施例采用的视频序列为公安卡口监控场景序列。本实施例涉及的公交车车型识别方法，包括如下具体步骤第一步对视频序列进行混合高斯背景建模，得到待处理的车辆前景图像。第二步在世界坐标系下，对所得到的车辆进行公交车车型初步识别。具体步骤为I.对车辆前景图像进行轮廓提取，得到N个连通区域Qk，k=l，2，...，N，对每个连通区域Ω,，可以得到一个包含。，且面积最小的矩形区域&沙二^”…州。2.在世界坐标系下，由矩形Rk底部两点Pl，P2构造判断点pm，具体是
权利要求
1.一种公交车车型识别方法，其特征在于，包括以下步骤 第一步对监控视频进行混合高斯背景建模，得到待处理的车辆前景图像； 第二步在世界坐标系下，对所得到的车辆进行公交车车型初步识别；具体步骤为 ①对第一步中所得到的车辆前景图像进行轮廓提取，得到N个连通区域Ω,, k=l,2,...,N,对每个连通区域Ω,，得到一个包含0,且面积最小的矩形区域Rk, k=l, 2,. . . , N ； ②在世界坐标系下，由矩形Rk底部两点Pl，P2构造判断点Pm
2.根据权利要求I所述的公交车车型识别方法，其特征在于第三步中所述3D模型，其端点的建立方法为=Rk底端两点P1, P2作为3D模型前端底部两点；再由Pl，P2构建公交车3D模型前端顶部两点p3，P4
3.根据权利要求2所述的公交车车型识别方法，其特征是第三步中，在完成对3D模型端点的构建后，选线段(P1, P2) (Pi, P3) (p2, P4) (p3. P4) (p3. P7) (P4. P8)为相机可见线段，线段(p5，p6)为相机不可见线段，线段(p2，p6) (p6，p8)则需根据P6的位置进行判断，在图像坐标系下，若Λ茫R(^234)，则(p2, p6) (P6，P8)为相机可见线段；若口6 e R(P1234),则其为不可见线段;R(Pi234)表示由点Pi, P2, P3, P4构成的矩形；同理，对线段(P1, P5) (p5, Pt)进行判断；选择相机可见线段作为3D模型的线段集合。
4.根据权利要求I所述的公交车车型识别方法，其特征是第五步中首先对3D模型灰度图和特征线段灰度图采用模版匹配法进行识别，对满足识别条件的车辆采用最短距离法进行进一步判断，最短距离法只需对模板法匹配后剩余的3D模型像素点和特征线段像素点进行匹配。
5.根据权利要求4所述的公交车车型识别方法，其特征是第五步具体步骤为 ①采用模板匹配法，计算匹配系数 其中，％ = Thresholdl[Threshold1m[ α ε(φ)] + ψ]表示3D模型灰度图与特征线段灰度图之间的重合区域；Ψ为3D模型灰度图，其像素值为O或I 'φ为LSD特征线段灰度图(妁表示对图像进行形态学膨胀处理；Σ I表示对灰度图像I进行像素求和；ΓΛΓ Λο/<(/χ ν)表示对灰度图I做阈值处理， ②根据H1判断当前车辆是否为公交车，若H1XTH1,TH1为设定阈值，表示特征线段与3D模型重合比例较大，认为该车辆可能是公交车，进入下一步，采用最短距离法进一步判断；若η ^THh, THh为设定阈值且则认为该车辆为公交车，判断结束TH1,则认为该车辆为非公交车，判断结束； ③对上一步中需要进一步判断的车辆实施最短距离算法，令ΨA=妒-％，表示除去重叠区域％的3D模型图；φ,, = ThresholdlTH[Dilate(^)}-φ0，表示除去重叠区域％的特征线段图；IU )表示像素α的灰度值；ρ(α )表示像素α在图像坐标系下的位置，初始化计数器sum=0,则最小距离法具体实施如下 (1)对像素ae 11^且1(0)古0，以ρ(α )为中心，st印为边长建立正方形搜索窗； (2)计算像素α到约,的最短距离，具体为 (α) = \ρ(α)-ρ{β^\= min \ρ(α)- ρ{β)\ J {β) ^ Q(3)若d ( α ) ( dTH,则令 sum=sum+l 及 I ( β 0) =0, dTH 为设定阈值； (4)重复步骤(I)直到Vh中的像素完全遍历； sum ④计算匹配系数n2,%= y^; 根据η2判断当前车辆是否为公交车，若n2>THd，THd为设定阈值，表示特征线段与3D模型重合比例较大，判断该车辆为公交车；反之，则判断该车辆为非公交车，判断结束。
全文摘要
本发明公开一种计算机视频处理技术领域的公交车车型识别方法，步骤为对监控视频进行混合高斯建模；而后对车辆进行公交车车型初步识别；其次根据车辆的位置信息及公交车本身的特点，建立相应的3D模型；同时使用LSD线段提取算法提取车辆的特征线段；最后采用一种结合模板匹配和最短距离匹配的综合算法，对车辆的3D模型和线段特征进行匹配。本发明通过利用车辆位置信息和公交车车型特点构建3D模型，因而避免了车型数据库的准备工作；同时利用公交车车型特点对待判断车辆进行初步判断，以避免对场景中所有车辆进行3D建模和匹配过程，减少了计算量；最后采用一种结合的匹配算法，提高运算准确率同时减少计算量。
文档编号G06K9/00GK102930242SQ20121033711
公开日2013年2月13日 申请日期2012年9月12日 优先权日2012年9月12日
发明者杨华, 马文琪, 董莉莉 申请人:上海交通大学