一种出租车识别方法
【专利摘要】本发明公开了一种出租车识别方法，该方法包括以下步骤：对视频序列中的道路交通场景进行图像标定，以进行图像坐标系和物理坐标系的相互转换，从而获取视频序列中每一帧图像每个位置的物理坐标；定位每一帧图像中车牌和顶灯的位置；提取存在车牌和顶灯位置的图像中出租车辆的颜色喷涂区域；根据车牌位置与颜色喷涂区域之间的相对位置关系，以及顶灯的位置，对于出租车的位置进行最终定位。本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点，可以为视频监控中出租车监控与管理提供一种新的实时可靠的途径。
【专利说明】—种出租车识别方法
【技术领域】
[0001]本发明涉及视频监控【技术领域】，尤其是一种城市道路监控视频中的出租车识别方法，该方法是一种利用图像处理、特征提取技术，对监控视频中的出租车辆进行自动识别的方法。
【背景技术】
[0002]在大中型城市，城市化发展导致了交通阻塞、交通违章和交通事故的情况越来越多。为了对交通进行更有效的控制和管理，智能交通已经引起了广泛的重视。交通信息服务是智能交通系统功能的一个重要部分，这一功能的实现必须首先对交通路况进行监控，快速、准确地获取各种交通参数。随着视频监控技术的发展，视频摄像机已经被广泛用来对各种环境、区域和场所进行实时监控。随着视频传感器数量的急剧增加，传统的人工被动监控已经远远无法满足监控任务的需要。因此，实现可以代替人眼的智能自动监控功能成为视频监控研究的目标。
[0003]在现有的智能交通系统中，车辆定位技术在交通监控中广泛应用，其主要分为基于运动目标和静态目标的定位方法。基于运动目标的定位方法是将道路上的车辆看作运动目标，其可以处理光照变化、适用于多模态以及缓慢变化的背景。然而运动的目标未必是车辆，因此许多研究人员利用车辆表面的视觉信息来定位车辆。这些方法利用颜色、边缘及角点特征来学习车辆或车辆部位模型，然后利用分类器以及生成式模型来定位车辆。
[0004]然而，有关特殊车辆的定位与识别的研究很少，如出租车识别。出租车是城市交通的一个重要组成部分，在北京，大约有三分之一的乘客选择出租车出行。特别是，道路上有许多非法运行的出租车辆，通常称为“克隆车”，它们与正规出租车具有非常相似的外观，这使得乘客的利益和安全难以得到保证。因此，出租车管理是城市交通管理的重要组成部分，包括出租车监控和出租车调度，如何利用视觉传感器来定位出租车辆，可以作为出租车管理的一种有效途径。经对现有技术文献的检索发现，朱伟等人发表在《视频应用与工程》上的文章“一种基于视频监控的出租车检测方法”，通过提取车辆的有向梯度直方图(HOG)特征，作为支持向量机分类器输入，分类识别出租车。但是该系统使用了大量的样本模型，计算开销太大，而且识别率也不是很高，限制了其工程实际应用。
【发明内容】
[0005]本发明的目的在于克服现有技术中的不足，为城市交通监控提供一种有效的出租车识别方法，能在光照变化、不同天气条件等实际工程应用的复杂环境下，实时准确地定位出租车辆，为出租车管理提供一种可靠的基础。
[0006]为实现上述目的，本发明提供一种出租车识别方法，该方法包括以下步骤:
[0007]步骤SI，对视频序列中的道路交通场景进行图像标定，以进行图像坐标系和物理坐标系的相互转换，从而获取视频序列中每一帧图像每个位置的物理坐标；
[0008]步骤S2，定位所述视频序列每一帧图像中车牌和顶灯的位置；[0009]步骤S3，提取所述视频序列存在车牌和顶灯位置的图像中出租车辆的颜色喷涂区域；
[0010]步骤S4，根据所述步骤S2定位到的车牌位置与所述步骤S3提取到的出租车位置颜色喷涂区域之间的相对位置关系，以及所述步骤S2定位到的顶灯的位置，对于出租车的位置进行最终定位。
[0011]本发明与现有技术相比的显著效果在于:本发明针对智能视频监控中出租车识别的需要，利用图像处理和特征提取技术，可以对视频序列中的出租车位置进行定位和实时识别，不需要对原始视频信号进行任何的预处理，而且对实际监控视频中出现的光照变化、不同天气等干扰同时具有较高的鲁棒性，即具有算法简单、精确度高、鲁棒性强等优点。由于本发明克服了这些现有技术在实际工程应用方面难以解决的问题，也消除了实现真正工程应用的主要障碍，因此，本发明真正实现了视频中出租车目标的实时识别，最终为出租车管理提供了一种有效的管理途径。
【专利附图】
【附图说明】
[0012]图1是本发明出租车识别方法的流程图。
[0013]图2是根据本发明一实施例的车辆定位的中间结果及最终结果图。
[0014]图3是根据本发明一实施例的出租车表面颜色喷涂区域的RGB散点图。
[0015]图4是根据本发明一实施例的出租车颜色喷涂特征提取和出租车识别结果图。
【具体实施方式】
[0016]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0017]图1是本发明出租车识别方法的流程图，如图1所示，所述出租车识别方法包括以下步骤:
[0018]步骤SI，对视频序列中的道路交通场景进行图像标定，以进行图像坐标系和物理坐标系的相互转换，从而获取视频序列中每一帧图像每个位置的物理坐标；
[0019]在本发明一实施例中，首先选取一段监控摄像机拍摄的高清视频片段，分辨率为2592 X 1936，视频场景为覆盖三车道的交通路口，为了获取图像相关的物理坐标参数，本发明使用0penCV( Intel开源计算机视觉库)自带的摄像机标定功能函数对道路交通场景进行图像标定，即根据图像中已知尺寸的道路标线，来标记图像区域，进而实现图像坐标系和物理坐标系的相互转换，由此可以获取图像中每个位置的物理坐标。另外，还可以采用OpenCV中的功能函数进行视频读取，把视频读入计算机。
[0020]步骤S2，定位所述视频序列每一帧图像中可能存在的车牌和“TAXI”等顶灯的位置，进而用车牌位置来表示相应的车辆；
[0021]图2是根据本发明一实施例的车辆定位的中间结果及最终结果图，如图2所示，所述步骤S2进一步包括以下步骤:
[0022]步骤S21，根据出租车车牌的底色，对所述视频序列中的每一帧图像进行颜色转换，获取相应的颜色灰度图像；
[0023]以北京市出租车为例,北京市出租车车牌均为蓝底白字车牌,即其底色均为蓝色，根据统计结果，车牌底色像素的蓝色通道值Bx，y远远大于红、绿其他两个通道，红色Rx，y和绿色Gx，y通道的值均比较小，并且相差不大。根据以上统计结果，利用公式(I)将图像空间转换至一个特定的颜色空间:
[0024]Cx’y=Bx’y-min{Rx,y, Gx’y} (I)
[0025]其中，Cx；y表示转换后的颜色灰度图像，x, y表示图像中某一像素的坐标值。
[0026]图2 Ca)为视频序列中的某一帧图像，图2 (b)为基于图2 Ca)所示的图像计算得到的颜色灰度图像。
[0027]步骤S22，计算所述颜色灰度图像的得分图像；
[0028]在本发明一实施例中，首先使用Sobel算子计算所述颜色灰度图像中的图像梯度，得到相应的梯度图像；然后，使用滑动窗口扫描所述梯度图像，获得窗口内像素的平均梯度，从而得到所述梯度图像对应的得分图像，其中，滑动窗口的大小与车牌的大小一致，通过使用OpenCV的标定结果，可以获得车牌的尺寸。图2 (b)所示的颜色灰度图像对应得到的得分图像如图2 (c)所示。
[0029]步骤S23，基于局部极大值确定所述得分图像中的候选车牌区域和顶灯区域。
[0030]所述步骤S23进一步包括以下步骤:
[0031]步骤S231，通过滑动窗口扫描所述得分图像，得到所述得分图像中多个车辆可能存在的区域；
[0032]所述滑动窗口的大小为车辆的大小，所述车辆的大小根据车辆与车牌的尺寸比例关系来确定，所述车辆与车牌的尺寸比例关系为:车辆的宽度为车牌长度的4-5倍，车辆的长度为车牌长度的7-8倍。
[0033]步骤S232，利用非极大值抑制方法在每个车辆可能存在的区域范围内求得局部极大值；
[0034]非极大值抑制方法是现有技术中常用的极值获取方法，在此不作赘述。
[0035]步骤S233，如果求得的局部极大值大于一预先设定的得分阈值，则以所述局部极大值为中心点，根据标准车牌的尺寸信息得到一车牌区域，将该车牌区域作为候选车牌区域，否则认为不是车牌区域，继续对于其他滑动窗口区域或者其他帧图像重复所述步骤S232-233进行处理。
[0036]根据《GA36-2007机动车号牌标准》，中国城市行驶的机动车号牌的尺寸主要为440mmX140mm、440mmX220mm两种，在本发明一实施例中，所采用的出租车车牌的尺寸为440mmX140mmo
[0037]基于图2 (C)所示的得分图像的车辆定位结果如图2 Cd)中的白色矩形框所示。
[0038]相似的，该步骤同时还可以得到出租车“TAXI”顶灯的位置，该步骤并不对其进行滤除，而是直接作为出租车顶灯位置的定位结果。
[0039]步骤S3，提取所述视频序列存在车牌和顶灯位置的图像中出租车辆的颜色喷涂区域；
[0040]我国的大部分出租车均喷涂有特殊的颜色，比如北京市出租车的下方喷涂有黄色的颜色带，下面以黄色带为例来说明颜色喷涂区域的提取过程，对于其他城市或其他类型的出租车，可采用类似计算步骤提取颜色喷涂区域。
[0041]所述步骤S3进一步包括以下步骤:[0042]步骤S31，对所述视频序列存在车牌和顶灯位置的图像进行颜色转换，获取相应的颜色灰度图像；
[0043]所述步骤S31进一步包括以下步骤:
[0044]步骤S311，统计出租车表面特殊颜色喷涂区域(比如黄色带)的像素RGB散点图，如图3所示，进而获得对应的颜色转换模型；
[0045]通过观察可知，绿色通道Gx，y和红色通道Rx，y的值远远大于蓝色通道值Bx，y，并且绿色Gx，y和红色通道Rx，y值相差不大，由此，可获得对应的颜色转换模型，所述颜色转换模型表示为
[0046]Cx,y=min{Rx，y, Gx,y}_BX，y-1 |Gx,y-Rx，y| |.(3)
[0047]与车牌定位过程相同，该步骤使用RGB颜色空间提取出租车的黄色特征区域。
[0048]步骤S312，通过所述颜色转换模型将初始的RGB图像转换为颜色灰度图，进而得到出租车表面的特殊颜色喷涂区域。
[0049]该步骤中，在进行颜色转换之后，即可以很容易并且精准的识别出出租车表面的黄色区域。
[0050]步骤S32，利用多阈值分割方法将所述颜色灰度图像分割为多幅二值化图像；
[0051]步骤S33，对所述二值化图像作连通域分析，取长宽比、面积大小在一定范围内的连通域作为出租车颜色喷涂区域。
[0052]该步骤中，如果提取出的连通域满足以下条件，则认为该连通域为出租车上的颜色喷涂区域:
[0053]使用三个阈值来分割所述连通域，得到三个分割后的子区域:Q1; Q2, Q3 (其中，
Oi, i=l，2);这三个子区域的相对变化比例q要足够小:q〈 Y1, Y1为一较小的数，其中 q= I Q3XQ11 / I Q2
[0054]在本发明一实施例中，所使用的三个阈值分别为20、40、80，Y I取值为0.2。
[0055]图4 Ca)显示了根据本发明一实施例的出租车颜色喷涂区域提取结果图。
[0056]步骤S4，根据所述步骤S2定位到的车牌与所述步骤S3提取到的出租车颜色喷涂区域之间的相对位置关系，以及所述步骤S2定位到的顶灯的位置，对于出租车的位置进行最终定位。
[0057]在北京，所有的出租车都是尺寸、车型相似的四门轿车。由于本发明使用的摄像头已经提前标定过，因此可以根据定位到的车牌很容易的估算出出租车所在的矩形区域，并且可以估计车牌和车顶灯之间的空间关系。所述步骤S4进一步包括以下步骤:
[0058]步骤S41，对于一个定位到的车牌位置pi，如果能在其周围找到一个确定的颜色喷涂区域，则进入步骤S42，否则认为不是出租车车牌，进而对于其他车牌位置重复步骤S41 ；
[0059]步骤S42，根据车牌位置及图像标定结果，设定一预定范围为估测的车辆区域，所述预定范围根据所述车辆与车牌的尺寸比例关系来确定，并检验对于该区域是否满足一预定条件，如果满足，则该区域为最终确定的出租车的位置，否则进入步骤S43 ；
[0060]所述预定条件表示为:
[0061]dist(pi, Pj) e [d” d2],而且 ang(Pi，Pj) e [ θ ” θ 2]，
[0062]其中，Pi表示车牌位置，Pj表示车顶灯位置，Cl1, d2分别表示预定的距离参数，ang(Pi, Pj)表示求取Pi和Pj之间的角度，Q1, Θ 2分别表示预定的角度参数。
[0063]图4 (b)显示了根据本发明一实施例的出租车最终定位结果图。
[0064]在本发明一实施例中，距离参数Cl1和d2取为3米和6米；Θ i和Θ 2取为30度和60度。
[0065]步骤S43，由于顶灯和车牌可能使用不同的阈值，因此如果没有定位到顶灯，则减小顶灯在定位步骤中使用的定位阈值，再次定位顶灯的位置，重复步骤S2-4。
[0066]由此就完成了城市道路监控视频中的出租车识别。
[0067]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种出租车识别方法，其特征在于，该方法包括以下步骤: 步骤Si，对视频序列中的道路交通场景进行图像标定，以进行图像坐标系和物理坐标系的相互转换，从而获取视频序列中每一帧图像每个位置的物理坐标； 步骤S2，定位所述视频序列每一帧图像中车牌和顶灯的位置； 步骤S3，提取所述视频序列存在车牌和顶灯位置的图像中出租车辆的颜色喷涂区域；步骤S4，根据所述步骤S2定位到的车牌位置与所述步骤S3提取到的出租车辆颜色喷涂区域之间的相对位置关系，以及所述步骤S2定位到的顶灯的位置，对于出租车的位置进行最终定位。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下步骤: 步骤S21，根据出租车车牌的底色，对所述视频序列中的每一帧图像进行颜色转换，获取相应的颜色灰度图像； 步骤S22，计算所述颜色灰度图像的得分图像； 步骤S23，基于局部极大值确定所述得分图像中的候选车牌区域和顶灯区域。
3.根据权利要求2所述的方法，其特征在于，所述步骤S21中，利用下式将图像空间转换至一个特定的颜色空间:
Cx,y=Bx’y_min {Rx’y, Gx’y}, 其中，Cx,y表示颜色转换后的图像，X, y表示图像中某一像素的坐标值。
4.根据权利要求2所述的方法，其特征在于，所述步骤S22具体为: 首先使用Sobel算子计算所述颜色灰度图像中的图像梯度，得到相应的梯度图像；然后，使用滑动窗口扫描所述梯度图像，获得窗口内像素的平均梯度，从而得到所述梯度图像对应的得分图像。
5.根据权利要求4所述的方法，其特征在于，所述滑动窗口的大小与车牌的大小一致。
6.根据权利要求2所述的方法，其特征在于，所述步骤S23进一步包括以下步骤: 步骤S231，通过滑动窗口扫描所述得分图像，得到所述得分图像中多个车辆/顶灯可能存在的区域； 步骤S232，利用非极大值抑制方法在每个车辆/顶灯可能存在的区域范围内求得局部极大值； 步骤S233，如果求得的局部极大值大于一预先设定的得分阈值，则以所述局部极大值为中心点，根据标准车牌/顶灯的尺寸信息得到一车牌/顶灯区域，将该车牌区域作为候选车牌/顶灯区域，否则认为不是车牌/顶灯区域。
7.根据权利要求1所述的方法，其特征在于，所述步骤S3进一步包括以下步骤: 步骤S31，对所述视频序列存在车牌和顶灯位置的图像进行颜色转换，获取相应的颜色灰度图像； 步骤S32，利用多阈值分割方法将所述颜色灰度图像分割为多幅二值化图像； 步骤S33，对所述二值化图像作连通域分析，取长宽比、面积大小在一定范围内的连通域作为出租车颜色喷涂区域。
8.根据权利要求7所述的方法，其特征在于，所述步骤S31进一步包括以下步骤: 步骤S311，统计出租车表面特殊颜色喷涂区域的像素RGB散点图，进而获得对应的颜色转换模型；步骤S312，通过所述颜色转换模型将初始的RGB图像转换为颜色灰度图，进而得到出租车表面的特殊颜色喷涂区域。
9.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括以下步骤: 步骤S41，对于一个定位到的车牌位置pi，如果能在其周围找到一个确定的颜色喷涂区域，则进入步骤S42，否则认为不是出租车车牌，进而对于其他车牌位置重复步骤S41 ；步骤S42，根据车牌位置及图像标定结果，设定一预定范围为估测的车辆区域，并检验对于该区域是否满足一预定条件，如果满足，则该区域为最终确定的出租车的位置，否则进入步骤S43 ； 步骤S43，减小顶灯在定位步骤中使用的定位阈值，再次定位顶灯的位置，重复步骤S2-4。
10.根据权利要求9所述的方法，其特征在于，所述预定条件表示为: dist(pi, Pj) e [d” d2],而且 angb” Pj) e [ θ ” θ 2]， 其中,Pi表示车牌位置，Pj表示车顶灯位置，(I1, d2分别表示预定的距离参数,ang (Pi, Pj)表示求取Pi和1^_之间的 角度，θ” θ2分别表示预定的角度参数。
【文档编号】G08G1/017GK103680148SQ201310704057
【公开日】2014年3月26日 申请日期:2013年12月19日 优先权日:2013年12月19日
【发明者】王飞跃, 田滨, 李泊, 李叶, 王坤峰, 熊刚, 朱凤华, 胡斌 申请人:中国科学院自动化研究所, 东莞中国科学院云计算产业技术创新与育成中心