专利名称：一种判断车辆行驶状态的方法
技术领域：
本项目涉及多目摄像机环视系统，尤其是一种简易判断车辆行驶状态的方法。
背景技术：
当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智 能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。传统车辆状态信息传感器车速传感器，档位传感器，刹车以及油门等控制装置。结合车辆的CAN总线形成车辆的传感网络，将整个汽车控制系统联系起来统一管理，实现数据共享和相互之间协同工作，获取车辆当前的状态信息。环视泊车辅助系统通过空中俯视图的图像不变形的特点进行图像特征点的匹配从而判别车辆状态，常用图像特征可以是边缘特征，颜色特征、纹理特征、形状特征、空间关系特征。可以使用任何一种常用的匹配方法，比如空间卷积，SIFT特征匹配，特征点灰度匹配等算法。本专利适用于车载环视驾驶辅助系统及环视倒车辅助系统。(I)与本发明相关的现有技术一环视图像合成及显示系统
安装在车辆前后左右的摄像头经过视点变换之后，分别形成多张虚拟垂直拍摄的俯视图像。如图I所示。在初始标定处理过程中，各台相机相对于车辆坐标系的位置可以求出。根据摄像头的相对位置数据，可以将这些俯视图像进行合成处理，拼接成一幅车辆环视的全景图。在各台虚拟相机的高度及焦距相同的情况下，这些俯视图像的尺寸比例相同，可以直接进行拼接处理。在拼接后的环绕俯视图上加入自车的俯视示意图，即可得到最后的结果图。如图2所示。环视图像显示系统一般通过对目前车辆状态的判断来自动调节显示模式，比如车辆低速或者倒车时系统自动切换到环视图像显示模式，并在辅助窗口显示前方或后方广角影像。如果判断车辆在进行右转或左转时系统自动切换到放大的右侧或者左侧的俯视图，并在辅助窗口显示后方影像确认后方是否有车辆或行人。车速和档位，方向盘转角信息一般通过车载的各种传感器通过直接连线或者通过车辆CAN总线获得。专利文献I :日本专利JPA2002-067158专利文献2 :日本专利JPA2008-34966
(2)与本发明相关的现有技术二基于CAN / GSM的车辆监控管理系统
是为具有CAN总线的汽车开发的。该系统的车载监控设备首先从车辆的CAN接口上获得详细的车况信息，然后依托GSM移动通信系统与监控中心进行通信，来实现对车辆全面、动态、实时的监控。专利文献3 :国内专利100410021177. 6 专利文献4 :国内专利200510110841. 9
(3)与本发明相关的现有技术三自适应巡航控制(AdaptiveCruise Control,简称ACC)系统 通过传感器单元感知本车状态及行车环境等信息，ACC控制器对行车信息进行处理，确定车辆的控制命令；执行机构，主要由制动踏板、加速踏板及车辆传动系控制执行器等组成，用于实现车辆加、减速，驾驶员通过人机界面设定系统参数及系统状态的显示。专利文献5 :国内专利200480009929 专利文献6 :国内专利200780002900
(4)与本发明相关的现有技术四定速巡航系统
按司机要求的速度合开关之后，不用踩油门踏板就自动地保持车速，使车辆以固定的速度行驶.当在高速公路上长时间行车后，司机就不用再去控制油门踏板，一般情况下，当驾驶者踩下刹车踏板或离合器时定速巡航会被自动解除。专利文献5 :英国专利200680024573. I 专利文献6 :日本专利200510098034. X
在对上述现有技术进行分析后，发明人发现
以上方式均需要通过车速信号，车辆转角信号和档位信号等复杂信息，通过直接连线或者车辆CAN总线来获取之后进行处理分析，信息采集和处理需要大量的专用设备，因此这些系统主要是用于中高档轿车，通用性不高。其次，在我国由于道路条件等限制，系统的实际使用率不高。即使该类系统出现故障，驾驶员也不在意。另外，由于维修技术不能与汽车技术同步飞速发展，许多维修人员尚对该类系统认识不足，以致于在维修过程中无意间对该系统造成干扰或损坏，无法科学分析故障现象，准确判断故障根源。综上所述，对于车辆主动安全和辅助驾驶系统，尤其是环视图像合成系统中缺少一种不需要额外设备成本，直接获取车辆状态信息的简易方式。
发明内容
本发明提出一种简捷，性价比高的判别手段。车辆环视系统通过安装在车辆前后左右的多台摄像头拍摄的图像，经过前述的视角变换处理得到多张虚拟以车辆为中心垂直向下的俯视图，并通过合成算法拼接为一张完整俯视图(如图2所示)。由于车辆移动过程中合成的俯视图像不会变形，通过对于连续两帧图像中特征点的匹配，可以计算出车辆移动距离、旋转角度等数据，判断车辆当前是前进还是倒退的状态。系统根据判别的信息做出相应的处理，如倒车则切换到后方摄像头，右转则切换到右侧摄像头，以及功能的切换等。
图1A，图IB是未处理的倒车影像经过视点变换处理得到虚拟俯视图。图2A，图2B是多目摄像头构成的车载环视系统实例。图3是环视判断车辆状态的具体实施步骤。
具体实施
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作 进一步地详细描述。实施步骤I :环视图像的生成
如附图3中的103处理模块，由车辆四周的多台超广角摄像头实时采集的图像数据，通过广角纠偏，视点变换和图像合成等公开技术，拼接为一张完整俯视图(如图2所示)。实施步骤2 :图像特征的抽出
如附图3中的104处理模块，在合成的俯视图中寻找可以匹配用的图像特征。常用图像特征有颜色特征、纹理特征、形状特征、空间关系特征。比如选择Harris拐角点或者SIFT特征点等。非专利文献I (Harris 拐角点)C. Harris and M. J. Stephens. A combinedcorner and edge detector. In Alley Vision Conference, pages 147 - 152，1988.
非专利文献 2 (SIFT 特征点)Lowe，David G. (1999). "Object recognition fromlocal scale-invariant features' Proceedings of the International Conference onComputer Vision. 2. pp. 1150 - 1157
实施步骤3 :图像特征的匹配和特征移动矢量的获取
如附图3中的105处理模块，把前后帧的俯视图中寻找到的图像特征进行匹配处理。特征匹配算法可以采用任何一种常用的算法，比如空间卷积，SIFT特征匹配，特征点灰度匹配等算法。成功匹配的特征可以获取前后帧特征的移动矢量。实施步骤4 :车辆平移矢量和旋转量的计算
如附图3中的106处理模块，合成图中的地面特征的移动矢量可以近似为车辆平移矢量和旋转量(方向相反)。由于合成图中每个特征的提取位置误差，特征点匹配出现的误匹配等误差，一般需要对这些特征移动矢量进行综合计算得到车辆平移矢量和旋转量。通常可以使用最小二乘法或者随机RANSAC方法等。非专利文献3 (RANSAC 参数估算法)Mart in A. Fischler and Robert C.Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting withApplications to Image Analysis and Automated Cartography". Cowm. of the ACM24:381 - 395.
实施步骤5 :车辆移动速度、旋转角度的计算
如附图3中的107处理模块，通过记录前后帧的系统时钟(时间戳)和步骤4中计算的车辆平移矢量和旋转量就可以计算车辆移动的速度和旋转的角度，还可以计算出位移的加速度，旋转的角速度等参数。实现公式如下V=T/(t2 tl)T Φ=Θ2-Θ1A=(V2-Vl)/it2"tl)iAl=(02-01)/{t24l)
(V为车速，Φ为车辆旋转角度，A为加速度，Al为旋转角加速度)
实施步骤6 :车辆行驶状态的判断
如附图3中的108处理模块，通过车辆移动速度，加速度，旋转角度和角速度等参数来判断车辆行驶状态。以下为一些例子。当车辆平移矢量方向朝前，移动速度大于事先规定好的低速阈值，旋转角度小于事先规定好的转弯阈值的时候，判断车辆为正常前进行驶状态；
当车辆平移矢量方向朝前，移动速度大于事先规定好的低速阈值，车辆加速度为负值，旋转角度小于事先规定好的转弯阈值的时候，判断车辆为减速前进行驶状态； 当车辆平移矢量方向朝前，移动速度小于事先规定好的低速阈值，旋转角度小于事先规定好的转弯阈值的时候，判断车辆为低速前进行驶状态；
当车辆平移矢量方向朝前，移动速度小于事先规定好的低速阈值，车辆加速度为正值，旋转角度小于事先规定好的转弯阈值的时候，判断车辆为加速前进行驶状态；
当车辆平移矢量方向朝前，旋转角度大于事先规定好的转弯阈值，旋转角速度为正值的时候，判断车辆为开始进入转弯状态；
当车辆平移矢量方向朝前，旋转角度大于事先规定好的转弯阈值，旋转角速度为负值或零的时候，判断车辆为保持转弯状态；
当车辆平移矢量接近为零的时候，判断车辆为停车状态；
当车辆平移矢量方向向后的时候，判断车辆为倒车状态。实施步骤7 :环视系统显示的切换
如附图3中的108处理模块，通过车辆行驶状态来进行环视系统显示的切换。以下为一些例子。当车辆由正常前行状态经过减速前进行驶状态进入低速前进行驶状态时,启动环视系统显示，辅助窗口显示车辆前方广角影像。当车辆由低速前进行驶状态进入停车状态时，环视系统辅助窗口可以按照一定时间间隔分别显示前后左右广角影像。当车辆由停止状态经过减速前进行驶状态进入正常前行状态时,关闭环视系统显示。以便驾驶员专心驾驶。当车辆由正常前行状态开始进入转弯状态，以及保持转弯状态时，启动环视系统显示，辅助窗口显示转弯方向的侧面摄像头广角影像。当车辆由保持转弯状态进入正常前行状态并持续一段时间后，关闭环视系统显示。以便驾驶员专心驾驶。
权利要求
1.一种判断车辆行驶状态的方法，其特征在于，所述方法包括在车载环视系统的合成图像中，自动寻找可以追踪的图像特征，并在下一帧中进行特征匹配，得到每个特征的移动矢量 在车载环视系统的合成图像中，通过每个匹配后的特征移动矢量综合计算得到车辆位移和旋转方向 在车载环视系统的合成图像中，通过计算前后帧车辆的位移和旋转角度，来判断车辆行驶状态。
2.根据权利要求I所述的方法，其特征在于，选取车辆空中的俯视图片上的特征点进行匹配，俯视图由车辆四周的超广角摄像头合成得到。
3.根据权利要求I所述的方法，其特征在于，选取特征量，运用任意一种匹配算法得到对应点，记录对应点的坐标变化作为移动矢量。
4.根据权利要求I所述的方法，其特征在于，根据某对应特征点的移动矢量，运用两点距离公式以及角度公式求出点的移动速度以及旋转的角度。
5.根据权利要求I所述的方法，其特征在于，根据计算出的数据可以判断出车辆当前是否正常前行，是否减速，是否停车，是否倒车，是否转弯等状态信息。
6.根据权利要求I所述的方法，其特征在于，根据判断出的车辆状态信息来进行环视系统显示的切换 当车辆由正常前行状态经过减速前进行驶状态进入低速前进行驶状态时，启动环视系统显示，辅助窗口显示车辆前方广角影像 当车辆由低速前进行驶状态进入停车状态时，环视系统辅助窗口可以按照一定时间间隔分别显示前后左右广角影像 当车辆由停止状态经过减速前进行驶状态进入正常前行状态时，关闭环视系统显示，以便驾驶员专心驾驶 当车辆由正常前行状态开始进入转弯状态，以及保持转弯状态时，启动环视系统显示，辅助窗口显示转弯方向的侧面摄像头广角影像 当车辆由保持转弯状态进入正常前行状态并持续一段时间后，关闭环视系统显示，以便驾驶员专心驾驶。
全文摘要
本发明为一种判断车辆行驶状态的简易方法，通过环视图像中的特征点匹配来计算前后帧的车辆移动距离和转动方向，从而判断车辆行驶状态并对环视系统的表示进行适当的切换。本发明解决了传统车辆行驶状态判别中需要车速信号，车辆转角信号和档位信号等这些复杂信号的问题，通过环视图像处理达到直接判定车辆状态的功能，同时对环视系统的表示进行适当切换，给予驾驶员安全，直观，明确的提示信息。本发明简化车辆行驶状态判别的方式，节省了大量的设备成本。
文档编号B60W40/02GK102774380SQ201110122348
公开日2012年11月14日 申请日期2011年5月12日 优先权日2011年5月12日
发明者马薇 申请人:无锡维森智能传感技术有限公司