交叉路口警报方法、处理系统、交叉路口警报系统及车辆与流程

文档序号:14038295阅读:496来源:国知局
交叉路口警报方法、处理系统、交叉路口警报系统及车辆与流程

本公开涉及一种高级交叉路口警报(cta)方法以及相应的交叉路口警报系统。

交叉路口警报(cta)方法是汽车高级驾驶员辅助系统(adas)的重要特征。交叉路口警报(cta)系统被设计成用于在检测到侵入车辆的情况下警告驾驶员。



背景技术:

近十年来,汽车公司已经在与自动驾驶员辅助系统(adas)的许多方面相关的创新中进行了大量投资。由于对汽车智能系统的关注日益渐增,已经在新硬件和软件设备方面做出了许多努力。

例如,现代汽车出于不同目的可以使用后置、前置和/或侧置相机。一些最流行的应用是例如:交叉路口警报(cta)、车道偏离警示(ldw)、碰撞避免(ca)以及盲点检测(bsd)。

不同的高级驾驶员辅助系统(adas)解决方案在不同的道路场景中可能是有利地。例如,交叉路口警报(cta)可能在其他车辆可以穿过道路的城市道路环境中是有用的。相反,车道偏离警示(ldw)或盲点检测(bsd)可能在车辆达到高速并且驾驶员的短暂注意力分散就能导致事故的高速公路上是有用的。

因此,目前将大范围的高级技术引入到汽车生产中,就与高级驾驶员辅助系统(adas)的许多方面相关的创新而言进行了大量投资。

如之前所述,高级驾驶员辅助系统(adas)是车辆控制系统,该车辆控制系统使用环境传感器(例如,像雷达、激光、视觉、图像相机)通过辅助驾驶员对潜在危险的交通情况进行识别和作出反应来提高交通安全。

不同类型的智能车辆辅助系统可以用作驾驶员信息系统,如:

-高级路线导航系统,如在2012年第12届控制、自动化与系统国际会议(iccas),s.jeong(s.郑)、t.kim(t.金姆)、j.lee(j.李)、s.lee(s.李)和j.lee(j.李)的“designanalysisofprecisionnavigationsystem(精确导航系统的设计分析)”中所描述的一种系统;

-驾驶员警示系统,如在2014年工程与技术进步国际会议,t.aung(t.昂)和m.h.zaw(m.h.梭)的“videobasedlanedeparturewarningsystem(基于视频的车道偏离警示系统)”中所描述的车道偏离警示(ldw)系统;

-碰撞避免(ca),其示例在2015年计算机与通信工程创新研究国际期刊,a.choudhary(a.乔杜里)、y.moon(y.莫恩)和r.nawkhare(r.那卡哈尔)的“designandimplementationofwirelesssecuritysysteminvehicle(车辆中无线安全系统的设计与实现)”中被公开;

-盲点检测(bsd),如2012年车辆技术国际期刊,b.f.wu(b.f.吴)、c.c.kao(c.c.高岛)、y.f.li(y.f.利)和m.y.tsai(m.y.蔡)的“areal-timeembeddedblindspotsafetyassistancesystem(实时嵌入式盲点安全辅助系统)”中所描述的解决方案;以及

-干预系统,如自适应巡航控制(acc),其示例在2012年第17届自动化方法和模型及机器人(mmar)国际会议,p.shakouri(p.沙库里)、j.czeczot和a.ordys的“adaptivecruisecontrolsystemusingbalance-basedadaptivecontroltechnique(利用基于均衡的自适应控制技术的自适应巡航控制系统)”中被描述。

特别地,驾驶员警示系统主动地警示处于潜在危险的驾驶员,允许驾驶员采取适当的纠正动作以便减轻或完全避免危险事件。

在这些系统中,除安全援助以外,交叉路口警报(cta)是用于减少驾驶员所感受到的压力的重要系统,即,如2010年新英格兰大学交通中心白皮书,b.reimer(b.雷蒙)、b.mehler(b.梅勒)和j.f.coughlin(科格林)的文献“anevaluationofdriverreactionstonewvehicleparkingassisttechnologiesdevelopedtoreducedriverstress(对研发用于减少驾驶员压力的新车辆泊车辅助技术的驾驶员反应进行评估)”中所公开的。

所有这些系统被设计成用于例如利用声学警示信号声音来警告驾驶员侵入车辆的存在。这种警示在不同情况中可能是有用的,如返回停车场所和/或缓慢地到达/离开交通信号灯或交叉路口。

交叉路口警报(cta)系统的物理限制在于传感器无法揭示场景中的障碍物或车辆,因此在这种情况下无法正常工作。

交叉路口警报(cta)系统需要用于实时处理所收集信息的高效算法和方法。安装在车辆上的距离传感器可以提供一种用于解决该问题的实用解决方案。

通常,出于这一目的,已经提出雷达传感器以及雷达和图像传感器,如例如在2014年us2014/0015693a1,t.komoguchi(t.川口)、t.kawasaki(t.川崎)和y.takahashi(y.高桥)的文献“rearcrosstrafficalertdevice(后部交叉路口警报设备)”中以及2011年us2011/0133917a1,s.zeng(s.曾)的“crosstrafficcollisionalertsystem(交叉路口碰撞警报系统)”中所描述的。

这些已知系统实现了良好的性能,但它们过于昂贵以至于无法进入汽车大众市场。

此外,解决该问题的有趣的方法是数据融合技术,其结合来自若干传感器的信息以便提供环境的完整视图。

另外,还提出了不同的表现良好的方法,像如例如在2014年第17届信息融合(融合)国际会议,j.thomanek(j.托马内克)和g.wanielik的文献“anewpixel-basedfusionframeworktoenhanceobjectdetectioninautomotiveapplications(用于增强汽车应用中的对象检测的新型基于像素的融合框架)”中所描述的图像红外线与可见光传感器、如在2008年us2008/0306666a1,s.zeng(s.曾)、j.a.salinger(j.a.塞林格)和p.v.v.ganesan(p.v.v.加内桑)的“methodandapparatusforrearcrosstrafficcollisionavoidance(后部交叉路口碰撞避免的方法和装置)”中所公开的对象检测传感器(雷达或相机)以及车辆内置传感器(例如,用于方向盘和速度计),等。

遗憾的是,这些成本较低的系统并非如此廉价以至于适合于潜在的汽车大众市场。

由于感到对真正低成本的系统的需要,已经将注意力仅集中到单个低成本图像相机上。

在本领域中,已经提出了基于单个低成本图像相机的不同方法:

-基于直方图反向投影的道路平面分段,基于视频的饱和度及值信道,如2014年ieee车辆电子与安全国际会议(icves),r.tan(r.谭)的“asafetyconceptforcamerabasedadasbasedonmulticoremcu(基于多核mcu的基于相机的adas的安全概念)”中所描述的;

-基于视频的车辆的大小和位置,如在2004年ieee智能车辆研讨会上e.dagan(e.达甘)、o.mano(o.马诺)、g.p.stein(g.p.斯坦)和a.shashua(a.沙苏哈)的“forwardcollisionwarningwithasinglecamera(利用单个相机的前向碰撞警示)”中所描述的;

-基于haar和adboost的车辆检测以及相机校准,如在2010年ieee智能车辆研讨会上j.cui(j.崔)、f.liu(f.刘)、z.li(z.李)和z.jia(z.贾)的“vehiclelocalisationusingasinglecamera(使用单个相机的车辆定位)”中所描述的;

-利用基于对称的方法的贝叶斯分类器和阴影检测,如在2015年ieee消费电子产品国际会议-台湾(icce-tw)上y.jheng、y.yen(y.延)和t.sun(t.孙)的“asymmetry-basedforwardvehicledetectionandcollisionwarningsystemonandroidsmartphone(安卓智能电话上基于对称的前向车辆检测和碰撞警示系统)”中所描述的;

-类haar特征和adaboost分类器以及具有方向梯度直方图(hog)特征的支持向量机(svm)分类器,如在2014年ieee机器人与仿生学(robio)国际会议上y.deng(y.邓)、h.liang(h.梁)、z.wang(z.王)和j.huang(j.黄)的“anintegratedforwardcollisionwarningsystembasedonmonocularvision(基于单目视觉的集成前向碰撞警示系统)”中所公开的;

-svm分类器,如在2013年第56届ieee电路与系统国际中西方研讨会(mwscas)上e.salari(e.萨拉里)和d.ouyang(d.欧阳)的“camera-basedforwardcollisionandlanedeparturewarningsystemsusingsvm(使用svm的基于相机的前向碰撞和车道偏离警示系统)”中所公开的,等。

在系统层级,这些方法通常是基于图像传感器与图像处理器的组合,如例如2010年us2010/0201508a1,c.a.green(c.a.格林)和u.h.balbale(u.h.巴贝拉)的“crosstrafficalertsystemforavehicle,andrelatedalertdisplaymethod(用于车辆的交叉路口警报系统以及相关的警报显示方法)”中所描述的,并且通常是基于具有多核(微控制器单元)mcu的引擎控制单元(ecu),如2012年第8届信号图像技术与基于互联网的系统(sitis)的国际会议,v.balisavira(v.巴里塞维亚)和v.k.pandey(v.k.潘迪)的“real-timeobjectdetectionbyroadplanesegmentationtechniqueforadas(通过道路平面分段用于adas的实时对象检测)”以集中加工图像数据。

所引用的现有技术的主要缺点是至少需要外部图像处理器来对图像数据进行大量计算并且需要车辆内置传感器(档位状态、车辆速度)来简化这些结果。



技术实现要素:

考虑到上述情况,本公开的各个实施例的目标是提供用于低成本交叉路口警报方法和系统的解决方案。

交叉路口警报方法被设计成用于在检测到侵入车辆的情况下警告驾驶员。

这种方法在不同情况中是有效的,如返回停车场所和/或缓慢地到达/离开交通灯或交叉路口。

许多汽车公司(如,沃尔沃(volvo)、丰田(toyota)、福特(ford)等)已经针对高端市场实现了这一方法。

本公开的目的是关注低成本交叉路口警报系统以满足汽车大众市场。

根据一个或多个实施例,通过一种具有以下权利要求书中具体阐述的特征的交叉路口警报方法来实现以上目标中的一个或多个目标。

特别地,针对该交叉路口警报方法所提出的解决方案是基于低成本相机的并且整体上基于光流(of)数据的处理。

该方法仅利用光流(of)数据达到了高性能。

权利要求书是在此提供的公开的技术教导的整体部分。

在一个或多个实施例中,该方法进一步包括以下步骤:

-根据取向对光流进行滤波,并且仅选择位于道路上的运动向量以便形成缩减集;

-将每一帧的消失点计算为由属于该缩减集的运动向量的方向生成的线之间的所有交叉点的平均位置;

-校验消失点并且估计消失点vp在当前帧中的位置;

-如果当前帧的消失点(vp)位置属于网格的中间区域,则将该网格覆盖在图像上;以及

-计算相对于随后帧的有效消失点位置之间的算术介质。

此外,在一个或多个实施例中,计算水平滤波子集包括以下步骤:

-校验bb并且将之前计算的边界框列表以内的运动向量(mv)维持在该子集中;

-执行水平校验,其中,校验之前计算的边界框列表以外的运动向量,并且滤波出水平运动向量mv,并且如果该运动向量被认为是水平的,则维持在该子集中,否则将其丢弃。

附图说明

现在将参照附图对本公开的实施例进行描述,这些实施例仅以非限制性示例的方式提供,并且其中:

-图1示出了根据本公开用于交叉路口警报的系统的实施例;

-图2示出了根据本公开的交叉路口警报方法步骤的实施例;

-图3和图4示出了图2的方法步骤的一些细节的可能的实现方式的示例;

-图5和图6示出了图4的步骤的一些细节的可能实现方式的示例;

-图7a、图7b、图8a、图8b、图9a和图9b分别是聚类步骤和cta系统的输出的示例。

具体实施方式

在以下描述中,给出了很多特定细节,以提供对实施例的全面理解。在没有一个或几个特定细节或者利用其他方法、部件、材料等的情况下,可以实践这些实施例。在另一个实例中,没有详细示出或描述众所周知的结构、材料或操作,以避免混淆这些实施例的方面。

贯穿本说明书所提到的“一个实施例”或“实施例”是指与该实施例相关联地描述的具体特征、结构或特性被包括在至少一个实施例中。因此,贯穿本说明书,短语“在一个实施例中”或“在实施例中”在各种场合中的出现并不一定都是指相同的实施例。另外,具体特征、结构或特性可以以任何合适的方式组合在一个或多个实施例中。

本文中所提供的标题仅为了方便而非解释实施例的范围或含义。

特别地,交叉路口警报(cta)系统能够检测到从左侧或从右侧移动到车辆行驶路径中的车辆。

采集周围区域图像的相机被假设为不仅静止在车辆上(例如,停置在交通灯处或在道路交叉口),而且还缓慢移动(例如,在停车场区中)。

由于越来越多的公司生产具有硬件实现光流(of)分析的图像处理器,如在2004年电路与系统国际研讨会(iscas)2004会报,a.a.stocker(a.a.施托克尔)和r.j.douglas(r.j.道格拉斯)的“analogintegrated2-dopticalflowsensorwithprogrammablepixels(具有可编程像素的模拟集成2-d光流传感器)”中所公开的,在此所描述的交叉路口警报(cta)系统可以直接在图像相机内部的图像信号处理器(isp)中工作,避免使引擎控制单元(ecu)过载并且避免传输整个图像流,而无需具有外部图像处理器。

其允许获得具有较低额外计算工作量的实时交叉路口警报(cta)系统,从而提供良好的性能。

图1示出了用于低成本交叉路口警报(cta)系统的可能的解决方案。

如之前所提到的,交叉路口警报(cta)系统可以直接在相机的图像信号处理器(isp)中工作,而无需具有外部图像处理器。

在所考虑的示例中,生成图像img的至少一个图像相机10被放置在车辆(比如,汽车、卡车或摩托车)上。图像相机10被放置在车辆上并且被配置成用于监测相对于该车辆的前方、后方和/或侧方道路情况。

图像相机10包括处理模块20(例如,用于交叉路口警报分析和警报生成的系统),该处理模块被适配成用于分析道路情况并且在某些情形下对驾驶员产生警报。

因此,典型的检测系统可以包括相机10、处理模块20以及警报设备30,比如,视觉显示器、声学元件和/或触觉致动器。

因此,给予驾驶员的警报可以是不同类型的。例如,警报设备可以包括音频元件32、显示器元件34和/或触觉致动器36。

特别地,触觉或动觉通信通过将力、震动或运动施加到用户来再创造触摸感,并且特别地是在车辆的方向盘上。

在本公开的各个实施例中,警报可以是声音、视觉和触觉警报之和或其混合。

在所考虑的实施例中,例如,交叉路口警报(cta)系统生成输出视频,该输出视频示出所检测到的车辆或移动对象被边界框包围的输入场景(参见例如图7a)。

特别地,交叉路口警报(cta)处理模块20整体上基于光流(of),例如,运动向量(mv)的集合指示当前帧中的特征与前一帧中的相同特征相比的运动。

例如通过处理模块20在相机10的图像信号处理器(isp)内部直接计算光流(of),以确保实时处理。

更确切些,交叉路口警报(cta)系统仅使用从传感器/isp可获得的光流(of)(例如,通过新的设备传感器stv0991)。

此外,传感器设备stv0991是具有用于视频分析的硬件加速器(即,光流与线路检测器)的图像信号处理器,该图像信号处理器与嵌入式视频编码器并行工作。基于500mhzarm的cpu、h264视频编码器以及较小渲染引擎使实时应用成为可能。交叉路口警报(cta)过程利用其嵌入式视频分析hw加速器在stv0991cpu上运行。特别地,仅使用该光流。

此外,如之前所提到的,交叉路口警报(cta)系统不需要图像内容,从而允许减少功耗和处理器需求,因为它可以直接在低资源系统中(即,直接在相机10的图像信号处理器(isp)中)工作。

这可以避免使引擎控制单元(ecu)过载并且避免在该系统的不同模块之间传输整个图像流。

处理模块20包括第一模块22,该第一模块被配置成用于分析由相机10提供的图像img,以便生成光流数据of。例如,在各个实施例中,光流数据of包括运动向量(mv)的集合/列表,该运动向量指示当前图像/帧中的对应特征与先前图像/帧相比的运动。在硬件中计算光流数据of,由此允许例如以30fps进行实时处理。

通常,光流数据of的计算,特别是运动向量的计算在本领域内是众所周知的,在此没必要进行更详细的描述。

在所考虑的实施例中,交叉路口警报(cta)处理模块20接收已经由模块22估计的光流数据of(例如,运动向量mv)。

在如图2中所例示的一个或多个实施例中,处理模块20执行交叉路口警报(cta)过程的以下步骤,这些步骤可以包括:

-在模块24中计算消失点vp,该消失点起始于由模块22估计的光流数据of;这一步骤在输入端中接受光流数据of,并且计算消失点vp,例如,穿过缩放向量(位于道路中的向量)的直线的所有交叉点的平均点;

-在模块26中计算水平滤波子集of’;将在模块24中计算的消失点vp与先前帧(在输入端中接收作为反馈反应)的边界框bb列表考虑在内,从总光流of滤波出水平运动向量mv,从而获得光流of的子集,称为of’子集;

-在聚类模块28中,对光流子集of’进行聚类并且生成被发送到警报生成设备30的边界框bb列表;从取自光流of的子集of’,检索场景中的移动对象,假设相机固定,并且获得bb列表作为输出。

更详细地,在以下子段落中,将详细描述前述步骤。

首先,处理模块20使用模块消失点24来计算消失点vp。

对于场景理解最有用的信息之一是消失点vp的位置。从理论点的角度来讲,场景中的消失点vp位置只有在理想情况下与该图像的中心重叠:道路完全平坦(没有坡并且没有弯曲),前置相机被放置成相对于地面是水平的(没有倾斜角度)并且相对于主汽车轴是垂直的(没有摇摄角度)。

真实情况(这是针对所提出的应用的目标场景)呈示不同于零的相机校准参数(例如,倾斜角度和摇摄角度),并且最主要地,主汽车穿过可能具有斜坡和弯曲的道路。

因此,在真实环境中,消失点vp位置不与图像的中心重合并且由于这个原因而被估计。

在一个或多个实施例中,消失点vp位置是重要的,不仅因为界定了场景的视野,而且因为它有助于在下一个水平滤波子块中选择潜在地属于十字路口车辆的运动向量mv。

在一个或多个实施例中,仅使用该of来计算消失点vp。

图3中例示了该过程的一些或全部处理步骤。这些步骤可以被综合成如下:

·在步骤240中,在缩小滤波模块240中对由模块24在输入端中接收到的光流of进行滤波;根据取向,仅选择并收集位于道路上的运动向量mv以便构成由of”表示的缩减集;

·在步骤242中,将每一帧的消失点vp计算为由属于该缩减集of”的运动向量mv的方向生成的线之间的所有交叉点的平均位置;这一步骤242的输出为消失点vp;参见例如1998年us5777690a,n.takeda(n.武田)和m.watanabe(m.渡边)的文献“deviceandmethodfordetectionofmovingobstacles(用于检测移动障碍物的设备和方法)”;

·在步骤244中,校验消失点vp;只要其通过了特定校验,则在当前帧中估计的消失点vp位置就将有助于消失点vp的瞬时位置估计;如果当前帧的消失点vp位置属于网格的中间区域,则将3×3的网格覆盖在该图像上,然后其将用于瞬时平均值,否则其将在步骤248中被丢弃;

·在步骤246中,经验证的消失点vp的位置被提交给瞬时平均值;计算相对于随后帧的有效消失点vp位置之间的算术介质;参见例如2015年de102014209137a1,m.m.siebeneicher(m.西巴尼查)、a.fietz(a.菲茨)、a.haja(a.赫迦)、d.liebehenschel和c.的文献“methodandapparatusforcalibrationofacamerasystemofamotorvehicle(用于校准机动车辆的相机系统的方法和装置)”;由于缩小集of”中存在离群值,所以随后的消失点vp位置可以稍微有所不同;瞬时方法允许将这些差异平滑化,以保证更可靠且更稳定的消失点vp点。将瞬时消失点vp位置初始化到图像平面的中心,并且在几帧(大约10帧)内到达其稳定位置。

此外,处理模块20使用水平滤波模块26以及在输入端中接收光流of和消失点vp来计算子集of’。另外,在输入端中还接收由聚类模块28生成的边界框bb列表作为反馈反应。

为了令随后的聚类步骤28正确地工作,由于其仅与稳定的相机一起工作,因此重要的是去除与车辆移动方向相同的运动向量mv,从而滤波出水平运动向量mv。

因此,处理模块20被配置成用于基于先前帧的边界框bb列表、消失点vp以及运动向量mv的取向来应用滤波。

特别地,如图4中所指示的,水平滤波模块26根据以下步骤起作用:

·bb校验步骤260:保存之前计算的边界框bb列表以内的运动向量mv,并且将其维持在子集of’中,以避免在下一个聚类步骤28中消除真正的聚类;当然,假设场景中的恒定速度,这些运动向量mv可以被运动补偿;在场景左侧向左移动的车辆(以及在场景右侧向右移动的车辆)中的运动向量mv可以轻易地与待消除运动向量mv混淆;引入bb校验步骤260,使得克服该问题,假设在场景左侧向左移动的车辆(以及在场景右侧向右移动的车辆)已经预先在场景中从场景的相反侧开始移动并且然后预先通过聚类步骤28被标识;

·水平校验步骤262:校验之前计算的边界框bb列表以外的运动向量mv,并且滤波出水平运动向量mv;

如果运动向量被认为是水平的,则维持在子集of’中,否则将其丢弃。如果两个条件都满足,则保留向量,即,被认为是水平的;

1)其取向位于水平取向(零或180度)附近,如图5中所表示的;在示例中,该角度是θ=ρ=10度;以及

2)运动向量mv的取向与在消失点vp上平移的运动向量mv的取向之间的取向差异克服了评估动态阈值th,如在图6中所表示的;这一动态阈值th可以被评估为位于所考虑的运动向量mv附近的最大取向与最小取向之间的差异的百分比;特别地,针对每个运动向量mv,所考虑的邻域在两个方向上被设置为±1。

特别地,聚类模块28接收来自水平滤波模块26的子集of’并且计算边界框bb列表。

更确切些,聚类是将信息集进行分组的任务,其方式使得相同组(称为聚类)中的信息相比其他组中的那些信息彼此更相似。

在这一应用中,重要的是标识横向接近被监测车辆的移动汽车,该被监测车辆上安装有交叉路口警报(cta)系统。

如之前所提到的,在模块28中应用的聚类步骤仅基于来自于之前的水平滤波步骤26的光流分析。例如,在一个或多个实施例中,可以实现聚类步骤28,如在2015年意大利专利局的申请号102015000082886,g.spampinato(g.斯潘皮纳托)、a.bruna(a.布鲁纳)、v.d’alto的文献“aclusteringmethodandsystem,correspondingapparatusandcomputerprogramproduct(聚类方法和系统、相应的装置以及计算机程序产品)”中所公开的。

已经利用不同的场景和不同分辨率的不同相机(都是线性的和鱼眼镜头)执行了许多测试,获得了非常好的视觉效果。

针对实时测试,申请人已经使用意法半导体设备stv0991,该设备的使用说明可以在互联网网站上找到:http://www.st.com/web/catalog/mmc/fm132/sc51/pf255756

此设备是图像处理器,该图像处理器不仅具有用于从拜耳(bayer)图像来重构图像的经典流水线,而且它嵌入光流,该光流可以直接用作交叉路口警报方法的输入。

在此图像处理器中,存在嵌入式armcortex-r4cpu@500mhz,因此该方法可以直接加载在其上,无需外部主处理器,使得芯片中具有完整的解决方案来测试交叉路口警报方法的“现场”行为。

在图7a和图7b中示出了具有鱼眼相机的后部交叉路口警报cta的示例。在后部交叉路口警报cta的情况中,相机安装在车辆的背部,并且在这种情况下车辆正在退出停车场所。

由于相机安装在移动的汽车中并且地面上的线在移动,所以图7a中所表示的仅聚类步骤28的输出示出了地面上的错误边界框bb。相反,由于它们被正确地标识并且通过水平滤波步骤26被去除,利用图7b中所表示的提出的交叉路口警报cta方法,错误的边界框bb被去除。

此外,图8a和图8b中示出了利用线性相机缓慢到达交叉路口的另一示例。

在这种情况下,该相机安装在车辆的前面,并且该车辆正在接近交叉路口。图8a中所表示的仅聚类步骤28的输出示出了地面上的、树叶上的以及道路标志中的错误边界框bb。

相反,利用图8b中所表示的提出的交叉路口警报cta方法,所有错误的边界框bb都被去除,留下两个十字路口汽车的边界框bb。

另外,图9a和图9b中示出了利用线性相机缓慢离开交叉路口的另一示例。

在这种情况下,该相机安装在车辆的前面,并且该车辆正在离开交叉路口。图9a中所表示的仅聚类步骤28的输出示出了地面上的以及树叶上的错误边界框bb。

相反,利用图9b中所表示的提出的交叉路口警报cta方法,所有错误的边界框bb都被去除,留下十字路口汽车的边界框bb。

已经在场景的代表性数据集上实验性地测试了所提出的解决方案,在准确度方面获得了有效结果。特别地,已经利用不同场景和不同相机执行了许多测试,获得了非常好的视觉效果。例如,已经测试了线性和鱼眼镜头以及不同相机和分辨率。

已经研发了具有以下特性的非常可靠且低成本的交叉路口警报cta方法:

-是非常简单的技术;

-低功耗;

-无需外部图像处理器;

-无需附加存储器;以及

-所提出的方法非常灵活,因此可以与任何算法一起用于光流of、消失点vp计算以及聚类操作。

特别地,在2.3ghz处理器(如armcortex-a15)上针对vga序列的计算时间是大约800帧/秒。

该系统是确定性的,即,相同的输入总是产生相同的输出。

所有交叉路口警报cta处理都在相机的isp内部,并且此外,解决方案可检测性可以用于:

-专门(ad-hoc)输入/输出刺激,

-具有随机的小/中度噪声的测试序列,

-具有多个十字路口对象的测试序列。

当然,在不损害本发明的原理的情况下,如所附权利要求所限定的,相对于在此描述和图解说明的内容,因此在不脱离本发明的范围的前提下,构造的细节和实施例可以是各种各样的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1