车辆行驶辅助系统及其方法_2

文档序号:9558126阅读:来源:国知局
10根据生成的Ξ维地图控制行驶部180W使车辆行驶。控制部110通过 通信部190将生成的数据发送给服务器2并从服务器2接收关于位置信息或Ξ维地图的数 据,向行驶部180输入控制命令使得车辆行驶。
[0047] W下参照附图详细说明Ξ维地图的生成。
[0048] 图2为本发明的车辆行驶辅助系统的宽带摄像头的构成的示意图。
[0049] 如图2所示,车辆上的宽带摄像头120包括图像传感器间largedCoupling Device;CCD) 124及影像处理部125。图像传感器124由多个像素121构成。像素数决定图 像传感器的像素。
[0050] 如图2中(A)所示,预定频率W上的光入射像素m时发生放出像素的导体内部 的光电子的光电效应。
[0051] 如图2中做所示,在各像素121发生的光电子通过图像传感器内部的转换部123 转换成具有预定大小的电压的信号。
[0052] 在此,图像传感器124利用透过频带的滤波器确定颜色。图像传感器124不采用现 有尺68过滤方式,而是根据绿色佑的日]1)、800皿频带的近红外线(化日1'1]1化日的(11;化1?1)、 900nm频带的近红外线(NearInfrared;NIR2) 2、远红外线(FarInfrared;FIR)四个信道 信息,WGN1N2F的信号处理方式确定颜色。
[0053] 图像传感器124的颜色信息及各像素的电压信号输入到影像处理部125。
[0054] 影像处理部125如图2中C所示,通过处理各像素的信号构成各时间的影像帖,并 输出由多个影像帖构成的影像I。在此,影像I是除可视光之外还收录有非可视光数据的宽 带影像。输出的影像I的频带为300至1100皿。 阳化5] 如上,宽带摄像头120能够获取超过人类视觉上限的宽带分光影像,因此作为车 辆行驶用摄像头使用时能够利用宽带的影像I提高道路识别性能、障碍物识别性能及前方 车辆识别性能。
[0056] 图3为W概念方式显示图2所示宽带摄像头的受光元件的结构的示意图。如图3 所示,图像传感器124适用受光滤波器122。
[0057] 受光滤波器122过滤入射光W选择性地透过光,透过的光除可视光之外还包括非 可视光。目P,受光滤波器122使宽带的光透过。
[0058] 如W上所述,通过受光滤波器122确定颜色,W获取四个信道的颜色信息。
[0059] 运种受光滤波器122是多个簇C重复配置而成的形态。一个簇C包括可调式光分 路滤波器(Gfilter)G、近红外线1滤波器NIR1、近红外线2滤波器NIR2及远红外线滤波 器FIR。
[0060] G滤波器是使可视光中的绿色(Green)光透过的滤波器,NIR1滤波器NIR1是使 800皿频带的近红外线(NearIn化ared-1 ;NIR1)透过的滤波器,NIR2滤波器是使900频 带的近红外线(NearIn化aRed-2 ;NIR2)光透过的滤波器,FIR滤波器是使红外线(远红外 线,FarInfrared;FIR)透过的滤波器。
[0061] 其中,绿色(Green)光是可视光,NIRUNIR2光及FIR光是非可视光。使可视光中 的绿色(Green)光透过的原因在于绿色(Green)光是人的视觉最为敏感的光。
[0062] 在此,可采用使绿色(Green)光之外的其他波长的可视光透过的滤波器。并 且,可W去除一个近红外线滤波器并包括紫外线0JV)滤波器。UV滤波器是使紫外线 扣ItraViolet;UV)光透过的滤波器。
[0063] 如上所述,适用图3所示受光滤波器122的图像传感器124不仅可W感测绿色 (Green)光,还能够感测近红外线NIRUNIR2及红外线(远红外线)FIR等非可视光。
[0064] 上述说明的簇C的排列及结构可W采用当前已商业化的受光滤波器的排列及结 构,只需变更滤波器种类即可,因此能够最小化变更所需费用。 阳0化]图4至图6C为说明利用图2所示摄像头识别道路的识别方法的示意图。
[0066] 例如,图4中(A)所示的新建道路与图4中做所示的老旧道路相比,渐青与混凝 上具有不同的反射率。如果是老旧道路,那么渐青与混凝上的反射率相近,因此可能无法通 过可视光区分。因此,无法利用现有一般摄像头区分老旧道路的渐青R3、路缘石R1及侧沟 R2〇
[0067] 其原因如图5所示,在可视光频带下渐青的特性曲线R12与混凝±的特性曲线R11 相近。
[0068] 但如图6A至图6C所示,在近红外线(NIR)频带下渐青与混凝±的频带特性曲线 图的斜率不同,因此在利用宽带摄像头120获取道路的影像数据时还能够区分老化道路的 渐青R3、路缘石R1及侧沟R2等。因此能够提高车辆驻车及自适应巡航精确度。
[0069] 上述实施例说明的是受光滤波器122使可视光与非可视光均透过的情况,但也可 W仅透过可视光之外的非可视光。并且说明了红外线(IR)透过及受光,但也可W选择性 地使紫外线0JV)透过、受光。并且,上述实施例说明了区分为近红外线(NIR)与远红外线 (FIR)透过、受光,但也可W不加W区分,而是与红外线(IR) -起透过、受光,也可W透过、 受光两个W上的可视光频带(波长)。在此,若可视光数量增加,那么非可视光数量减少。
[0070]另外,设置两个宽带摄像头120构成立体视觉的情况下,能够感测八个频带(波 长)的可视光/非可视光。
[0071]图7为本发明的车辆行驶辅助系统处理影像时提取宽带图像数据的数据流的示 意图。
[0072] 如图7所示,利用图像传感器124输入的影像11通过适用于图像传感器124的受 光滤波器122包括光波长的频率各异的绿色(Green) 21、NIR1即22、NIR2即23及FIR即 24运四个信道的颜色信息。目P,通过宽带摄像头120获取的影像数据包括四个信道的颜色 ?目息。
[0073] 如上区分的颜色信息分别用于生成深度地图值巧thMap) 31与GNF图像32。
[0074] 在此,地图生成部130利用影像数据中的800nm频带的NIR1即22信道判断空间 信息。并且,地图生成部130根据影像数据的颜色信息区分物体。尤其,地图生成部130利 用绿色21、NIR2即23及FIR即24的颜色信息从影像中区分物体。例如,可W利用各信道 的颜色信息区分渐青与路缘石。并且,使用绿色21、NIR2即23及FIR即24信道的情况下 雾及光反射影响较小,因此容易区分区域。 阳075] 宽带图像生成部150根据深度地图值巧thMap) 31与GNF图像32生成宽带图像数 据41。对此,可W结合宽带图像数据与车辆位置信息输出Ξ维的全域地图(globalmap)。[0076]图8为说明图7中宽带图像数据的提取方法的示意图。 阳077] 如图8中(A)所示,地图生成部130在生成深度地图值巧thMap) 31时利用影像 数据中的800皿频带的NIR1即22、NIR投影仪判断空间信息。
[0078]在步骤S1中,NIR投影仪W像素为单位发射800nm频带的红外线光。此时,步骤S2中,宽带摄像头120在被物体反射的红外线光入射时从NIR1即22信道接收红外线光。 在步骤S3中,地图生成部130分析通过NIR1信道接收的红外线光的图案并构成深度地图 值巧thMap)。 阳0巧]如图8中度)所示,地图生成部130事先从参照区域(referencescene)提取投 影的红外线图案,控制部110将提取的红外线图案存储到数据部195。
[0080] 地图生成部130根据存储的红外线图案,通过被对象区域的bjectPlane)反射的 红外线图案与视差变化计算深度信息。深度信息通过Ξ角函数进行计算,通过如下数学式 算出。
[00川【数学式1】
[0082]
阳〇8:3]【数学式2】
[0084]
[00财其中,Zk是点k与宽带摄像头120之间的距离,Z。是参照区域的深度值,b是NIR投影仪L与宽带摄像头120之间的距离,d是图像平面(Imageplane)记录的视差,D是对 象区域的bjectPlane)的点k的移动视差。将数学式2中的D值代入数学式1时,距离值 Zk表示为如W下数学式3,其作为深度信息输出。
[0086] 【数学式3】
[0087]
[0088] 在此,生成深度地图值epthMap)时利用上述说明的多个信道的颜色信息,因此 深度地图值巧thMap)与影像的图像一致,Ξ维图像生成于相同的光学轴(化ticalaxis) 上。因此地图生成部130在考虑宽带摄像头120的移动的同时根据算出的深度信息生成深 度地图值巧thMap)。
[0089] 使用现有RGB滤波器的情况下深度地图值epthMap)与RGB滤波器的信息之间不 一致,因此需要适用复杂的算法生成Ξ维图像,计算量非常大,故发
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1