距离提示对象分割系统和方法_2

文档序号:8227595阅读:来源:国知局
通过用可听或 视觉报警信号警告VRU 14-例如,通过使交通工具卿趴30. 1响或者使前灯30. 2闪光一使 得VRU 14可W停止或采取躲避动作;3)通过生成信号26. 1到制动控制系统34, W便提供 用于如果与VRU 14的碰撞变得可能,则使交通工具12自动刹车,或者4)如果碰撞变为不 可避免的,则通过在碰撞之前部署一个或多个VRU保护设备32-例如,外部气囊32. 1或罩 启动器32. 2。例如,在一个实施例中,罩启动器32. 2-例如,烟火、水力或电动启动器一与 相对柔性罩36协作,W便提供用于来自撞击VRU 14的能量可W由罩36吸收的间距。
[0069] 还参考图4a,在一个实施例中,立体视觉系统16合并提供用于获取第一 40. 1和 第二40. 2立体图像成分的至少一个立体视觉照相机38,其每个都与另一个分离关联第一 42. 1和第二42. 2视点的基线b间距。例如,如图2、图3c、图4a和图5中所示,第一 38. 1 和第二38. 2立体视觉照相机具有相互分离的关联第一 44. 1和第二44. 2透镜,每个透镜都 具有焦距f,使得第一 44. 1和第二44. 2透镜的光轴分离了基线b。每个立体视觉照相机38 都可W被建模为针孔照相机46,并且第一 40. 1和第二40. 2立体图像成分被电子记录在第 一 44. 1和第二44. 2透镜的对应共面焦平面48. 1、48. 2处。例如,第一 38. 1和第二38. 2 立体视觉照相机可W包括宽动态距离电子照相机,其合并焦平面CCD(电荷禪合器件)或 CMOS (互补金属氧化物半导体)阵列和关联电子存储器和信号处理电路。对于位于离第一 44. 1和第二44. 2透镜距离r间距定位的给定对象50,从关联不同第一 42. 1和第二42. 2 视点获取关联第一 40. 1和第二40. 2立体图像成分。对于对象50上的给定点P,该点P的 第一 52. 1和第二52. 2图像从关联第一 40. 1和第二40. 2立体图像成分的第一 54. 1和第 二54. 2图像中也线偏离用于第一立体图像成分40. 1 (例如,左图像)的第一偏移量dl和 用于第二立体图像成分40. 2 (例如,右图像)的第二偏移量化,其中,第一 dl和第二化偏 移量在包含基线b和点P的平面中,并且在相对于第一 54. 1和第二54. 2图像中也线的相 反方向上。第一 dl和第二化偏移量之间的差被称为视差d,并且直接涉及根据W下等式的 对象50的距离r :
[0070] r = b ? f/d,其中,d = (H-dr (1)
[0071] 参考图4b,可W基于针孔照相机46和关联图像形成几何结构的假设,从对象图像 56的高度H获得对象50的高度H。
[0072] 参考图2和图5,在一个实施例中,第一 38. 1和第二38. 2立体视觉照相机沿着交 通工具12的乘客室58内的基本水平基线b定位,例如,在后视镜60前面,W便通过交通工 具12的挡风玻璃66观看视觉场景24。在另一个实施例中,第一 38. r和第二38. 2'立体 视觉照相机位于例如分别在左64. 1和右64. 2前灯透镜内或接近其的沿着基本水平基线b 的交通工具12的正面62处。
[0073] 参考图6,在还有的另一个实施例中,立体视觉系统16'合并与适于提供用于相 互垂直分裂的第一 72. 1和第二72. 2视点的例如第一表面镜面的多个平面镜70. 1、70. 2、 70. 3、70. 4协作的单个照相机68,其中,单个照相机68的视场的关联上面部分从第一立体 光圈74. 1向外,并且单个照相机68的视场的关联下部从第二立体光圈74. 2向外,其中,第 一 74. 1和第二74. 2立体光圈分离了基线b间距。如果单个照相机68的检测器76是正方 形,则每个对应视场具有约2比1的水平-垂直纵横比,W便提供用于在水平方向上比在垂 直方向上大很多的视场。在图6中所示的实施例中,单个照相机68的视场分别由基本相互 垂直并且与基线b成45度角的第一镜面70. 1和第H镜面70. 3被分为上和下视场。第一镜 面70. 1位于第H镜面70. 3之上,并且与相对较大最左第二镜面70. 2协作,使得单个照相 机68的上视场从第一视点72. 1 (即,左视点)提供第一立体图像成分40. 1。第H镜面70. 3 与相对较大最右第四镜面70. 4协作,使得单个照相机68的下视场从第二视点72. 2 (即,右 视点)提供第二立体图像成分40. 2。
[0074] 参考图7,立体视觉处理器78提供用于从来自用于第一 42. 1和第二42. 2视点中 的每个的立体视觉照相机38、38. 1、38. 2的单独灰度级图像生成视觉场景24的距离地图图 像80 (还被已知为距离图像或视差图像)。距离地图图像80提供用于每个距离像素81,距 离r从立体视觉系统16到对象。可替换地或另外地,距离地图图像80可W提供关联成分 的矢量,例如,对象相对于被固定至交通工具12的关联参考坐标系统的下距离狂)、横向距 离狂)、W及高度(Y)。在另一个实施例中,除了从立体视觉系统16到对象的距离r之外, 立体视觉处理器78还适于提供对象相对于立体视觉系统16的方位角和仰角。例如,立体 视觉处理器78可W根据在美国专利No. 6, 456, 737中公开的系统和方法操作,其在此通过 引用的方式被合并。立体成像通过经由左和右图像对(即,第一 40. 1和第二40. 2立体图 像成分)之间的视差d和相对简单H角计算恢复对象的真实世界位置,克服了与单眼视觉 系统相关联的很多限制。
[00巧]立体视觉处理器78的关联区域相关性算法提供用于使第一 40. 1和第二40. 2立 体图像成分的对应区域匹配,W便提供用于确定它们之间的视差d及其对应距离r。用于匹 配区域的关联搜索的范围可W通过修正输入图像(I)被减小,使得关联核线沿着关联第一 38. 1和第二38. 2立体视觉照相机的关联扫描线。该可W通过校准第一 38. 1和第二38. 2 立体视觉照相机并且使关联输入图像(I)扭曲W去除第一 38. 1和第二38. 2立体视觉照相 机之间的透镜崎变和对准偏移作出。给出修改后的图像(C),对于匹配的搜索可W限于沿着 基线方向的特定最大数目偏移量值),其中,最大数目由最小和最大感兴趣距离r给出。为 了通过多个处理器或分布式计算实现,可流水线方式执行算法操作,W增加吞吐量。最 大计算成本在相关性和最小值寻找操作中,其与像素时间的数目和视差的数目成比例。算 法可W使用滑动和方法,W利用计算区域和的兀余,使得用于区域相关性的窗口尺寸基本 不影响关联计算成本。通过使用道路表面滤波器(巧去除诸如道路表面回转的无关对象, 可W进一步降低所得到的视差地图(M)的复杂性。
[0076] 关联距离分辨率(A r)是根据W下等式的距离r的函数:
[0077] Ar=---Aijf 覆./ (2)
[0078] 距离分辨率(A r)是与视差的改变Ad(即,视差分辨率Ad)相对应的给定立体 几何结构可辨别的距离r的最小改变。距离分辨率(A r)随着距离r的平方增加,并且与基 线b和焦距f逆相关,使得通过增加基线b和焦距f间距并且通过减小提供用于改进(减 小的)视差分辨率的像素尺寸,改进(减小)距离分辨率(A r)。
[0079] 可替换地,CENSUS算法可W被用于例如通过比较用于分离了给定视差d的对应像 素的秩排序差值矩阵,从关联第一40. 1和第二40. 2立体图像成分确定距离地图图像80,其 中,每个差值矩阵都被计算用于第一 40. 1和第二40. 2立体图像成分中的每个的每个给定 像素,并且每个差值矩阵的每个元素都响应于给定像素的值和对应周围像素的对应值之间 的差值。
[0080] 参考图3a,对象50的立体成像一即,从对应关联第一 40. 1和第二40. 2立体图像 成分生成距离地图图像80-理论上可用于位于分别与关联立体视觉系统16、16'的第一 42. 172. 1和第二42. 272. 2视点相关联的各自第一 84. 1和第二84. 2视场的重叠区域82内 的那些对象50。通常,当到对象50的距离r减小时,所得到的关联视差d增加,由此增加 分辨到该对象50的距离r的困难。如果对象50上的特定点P不能被分辨,则关联距离地 图图像80的对应距离像素81将是空白或者0。目标距离内填充俯i-target range fill, OTR巧是非空白距离像素81的数目与由关联对象50限定的距离像素81的总数的比率,其 中,距离像素81的总数提供对象50的投影表面区域的测量。从而,对于给定目标50,关联 目标距离内填充(0TR巧通常通过减小距离r减小。
[0081] 从而,如果场景照明不是最佳的并且当对象50缺乏唯一结构或纹理时,仅基于来 自立体视觉处理器78的距离地图图像80的近距离检测和跟踪性能可能受损害,该是因为 关联立体匹配距离填充和分布低于可接受极限,W确保相对准确对象边界检测。例如,如果 目标距离内填充(0TR巧大于约50%,则距离地图图像80通常被单独用于检测和跟踪操作。 [008引已经观察到,在一些情况下,利用相对良好场景照明和适当相对好对象纹理,目标 距离内填充(0TR巧可W下降到低于50%。例如,参考图8,示出在从35米到4米的对应多 个不同距离r处一从图8的顶部到底部一的距离内行人的多个距离地图图像80的多个部 分,其中,在35米(顶部轮廓)处,目标距离内填充(0TR巧是96% ;在16米(中间轮廓) 处,目标距离内填充(0TR巧是83%;在15米处,目标距离内填充(0TR巧下降到50% W下; W及当行人继续接近立体视觉系统16时,继续逐渐降低,直到在4米处,目标距离内填充 (0TR巧仅是11%。
[0083] 参考图9,示出分别在离距离提示对象检测系统10的立体视觉系统16的11米、 12米和22米的距离处的H个相对近距离交通工具对象50. r、50. 2'、50. 3',其中,第一近 距离交通工具对象50. 1'倾斜面向立体视觉系统16,第二近距离交通工具对象50. 2'背向 立体视觉系统16, W及第H近距离交通工具对象50. 3'相对于立体视觉系统16面向横向 方向。参考图10,第一 50. 1'、第二50. 2'和第H 50. 3'近距离交通工具对象的对应目标距 离内填充(0TRF) -来自由关联立体视觉处理器78生成的关联距离地图图像80-分别是 12%、8%和37%,其通常不足够用于仅从距离地图图像80中的信息的健壮对象检测和辨 另IJ。通常,已经观察到,在小于约25米的距离处的近距离交通工具对象50'可能难W仅根 据距离地图图像80中的信息检测和跟踪。
[0084] 参考图11,距离提示对象检测
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1