移动对象识别器的制造方法_2

文档序号:9240089阅读:来源:国知局
化对应于例如前面的车辆改变车道的情况。
[0047] 现在转向图4,其示出了对象S和利用立体相机捕获的图像之间的关系。如图所 示,通过透镜系统IaUb将对象S的成像点0成像在CMOS2a、化的成像平面上。
[004引通过A=A1+A2来获取A,其中A1、A2是从成像中屯、的偏移量。在图4中,f是透镜系统IaUb的焦距,D是透镜系统IaUb的光轴之间的距离或基线长,Z是从立体 相机到移动对象S的距离。通过成像点0的成像位置来确定偏移量A1、A2。该里,符号 A还指代差异值和平均差异值。
[0049] 可W通过公式Z=D*(f/A)来获取到移动对象S的距离Z。差异图像生成器22 通过A=A1+A2来计算每一个像素的差异A,而距离计算器25a通过公式Z=D* (f/A) 来计算到对象S的成像点的距离Z。
[0050] 在图4中,在CMOS2a、化上形成对象S的图像S'。假定透镜系统la、化的光轴与 水平或横向方向平行,并且左右图像的像素线并不相对于水平光轴在纵向上偏移。或者,透 镜系统IaUb的光轴能够与纵向平行。
[0051] 图5A、5B分别示出了在CMOS2a、化上形成的对象S的立体图像的左侧图像Gl和 右侧图像G2,而图5C示出了从立体图像获取的差异图像。由于存在差异,在CMOS2a、化上 的不同位置处形成图像Gl和G2,并且所述图像Gl和G3被临时存储在例如RAM12的存储 区域中。
[0052] 从同时捕获的图像G1、G2、亮度图像和差异图像(即连续图像帖)生成亮度图像 帖和差异图像帖,并生成与差异图像帖同步的亮度图像帖。亮度图像帖中的图像上的坐标 一对一地对应于差异图像帖中的图像上的坐标。
[0053] 例如WW下方式来获取差异图像。
[0054] 首先描述图5A中的当高度为yl、y2的横向线跨域对象S'(Sr)和 道路区域RO时的差异。例如,高度为yl的横向线上的像素的差异值被设置为 "…,5, 4,…,12,…,4,…,1,1,…"。差异值"12, 12,…,"表示对象S'(Sr),而差异值 "1,1,…"表示道路区域R0。
[00巧]具体而言,yl处的横向线上的像素处的差异值12表示作为图1中的车辆1的前 面大约10米的对象S的车辆,而差异值1表示比前面的车辆离车辆1更远的道路区域。
[0056] 此夕b例如高度为y2的横向线上的像素的差异值被设置为 "…,25, 25,…,24,…,24, 25…,"。该表示道路区域RO比前面的车辆更接近于车辆1。为 了创建差异图像,两个图像G1、G2均被划分为框Ir,如图5A、5B中所示。当它们之间的差 异最小时,它们相应的框Ir被假定为彼此匹配,来找到差异值。通过实验找到框Ir的尺寸 的最优值并且在设置之前将其调整为最优值。
[0057] 例如,具有1280X960像素的图像G1、G2被划分为5X5的框Ir,并且对左侧图像 Gl和右侧图像G2的框Ir进行框匹配。yl线上的左侧图像Gl的框Ir处于相对于原始坐标 (〇,〇)的坐标(xi,yi)处,也就是说,处于对象S的图像sr的左侧和左侧白部分上的前向 景象的边缘处。例如该框Ir的亮度值的总和被设置为Ir(XLyl)。同时,从位置(0,yl)向 位置(xl+A,yl)移动右侧图像G2的框Ir。在(0,yl)处的框Ir的亮度值的总和是lr(0, yl),而在(xl+A,yl)处的其亮度值的总和为Ir(xl+A,yl)。左侧图像Gl的框Ir位于对 象图像Sr的边缘处,其左半部分为暗,并且其右半部分为亮。同时,右侧图像G2的框Ir位于(0,yl)处,并且整体为暗。因此,图像G1、G2的框Ir的总和Ir(xl,yl)和lr(0,yl) 上的差较大,从而并不确定该两个框彼此匹配。
[005引在图像G2的框Ir从(0,yl)移动到(Xl+A,yl)的同时,按顺序计算框Ir的总 和Ir(xl,yl)和lr(0,yl)上的差。从而,当图像G2的框Ir位于位置(xl+A,yl)处时, 差变为最小,并且框Ir被确定为匹配。随后从框找到差异A。例如由于框Ir处于对象图 像sr的边缘处,因此差异A为12。
[0059] 随后,框Ir被从yl横向线向y2横向线移动,并且被在X方向上在两个横向线上 移动W进行框匹配。在对象图像sr的边缘处顺序地获得差异A。此外,当框Ir位于左 侧图像Gl上的白线标记的边缘处时,在y2横向线上从(0,y2)向((Xl+A,y2)移动右侧 图像G2的框Ir。在(0,y。处的框Ir的亮度值的总和是Ir(0,y2),而在(xl+A,y。处 其亮度值的总和为Ir(Xl+A,y2)。左侧图像Gl的框Ir位于白线标记的边缘处,其左半部 分为暗,并且其右半部分为亮。同时,右侧图像G2的框Ir位于(0,y2)处,并且整体为暗。 因此,图像Gl、G2的框Ir的总和Ir(xl,yl)和Ir(0,y2)上的差较大,从而并不确定该两 个框彼此匹配。
[0060] 在图像G2的框Ir从(0,y2)移动到(xl+A,y2)的同时,计算框Ir的总和Ir(xl, y2)和Ir(0,y2)上的差。当图像G2的框Ir位于位置(xl+A,y2)处时,差变为最小,并且 两个框Ir被确定为匹配。随后从框找到差异A。例如当框Ir处于白线标记的边缘处时, 差异A为24或25。框Ir可W在与白线标记不同的y2横向线上的位置处匹配。从而获 得如图5C中所示的差异图像。在差异图像中,利用大的亮度值来表示具有大的差异值的部 分,而利用小的亮度值来表示具有小的差异值的部分。在框Ir匹配处的具有高对比度的图 像部分中,存在大量的点,从而在边缘处亮点的数量较大。
[0061] 候选区域识别器23a从差异图像帖中识别移动对象S'的候选区域。在道路上呈 现车辆或人作为移动对象,从而可W通过在图像上识别道路区域RO来识别其候选区域。
[0062] 因此,候选区域识别器23a根据由差异图像生成器22获取的差异图像来创建水平 差异直方图,如图6中所示。图6示出了具有差异值A的像素的数量的频率的分布。横轴 示出了差异A的幅度,并且纵轴示出了差异图像的高度y。在图中,像素的数量对应于高度 为y的差异图像的单个线(例如y2横向线)的差异值的直方图值H(A,y)。在图6中的 垂直方向上绘制直方图值H(A,y),并且直方图值H(A,y)表示像素的数量。
[0063]由于线上的像素具有相同的差异值Ay,因此在道路区域RO中高度为y的一个横 向线的差异直方图在差异值Ay处具有峰值。换言之,在道路区域RO中,高度为y的横向 线的差异值Ay为恒定,并且此线上的像素的数量最大。
[0064] 当与车辆1的距离小时道路区域RO的差异值Ay大,当距离大时道路区域RO的 差异值Ay小。差异值Ay从道路区域RO中的y2横向线向yl横向线逐渐减小。因此,连 接多个像素的峰值在与道路区域RO对应的图6的水平差异直方图的部分中总体上形成了 直线St。因此能够通过检测直线St来指明道路区域R0。此外,随着差异值Ay的减小,与 道路区域RO不同的区域中的像素的数量减小。因此,在图6中还绘制了其他区域的直方图 值H(A,y)。例如,图5A、5B中的道路区域RO的yl线的差异值Ayl为1。其像素的数量 小于与道路区域RO不同的背景区域的像素的数量。因此,绘制了与道路区域RO无关的直 方图值H(A,y)。
[0065] 通过已知的霍夫变换化OU曲Transformation)来找到直线St。直线St上的像素 被在水平差异直方图上检测到,并且被映射在差异图像帖中。也就是说,图6中的直线St 上的像素相关于差异图像帖中的道路区域中的那些像素。
[0066] 能够通过找到与道路区域RO相对应的像素并且在像素之间插入每个点来创建道 路区域R0。图7示出了图像中的道路区域R0。能够通过识别路肩或白线标记来从亮度图 像帖而不是差异图像帖识别出道路区域.。
[0067] 道路区域RO用于找到对象的候选区域。作为车辆或人的要被追踪的对象S与道 路区域RO重叠。在图7中,作为对象S(sr,S2',S3')的车辆与道路区域RO重叠。对象 S(SS,SS',SS")并不与道路区域RO重叠,从而它们被确定作为非目标对象S。
[0068] 对象确定器23b基于由亮度图像生成器21生成的亮度图像帖来确定要被跟踪的 对象S。通过机器学习,事先从目标对象S上的学习数据来创建对象识别词典。根据目标对 象S的类型,需要创建不同的目标识别词典。
[0069] 为了识别车辆,例如,需要创建用于识别作为目标的车辆的词典,同时为了识别行 人,需要创建用于识别作为目标的行人的词典。因此,创建了针对每个目标对象的词典。
[0070] 为了识别目标对象S,在亮度图像G(G1或G2)中设置矩形框BR1,如图8中所示。 通过亮度图像G中的框BRl的大小和位置来确定框BRl的左上角和右下角的坐标狂S,Ys)、 狂e,化)。从大到小按顺序地选择块BRl的大小。
[0071] 根据本实施例,矩形框BRl被标准化,从而用于生成大尺寸框BRl到小尺寸框BR2 的处理时间并不改变。可能的是,紧邻在车辆1前面出现的移动对象较少,因此需要大尺寸 框BRl的候选的数量较少,而需要小尺寸框BRl的候选的数量较大。需要注意的是,在图 5A、5B中,矩形框BR2对应于对象S1'。
[0072] 在亮度图像中,大尺寸框BRl的数量较小。因此,可W通过按照从大尺寸框BRl到 小尺寸框BR2的顺序捜索目标对象,来在更短的时间内检测目标对象。此外,当输出检测到 的较大的对象S时,可感测到的速度增加。
[007引例如,在亮度图像G
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1