车外环境识别装置的制作方法

本发明涉及对存在于本车辆的行进方向上的立体物体进行确定的车外环境识别装置。

背景技术：

以往，已知如下技术：对位于本车辆前方的车辆等立体物体进行检测并控制车辆，以便避免与前方车辆碰撞(避免碰撞控制)或者将与前方车辆之间的车距保持为安全的距离(巡航控制)(例如，专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利第3349060号公报

技术实现要素：

技术问题

为了实现上述那样的避免碰撞控制和/或巡航控制，必须通过调整曝光来适当地获取车辆前方的车外环境，并确定存在于本车辆的行进方向上的立体物体是否是前方车辆等特定物体。但是，无论怎样调整曝光，在用拍摄装置获取到的图像中，都发生向阳处过度曝光或在背阴处曝光不足等，从而导致存在一部分的图像无法被适当地确定的情况。

为了有效地获取这样的亮的图像和暗的图像中任意一方的灰度，能够采用能表现更广的动态范围的hdr(highdynamicrange：高动态范围)合成。但是，在拍摄装置是一个(单眼)的情况下，hdr合成有效地发挥功能，但在需要多个拍摄装置(复眼)的立体匹配中，如果多个拍摄装置分别独立地执行hdr合成，则存在失配率反而变高的情况。

例如，在将动态范围暂时扩大(例如256→1024)后压缩(例如1024→256)时，如果基于噪声特性而在各个图像中分别地调整灰度，则左右的图像无法同步，同一立体物体的部位彼此不匹配。

本发明鉴于这样的问题，其目的在于提供一种在进行立体匹配的情况下也能够以广的动态范围确定立体物体的车外环境识别装置。

技术方案

为了解决上述问题，本发明的车外环境识别装置的计算机作为第一亮度图像获取部、第二亮度图像获取部、第一距离图像生成部、第二距离图像生成部和合成图像生成部发挥功能，所述第一亮度图像获取部获取在位置不同的多个拍摄装置中以预定的第一曝光时间拍摄到的多个第一亮度图像，所述第二亮度图像获取部获取在多个拍摄装置中以比第一曝光时间短的第二曝光时间拍摄到的多个第二亮度图像，所述第一距离图像生成部对多个第一亮度图像进行图案匹配，并生成第一距离图像，所述第二距离图像生成部对多个第二亮度图像进行图案匹配，并生成第二距离图像，所述合成图像生成部从第一距离图像的任意的区块和与任意的区块对应的第二距离图像的区块中提取距离的可靠度高的区块，并生成合成图像。

也可以构成为，在区块有视差的情况下，与区块无视差的情况相比，距离的可靠度高。

也可以构成为，在与区块的距离为距离阈值以下的块数是预定数量以上的情况下，和与区块的距离为距离阈值以下的块数小于预定数量的情况相比，距离的可靠度高。

也可以构成为，在区块的亮度差累积是预定值以上的情况下，与区块的亮度差累积小于预定值的情况相比，距离的可靠度高。

也可以构成为，区块的亮度差累积高的一方的距离的可靠度高。

也可以构成为，在区块的亮度差累积是相同的值的情况下，合成图像生成部提取第二距离图像的区块。

发明效果

根据本发明，在进行立体匹配的情况下也能以广的动态范围确定立体物体。

附图说明

图1是表示车外环境识别系统的连接关系的框图。

图2是表示曝光时间与图像的关系的说明图。

图3是表示车外环境识别装置的概略的功能的功能框图。

图4是表示车外环境识别处理的流程的流程图。

图5是表示第一亮度图像的说明图。

图6是表示第二亮度图像的说明图。

图7是表示第一距离图像的生成形态的说明图。

图8是表示第二距离图像的生成形态的说明图。

图9是表示合成图像的生成形态的说明图。

图10是表示有无距离判定处理的流程的流程图。

图11是表示提取可靠度高的区块的条件的说明图。

图12是表示亮度差累积判定处理的流程的流程图。

符号说明

1：本车辆110：拍摄装置120：车外环境识别装置160：第一亮度图像获取部162：第二亮度图像获取部164：第一距离图像生成部166：第二距离图像生成部168：合成图像生成部170：立体物体确定部214：第一距离图像224：第二距离图像234：合成图像

具体实施方式

以下，参照附图来详细地说明本发明的优选实施方式。该实施方式所示的尺寸、材料及其他具体的数值等只是为了使发明容易理解的例示而已，除了特别说明的情况之外，并不限定本发明。应予说明，在本说明书和附图中，对于在实质上具有相同的功能、结构的要素，通过标记相同的符号来省略重复说明，另外，对于与本发明没有直接关系的要素，省略其图示。

(车外环境识别系统100)

图1是表示车外环境识别系统100的连接关系的框图。车外环境识别系统100构成为包含拍摄装置110、车外环境识别装置120和车辆控制装置(ecu：enginecontrolunit：发动机控制单元)130。

拍摄装置110构成为包含ccd(charge-coupleddevice：电荷耦合装置)和/或cmos(complementarymetal-oxidesemiconductor：互补金属氧化物半导体)等拍摄元件，并能够拍摄本车辆1的前方的车外环境，生成至少包含亮度信息的亮度图像(彩色图像或单色图像)。另外，拍摄装置110在本车辆1的行进方向侧以两个拍摄装置110各自的光轴大致平行的方式在大致水平方向上间隔地配置。拍摄装置110将拍摄存在于本车辆1的前方的检测区域的立体物体而得到的亮度图像以例如每帧1/60秒(60fps)连续地生成。这里，被拍摄装置110识别的立体物体不仅是自行车、行人、车辆、信号灯、道路标识、护栏、建筑物等独立存在的物体，也包含自行车的车轮等能够被确定为其一部分的物体。

另外，车外环境识别装置120分别从两个拍摄装置110获取亮度图像，使用所谓的图案匹配，生成具有视差信息的距离图像，所述视差信息包含视差、以及表示任意的区块在图像内的位置的图像位置。关于这样的图案匹配和距离图像在后面详细说明。

另外，车外环境识别装置120使用基于亮度图像的亮度值(颜色值)、以及基于距离图像而计算出的包含与本车辆1的相对距离的实际空间中的三维空间的位置信息，首先对路面进行确定，将位于经确定的路面上、颜色值相等且三维的位置信息相近的区块彼此作为立体物体而分组化，从而确定本车辆1的前方的检测区域中的立体物体对应于哪个特定物体(例如，前方车辆或自行车)。

另外，车外环境识别装置120如此对特定物体进行确定后，对本车辆1进行控制(巡航控制)，以避免与特定物体碰撞(避免碰撞控制)或者为了将与前方车辆的车距存储为安全的距离。应予说明，上述相对距离是通过使用所谓的立体法将距离图像中的每个区块的视差信息转换为三维的位置信息而求得的。这里，立体法是通过使用三角测量法，根据立体物体的视差导出该立体物体相对于拍摄装置110的相对距离的方法。像这样根据二维的视差信息来得到三维的位置信息的方法也称为立体匹配。

车辆控制装置130通过方向盘132、加速踏板134、制动踏板136来接收驾驶员的操作输入并将其传递给转向机构142、驱动机构144、制动机构146，从而控制本车辆1。另外，车辆控制装置130按照车外环境识别装置120的指示来控制转向机构142、驱动机构144、制动机构146。

如上所述，在车外环境识别系统100中，通过从两个拍摄装置110分别基于亮度图像进行立体匹配，从而确定前方车辆等立体物体的三维位置。但是，根据拍摄装置110所拍摄到的图像的不同，存在向阳处过度曝光、背阴处曝光不足，导致无法获取一部分的图像，无法适当地确定位于该处的立体物体的情况。

图2是表示曝光时间与图像的关系的说明图。例如，在行驶中进入了隧道的情况下，通过将曝光时间设定得长而能够如图2的(a)那样适当地获取隧道内的区域200中的道路和/或立体物体。但是，在比隧道的出口靠前的区域202中，日光照强而过度曝光。这样，无法得到图2的(a)的区域202的信息。

这里，如果为了得到图2的(a)的区域202的信息而将曝光时间设定得短，则能够如图2的(b)那样适当地获取到比隧道的出口靠前的区域202中的道路和/或立体物体。但另一方面，在图2的(a)中已获取到的隧道内的区域200曝光不足而无法得到信息。

为了有效地获取这样亮的图像和暗的图像这两者的灰度，可以采用能够表现更广的动态范围的hdr合成。但是，在要求多个拍摄装置110的立体匹配中，如果用多个拍摄装置110分别独立地执行hdr合成，则存在失配率反而变高的情况。因此，在本实施方式中，改良拍摄方式，在进行立体匹配的情况下也能以广的动态范围确定立体物体。

(车外环境识别装置120)

图3是表示车外环境识别装置120的概略的功能的功能框图。如图3所示，车外环境识别装置120构成为包含i/f部150、数据存储部152和中央控制部154。

i/f部150是用于进行拍摄装置110与车辆控制装置130的双向的信息交换的接口。数据存储部152由ram、闪存、hdd等构成，存储有以下所示的各功能部的处理所需的各种信息。

中央控制部154由包含中央处理装置(cpu)、存储有程序等的rom、作为工作区的ram等的半导体集成电路构成，通过系统总线156来控制i/f部150、数据存储部152等。另外，在本实施方式中，中央控制部154也作为第一亮度图像获取部160、第二亮度图像获取部162、第一距离图像生成部164、第二距离图像生成部166、合成图像生成部168、立体物体确定部170发挥功能。以下，按照该中央控制部154的各功能部的动作来详细地说明本实施方式的特征性的距离图像(合成图像)的生成处理。

(车外环境识别处理)

图4是表示车外环境识别处理的流程的流程图。在车外环境识别处理中，利用第一亮度图像获取部160，执行获取在两个拍摄装置110中以预定的第一曝光时间拍摄到的两个第一亮度图像的第一亮度图像获取处理(s200)，利用第二亮度图像获取部162，执行获取在两个拍摄装置110中以比第一曝光时间短的第二曝光时间拍摄到的两个第二亮度图像的第二亮度图像获取处理(s202)。

然后，利用第一距离图像生成部164，执行将多个第一亮度图像进行图案匹配而生成第一距离图像的第一距离图像生成处理(s204)，利用第二距离图像生成部166，执行将多个第二亮度图像进行图案匹配而生成第二距离图像的第二距离图像生成处理(s206)。

接着，利用合成图像生成部168，执行在第一距离图像的任意的区块、和与该任意的区块对应的第二距离图像的区块这两个区块之中提取距离的可靠度高的区块并生成合成图像的合成图像生成处理(s208)。然后，利用立体物体确定部170，执行基于合成图像来确定立体物体的立体物体确定处理(s210)。以下，详细说明各处理。

(第一亮度图像获取处理s200)

第一亮度图像获取部160将两个拍摄装置110各自的曝光时间(拍摄元件透过透镜而暴露于光下的时间)设定为车外环境中比较暗的部分(例如，背阴处)不会曝光不足、能够获取到其边缘的预定的第一曝光时间(长曝光时间)，并获取拍摄到的两个第一亮度图像。

图5是表示第一亮度图像的说明图。图5的(a)是在大致水平方向上分离地配置的拍摄装置110之中配置于左侧的拍摄装置110所获取到的第一亮度图像210，图5的(b)是在大致水平方向上分离地配置的拍摄装置110之中配置于右侧的拍摄装置110所获取到的第一亮度图像212。这里，由于用比较长的曝光时间来拍摄，所以虽然在比隧道的出口靠前的区域202中，日光照强而过度曝光，但适当地获取到了隧道内的区域200的图像。

(第二亮度图像获取处理s202)

第二亮度图像获取部162将两个拍摄装置110各自的曝光时间设定为车外环境中比较亮的部分(例如，向阳处)不会过度曝光、能够获取到其边缘的预定的第二曝光时间(短曝光时间)，并获取拍摄到的多个第二亮度图像。为了抑制曝光，该第二曝光时间比第一曝光时间短。另外，为了确保图像间的同时性，第一亮度图像获取部160与第二亮度图像获取部162的拍摄间隔优选是极短时间。

图6是表示第二亮度图像的说明图。图6的(a)是在大致水平方向上分离地配置的拍摄装置110之中配置于左侧的拍摄装置110所获取到的第二亮度图像220，图6的(b)是在大致水平方向上分离地配置的拍摄装置110之中配置于右侧的拍摄装置110所获取到的第二亮度图像222。这里，由于用比较短的曝光时间拍摄，所以隧道内的区域200曝光不足，但是适当地获取到了比隧道的出口靠前的区域202的图像。

(第一距离图像生成处理s204)

第一距离图像生成部164使用第一亮度图像获取部160所获取到的两个第一亮度图像210、212，通过图案匹配来生成具有视差信息的一个第一距离图像。

图7是表示第一距离图像的生成形态的说明图。第一距离图像生成部164例如对图7的(a)所示的第一亮度图像210与图7的(b)所示的第一亮度图像212进行图案匹配。

具体来说，在两个第一亮度图像210、212之中，从一个亮度图像中检索(图案匹配)与另一个亮度图像中任意地提取的区块(例如，水平4个像素×垂直4个像素的排列)对应的区块，并导出包含视差、以及表示任意的区块在图像内的位置的图像位置的视差信息。这里，水平表示拍摄到的图像的图像横向，垂直表示拍摄到的图像的图像纵向。作为该图案匹配，考虑在一对图像之间，以任意的区块单位比较亮度(y)。例如，有获取亮度的差值的sad(sumofabsolutedifference：绝对差之和)、将差值做平方来使用的ssd(sumofsquaredintensitydifference：强度差的平方之和)、以及计算从各像素的亮度中减去平均值而得的分散值的类似度的ncc(normalizedcrosscorrelation：归一交叉相关)等方法。

车外环境识别装置120对检测区域(例如，600个像素×200个像素)中显示出的所有区块进行这样的区块单位的视差导出处理。这里，将区块设为4个像素×4个像素，但区块内的像素数能够任意地设定。像这样，生成如图7的(c)那样的第一距离图像214。

这里，在图7的(a)所示的第一亮度图像210、图7的(b)所示的第一亮度图像212中，由于隧道内的区域200的图像被适当地获取，所以在图7的(c)的第一距离图像214中，隧道内的区域200的视差信息也被适当地导出。但是，由于在第一亮度图像210、212中比隧道的出口靠前的区域202的图像过度曝光，所以在该区域202的图案匹配中，距离的可靠度低。

(第二距离图像生成处理s206)

第二距离图像生成部166使用第二亮度图像获取部162所获取到的两个第二亮度图像，通过图案匹配生成具有视差信息的一个第二距离图像。

图8是表示第二距离图像的生成形态的说明图。第二距离图像生成部166进行例如图8的(a)所示的第二亮度图像220与图8的(b)所示的第二亮度图像222的图案匹配。这样，生成如图8的(c)那样的第二距离图像224。

这里，在图8的(a)所示的第二亮度图像220、图8的(b)所示的第二亮度图像222中，由于比隧道的出口靠前的区域202的图像被适当地获取，所以在图8的(c)的第二距离图像224中，比隧道的出口更靠前方的区域202的视差信息也被适当地导出。应予说明，由于在第二亮度图像220、222中，隧道内的区域200的图像曝光不足，所以在该区域200的图案匹配中，距离的可靠度低。

(合成图像生成处理s208)

合成图像生成部168使用第一距离图像214和第二距离图像224，在第一距离图像214的任意的区块、和与该任意的区块对应的第二距离图像224的区块这两个区块之中提取距离的可靠度高的区块，并生成一个合成图像。

图9是表示合成图像的生成形态的说明图，图10是表示有无距离判定处理的流程的流程图，图11是表示提取可靠度高的区块的条件的说明图，图12是表示亮度差累积判定处理的流程的流程图。

合成图像生成部168从例如图9的(a)所示的第一距离图像214提取任意的区块230。然后，合成图像生成部168从图9的(b)所示的第二距离图像224提取与第一距离图像214的任意的区块230对应的(在图像中是位于相同位置的)区块232。对这两个区块230、232分别判定以下的三个参数的可靠度，如果对所有参数都判断为可靠度高，则将该区块确定为“有距离”。此外，如果参数的可靠度的条件有一个不满足，则判定为“无距离”。

这里，首先，在区块有视差的情况下，与区块无视差的情况相比，判定为距离的可靠度高。因此，如图10所示，合成图像生成部168对于提取到的两个区块230、232之中的一方，判定区块是否有视差(s300)。其结果是，合成图像生成部168在提取到的区块有视差的情况(在s300中为yes)下，判定下一个参数，在无视差的情况(在s300中为no)下，不判定下一个参数，而是判定为“无距离”(s302)。

接下来，在与区块的距离为距离阈值以下的块数是预定数量以上的情况下，和与区块的距离为距离阈值以下的块数小于预定数量的情况相比，判定为距离的可靠度高。因此，合成图像生成部168首先将与区块的水平距离x、(距离道路表面的)高度y和相对距离z为预定的距离阈值以下的区块彼此分组化(s304)。然后，合成图像生成部168判定分组化的区块组的块数(面积)是否是预定数量以上(s306)。其结果是，如果块数是预定数量以上(在s306中是yes)，合成图像生成部168判定下一个参数，如果块数小于预定数量(在s306中是no)，合成图像生成部168不判定下一个参数，而是判定为“无距离”(s302)。

接着，在区块的亮度差累积(dcdx)是预定值以上的情况下，与区块的亮度差累积小于预定值的情况相比，判定为距离的可靠度高。因此，合成图像生成部168首先计算区块的亮度差累积(s308)。该亮度差累积是将水平方向(x方向)上的亮度差累积而得的值，能够如下求得。例如，设区块是水平4个像素×垂直4个像素的16个像素的区块。首先，将亮度差累积设定为0。然后，对于全部16个像素，求出与左右任意一方的像素(例如，右边的像素)的亮度的差值，该差值如果是预定的亮度阈值以上，则亮度差累积加1点。因此，亮度差累积的值是区块的像素数，用0～16点表示。并且，点数越高，则判断为亮度差越大，即，判断为边缘越强。

接下来，合成图像生成部168判定亮度差累积是否是预定值(例如1)以上(s310)。其结果是，如果提取到的区块的亮度差累积是预定值以上(在s310中是yes)，合成图像生成部168判定为“有距离”(s312)，如果亮度差累积小于预定值(在s310中是no)，合成图像生成部168判定为“无距离”(s302)。

接着，合成图像生成部168判定是否对提取到的两个区块230、232都进行了这样的有无距离判定处理(s314)。其结果是，如果对两个区块都进行了有无距离判定处理(在s314中是yes)，合成图像生成部168结束有无距离判定，如果对一个区块尚未进行有无距离判定处理(在s314中是no)，则合成图像生成部168对另一个区块从步骤s300开始重复进行处理。

这样，在对提取到的两个区块230、232结束有无距离判定之后，合成图像生成部168按照图11的矩阵从提取到的两个区块230、232中提取可靠度高的区块。

具体来说，如图11的(b)、图11的(c)所示，对于两个区块230、232，如果一个区块判定为“有距离”，另一个区块判定为“无距离”，则合成图像生成部168判断为“有距离”的区块的距离的可靠度比“无距离”的区块的距离的可靠度高，并提取被判定为“有距离”的区块。另外，如图11的(d)所示，如果任意一方的区块都判定为“无距离”，则合成图像生成部168不提取任意一方的区块，并将该区块设定为无距离信息。

另外，如图11的(a)所示，如果任意一方的区块都判定为“有距离”，则合成图像生成部168基于亮度差累积，进行图12所示的亮度差累积判定处理。首先，合成图像生成部168参照被判定为“有距离”的两个区块的亮度差累积，判定亮度差累积的值是否是相同的值(s350)，如果亮度差累积的值不是相同的值(在s350中是no)，则认为亮度差累积高的区块的距离的可靠度比亮度差累积低的区块的距离的可靠度高，并提取亮度差累积的值大的区块(s352)。

另外，如果亮度差累积的值是相同的值(在s350中是yes)，则优先提取曝光时间短的第二距离图像224的区块(s354)。这里，在亮度差累积是相同的值的情况下，强制性地提取第二距离图像224的原因是，曝光时间越长，不需要的光扩散得越多而作为噪声被获取，并且由于长曝光时间下的车辆的移动，图像容易模糊。

应予说明，这里，列举了如果亮度差累积的值是相同的值则提取第二距离图像224的区块的例子，但不限于该情况，也可以是如果两个区块被判定为“有距离”，则无论亮度差累积的值如何，提取第二距离图像224的区块。

按照这样，合成图像生成部168将例如图9的(a)的第一距离图像214的区块230与图9的(b)的第二距离图像224的区块232进行比较，并提取一方的区块(例如，这里是区块230)。这样来生成图9的(c)的合成图像234。

接下来，合成图像生成部168使用上述的立体法将合成图像234中的检测区域内的每个区块的视差信息转换为包含水平距离x、高度y和相对距离z的三维的位置信息。

这里，视差信息表示合成图像234中的各区块的视差，与此相对，三维的位置信息表示实际空间中的各区块的相对距离的信息。另外，在视差信息不以像素单位而是以区块单位、即以多个像素单位而被导出的情况下，能够将该视差信息看作属于区块的所有像素的视差信息来执行像素单位的计算。关于这样的向三维的位置信息的转换，能够参照日本特开2013-109391号公报等现有的技术，所以在这里省略其详细的说明。

(立体物体确定处理s210)

立体物体确定部170基于合成图像生成部168所生成的合成图像234来确定立体物体。具体来说，立体物体确定部170首先基于合成图像234中的视差信息，在水平距离x、高度y和相对距离z是预定的距离阈值以下的情况下将这些区块彼此分组化而作为立体物体。然后，确定已分组化的立体物体对应于哪个特定物体。例如，在立体物体具有类似车辆的大小、形状、相对速度，并且在后方的预定的位置确定有刹车灯或高位刹车灯等发光源的情况下，立体物体确定部170将该立体物体确定为前方车辆。

以上，如所说明的那样，在本实施方式中，使曝光时间不同而拍摄多个(这里是2个)亮度图像的组合，针对每个曝光时间进行图案匹配并生成距离图像，然后，基于距离的可靠度合成多个距离图像，并生成一个合成图像。因此，在进行立体匹配的情况下也能够以广的动态范围确定立体物体。

另外，也提供使计算机作为车外环境识别装置120发挥功能的程序、和/或记录有该程序的、用计算机可读取的软盘、光盘、rom、cd、dvd、bd等存储介质。这里，程序是指用任意的语言或记述方法而被记述的数据处理手段。

以上，参照附图说明了本发明的优选实施方式，但本发明当然不被实施方式所限定。应知晓的是，本领域技术人员在权利要求所记载的范围内能够想到各种变更例或修正例，这是不言自明的，这些变更例或修正例也当然属于本发明的技术范围。

例如，在上述的实施方式中，列举了用第一曝光时间和第二曝光时间这两个不同的曝光时间来拍摄的例子，但不限于该情况，也可以对于3个以上的曝光时间分别生成两个亮度图像，对其进行图案匹配来生成3个以上的距离图像，然后，根据距离的可靠度来合成多个距离图像。利用该结构，能够细分曝光时间，能够实现精度更高的距离图像(合成图像)。

应予说明，本说明书的车外环境识别处理的各工序，不必须是沿着流程图所记载的顺序按时间序列处理，也可以包含并列的处理或子流程的处理。

产业上的可利用性

本发明能够用于对存在于本车辆的行进方向上的立体物体进行确定的车外环境识别装置。