专利名称：车外环境识别装置的制作方法
技术领域：
本发明涉及一种车外环境识别装置，其对由搭载在车辆上的立体照相机拍摄的图像进行处理，识别车外环境。
背景技术：
近年来，对于汽车等车辆，开发并应用了对于驾驶者的各种驾驶辅助技术，其检测前行车或障碍物，判定与其碰撞的危险度，向驾驶者发出警报，或者自动地使制动器动作而使车辆停止，或者自动增减行驶速度等，以保持与前行车的车间距离而保证安全。在通常的道路状况下，本车辆的前方存在多个车辆或障碍物，存在与上述全部车辆或障碍物碰撞的可能性。因此，驾驶汽车的驾驶者不仅是对本车辆前方的车辆，对全部车辆或障碍物都必须留意。因此，在专利文献1中公开了一种技术，其同时评价包含与前行车追尾的碰撞因素在内的围绕车辆的各种危险因素，将最重要的危险因素告知驾驶者。专利文献1 日本特开平5巧似91号公报
实用新型内容但是，在通常的道路状况下，作为必须留意的碰撞因素，不限于车辆，也包括行人、 自行车、摩托车等各种因素，为了判断与这些因素碰撞的可能性，必须识别道路白线、护栏、 与障碍物的位置关系等整体交通环境，如专利文献1所述，关于本车辆前方的碰撞，仅设定与前行车的碰撞是不充分的，不仅如此，为了识别车外环境需要多个传感器，从而造成成本上升。本实用新型是鉴于上述问题提出的，目的在于提供一种车外环境识别装置，其可以根据由立体照相机拍摄的图像识别整个车外环境，还可以高精度地掌握不限于车辆的各种立体物的位置关系。为了实现上述目的，本发明涉及的车外环境识别装置具有2台一组立体照相机， 其搭载在车辆上；图像处理引擎，其对由上述立体照相机拍摄的一对图像进行处理，获取整个画面范围内的三维位置信息；以及识别控制器，其根据由上述图像处理引擎获取的三维位置信息，识别车外环境。实用新型的效果根据本发明，可以根据由立体照相机拍摄的图像识别整个车外环境，还可以高精度地掌握不限于车辆的各种立体物的位置关系。
图1是搭载在车辆上的车外环境识别装置的外观图。图2是应用车外环境识别装置的驾驶辅助装置的结构图。图3是立体匹配的说明图。图4是表示摄像图像的例子的说明图。[0014]图5是表示距离图像的说明图。图6是识别控制器的功能框图。图7是控制用控制器的功能框图。
具体实施方式
下面，参照附图说明本发明的实施方式。在图1中，标号1表示汽车等车辆(本车辆)，在该车辆1的前挡风玻璃2内侧的上部设置立体照相机单元2，其由2台1组的照相机构成，从不同的视角拍摄对象物。该立体照相机单元2形成车外环境识别装置，其利用立体照相机周期性地拍摄车外环境，对拍摄到的立体图像对进行处理，三维地识别车外环境。如图2所示，立体照相机单元2与车载的各种控制单元连接，并被应用于根据行驶环境的识别结果对驾驶者进行各种驾驶辅助的驾驶辅助装置10中。该驾驶辅助装置10 构成为，以立体照相机单元2为中心，在立体照相机单元2上经由由CAN等组成的通信母线 100而连接各种控制单元，作为与通信母线100连接的控制单元，包括发动机控制用的发动机控制器3、变速器控制用的传动控制器4、包含制动器控制在内的车体动作控制用的车辆动态控制器(VDC) 5、进行由多功能显示器(MFD)等组成的仪表的显示控制的仪表控制单元 6、以及检测本车辆的当前位置并在地图上显示而进行路线引导等的导航单元7。另外，导航单元7作为驾驶辅助装置10来说不是必需的，但使用来自导航单元7 的信息，可以补充由立体照相机单元2得到的识别结果。 立体照相机单元2所具有的立体照相机20，具有例如CXD或CMOS等摄像元件，由快门速度可变且彼此同步的1组(左右)照相机20a、20b构成。这两台照相机20a、20b，按照使彼此的光轴大致平行的方式，以规定的基线长度(光轴间距)而机械地固定，根据由两台照相机20a、20b拍摄的一对图像间的相对于同一个物体的视差，使用照相机安装位置或焦距等照相机参数，可以根据三角测量原理求出距离。因此，立体照相机单元2除了立体照相机20之外，还具有图像处理引擎30，其对由立体照相机20拍摄的一对立体图像进行处理，高速地获得整个画面范围内的三维位置信息；以及识别控制器40，其使用来自立体照相机20的原图和三维位置信息，识别处理道路形状或路面状态、道路附属设施、路上的行人或立体物等。此外，立体照相机单元2还具有控制用控制器50，其根据由立体图像处理得到的识别结果，统一进行用于驾驶辅助的各种控制，使这些立体照相机20、图像处理引擎30、和识别控制器40成为一体化的单元而构成。图像处理引擎30将由立体照相机20拍摄的一对立体图像中的一幅作为基准图像，将另一幅作为比较图像，通过立体匹配求出基准图像与比较图像的对应位置的偏差量， 生成基于该偏差量的距离图像作为距离信息。作为立体匹配，例如可以使用公知的区域搜索法，评价基准图像与比较图像的相关度。在本实施方式中，作为相关度的评价参数，计算基准图像的小区域(区块)和比较图像的小区域(区块)间的像素值的差值(绝对值)的总和(SAD:Sum of AbsoluteDifference)。作为像素值，一般使用各像素的亮度值。基于SAD的评价参数的值被称为城市街区(city block)距离，区块间的相关性越高(越类似)，城市街区距离的值越小，根据城市街区距离取最小值的区块间的水平方向的位移量，可得到视差。城市街区距离C可以按照下述方式得到，S卩，利用水平方向为i坐标、垂直方向为j坐标的直角坐标定义图像平面上的位置，在使搜索彼此相关度的区块为 i X j (i = 0 n，j = 0 η)的搜索区块时，如下式所示，在i轴上每移动规定的平移值而进行一次运算，从而得到基准图像的搜索区块M(i，j)与比较图像的搜索区块S(i，j)的SAD值。C=E |M(i, j)-S(i, j)在上述SAD运算中，例如，如果以4X 4像素的搜索区块作为对象，相对于基准图像的搜索区块(主区块)，一边使比较图像的搜索区块(子区块)的位置在水平扫描线上逐个像素移动，一边进行SAD运算，则如图3所示，求出城市街区距离为最小值CO的点，作为主区块和子区块的相关度最高的对应位置(一致点)。该一致点处的主区块与子区块的1个像素单位的偏差量(水平扫描方向的主区块的位置im与子区块的位置is的差)，成为具有1个像素单位分辨率的视差D (像素视差)。 基于该像素视差的距离信息，因为随着至对象物体为止的距离增大而分辨率降低，所以根据需要进行下述处理，即，求出小于或等于1个单位像素的分辨率的亚像素水平的视差。通过上述立体匹配得到的视差信息，作为由图像方式的距离图像得到的距离信息而输出。例如，如图4所示，如果对拍摄到车辆200、300、或护栏400等立体物的图像(图4 表示用一个照相机拍摄到的图像)进行立体匹配，则可以得到图5所示的距离图像。在图 5所示的距离图像的例子中，具有距离数据的是黑点部分，这是图4的图像的各像素中在左右方向上相邻的像素之间明暗变化较大的部分。图像上的坐标系如图5所示，以左上角为原点，将横向作为i坐标轴，将纵向作为j坐标轴，单位是像素。另外，图像处理引擎30还具有进行构成立体照相机20的各照相机20a、20b的快门速度控制、两个照相机间的几何学及光学偏差校正或亮度平衡校正等功能。即，图像处理引擎30使用仿射变换校正表而对利用照相机20a、20b拍摄到的一组图像中的视场角差、旋转偏差、平移偏差等进行几何学校正，并且利用非线性校正表对透镜偏差等非线性变形进行校正，在等价地精密调整各照相机20a、20b的光学位置的基础上，通过立体匹配评价两个图像间的一致程度。图像处理引擎30以例如1帧/0. 1秒的比例(在立体图像中每三张相当于一张)， 对利用立体照相机20拍摄到的左右一组图像进行处理，将其发送至识别控制器40。识别控制器40和图像处理引擎30经由内部母线加相互连接，识别控制器40根据从图像处理引擎30经由内部母线加发送的测距信息及图像信息，进行各种识别处理。该识别控制器40的识别功能，如图6所示，主要由道路 立体物识别部41和环境识别部42代表，上述道路·立体物识别部41识别与行驶路线、前行车或对向车、道路附属设施、行人等相关的信息，环境识别部42识别由逆光、雾、雨、雪等引起的环境条件的变化。道路·立体物识别部41对于来自图像处理引擎30的距离信息，进行将处于规定阈值内的数据分组化的分组处理等，与预先存储的三维道路形状数据、侧壁数据、立体物数据等的框架(窗口)比较，提取道路形状(道路白线、前方弯道、上坡/下坡路、窄路)数据、沿道路存在的护栏或路缘石等侧壁数据、人行横道数据等。同时，道路·立体物识别部 41提取道路上的立体物数据，将其分为摩托车、普通车辆、大型车辆、行人、电线杆、信号机、 其他立体物。[0033]根据识别的各数据，计算以本车辆为原点、以本车辆的前后方向及宽度方向为轴的实际空间的坐标系中各个位置。特别地，在摩托车、普通车辆、大型车辆的车辆数据中，预先推定其前后方向长度为例如3m、4. 5m、10m等，另外，对于横向，使用检测到的宽度的中心位置，对该车辆所处的中心位置进行运算。此外，在立体物数据中，根据与本车辆之间的距离在各轴向上的变化，对相对于本车辆的相对速度进行运算，通过考虑本车辆的速度而对该相对速度进行运算，可以计算出各立体物在各轴向上的速度。根据这样得到的各种信息，即，白线数据、沿道路存在的护栏、 路缘石等的侧壁数据、及立体物数据(类别、与本车辆的距离、中心位置坐标、速度等各种数据)，可以识别本车辆周围的行人或轻型车辆、在与本车辆行驶的道路连接的道路上行驶的其他车辆等的移动物体。另外，环境识别部42识别由逆光、雾、雨、雪等引起的环境条件的变化。由环境识别部42识别的环境条件，作为干扰被发送至道路 立体物识别部41及控制用控制器50，通过进行与干扰程度相对应的识别及控制，防止可靠度降低。例如，在太阳光入射到立体照相机20的拍摄面而成为逆光的情况下，左右图像的灵敏度平衡严重破坏而产生亮度偏差，有时即使通过亮度的SAD运算实施立体处理，也很难正常地进行立体匹配。因此，利用环境识别部42检查拍摄图像是否发生逆光。该逆光的发生例如可以通过检查图像中出现的逆光圈来检查。即，如果逆光进入立体照相机20，因为在图像中出现逆光圈，所以可以通过预先指定的图像区域的亮度分布特性判定图像中是否产生逆光圈。在这种情况下，在逆光较弱的情况下，虽然左右亮度有偏差，但亮度变化的状态有共通性，相邻像素的亮度的差(某像素的亮度值-其右侧像素的亮度值)在左右图像中同样变化。因此，如果对于左右各图像取得亮度差，相对于该亮度差计算出上述的SAD值，则即使在立体照相机拍摄到的图像之间产生偏差，也可以一边确保必要的精度，一边检查视差。另外，雾状态的行驶环境的识别，例如，可以提取前行车的尾灯或制动灯与其周围的光幕区域，测定至对象的距离，根据前行车辆的尾灯或制动灯区域与其周围的光幕区域的亮度比和距离数据，判定雾状态。除此之外，还存在根据白线亮度的变化量判断雾状态的方法，或者，也可以根据图像数据的变化检测雾浓度。另外，行驶环境是否为雪道状态的判定，例如通过在立体照相机20的拍摄图像中的规定区域设定监视区域，根据该监视区域中的图像数据，检测路面为雪道的状态。具体地说，计算监视区域的水平方向相关的亮度边缘的数值、整个监视区域的亮度的大小，在亮度边缘的数值小于判定值，且整体的亮度大小大于判定值的情况下，判定为雪道。此外，积水路面状态的判定，例如可以通过在预测道路存在的本车辆的前方设定距离数据监视区域，对于该监视区域内存在的距离数据，评价高度方向的分布。即，求出与计算出的距离数据相关的三维空间的高度，将由立体物映入路面上引起的距离数据数量作为积水数据数量而进行计数。在积水路面上，与干燥路面相比，存在大量距离数据低于路面的位置的特性。鉴于这种特性，在距离数据监视区域中存在大量积水数据的情况下，判定为积水路面状态。然后，控制用控制器50根据从识别控制器40输入的道路·立体物信息(道路白线、沿道路存在的弯道或路缘石等侧壁、车辆、行人、摩托车等数据)、以及经由通信总线 100输入的车辆信息(本车辆速度或偏行率等)，经由与通信总线100连接的各控制单元， 指示驾驶辅助控制。该控制用控制器50的驾驶辅助控制的功能，如图7所示，主要由警报控制部51、防碰撞控制部52、巡航控制部53代表。警报控制部51根据来自立体照相机单元2的识别信息，在前行车与本车辆的车间距离为存在碰撞可能性的距离时，本车辆在车线内不稳或存在从车线偏离的可能性时等， 经由仪表控制单元6，通过多功能显示器的显示及声音对驾驶者进行警报。防碰撞控制部52根据来自立体照相机单元2的识别信息，经由发动机控制器3、传动控制器4、车辆动态控制器5，执行误起步抑制控制和防碰撞制动控制，上述误起步抑制控制是在本车辆前方检测到障碍物的状态下，抑制由踏板的误踩踏等造成的突然行进，上述防碰撞制动控制用于预测危险性而避免碰撞或减轻碰撞损害。该防碰撞控制与警报控制组合执行。巡航控制部53经由发动机控制器3、传动控制器4、车辆动态控制器5，执行全车速范围内的带有前行车追随功能的巡航控制。在该巡航控制中，对应于前行车的有无，自动地切换为以由驾驶者设置的车速的定速行使、和以设置车速为上限的相对于前行车的跟随行驶。在对前行车的跟随行驶中，根据利用立体照相机单元2检测到的本车辆与前行车的车间距离、相对速度、以及前行车的加速度，计算跟随控制中的目标车速，利用发动机控制器3执行与目标车速和当前车速的偏差相对应的节流控制，控制使得本车辆的车速成为目标车速。另外，在坡道为下坡且在当前的传动位置无法利用节流关闭制动力(发动机制动)维持车间距离(过度接近)的情况下，利用传动控制器4执行对目标传动位置的降档控制，维持车间距离。另外，根据本车辆与前行车的车间距离、相对速度、以及前行车的减速度，计算出本车辆的要求减速度，通过经由车辆动态控制器5对产生该要求减速度所需的制动液压进行控制，使其产生必要的减速度而使本车辆减速。如上所述，在本实施方式中，因为对由立体照相机20拍摄到拍摄图像进行处理， 三维地识别行驶环境，所以可以高精度掌握不限于车辆的各种立体物的位置关系，可以准确地识别整个车外环境。而且，在由立体图像进行的识别中，因为物体横向的检测精度或分辨率、近距离的监测能力良好，所以可以高精度地进行考虑与前方障碍物的偏移量的碰撞预测等，有助于提高预防安全性。
权利要求1.一种车外环境识别装置，其特征在于，具有 2台一组的立体照相机，其搭载在车辆上；图像处理引擎，其对由上述立体照相机拍摄的一对图像进行处理，获取整个画面范围内的三维位置信息；以及识别控制器，其根据由上述图像处理引擎获取的三维位置信息，识别车外环境。
2.如权利要求1所述的车外环境识别装置，其特征在于，上述识别控制器具有识别与道路及立体物相关的信息的道路·立体物识别部、以及识别车外的环境条件变化的环境识别部。
3.如权利要求1或2所述的车外环境识别装置，其特征在于，至少将上述立体照相机、上述图像处理引擎、及上述识别控制器作为立体照相机单元而一体地构成，将该立体照相机单元设置在车辆的前挡风玻璃内侧的上部。
专利摘要本实用新型提供一种车外环境识别装置，其根据由立体照相机拍摄到的图像识别整体的车外环境，高精度地掌握不限于车辆的各种立体物的位置关系。其将下述单元作为一体化的单元构成，即立体照相机单元；图像处理引擎，其对由立体照相机拍摄到的一对立体图像进行处理，高速地获得整个画面内的三维位置信息；识别控制器，其使用原图和三维位置信息，对道路形状或路面状态、道路附属设施、路上行人或立体物等进行识别处理；以及控制用控制器，其根据由立体图像处理得到的识别结果，统一地进行用于驾驶辅助的各种控制，通过将该单元设置在车辆的前挡风玻璃内侧的上部，根据拍摄图像识别整个车外环境，高精度地掌握不限于车辆的各种立体物的位置关系。
文档编号B60R1/00GK202169907SQ20112027526
公开日2012年3月21日 申请日期2011年7月29日 优先权日2011年7月29日
发明者关口守, 柴田英司, 樋渡穰 申请人:富士重工业株式会社