车载用环境识别装置的制作方法

专利名称：车载用环境识别装置的制作方法
技术领域：
本发明涉及基于由车载照相机拍摄到的图像识别本车辆的周围环境的车载用环境识别装置。
背景技术：
近几年，正在开发识别汽车等车辆的周围环境的照相机。在利用了照相机的识别技术中，能见度不好的夜间识别容易成为问题。特别是，若是后部照相机等，则不能通过本车辆的前灯对要拍摄的路面进行照明，因此得到的影像较暗，能见度低，要求对这种较暗的影像进行图像处理。此外，在后面存在车辆的情况下，尽管周围较暗，但是由于后续车辆的前灯非常明亮，因此在通过后部照相机拍摄的影像中，还会产生其前灯部分明亮且出现白斑的状态，容易妨碍正常的识别。专利文献I公开了如下的技术，即，利用从视点不同的2个照相机看到的镜面反射成分的强度的差异，判定路面上是否存在镜面反射光，在存在镜面反射光的情况下，进行除去该镜面反射光的处理。专利文献2公开了如下的技术，S卩，通过检测作为实像的车辆灯、和作为虚像的路面反射的组合，从而生成抑制了作为虚像的路面反射的修正图像。在先技术文献专利文献专利文献IJP特开平11-203446号公报专利文献2JP特开2009-65360号公报在识别车辆周围的环境的车载照相机中，不仅仅是在路面上产生的高亮度的镜面反射区域，即便是亮度低的区域，但与周围相比亮度较高的区域对于图像识别应用而言也会成为误检测原因。特别是，在后部照相机中，由于没有本车辆前灯，因此在夜间需要从低对比度的影像检测行车线或车辆等，所以虽然是低亮度但亮度比周围的路面高的反射区域也会成为误检测原因。若只将高亮度的反射区域作为对象，则存在从公知例这样的图像上提取的方法，但是低亮度的反射区域是很难从图像上搜索的。在专利文献I中，通过利用立体照相机，从视点不同的2个图像中提取了高亮度的镜面反射成分，但是在单眼照相机中，很难确保同一时刻的视点不同的2张图像。在专利文献2中，进行利用了实像和虚像的组合的高亮度的镜面反射的识别，但是在兼备放映和识别的照相机中，毕竟很难将前灯和路面反射看成一体，而且图像识别应用的难以抑制的误检测原因在低亮度的反射中比高亮度的反射区域还要大，直接应用专利文献2的逻辑也难以解决抑制误检测的课题。并且，在专利文献1、2中，由于通过图像处理来进行镜面反射的识别处理，因此处理负荷比较大，与将图像处理限定在提取简单的高亮度区域而剩余部分就通过估计计算来估计路面反射区域的本实施例相比，存在处理负荷高的问题
发明内容
本发明鉴于上述情况而完成，其目的在于，提供一种能够以更少的处理负荷防止因周围车辆的前灯光引起的误识别的车载用环境识别装置。解决上述课题的本发明的车载用环境识别装置的特征在于，基于光源在图像上的位置，估计环境识别时成为误检测原因的灯在路面进行反射的图像上的路面反射估计图像区域，并基于该路面反射估计图像区域，来识别本车辆的周围环境。(发明效果)根据本发明，能够从用于识别本车辆的周围环境的处理区域中，除去成为误检测原因的灯的路面反射估计图像区域，能够正确地识别本车辆的周围环境。


图I是车载用环境识别装置的结构图。
图2是光源提取部的内部结构图。图3是灯信息部的内部结构图。图4是路面反射估计部的内部结构图。图5是车载用环境识别部的内部结构图。图6是带有路面反射对策的车道识别部的内部结构图。图7是带有路面反射对策的行驶路径识别部的内部结构图。图8是带有路面反射对策的路面标识识别部的内部结构图。图9是说明灯3维位置的估计方法的图。图10是表示随着照度而不同的配光图案的图。图11是说明漫反射和镜面反射的图。图12是说明漫反射区域估计法的图。图13是说明镜面反射区域估计法的图。图14是按昼夜区分的反射对策的切换结构图。图15是夕阳对策的路面反射信息部的结构图。图16是夕阳对策的路面反射估计部的结构图。图17是说明夕阳路面反射区域估计法的图。图18是车辆检测部的内部结构图。符号说明100…车载用环境识别部、200…图像获取部、300…光源提取部、400…灯信息部、410…灯判定部、420…灯强度估计部、430…灯3维位置设定部、440…配光图案设定部、500…路面反射估计部、510…路面反射系数决定部、511…天气判定部、512…路面状况判定部、520…漫反射位置估计部、530…镜面反射位置估计部、540…路面反射图像区域估计部、541…时钟部、600…车载用环境识别部、610…车道识别部、620 · 路边识别部、630 · 行驶路径识别部、640…路面标识识别部、650…路面状况识别部、4000···夕阳对策路面反射信息部、4100…路面反射判定部、4200…反射强度估计部、4300…反射3维位置设定部、4400...太阳方位设定部、4410···本车辆动作、5000···夕阳对策路面反射估计部、5100···路面反射系数决定部、5200···漫反射位置估计部、5300···镜面反射位置估计部、5400···路面反射图像区域估计部。
具体实施例方式以下，参照

本实施方式。[实施例I]本实施例的车载用环境识别装置是汽车的车载照相机，例如，与停车支援用的后部照相机或向驾驶者显示由旁路照相机拍摄到的车辆的周围图像的车载照相机内一体构成。图I是本实施例中的车载用环境识别装置的结构图。如图I所示，车载用环境识别装置100作为车载照相机的ECU的内部功能，具有图 像获取部200、光源提取部300、灯信息部400、路面反射估计部500、车载环境识别部600。图像获取部200获取由单眼照相机拍摄到的本车辆周边的图像，光源提取部300从图像获取部200获取到的图像中提取光源。灯信息部400判定由光源提取部300提取的光源是否对应于在进行环境识别时成为误检测原因的灯，并预测该灯的3维位置，估计照射范围、配光图案等。路面反射估计部500根据由灯信息部400预测的灯的3维位置、照射范围、配光图案等，估计在路面上生成的镜面反射或漫反射等，由此估计在画面上生成的路面反射估计图像区域。车载用环境识别部600基于这些路面反射信息，识别白线识别等本车辆的周围环境。图2是图I的光源提取部的内部结构图。光源提取部300从图像中将具有预先设定的阈值以上的面积的点光源作为光源来提取，如图2所示，具备用于从拍摄图像中提取预先设定的亮度值以上的光点的2值化部310;对2值化的结果进行标记(labeling)并删除认为是标记结果的面积小的噪声要因的标记结果的标记部320 ;提取该标记结果的外切矩形的外切矩形提取部330 ;计算标记结果的面积的面积提取部340 ;和提取标记结果的重心的重心提取部350。图3是图I的灯信息部的内部结构图。灯信息部400基于由光源提取部300提取的光源在图像上的位置，提取光源在环境识别时成为误检测原因的灯，估计包括该灯的灯强度、3维位置和配光图案的信息在内的灯信息。如图3所示，灯信息部400具备灯判定部410，判定由光源提取部300提取出的光源对于车载用环境识别装置100而言是否是可能成为误检测原因的灯；灯强度估计部420，根据由光源提取部300提取出的光源的面积等，估计灯的强度；灯3维位置估计部430，估计由光源提取部300提取出的光源的3维位置；和配光图案设定部440，设定被判定为灯的光源的照射范围等配光图案。另外，在灯判定部410中，也可以利用雷达部411或昼夜判定部312的结果来进行判定。图4是图I的路面反射估计部的结构图。如图4所示，路面反射估计部500具备路面反射系数决定部510，决定路面的反射系数；漫反射位置估计部520，估计从灯信息部400提取出的光源在路面上生成的漫反射的位置；镜面反射位置估计部530，同样地估计从灯信息部提取出的光源在路面上生成的镜面反射的位置；和路面反射图像区域估计部540，从根据这些漫反射位置估计部520和镜面反射位置估计部530估计出的3维路面反射位置中，估计成为误检测原因的图像上的路面反射估计图像区域。路面反射系数决定部510基于判定雨天、阴天、晴天等天气的天气判定部511的结果，决定路面反射系数。在雨天等路面较湿的状况下，因为处于前灯在路面上容易引起镜面反射的状况，所以因镜面反射而出现白斑的区域变得比通常状态大。因此，有可能成为误检测原因的估计镜面反射区域变大，相反，若是晴天且干燥的路面，则镜面反射较少，更容易产生漫反射。由此，基于路面状态决定镜面反射与漫反射的路面反射系数，从而估计作为车道(lane)识别处理区域对象外的反射区域。此外，路面反射系数决定部510也可以基于直接判定路面是湿润、干燥、积雪等路面状况的路面状况判定部512的结果，而不是基于天气，来决定路面反射系数，由此变更光源对图像区域带来的影响范围的大小。1·
并且，路面反射系数决定部510也可以根据基于车载导航513的地图信息的道路环境信息、行驶方位等来决定路面反射系数，在路面反射图像区域估计部540中，根据车载导航513的太阳的位置关系、行驶方向等来变更有可能光源在图像上如白斑那样作为误检测原因而带来影响的范围的大小。并且，路面反射系数决定部510也可以根据雨刷514的动作状况来判定天气状态，从而决定路面反射系数。而且，路面反射图像区域估计部540也可以根据时钟部541的时间来预测太阳的位置，由此判定昼夜，从而调整路面反射对图像区域带来的影响范围的大小。图5是图I的车载用环境识别部600的内部结构图。如图5所示，车载用环境识别部600基于由路面反射估计部500估计出的图像上的路面反射估计图像区域，按照各识别应用进行误检测的方式实施对策。各识别应用具备车道识别部610，识别被用于行车线脱离警报或行车线脱离抑制的道路标志；路边识别部620，识别被用于车辆的行驶区域脱离警报或抑制的路边；行驶路径识别部630，即使是如工地现场那样无白线的环境下，也判定车辆是否能够行驶；路面标识识别部640，识别在路面上画出的车速等路面标识；路面状况识别部650，判定路面的状况是干燥还是湿润，还是有积雪等；和车辆检测部660，检测被用于行车线变更支援等的车辆。另外，车载用环境识别部600并不限于具备上述的各识别应用(识别部610 650)的全部的结构，既可以只包括其中的至少任意一个，也可以包括其他识别部。接着，详细说明各部的结构。<关于光源提取部300〉光源提取部300例如目的并不是为了前灯的控制而检测其他车辆的灯，其目的在于检测对于环境识别而言有可能成为误检测原因的光源。因此，由于小的点光源或亮度低的点光源等产生路面反射等的可能性较低，因此从光源提取部300的提取对象中排除。由此，能够得到减轻处理负荷且避免多余的误检测对策的效果。此外，即使产生了路面反射，也可以将成为车载用环境识别部600中的识别应用的处理区域外这样的2行车线相邻的车辆的前灯等先当作发现光源的图像处理区域的对象外。此外，存在于比图像上的消失点更靠上的光源被识别为位于比照相机更高的位置的光源，因此看作是路灯或信号灯的光，也可以从处理对象中排除。此外，也可以根据天气变更处理区域。例如，在雨天或雨后湿润的道路上容易产生路面上的镜面反射而在通常的干燥的道路上不易产生的路灯或信号灯的光的镜面反射容易妨碍(误检测原因)本车辆的周围环境的识别。因此，提取与天气或道路状况相应的处理区域内的光源。图2的结构图所示的方法只是一例，不需要一定具备内部的全部处理，只要是能够确定光源在图像上的位置的方法即可。此外，本实施例中的车载用环境识别装置100主要防止在夜间误检测后续车辆的灯，因此，在周围环境明亮的情况下，例如在白天、或被照明的室内停车场、或隧道等中，不一定要使这些光源提取部300的光源提取处理、灯信息部400的灯判定处理、路面反射估计部500的路面反射估计处理等进行动作。因此，也可以利用通过导航的协作完成的来自GPS位置的时钟(时刻)、隧道等的地图信息等，来停止光源提取部300、灯信息部400、路面反射估计500的动作。作为用于切换动作的起动、停止的信息，可以利用前灯的开与关、或用于自动控制前灯的开与关的照度传感器等的信号。此外，通过昼夜判定部312，利用照相机的快门速度、增益、或拍摄结果来实施昼夜 的判定，并基于该判定结果，停止光源提取部300、灯信息部400、路面反射估计500的动作。除此之外，也可以利用路车间通信、车车间通信等信息。此外，也可以利用光源提取部300的结果，判定灯信息部400和路面反射估计部500的处理的暂时停止。或者，也可以利用光源提取部300和灯信息部400的结果来实施昼夜的判定，由此停止路面反射估计部500的动作。此外，不一定要实施昼夜的判定，也可以基于周围的光源环境，停止路面反射估计部500或者光源提取部300和灯信息部400的动作。<关于灯信息部400〉灯判定部410对从图像上提取出的光源实施判定是否是被估计为产生路面反射的灯的处理。在现有的公知例等中，由于实施识别路面反射自身的处理，因此不仅处理负荷高，而且由一个照相机检测光源和路面反射一体化的后续车辆的灯是很难的。此外，即使求出了路面反射的高亮度的镜面反射区域，也很难识别在高亮度区域(镜面反射区域)的周围较广的低亮度的反射区域或漫反射区域在什么方向上以什么程度延伸。在本方法中，应用用于CG阴影附加的Phong反射模型，来估计路面反射区域，从而估计低亮度的反射区域，并将其设定在图像识别的处理区域对象外，从而成功抑制了误检测。在本实施例中，应用Phong反射模型，基于下述的模型来估计反射区域。Phong反射模型由“镜面反射”、“漫反射”、“环境反射”这3种反射成分来定义物体表面的反射，根据这些3种反射成分，利用于物体的阴影附加。根据该Phong反射模型的3种反射成分，从夜间前灯引起的反射之中筛选对于车载用环境识别部而言成为误检测原因的反射成分。分析由车载照相机获取的影像可知，环境反射是指来自其他物体的2次反射等引起的光的反射，由于对物体附加均匀的色调，因此不会成为车载环境识别部的误检测原因。其次是漫反射光，但在具有方向性的前灯照射路面的情况下，前灯面向的路面的亮度高，且越是远方或者离灯的方向性的朝向较远则亮度降低，与周边的路面产生亮度差，因此可知漫反射光是误检测原因之一。最后是镜面反射光，对于该反射光而言，在从前灯的光源连接本车辆照相机的直线上的路面上镜面反射的光生成的反射区域，与周围的路面相比较亮，因此可知该反射光也会成为误检测原因。因此，作为由夜间前灯引起的误检测的对策，利用与周围的路面亮度相比具有提高亮度的效果的“镜面反射”、“漫反射”这两者，估计对于图像识别而言容易成为误检测的原因的反射区域。在现有的公知例中，原本只考虑了镜面反射，或者即使仅判定高亮度的区域是容易从图像处理中提取的，但仅通过图像处理搜索虽然是低亮度但是亮度比周围高的反射区域并不是容易的。本实施例通过图像处理实施可比较简单地实施的高亮度区域的提取，并从提取出的光源中仅估计会成为图像识别的误检测原因的反射区域，从而大幅抑制要进行图像搜索的量，并且对反射区域进行估计计算，从而大幅削减处理负荷的同时，成功确定了在现有方法中比较难的、虽然是低亮度但与周围环境相比会因反射而导致亮度变高的区域。并且，将提取出的光源限定为行驶在与本车辆相同的道路上的车辆的前灯，从而还可以将在公知例等中未涉及的漫反射所产生的反射区域也估计为对于图像识别而言成为误检测原因的反射区域。由此，成功实现了在现有方法比较难的因漫反射产生的反射区域的估计、以及虽然是低亮度但与周围环境相比亮度较高的镜面/漫反射区域的估计。由此，能够更可靠地对应各图像识别应用，为各图像识别应用的自适应范围扩大做贡献。·为了求出因前灯产生的有可能成为误检测原因的区域，从phong反射模型的反射成分中利用漫反射成分和镜面反射成分，在路面上的区域中计算出关注点的亮度I。关注点亮度I可以表现为漫反射成分Kd (L · N) id与镜面反射成分Ks (R · V) α、之和。基于图11(a)考虑的话，漫反射成分可由表示在路面上哪些光没有被吸收而是被反射的相对于入射光的漫反射率Kd、根据提取出的光源的位置得到的光线方向向量L、假设物体全部为水平的路面时垂直向上的法线向量N、和来自成为误检测原因的光源的扩散光源的光强度id来表示。漫反射率原本根据入射光的波长、即颜色的不同而不同，但是本次，由于路面的颜色或灯都不是彩度高的颜色，因此假设不存在因入射光的波长的变化。如图11(c)所示，将实际的镜面反射光的聚光情况也设为α的系数，增大α时，意味着接近如接近图11(b)的状态的镜子的反射。假设反射光的强度依赖于表示路面以什么程度进行镜面反射的镜面反射系数Ks、成为误检测原因的前灯的镜面反射光的强度is、照相机方向向量V和光源方向向量R而产生变化，由此估计镜面反射成分。根据这些漫反射成分和镜面反射成分估计路面亮度，并估计有可能成为反射误检测原因的区域。I :关注点亮度Kd :扩散反射系数L :向光源的方向向量N:物体法线向量id:扩散光强度Ks :镜面反射系数R :光线完全被反射的方向向量V:朝向照相机的方向向量
α :镜面反射的聚光度is :镜面光强度I = Kd (L · N) id+Ks (R · V) α is由此，提取成为反射要因的光源，在不识别反射区域的情况下进行估计，从而还能够估计亮度低的反射区域，成功削减了误检测。首先，Phong反射模型的一部、即漫反射成分和镜面反射成分中，上述的式子成立，但是不同于CG环境，并不是所有都是已知的，因此在车载照相机的图像识别的环境下，不能直接进行计算。以上述式子为基本概念，利用从图像获得的信息，说明如何应用于反射区域估计的计算中。说明光源的3维位置。在3维的位置关系中，需要照相机位置、路面位置和光源位置各自的相对关系。首先，并不是针对全部光源计算反射区域，而是将其他车辆的灯作为对象，基于提取出的光源在图像上的位置，判定是否是可估计为产生路面反射的灯。作为估计为产生路面反射的灯，灯判定部410例如判定是否为其他车辆的前灯。 之前，也可以通过实施灯3维位置设定部430的计算，用于图像提取光源是否为可产生路面反射的灯的判定中。此外，也可以通过分析光源的形状、图案、颜色信息，从而判定是否为产生路面反射的灯。此外，也可以实施图像上的跟踪并分析其动作，从而判断是路面上的静止物还是其他车辆的前灯，由此判断是否实施用于误检测的路面反射对策。此外，也可以与雷达部411的车辆检测结果、或者立体物识别结果相比较，从而判定是否为其他车辆的前灯。此外，除了雷达部411外，还可以利用立体照相机的立体物识别结果、车车间通信的结果、或路车间通信的结果。由此，本车辆照相机与光源的相对3维位置成为已知，且由于假设反射是水平的路面，因此，具备了用于针对图像上的某一路面I点计算反射光的强度的信息。首先，在扩散光反射中，若向光源的方向向量对图像上的路面I点进行3维位置估计，则光源位置和路面I点的3维位置都也已知，能够根据该向量计算方向。此外，由于假设了路面是水平的，因此物体的法线向量全部都是垂直向上的。若考虑这些，已知路面上的漫反射系数和前灯的扩散光强度，则之后可计算图像上的路面每I点的亮度。但是，在此考虑的是假设路面全部为水平，考虑来自光源的方向向量，之后与扩散光强度和漫反射系数的相乘结果成比例地决定其亮度。也就是说，如图10所示，若以车辆的前灯位置为基准预先计算了路面上的亮度表示什么样的等高线，则可知针对该结果，利用扩散光强度和漫反射系数的相乘结果从而等高线成比例地变化。也就是说，可知在实时计算中，只需要运算漫反射系数和扩散光强度，而其他计算在初始化时预先计算即可。但是，若按上述说明那样计算漫反射光成分，则如图10所示，不会成为由实际的前灯表现出的配光图案。这是因为，将由Phong反射模型定义的光基本上考虑成点光源，并直接应用于Phong式时，估计出了点光源正下方的路面最亮、而随着渐渐远离此处就会变暗的圆状的等高线。因此，为了计算具有方向性的前灯产生的扩散光的路面反射成分，按照如下方式修正计算结果即可，即从前灯照得最亮的方向的向量与向光源的向量的点积中，随着角度远离，使扩散光强度衰减。在本实施例中，最初就认为很难细微地识别每个车辆的前灯的不同，预先定义某一方向性的方向，以此为基准，致力于计算如图10所示的配光图案。
另外，在因路面状况而容易产生漫反射的情况下等，也可以扩展误检测原因的对象，使由灯信息部400处理的光源除了其他车辆的前灯之外，还包括路灯等其他光源。但是，也可以是还预先准备无方向性的光源时的配光图案等，从而选择路灯产生的漫反射的配光图案，并用于误检测抑制。在灯判定部410中，从误检测原因的对象中排除了在路面上不产生反射的光源，因此相应地，能够省略后述的灯强度估计部420、灯3维位置设定部430、配光图案设定部440中的无用处理负荷、以及之后的车道识别等各应用中的无用处理负荷。灯强度估计部420估计由灯判定部410判定为产生了路面反射的灯的灯强度(光强度)。在该灯中除了其他车辆的灯之外还包括路灯等其他光源的情况下，还估计该光源的光强度。灯强度估计部420基于在图像上出现白斑的区域的面积，估计灯强度。在本实施例中，根据图像上的白斑面积，估计扩散光强度和镜面光强度。
在可获得或者可分析实际的照相机快门速度或增益等设定信息的情况下，也可以通过利用该值来估计灯强度。但是，由于灯离地面的高度、道路的倾斜度等不明点特别多，因此后续车辆的正确的位置和姿势虽然也依赖于最终所需的反射区域的估计精度，但是与详细的分析相比，只要根据图像上的光源面积与反射大小的相关性来实施简单的计算也是充分实用的。不过，可以说这是因为最终的应用是车道识别、路边检测、行驶路径识别这样即使从处理区域中删除一部分也可以通过利用其他区域来识别的应用，所以才成立的。对于步行者检测或车辆检测而言，作为处理区域对象外意味着不检测来到该区域的车辆，因此作为不能检测车辆的状况，成为系统放弃(systemgive up)。因此，若是用于防止或抑制碰撞的步行者检测或车辆检测，则并不是完全从处理区域对象排除，而是认为该区域是高亮度且产生反射的可能性高，虽然不会从识别处理的对象中排除，但是与其他区域相比变更参数、或者使其实施不同的识别处理来应付。特别是在应用中，在行车线检测或路边识别中，容易将在画面上亮度高且处于线上的物体当作误检测对象。对于高亮度的区域，通过公知例等的基于图像处理的提取方法也容易判断是路面反射等，但是在从前灯延伸的反射中，若是虽然不是高亮度但是与路面相比亮度还是较高的反射，则即使利用现有公知技术也很难区分到哪里为止是反射而到哪里为止是路面。在本实施例中，获取后续车辆的前灯在要因中产生的反射的特征，利用简化之后的模型成功实现了路面反射区域的估计。但是，即使在无法获得实际的照相机的设定信息的情况下，也可以根据出现白斑的面积的大小来估计路面反射对照相机带来的什么程度的影响。若是纵向非常长的白斑，则也可以判断为是在路面反射和灯两者相连的状态下出现了白斑。在此，在图像上虽然亮度高但可看作是面积非常小的点光源的情况下，大多情况是远方车辆的前灯等，实际上该灯成为要因的路面反射会成为误检测原因的可能性非常低。由此，实际上即使是车辆的前灯的光源，为了判定是否有可能成为因路面反射引起的各识别应用610 650的误检测原因，进行灯强度的估计，将小于某一强度的灯排出反射对策的对象外。此外，将认为以某一强度以上的灯引起路面反射的灯，该灯的路面反射作为是否带来很大且较广的影响的指标。灯3维位置设定部430根据图像上的光点估计灯的3维位置。若是立体照相机，则还能够基于三角测量的原理估计3维位置，但若是单眼照相机，则只能估计图像上的位置信息，很难确定光源的3维位置。因此，在本实施例中，追加3维的制约条件后估计灯的3维位置，并估计为各灯的3维位置。图9是说明灯3维位置估计方法的图，图9 (a)是通过作为单眼照相机的后部照相机拍摄并2值化之后的图像的示意图，图9(b)是表示照相机的高度位置与灯的假定高度位置之间的关系的图。另外，在图9(a)中，符号WL表示规定行车线的白线。如图9(a)所示，根据图像91上的位于右上方的光点92、92的图像信息，能够确定在3维世界上的一根线上存在光点92、92。虽然不能确定其他车辆(未图示)的灯的高度，但是在本实施例中，将灯高度假设为距地面高O. 6m的高度，估计灯92、92的本车辆至灯为止的车辆前后方向的距离、车宽方向的距离、灯距地面的高度。如图9(b)所示，将连接照相机的镜头中心和图像上的光点的直线估计为距地面 的高度为O. 6m的平面，将交叉的一点96估计为灯3维位置。在此，利用灯92的3维位置信息，不仅用于灯92是否为产生路面反射的灯的判定中，还估计从灯92的3维位置起在路面上的哪个3维位置产生路面反射。在此估计出的灯的3维位置是基于已在路面上60cm这样的修改求出的3维信息，因此该3维位置信息中存在某种程度的误差。此外，若还能够正确地掌握路面的倾斜度或凹凸等，则进行所考虑的路面反射估计是正确的，但是，由于在已经将车辆的前灯的高度位置设为60cm这样的假定情况下进行了计算，因此即使是假定为路面无凹凸的计算，也能够充分成为有利用价值的反射区域的位置估计。配光图案设定部440基于在灯3维位置设定部430中设定的灯的3维位置，设定灯的配光图案。也可以因不同国别而使左右不对称的配光图案反转。此外，若是估计为光源虽不是前灯但是会产生漫反射的点光源等，则选择不同于前灯的配光图案。配光图案基本上是为了估计漫反射引起的路面反射位置而设定的。但是，还如图4中所示，在该时刻，已估计出灯强度，但是由于未估计路面反射强度，因此在此只表示是什么类型的配光图案，而作为数据的信息，如图10所示，在灯信息部400中选择世界坐标上的等高线上的绘图数据。图10是表不随着照度而不同的配光图案的图，图10(a)是俯视图，图10(b)是侧视图。虽然各车辆的前灯的形状及车体的姿势都互不相同，但是很难按车种分开应对，因此在本实施例中，以所有车型相同的前灯形状、后续车辆与本车辆平行地前进的情况作为前提来计算反射。根据具有方向性的前灯的光轴向量和向光源的方向向量的点积表现方向性的光，而且根据光源方向向量与方向向量的点积计算了漫反射成分。在图5定义的路面反射估计部500的路面反射系数决定部中，决定漫反射系数和镜面反射系数。在此，说明漫反射系数的估计。对于漫反射系数，根据路面的种类或者天气来总结为漫反射系数的表格(表I)，并分别根据路面状况的变化或天气的状况来使其变更。路面越白漫反射系数就越大，而且路面越干漫反射系数就越大。浙青的较暗的路面、或下雨后路面的颜色看上去较暗时，漫反射系数变小。在路面湿润的情况下，虽然镜面反射系数大，但是漫反射系数变小。表I
漫反射系数表格
权利要求
1.一种车载用环境识别装置，其基于由车载照相机拍摄到的图像来识别本车辆的周围环境，该车载用环境识别装置的特征在于，具备 光源提取部，其从所述图像中提取光源； 灯信息部，其基于所述光源在所述图像上的位置，提取出引起该光源在环境识别时成为误检测原因的路面反射的灯； 路面反射估计部，其估计所述灯在路面进行反射的所述图像上的路面反射估计图像区域；和 车载用环境识别部，其基于该路面反射估计图像区域，来识别本车辆的周围环境。
2.根据权利要求I所述的车载用环境识别装置，其特征在于， 所述灯信息部估计包括提取出的灯的灯强度、或3维位置、或配光图案的信息之中的一个信息在内的灯信息， 所述路面反射估计部基于所述灯信息，估计所述灯在路面进行反射的所述图像上的路面反射估计图像区域。
3.根据权利要求2所述的车载用环境识别装置，其特征在于， 光源提取部从所述图像中将具有预先设定的阈值以上的面积的点光源作为所述光源提取出。
4.根据权利要求2所述的车载用环境识别装置，其特征在于， 所述灯信息部具备 灯判定部，其基于由所述光源提取部提取出的光源在图像上的位置，判定所述光源是否为所述灯； 灯强度估计部，其基于在所述图像中因所述灯而出现白斑的区域的面积，来估计所述灯的灯强度； 灯3维位置设定部，其基于所述灯在图像上的位置，来设定该灯的3维位置；和 配光图案设定部，其基于由该灯3维位置设定部所设定的所述灯的3维位置，来设定所述灯的配光图案， 将由所述灯强度估计部估计出的灯强度低于预先设定的灯强度的灯判定为并非成为误检测原因的灯的对象。
5.根据权利要求I所述的车载用环境识别装置，其特征在于， 所述路面反射估计部估计所述灯在路面上产生的漫反射位置和镜面反射位置，并基于该估计出的漫反射位置和所述镜面反射位置，来估计所述路面反射估计图像区域。
6.根据权利要求5所述的车载用环境识别装置，其特征在于， 所述路面反射估计部根据行驶环境来决定路面反射系数，并根据该路面反射系数变更所述路面反射估计图像区域。
7.根据权利要求6所述的车载用环境识别装置，其特征在于， 所述行驶环境是天气状况、路面状况、由车载导航提供的信息、雨刷的动作状态、时刻的至少一个。
8.根据权利要求I所述的车载用环境识别装置，其特征在于， 所述车载用环境识别部将所述路面反射估计图像区域作为识别所述车辆的周围环境的识别应用中的不检测区域。
9.根据权利要求8所述的车载用环境识别装置，其特征在于， 所述车载用环境识别部作为所述识别应用而包括车道识别、路边识别、行驶路径识别、路面标识识别、路面状况识别的至少I个。
10.根据权利要求I所述的车载用环境识 别装置，其特征在于，具备 昼夜判定部，其判定昼夜； 夕阳对策路面反射信息部，在由该昼夜判定部判定为是需要考虑太阳光的时间带的情况下，判定由所述光源提取部提取出的光源是否为在环境识别时成为误检测原因的太阳光；和 夕阳对策路面反射估计部，其估计由该夕阳对策路面反射信息部判定为成为误检测原因的太阳光在路面进行反射的所述图像上的路面反射估计图像区域， 所述车载用环境识别部基于由该夕阳对策路面反射估计部和所述路面反射估计部中的至少一个估计出的路面反射估计图像区域，来识别本车辆的周围环境。
11.根据权利要求10所述的车载用环境识别装置，其特征在于， 所述夕阳对策路面反射信息部具备 路面反射判定部，其判定是否为因路面上的反射引起的光源； 反射强度估计部，其估计路面反射的光的强度； 反射3维位置设定部，其设定产生反射的路面3维位置；和 太阳方位设定部，其设定成为路面反射的原因的太阳的方位。
12.根据权利要求10所述的车载用环境识别装置，其特征在于， 所述夕阳对策路面反射估计部估计所述光源在路面上产生的漫反射区域和镜面反射区域，并基于该估计出的漫反射区域和镜面反射区域，来估计所述路面反射估计图像区域。
全文摘要
本发明提供一种车载用环境识别装置。车载用环境识别装置(100)具备光源提取部(300)，其从图像中提取光源；灯信息部(400)，其基于源在图像上的位置，提取光源在环境识别时成为误检测原因的灯，并估计包括灯的灯强度、3维位置和配光图案的信息在内的灯信息；路面反射估计部(500)，其基于灯信息，估计灯被路面反射的图像上的路面反射估计图像区域；车载用环境识别部(600)，其基于路面反射估计图像区域，识别本车辆的周围环境。因此，可获得能够以更少的处理负荷防止因周围车辆的前灯光引起的误识别的车载用环境识别装置。
文档编号G06K9/00GK102902952SQ201210256389
公开日2013年1月30日 申请日期2012年7月23日 优先权日2011年7月28日
发明者竹村雅幸, 村松彰二, 志磨健, 坂田雅男 申请人:株式会社日立制作所