车外环境识别装置制造方法
【专利摘要】根据本发明可检测出车载摄像机的光学系统部件或前窗玻璃中存在污渍或者污垢的同时，假使在这种情形下也能够使用颜色信息恰当地进行图像识别。车外环境识别装置（130）具备：特定物检测单元，基于彩色图像检测特定物；数据存储单元(152)，关联特定物和表示该特定物的颜色的亮度范围并进行存储；透射度降低判断单元(172)，比较特定物在彩色图像中的亮度和关联到特定物的亮度范围，以判断位于车载摄像机的拍摄方向的透射体的透射度的降低。
【专利说明】车外环境识别装置
【技术领域】
[0001]本发明涉及一种通过车载摄像机识别本车辆外的环境的车外环境识别装置，尤其涉及一种检测附着在光学系统部件、前窗玻璃的污溃、污垢等，同时依据检测结果来恰当地处理图像的车外环境识别装置。
【背景技术】
[0002]目前，已知有如下的车外环境识别装置:通过搭载在车辆的车载摄像机来拍摄本车辆的前方的道路环境，并基于图像中的颜色信息、位置信息检测出信号灯、制动灯等光源(例如，专利文献I)。
现有技术文献 专利文献
[0003]专利文献1:日本特开2010-224925号公报
[0004]在这种利用图像内的颜色信息来检测光源的情况下，假设透镜等光学系统部件、位于拍摄方向的前窗玻璃等透射体上存在污溃、污垢的状态下，太阳光(逆光)等较强环境光从拍摄方向照射进来时，环境光的颜色成分被加到拍摄的整个图像上，导致图像中的对象物与原来的颜色不同。其结果，使用颜色信息的光源的识别精度变低，或者无法进行识别。
【发明内容】
[0005]鉴于这种问题，本发明的目的在于提供一种能够检测出车载摄像机的光学系统部件或前窗玻璃中存在污溃、污垢的同时，假使在这种情形下也能够恰当地进行使用颜色信息的图像识别的车外环境识别装置。
[0006]为了解决上述问题，基于由车载摄像机拍摄的彩色图像来识别本车辆外的环境的本发明的车外环境识别装置的特征在于具备:特定物检测单元，基于彩色图像检测特定物；数据存储单元，关联特定物和表示该特定物的颜色的亮度范围并进行存储；透射度降低判断单元，比较特定物在彩色图像中的亮度和关联到特定物的亮度范围，以判断位于车载摄像机的拍摄方向的透射体的透射度的降低。
[0007]数据存储单元还关联特定物和该特定物原来的亮度并进行存储，并且车外环境识别装置还具备:补偿量导出单元，基于特定物在彩色图像中的亮度和关联到特定物的原来的亮度之间的差值，导出补偿量；亮度补偿单元，基于被导出来的补偿量，补偿彩色图像的对象部位的亮度，其中，特定物检测单元还可以基于经补偿的彩色图像检测特定物。
[0008]为了解决上述问题，基于由车载摄像机拍摄的彩色图像来识别本车辆外的环境的本发明的另一车外环境识别装置的特征在于具备:特定物检测单元，基于彩色图像检测特定物；数据存储单元，关联特定物和该特定物原来的亮度并进行存储；补偿量导出单元，基于特定物在彩色图像中的亮度和关联到特定物的原来的亮度之间的差值，导出补偿量；亮度补偿单元，基于被导出来的补偿量，补偿彩色图像的对象部位的亮度，其中，特定物检测单元基于被补偿的彩色图像检测特定物。
[0009]车外环境识别装置还可具备透射度降低检测单元，检测位于车载摄像机的拍摄方向的透射体的透射度的降低，其中，当检测到透射体的透射度降低时，补偿量导出单元可导出补偿量。
[0010]补偿量导出单元可导出将被导出来的补偿量除以彩色图像的曝光时间而得出的基本补偿量，亮度补偿单元基于向基本补偿量乘以作为补偿对象的彩色图像的曝光时间而得出的补偿量，补偿彩色图像的对象部位的亮度。
[0011]补偿量导出单元能以将彩色图像分割为多个区域的分割区域为单位，导出补偿量。
[0012]补偿量导出单元可基于导出有补偿量的分割区域的补偿量，导出未被导出补偿量的分割区域的补偿量。
[0013]补偿量导出单元可将时间平均值重新作为补偿量，该时间平均值为基于特定物在彩色图像中的亮度和关联到特定物的原来的亮度之间的差值而导出来的补偿量与在相同检测区域或者相同分割区域中过去被导出来的补偿量的平均值。
[0014]特定物检测单元基于彩色图像中的亮度的随时间的变化，检测特定物。
[0015]根据本发明，能够检测出车载摄像机的光学系统部件或前窗玻璃中存在污溃、污垢，假使在这种情形下也能够使用颜色信息恰当地进行图像识别。
【专利附图】
【附图说明】
图1是示出环境识别系统的连接关系的框图。
图2是用于说明亮度图像和距离图像的说明图。
图3是用于说明环境识别系统中的环境光的影响的说明图。
图4是示出车外环境识别装置的概略的功能的功能框图。
图5是用于说明特定物对应表、污溃判断表以及补偿参考表的说明图。
图6是用于说明通过位置信息获取单元变换为三维位置信息的说明图。
图7是用于说明特定物映射图的说明图。
图8是用于说明透射度降低判断单元的判断对象的说明图。
图9是用于说明补偿量导出单元的处理的说明图。
图10是用于说明补偿量导出单元的处理的另一说明图。
图11是示出环境识别方法的整体流程的流程图。
图12是示出特定物映射图生成处理的流程的流程图。
图13是示出群组化处理的流程的流程图。
图14是示出特定物确定处理的流程的流程图。
图15是示出透射度降低判断处理的流程的流程图。
图16是示出补偿量导出处理的流程的流程图。
主要符号说明:
1车辆
2透射体
120 图像处理装置 122检测区域
124亮度图像
130车外环境识别装置
152数据存储单元
160亮度获取单元
162位置信息获取单元(特定物检测单元)
164特定物初步确定单元(特定物检测单元)
166群组化单元(特定物检测单元)
168特定物确定单元(特定物检测单元)
172透射度降低判断单元
174补偿量导出单元
176亮度补偿单元
200特定物对应表
202污溃判断表
204补偿参考表
206亮度范围
208高度范围
210宽度范围
220特定物映射图
222对象部位
230分割区域
【具体实施方式】
[0017]以下，参照附图来详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等仅仅是为容易地理解发明的示例而提供的，除了特别指定的情况以外，并不能限定本发明。在此，在本说明书以及附图中，对于具备实质上相同的功能、结构的要素通过赋予相同的符号的方式省略了重复性说明，而且对与本发明没有直接关系的要素省略了图示。
[0018](环境识别系统100)
图1是示出环境识别系统100的连接关系的框图。环境识别系统100包括设置在车辆I内的以下部件而构成，具体包括多个(在本实施方式中为两个)作为车载摄像机的摄像装置110、图像处理装置120、车外环境识别装置130、车辆控制装置140。
[0019]摄像装置110包括电荷稱合器件(CO), Charge-Coupled Device)、互补金属氧化半导体(CMOS,Complementary Metal-Oxide Semiconductor)等摄像器件,在彩色图像(即，在像素单位)中可获取三个色相(红:R，绿:G，蓝:B)的亮度。在本实施方式中，对颜色和亮度一视同仁，在同一个文章里包括这两个用语时，彼此可换用另一词句(例如，构成颜色的亮度或者具备亮度的颜色)读出来。在此，由摄像装置100拍摄的彩色图像称作亮度图像，以与后述的距离图像进行区别。
[0020]并且，摄像装置110以在车辆I的行进方向侧使两个摄像装置100各自的光轴大致平行的方式，在大致水平方向上分开配置。摄像装置110例如以每1/60秒一帧(60fps)的速度连续地生成对存在于车辆I前方的检测区域的对象物进行拍摄的图像数据。在此，对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物体，还包括尾灯、方向指示灯、信号灯的各个照明部分等能够确定为立体物的部分的物体。在以下实施方式中的各个功能单元以这种图像数据的更新为契机针对每一帧执行各种处理。
[0021]图像处理装置120从两个摄像装置110中的每一个摄像装置获取图像数据，并采用从另一个图像数据中搜索对应于从一个图像数据中任意抽出的区块(例如，水平4像素X垂直4像素的阵列)的区块的所谓图案匹配而导出视差。在此，水平是指所拍摄的图像的画面横向方向，垂直是指所拍摄的图像的画面纵向方向。
[0022]所述图案匹配是指，在两个图像数据之间，以示出任意图像位置的区块单位来比较亮度(Y色差信号)的方法。例如，包括求出亮度值的差值的绝对差值和(SAD，Sumof Absolute Difference)、将差值平方后使用的差值的平方和(SSD, Sum of Squaredintensity Difference)、求出从各个像素的亮度值减去了平均值的分散值的相似度的归一化互相关(NCC, Normalized Cross Correlation)等方法。图像处理装置120对于被显示在检索区域(例如，600像素X 180像素)的全部区块执行这种区块单位的视差导出处理。在此，将区块设定为4像素X4像素，但区块内的像素数量可以任意地设定。
[0023]但是，在图像处理装置120中，虽然能够对作为检测分辨率单位的每个区块导出视差，但无法识别该区块是哪种对象物的一部分。由此，视差信息不是从对象物单位而是从检测区域的检测分辨率单位(例如区块单位)中独立地导出来的。在此，将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。
[0024]图2为用于说明亮度图像124和距离图像126的说明图。例如，假设通过两个摄像装置110，针对检测区域122生成如图2 (a)所示的亮度图像(图像数据)124。但是，在此为了便于理解，仅模式性地示出两个亮度图像124中的一个。在本实施方式中，图像处理装置120从这种亮度图像124求出每个区块的视差，从而形成图2 (b)所示的距离图像126。对于距离图像126中的各个区块来说，其区块的视差相互关联。在此，为了便于说明，将导出有视差的区块以黑点表示。
[0025]对于视差而言，在图像的边缘部分(相邻像素之间明暗的差值较大的部分)容易被确定，因此在距离图像126中，赋予黑点的、被导出视差的区块在亮度图像124中也大多形成边缘。因此，图2 (a)所示的亮度图像124和图2 (b)所示的距离图像126在各个对象物的轮廓上比较近似。
[0026]回到图1，车外环境识别装置130从图像处理装置120获取亮度图像124和距离图像126，并使用基于亮度图像124的亮度来确定检测区域122中的对象物对应于哪种特定物。并且，为了确定对象物，还使用基于距离图像126的与车辆I之间的相对距离。此时，车外环境识别装置130利用所谓立体视觉法将距离图像126中的检测区域122内的每个区块的视差信息变换为包括相对距离的三维位置信息。在此，立体视觉法是通过使用三角测量法，从对象物的视差导出该对象物相对于摄像装置110的相对距离的方法。对于上述车外环境识别装置130将在后面详述。
[0027]车辆控制装置140执行避免本车辆与通过车外环境识别装置130确定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说，车辆控制装置140通过用于检测方向盘角度的舵角传感器142和用于检测车辆I的速度的车速传感器144等获取当前的车辆I的行驶状态，并通过控制致动器146使车辆I与前行车辆的车间距保持在安全距离。在此，致动器146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且，当推断出将与对象物产生碰撞时，车辆控制装置140在设置于驾驶者前方的显示器148进行相应警告显示(报警)，同时控制致动器146使车辆I自动地减速。上述车辆控制装置140也可以与车外环境识别装置130形成为一体。
[0028]图3是用于说明环境识别系统100中的环境光的影响的说明图。如同上述，在环境识别系统100中，摄像装置110生成亮度图像124，从而车外环境识别装置130使用基于亮度图像124的亮度来确定检测区域122中的对象物对应于哪种特定物。在上述亮度图像124显示有如在图3中用箭头(A)所示的发光体的光或者如用箭头(B)所示的物体的反射光。
[0029]并且，当摄像装置110设置在车辆I内时，在摄像装置110的拍摄方向上存在前窗玻璃等透射体2，摄像装置110经过上述透射体2来生成亮度图像124。因此，当透射体2被弄脏或者变得模糊而透射度降低的情况下，由如图3中用箭头(C)所示的太阳光等较强的环境光从拍摄方向照射进来时，环境光将影响被拍摄的整个亮度图像124，例如，箭头(C)的环境光被加到箭头(A)的发光体的光中，导致亮度图像124中的对象物与原来的颜色不同。
[0030]在此，需要说明的是，这种现象不限于前窗玻璃中存在污溃或者污垢的情况，当透镜等光学系统中存在污溃、污垢时也会发生相同的现象。
[0031]在此，当尝试再现对象物的原来的亮度时，从获取的亮度图像124减去因箭头(C)的环境光导致的影响(作为补偿量)即可。针对上述补偿量而言，例如以检测出RGB的比例被预先确定的道路标识、信号灯这种特定物为前提，通过从亮度图像124中的特定物所对应的对象部位的亮度中减去特定物的原来的亮度，即可求出该补偿量。以下，说明上述车外环境识别装置130的具体的构成。
[0032](车外环境识别装置130)
图4是示出车外环境识别装置130的概略的功能的功能框图。如图4所示，车外环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。
[0033]I/F单元150是用于与图像处理装置120、车辆控制装置140进行双向信息交换的接口。数据存储单元152由RAM、闪存、HDD等构成，并存储特定物对应表、污溃判断表、补偿参考表以及以下所示的各个功能单元的处理所需的各种信息，而且，暂时存储从图像处理装置120接收的亮度图像124、距离图像126。在此，特定物对应表、污溃判断表以及补偿参考表的利用方法如下。
[0034]图5是用于说明特定物对应表200、污溃判断表202以及补偿参考表204的说明图。在本实施方式中，首先，(I)基于亮度图像124，使用特定物对应表200来确定特定物。接着，(2)使用污溃判断表202，判断被确定的特定物是否是伴随着污溃、污垢被检测出来的。并且，(3)若判断为被确定的特定物是伴随着污溃、污垢被检测出来的，则使用补偿参考表204，导出作为与该特定物的原来的亮度的差值的补偿量。由此导出的补偿量可使用于同一帧中的其他特定物的检测处理或者后续帧中的所有特定物的检测处理。
[0035]在图5 Ca)所示的特定物对应表200中，针对多个特定物关联有表示示出颜色的亮度(色彩平衡)的范围的亮度范围206和表示自道路表面的高度的范围的高度范围208和表示特定物的大小范围的宽度范围210。在此，作为特定物假定有“信号灯(红)”、“信号灯(蓝)”、“道路标识(蓝)”、“道路标识(绿)”等在道路上行驶时需要视觉上确认的各种物体。但是，显然，特定物不限于图5 (a)所记载的物体。特定物中，例如针对特定物“信号灯(红)”关联有如下信息:将亮度(R)作为基准值时，亮度(G)为基准值(R)的0.5倍以下，亮度(B)为基准值(R)的0.38倍以下，高度范围208为4.5?7.0m、宽度范围210为0.05?0.2m。针对特定物“道路标识(蓝)”关联有如下信息:将亮度(B)作为基准值时，亮度(R)为基准值(B)的0.7倍以下，亮度(G)为基准值(B)的0.8倍以下，高度范围208为1.5?10.0m、宽度范围210为0.3?1.0m0
[0036]并且，虽然图中没有示出，但是针对各特定物中还关联有该特定物特有的条件，例如针对道路的水平位置、高度等信息。例如，针对特定物“信号灯(红)”、“道路标识(蓝)”还关联有如下信息:在距离图像126的水平方向上位于道路宽度以内，与车辆I的相对距离为40?70m，对象部位彼此之间的距离(不规则)在±lm以内，相比与被群组化的对象部位的平均相对距离Z，与未被群组化的对象部位的平均相对距离Z还多于20m以上时视作远方(被群组化的对象部位以外的距离为20m以上远处)，群组内对象部位的数量为预定数量或者在预定比例以上等。并且，当特定物“信号灯(红)”为由LED (发光二极管)构成时，关联如后述的闪烁这种动作，针对“道路标识(蓝)”还关联有能够判断为蓝色的部位的面积为整体的50%以上这种信息。其中，针对这种特定物的确定可使用现有的各种技术，例使用诸如日本特愿2009-72165等的基于实际空间上的光源的位置确定特定物的技术。
[0037]在本实施方式中，基于特定物对应表200，在亮度图像124内的任意对象部位之中，满足关于任意特定物的亮度范围206的条件的对象部位成为特定物的候补。例如，对象部位的亮度被包括在特定物对应表200的特定物“信号灯(红)”的亮度范围206时，该对象部位成为特定物“信号灯(红)”的候补。并且，将对象部位群组化的对象物以像个特定物的形态被提取出来时，例如被群组化的对象物的大小满足:“信号灯(红)”的高度范围4.5?
7.0m,宽度范围0.05?0.2m以及“信号灯(红)”特有的条件时，将其判断为特定物。被判断为特定物的对象部位通过特定物固有的识别号码来分类。在此，对象部位假定为像素或汇集了像素的区块，但是为了便于说明，本实施方式中决定使用像素。
[0038]并且，图5 (b)所示的污溃判断表202虽然由与特定物对应表200的相同的条目来构成，但是其亮度范围206不同。该污溃判断表202是用于基于在透射体上没有污溃或污垢时某一个特定物应该满足的规定的亮度范围206，将除此之外的范围判断为存在污溃或污垢的表。因此，例如针对特定物“信号灯(红)”关联有如下的信息:将亮度(R)作为基准值时，亮度(G)为基准值(R)的0.35倍以上，亮度(B)为基准值(R)的0.2倍以上。该污溃判断表将使用图5 Ca)的特定物对应表200被检测出来的特定物作为对象，因此与特定物对应表200的条件相配合从而在如下结果时判断为存在污溃:亮度(G)为基准值(R)的
0.35倍以上且0.5倍以下，或者亮度(B)为基准值(R)的0.2倍以上且0.38倍以下时。
[0039]并且，图5 (C)所示的补偿参考表204的亮度范围206也不同。该补偿参考表204表示特定物固有的原来的亮度。因此，可用于导出通过污溃判断表202被检测出污溃的特定物的亮度和该特定物的原来的亮度之间的差值，被导出的差值作为补偿量使用于特定物的亮度的补偿。[0040]回到图4，中央控制单元154由包括中央处理器(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成，并通过系统总线156控制I/F单元150和数据存储单元152等。而且，在本实施方式中，中央控制单元154还具有作为亮度获取单元160、位置信息获取单元162、特定物初步确定单元164、群组化单元166、特定物确定单元168、透射度降低判断单元172、补偿量导出单元174、亮度补偿单元176的功能。在此，位置信息获取单元162、特定物初步确定单元164、群组化单元166以及特定物确定单元168具有基于特定物对应表200并从亮度图像124检测出特定物的特定物检测单元的功能。
[0041]亮度获取单元160从接收的亮度图像124中，以对象部位(像素)为单位来获取亮度(像素单位中三个色相(红(R)、绿(G)、蓝(B))的亮度)。并且，当后述的亮度补偿单元176补偿亮度时，亮度获取单元160获取被补偿的补偿亮度。
[0042]位置信息获取单元162使用立体视觉法，将接收的距离图像126中的检测区域122内的每个区块的视差信息变换成包括水平距离X、高度y以及相对距离Z的三维的位置信息。在此，视差信息表示距离图像126中的各对象部位的视差，相对于此，三维的位置信息表示实际空间中的各对象部位的相对距离的信息。因此，当使用相对距离、高度这种用语时是指实际空间上的距离，当使用检测距离这种用语时是指距离图像126上的距离。而且，当视差信息不是以像素单位，而是以区块单位(即多个像素单位)导出来时，可将该视差信息视为属于区块的所有像素的视差信息，并执行像素单位的计算。
[0043]图6是用于说明通过位置信息获取单元162变换为三维位置信息的说明图。位置信息获取单元162首先将距离图像126识别为如图6所示的像素单位的坐标系。这里，在图6中，将左下角设定为原点(0，0)，横向方向设定为i坐标轴，纵向方向设定为j坐标轴。因此，具有视差dp的像素能够由像素位置1、j和视差dp表示为(i, j, dp)。
[0044]将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此，将车辆I的行进方向的右侧方设定为X轴的正方向，车辆1的上方设定为Y轴的正方向，车辆I的行进方向(前方)设定为Z轴的正方向，经过两个摄像装置110的中央的铅垂线和道路表面的交点作为原点(0，0，O)。此时，假设道路为平面时，道路表面与X-Z平面(y=0) 一致。位置信息获取单元162通过以下的数学式I~数学式3将距离图像126上的区块坐标(i，j，dp)变换为实际空间上的三维的点坐标(x，y, z)。
x = CD / 2 + z.P W.( 1-1 V)...数学式 1
y = CH+z.PW.(j — J V)...数学式 2
z = K S / d P…数学式3
在此，⑶为摄像装置110之间的间隔(基线长度)，PW为每一个像素的视角，CH为摄像装置110自道路表面的布置高度，IV、JV为车辆1的正面方向无限远端的图像上的坐标(像素)，KS为距离系数(KS=CD/PW)。
[0045]因此，位置信息获取单元162基于对象部位的相对距离、位于与对象部位相同的相对距离的道路表面上的点与对象部位在距离图像126上的检测距离，得以导出自道路表面的高度。
[0046]特定物初步确定单元164参照存储在数据存储单元152的特定物对应表200，基于亮度获取单元160获取的亮度(或者补偿亮度)来初步确定对应于对象物的特定物。
[0047]具体地，特定物初步确定单元164从登记在特定物对应表200的特定物中顺序选择任意特定物，并判断被获取的一个对象部位的亮度是否被包括于被顺序选择的特定物的亮度范围206。并且，当包括在成为对象的亮度范围206时，向该对象部位赋予表示该特定物的识别号码，从而制作特定物映射图。
[0048]特定物初步确定单元164对多个对象部位中的每个对象部位顺序执行将这种对象部位各自的亮度和登记在特定物对应表200的多个特定物的亮度范围206之间的一系列的比较处理。在此，特定物的选择顺序按照特定物对应表200所示的优先顺序进行。S卩，在图5 (a)的特定物对应表200的示例中，以“信号灯(红)”、“信号灯(蓝)”、“道路标识(蓝)”、“道路标识(绿)”的顺序执行比较处理。
[0049]并且，按照上述优先顺序进行比较的结果，当判断为对象部位的亮度被包括在优先顺序较高的特定物的亮度范围206时，优选顺序比这个低的特定物相关的比较处理则不再进行。因此，针对一个对象部位最多只能赋予表示一个特定物的识别号码。这是基于如下的理由:多个特定物在空间上不会互相重叠，因此对于由特定物初步确定单元164—旦被判断为任意的特定物的对象物而言，已经无需判断是否为其他特定物。通过这种排他地处理对象部位的操作，可以避免对已经初步确定为特定物的对象部位进行重复的确定处理，由此能够减轻处理负荷。
[0050]图7是用于说明特定物映射图220的说明图。特定物映射图220为向亮度图像124堆叠特定物的识别号码的构件，在相当于被初步确定为特定物的对象部位的位置上，关联该特定物的识别编码。
[0051]例如，在特定物映射图220中的部分映射图220a中，相当于信号灯的右侧照明部分的多个对象部位222的亮度被包括在特定物“信号灯(红)”的亮度范围206，因此对其关联特定物“信号灯(红)”的识别号码“I”。在图7中示出了向亮度图像124的多个对象部位222赋予了识别号码“I”的图，但是这样表现是为了便于理解的概念性示例而已，实际上是向对象部位222登记作为数据的识别号码“I”。
[0052]群组化单元166以初步确定的任意的对象部位为基点，将与该对象部位之间的水平距离X的差值以及高度I的差值在预定范围内且被初步确定为对应于相同的特定物(被赋予了相同的识别号码)的对象部位群组化为对象物。在此，预定范围以实际空间上的距离进行表示，可设定为任意的值(例如，1.0m等)。并且，针对通过群组化而被新添加的对象部位，群组化单元166也以该对象部位为基点，将与该对象部位之间的水平距离X的差值以及高度y的差值在预定范围内且特定物为相同的对象部位进行群组化。其结果，若被初步确定为相同的特定物的对象部位彼此的距离在预定范围内，则这些全部会被群组化。
[0053]在此，群组化单元166使用实际空间上的水平距离和高度来进行判断，但是也可直接使用亮度图像124、距离图像126，以亮度图像124上或距离图像126上的检测距离(例如，像素数量)来进行判断。在此，无需导出实际空间上的水平距离和高度，例如可仅用像素数量来判断是否在预定范围以内。但是，此时，用于群组化的预定范围的阈值对应于对象部位的相对距离而变化。如图2等所示，在亮度图像124或距离图像126中，远处和近处的物体表示在平面上，因此位于本体远处的物体被表示地较小(较短),位于近处的物体被表示地较大(较长)。因此，针对在亮度图像124、距离图像126中的预定范围的阈值而言，例如对于位于远处的对象部位设定为较短，对于位于近处的对象部位设定为较长。据此，在远处和近处其检测距离不同的情况下，也可以恰当地设定阈值，从而有望实现稳定的群组化。[0054]并且，除了上述水平距离X的差值和高度y的差值以外，群组化单元166还可对相对距离z的差值在预定范围内且被初步确定为对应于相同的特定物的对象部位进行群组化。在实际空间上，即使水平距离X、高度y接近，但是相对距离Z相隔较远时，可假定为是在不同的对象物上。因此，水平距离X、高度y以及相对距离z中的任意一个相隔较远时，该对象部位的群组视为独立的对象物。由此，可以实现高精度的群组化。
[0055]并且，在此将分别独立判断水平距离X的差值、高度y的差值以及相对距离z的差值，且仅当全部被包括在预定范围时当作相同的群组，但是也可以基于其他计算。例如，当水平距离X的差值、高度y的差值以及相对距离z的差值的欧氏距离
水平距离X的差值;f +(高度y的差值)2 +(相对距离z的差值;f被包括于预定距离时，也可以
作为相同的群组。通过这样的计算，能够导出对象部位之间在实际空间上的准确的距离，因此能够提高群组化精度。
[0056]特定物确定单元168在由群组化单元166群组化的对象物满足预定的条件(高度范围208、宽度范围210等)时，将该对象物确定为特定物。例如，如图5 (a)所示，当特定物对应表200中关联有高度范围208的情况下，特定物确定单元168基于特定物对应表200，并在当对象物相对于道路的高度y被包括在针对对象物被初步确定的特定物的高度范围208时，将该对象物确定为作为对象的特定物。并且，除此之外，当关联有宽度范围210的情况下，特定物确定单元168基于特定物对应表200，并在当对象物的大小(对象物的水平距离X的宽度以及高度I的宽度中的任一个)被包括在对象物被初步确定的特定物的宽度范围210时，将该对象物确定为作为对象的特定物。并且，还可以对对象物的水平距离X的宽度以及高度y的宽度分别设定宽度范围210。在此，确认对象物在被视为特定物时位于适当的位置以及具备适当的大小。
[0057]并且，各特定物中还关联有该特定物特有的信息(例如，针对道路的水平位置、高度等信息)时，仅在满足该条件时，特定物确定单元168可以确定为特定物。例如，特定物的候补为“道路标识(蓝)”的情况下，在满足以下的条件时可确定为特定物:针对道路的水平位置为在距离图像126的水平方向上位于道路宽度以内，且距车辆I的相对距离为40m?70m,相比与被群组化的对象部位的平均相对距离Z，与未被群组化的对象部位的平均相对距离Z还多于20m以上时视作远方(到被群组化的对象部位以外的距离在20m以上时为远处)，群组内的对象部位的数量在预定数量或者预定比例以上，能够判断为蓝色的部位的面积占整体的50%以上。
[0058]并且，当特定物具有其他特征时，也可以将该特征为条件从而确定为特定物。例如，“信号灯(红)”由LED (Light Emitting Diode)、灯来构成，但是由LED构成时以人眼难以掌握的周期(例如，IOOHz)闪烁。因此，特定物确定单元168可基于与LED的闪烁时机异步获取的亮度图像124的对象部位的亮度随时间发生的变化来确定特定物“信号灯(红)”。
[0059]透射度降低判断单元172将对应于被确定(检测)出来的特定物的对象部位的亮度和在污溃判断表202中关联到特定物的亮度范围206进行比较，从而判断位于亮度图像124的拍摄方向(摄像装置110的拍摄方向)的透射体2的透射度的降低情况(污溃或污垢)。
[0060]图8是用于说明透射度降低判断单元172的判断对象的说明图。透射度降低判断单元172针对将亮度图像124(检测区域122)分割成多个区域的每个分割区域，判断透射体2的透射度的降低情况。例如如图8所示，在本实施方式中，将亮度图像124沿水平方向分为五等分且沿垂直方向分为三等分，从而设定分割区域230。在此，将亮度图像124分割为5 X 3，但是其分割数量可任意确定，也可以不进行分割。并且，在此，沿着水平方向以及垂直方向进行了等分，但是还能够以各种大小来进行分割(将亮度图像124中央的分割区域230的面积小于端部侧等)。
[0061]透射度降低判断单元172针对每一个分割区域230进行如下处理:当对应于被确定出来的特定物的对象部位的亮度被包括在污溃判断表202中的关联于特定物的亮度范围206时，判断为包含有该对象部位的分割区域230所对应的透射体2的透射度被降低。例如，针对特定物“道路标识(蓝)”，即使特定物初步确定单元164基于特定物对应表200判断为被包括在亮度范围206，但是只要其亮度还被包括在污溃判断表202的亮度范围206，则判断为透射体2的透射度被降低。
[0062]通过如此地将亮度图像124分割为多个分割区域230，能够以较细的范围独立地判断透射体2的透射度的降低，从而可以避免连透射度没有降低的分割区域230也被补偿亮度。
[0063]并且，虽然图中未示出，但是作为透射度降低判断单元172的代替，还可设置硬件性地检测位于亮度图像124的拍摄方向的透射体2的透射度的降低的透射度降低检测单元。上述检测手段可使用已知的各种技术。
[0064]当由透射度降低判断单元172或者透射度降低检测单元检测出透射体2的透射度降低时，补偿量导出单元174参照补偿参考表204，基于对应于被确定(检测)出来的特定物的亮度图像124中的对象部位的亮度和补偿参考表204中关联到特定物的亮度之间的差值，来导出补偿量。
[0065]并且，与透射度降低判断单元171相同地，补偿量导出单元174也是以将亮度图像124 (检测区域122)分割为多个区域的分割区域230为单位来导出补偿量。如此，通过对多个分割区域203中的每个分割区域导出补偿量，可以对每个分割区域230恰当地补偿亮度。
[0066]图9是用于说明补偿量导出单元174的处理的说明图。例如，亮度获取单元160获取的任意的对象部位的亮度为R=90、G=IOO, B=150，则基于特定物对应表200，假定该对象部位近处的对象物被确定为特定物“道路标识(蓝)”。
[0067]在此，如图9 Ca)所示，满足特定物对应表200的特定物“道路标识(蓝)”的范围，即，由于将亮度(B)作为基准值时，亮度(R)为基准值(B)的0.6倍，亮度(G)为基准值(B)的0.67倍，因此满足“R = BX0.7，，、“G ^ ΒΧ0.8”的条件。但是，如图9 (b)所示，上述对象部位的亮度在污溃判断表202的“道路标识(蓝)”范围内，即将亮度(B)作为基准值时，亮度(R)为基准值(B)的0.55倍以上，亮度(G)为基准值(B)的0.65倍以上。由此，对于包含有上述对象物的分割区域230，透射度降低判断单元172判断为透射体2的透射度降低。
[0068]接收这种透射度降低判断单元171的判断之后，补偿量导出单元174导出补偿量。首先，补偿量导出单元174在计算结果为O~255的范围内，使对象部位的各颜色的亮度减值(decrement) (-1 )，并将其与当其结果与补偿参考表204的“道路标识(蓝)”的亮度相等的时候的值之间的差值作为补偿量。
[0069]例如，如图9 (C)所示，使对象部位的亮度R=90、G=IOO, B=150减值的亮度R=89、G=99、B=149还没有达到补偿参考表204的“道路标识(蓝)”的亮度。但是，如图9 (d)所示，重复进行50次减值操作时候的亮度R=40、G=50、R=IOO变为R/B=0.4，G/B=0.5，从而与补偿参考表204的“道路标识(蓝)”的亮度一致。此时的补偿量为差值(即，50)。
[0070]并且，如上所述，当作为对象的亮度为多个时，可将任何一个亮度满足条件时的差值作为补偿量，也可将两个亮度小于条件时(例如，针对“道路标识(蓝)”而言，R/B〈0.4，G/Β〈0.5 ;针对“信号灯(红)”而言，G/R〈0.25，B/R〈0.I)的差值作为补偿量。
[0071]并且，在直到两个亮度都小于条件为止进行了减值操作时，如果任何一个亮度变成负值，则可将对对象部位的亮度进行减值操作时的亮度(比)和补偿参考表204的亮度(比)之间的差值的平均(中心值)的绝对值最小时的各亮度的差值作为补偿量。以下，以特定物“信号灯(红)”为例来进行说明。
[0072]图10是用于说明补偿量导出单元174的处理的其他说明图。例如假定这样一种情况:亮度获取单元160获取的任意的对象部位的亮度为R=120、G=45、B=18，基于特定物对应表200，该对象部位近处的对象物被确定为了特定物“信号灯(红)”。
[0073]在此，如图10 (a)所示，任意的对象部位的亮度R=120、G=45、B=18在特定物对应表200的特定物“信号灯(红)”的范围，即，将亮度(R)作为基准值时，亮度(G)为基准值(R)的0.375倍，亮度(B)为基准值(R)的0.15倍，因此满足“G含RX0.5”、“B含RX0.38”。但是，如图10 (b)所示，上述对象部位的亮度在污溃判断表202的“信号灯(红)”的范围，即，将亮度(R)作为基准值时，亮度(G)为基准值(R)的0.35倍以上。由此，针对包含有上述对象物的分割区域230，透射度降低判断单元172判断为透射体2的透射度被降低。
[0074]接收这种透射度降低判断单元172的判断之后，补偿量导出单元174导出补偿量。首先，补偿量导出单元174在计算结果为O?255的范围内，使对象部位的各颜色的亮度减值(-1)，并试图使该结果与补偿参考表204的“信号灯(红)”的亮度相等，即，“G=RX0.25”，“B=RX0.1”。
[0075]但是，每次减I时，原本应该同时满足两个条件，但是当满足一个条件时，另外一个条件不一定必然满足。因此，补偿量导出单元174可将对对象部位的亮度进行减值操作时的亮度和补偿参考表204的亮度之间的差值的平均的绝对值最小时的各亮度的差值作为补偿量。
[0076]例如，通过减值操作，与补偿参考表204的亮度之间的差值的平均的绝对值在递减，并且如图10 (C)所示，被减值的对象部位的亮度为R=108、G=33、B=6时，与补偿参考表204的亮度之间的差值的平均的绝对值为0.006。相同地，如图10 (d)所示，亮度为R=107、G=32、B=5时，与补偿参考表204的亮度之间的差值的平均的绝对值为0.002，并且如图10(e)所示，亮度为R=106、G=31、B=4时，与补偿参考表204的亮度之间的差值的平均的绝对值为0.010。之后，通过减值操作，与补偿参考表204的亮度之间的差值的平均的绝对值在递增。S卩，R=107、G=32、B=5的与补偿参考表204的亮度之间的差值的平均的绝对值(0.002)为最小值，此时的补偿量为与进行减值操作之前的亮度之间的差值(即，13)。
[0077]据此虽然可导出补偿量，但是如图3所说明，亮度的变化是因箭头(C)的环境光的影响导致的。并且，环境光的影响可由入射光(太阳光等)的强度和透射度的乘积来表示。透射度对应于透射体2的污溃或者污垢且其值大致是固定值，但是入射光的强度根据摄像装置110的曝光时间而成比例地变动。[0078]因此，补偿量导出单元174在导出补偿量时，获取导出该补偿量时的曝光时间，并且导出补偿量除以曝光时间之后的基本补偿量(相当于透射度)。并且，向基本补偿量乘以作为补偿对象的亮度图像124的曝光时间的值为该补偿对象的亮度图像124的补偿量。
[0079]但是，如上所述，补偿量导出单元174以分割区域230为单位来导出补偿量。并且，补偿量是在分割区域230内存在特定物的情形下导出来。因此，当分割区域230内不存在特定物时，即使是透射体2的透射度降低的情况，也不会进行补偿。
[0080]在此，当导出有补偿量的分割区域230和未被导出补偿量的分割区域230同时存在时，补偿量导出单元174基于导出有补偿量的分割区域230的补偿量，导出未被导出补偿量的分割区域230的补偿量。例如，补偿量导出单元174对导出有补偿量的一个或者多个分割区域230的补偿量进行平均，并且将该平均值作为未被导出补偿量的分割区域230的补偿量。但是，被导出来的平均值不会反映于已导出有补偿量的分割区域230。
[0081]根据上述构成，在透射体2整体被弄脏或者整体变得模糊时，不会仅补偿一部分分割区域230，从而可避免特定物的确定精度降低这种情况。
[0082]并且，补偿量随着时间而变化，而且变动较大。因此，补偿量导出单元174求出当次被导出来的补偿量与在相同检测区域122或者相同分割区域230中之前已被导出来的补偿量的时间平均值，将该时间平均值重新作为补偿量。时间平均值可以是对当次被导出来的补偿量和以前的预定次数的补偿量单纯地进行平均的值，也可以是根据伴随预定的时间常数的一阶或者多阶低通滤波器(LPF:Low Pass Filter)导出来的值。
[0083]根据上述构成，可以缓和补偿量随时间的变化，并且可以抑制补偿量的变动。
[0084]亮度补偿单元176基于被导出来的补偿量来补偿亮度图像124。据此，被补偿的亮度图像在确定除了计算补偿量时已使用过的特定物以外的特定物的时候使用(例如，当基于道路标识(蓝)的亮度信息进行了计算时，使用已被补偿的亮度图像而在确定除道路标识(蓝)以外的特定物(例如前行车的尾灯、信号灯等)时被使用)。并且，在后续帧中，亮度补偿单元176基于上述补偿量来补偿所接收的亮度图像124，使亮度获取单元160获取该被补偿的补偿亮度。上述亮度的补偿可以一直执行，也可仅在由透射度降低判断单元172或透射度降低检测单元检测出透射体2的透射度降低的情况下执行。
[0085]并且，与透射度降低判断单元172相同地，亮度补偿单元176也以将亮度图像124(检测区域122)分割为多个区域的分割区域230为单位来补偿亮度。据此，可对多个分割区域230中的每个分割区域恰当地补偿亮度。在本实施方式中，针对未被导出补偿量的分割区域230，还可以基于补偿量被导出来的分割区域230来导出补偿量，从而补偿该分割区域230的亮度，但是对补偿量未被导出来的分割区域230也可以不进行任何补偿。
[0086]并且，如上所述，补偿量导出单元174导出将补偿量除以导出该补偿量时的曝光时间而得到的基本补偿量。因此，亮度补偿单元176基于向由补偿量导出单元174导出的基本补偿量乘以作为补偿对象的亮度图像124的曝光时间的补偿量，来进行补偿。据此，可无关于曝光时间的变动，恰当地补偿亮度。
[0087]据此，车外环境识别装置130可从亮度图像124将一个或者多个对象物作为特定物提取出来，并且可将该信息用在各种控制上。例如，通过提取特定物“信号灯(红)”，可掌握该对象物为没有移动的被固定的物体，同时该对象物为与本行车道相关的信号灯时，可掌握车辆I应该停止或者减速。并且，虽然在本实施方式中省略了说明，但是通过提取特定物“尾灯(红)”，可掌握那个地方存在与车辆I 一同行驶的前行车辆。
[0088](环境识别方法)
以下，基于图11?图16的流程图来说明车外环境识别装置130的具体的处理。图11是示出当由图像处理装置120发送距离图像(视差信息)126时的中断处理相关的整体流程的图，图12?图16是示出其中个别子程序的图。并且，在此作为对象部位例举了像素，将亮度图像124或距离图像126的左下角为原点，在图像水平方向上I?600像素且在垂直方向上I?180像素的范围内执行依据环境识别方法的处理。并且，在此准备好水平方向5X垂直方向3的分割区域230，一个分割区域230为水平120像素X60像素。而且，作为对象的特定物的数量假设为四个。
[0089]如图11所示，当以距离图像126的接收为契机，发生依据该环境识别方法的中断时，参照从图像处理装置120获取的亮度图像124，并基于对象物对应表200，生成特定物映射图220 (S300)。在特定物映射图220中，初步确定的特定物被群组化(S302)，将被群组化的对象物确定为特定物(S304)。
[0090]接着，判断位于亮度图像124的拍摄方向的透射体2的透射度的降低(S308)，且当导出该亮度图像124的对象部位的补偿量时(S310)，基于被导出来的补偿量来补偿亮度图像124的对象部位的亮度(S312)。此时，亮度补偿单元176基于向由补偿量导出单元174导出来的基本补偿量乘以作为补偿对象的亮度图像124的曝光时间的补偿量，来进行补偿。以下，具体说明上述处理。
[0091](特定物映射图生成处理S300)
参照图12，特定物初步确定单元164初始化用于确定对象部位(像素)的垂直变量j(代入“O”)(S400)。接着，特定物初步确定单元164使垂直变量j加“I”(增量)的同时初始化水平变量i (代入“O”)(S402)。其次，特定物初步确定单元164使水平变量i加“1”，并且初始化特定物变量m (代入“O”)(S404)。在此，设置水平变量i和垂直变量j的目的在于，为了对600X 180的像素整体执行该特定物映射图生成处理S300，设置特定物变量m的目的在于，为了对每个像素顺序比较四个特定物。
[0092]特定物初步确定单元164使亮度获取单元160从亮度图像124中获取作为对象部位的像素(i，j)的亮度(S406)，使特定物变量m加“ I”(S408)，获取特定物(m)的亮度范围206 (S410)，判断像素(i，j)的亮度是否被包括在特定物(m)的亮度范围206 (S412)。
[0093]当像素(i，j)的亮度被包括在特定物(m)的亮度范围206时(S412中的“是”)，特定物初步确定单元164向该像素关联表示特定物(m)的识别号码P从而成为像素(i，j，p)(S414)。据此，生成向亮度图像124中的各像素赋予了识别号码p的特定物映射图220。并且，当像素(i，j)的亮度不包括在特定物(m)的亮度范围206时(S142中的“否”)，判断特定物变量m是否超过了作为特定物的最大数量的4 (S416)。在此，当特定物变量m未超过最大值时(S416中的“否”)，从步骤S408的特定物变量m的增量处理开始重复处理。并且，若特定物变量m超过了最大值(S416中的“是”)，则假设不存在对应于该像素(i，j)的特定物，处理被转到其次的步骤S418。
[0094]接着，特定物初步确定单元164判断水平变量i是否超过了作为水平像素的最大值的600(S418)，且当水平变量i未超过最大值时(S418中的“否”)，从步骤S404的水平变量i的增量处理开始重复处理。并且，当水平变量i超过了最大值时(S418中的“是”)，特定物初步确定单元164判断垂直变量j是否超过了作为垂直像素的最大值的180 (S420)。并且，当垂直变量j未超过最大值时(S420中的“否”)，从步骤S402的垂直变量j的增量处理开始重复处理。并且，当垂直变量j超过最大值时(S420中的“是”)，结束该特定物映射图生成处理S300。据此，初步确定对应于各像素的特定物。
[0095](群组化处理S3O2)
参照图13，群组化单元166参照用于群组化对象部位的预定范围(S450)，并且初始化用于确定对象部位(像素)的垂直变量j (代入“O”)(S452)。接着，群组化单元166使垂直变量j加“I”的同时初始化水平变量i (代入“O”)(S454)。接着，群组化单元166使水平变量 i 加 “I”(S456)。
[0096]群组化单元166从亮度图像124获取作为对象部位的像素(i，j，P，dp, x, y，z)(S458)。然后，判断该像素(i，j，p，dp，x，y，z)中是否关联有特定物的识别号码p (S460)。在此，当关联有识别号码P时(S460中的“是”)，群组化单元166判断从该像素(i，j，p，dp，x，y，z)的实际空间上的坐标(x，y, z)在预定范围内是否存在关联有相等识别号码P的其他像素(i，j，P，dp, X, y, z) (S462)。
[0097]当存在识别号码相等的其他像素(i，j，p，dp, X’ y, z)时(S462中的“是”)，群组化单元166判断包括自身的预定范围内的所有像素中的任一像素是否被赋予有群组号码g(S464)。若任一像素被赋予有群组号码g(S464中的“是”)，则群组化单元166针对包括在预定范围的所有像素以及被赋予了相同的群组号码g的所有像素，赋予该被赋予的群组号码g中最小的群组号码g以及还未作为群组号码g利用的号码中最小的值之中的任意一个较小值，从而成为像素(i，j，P，dp，X，y，z，g) (S466)。并且，若任一像素都未被赋予有群组号码g (S464中的“否”)，则针对包括自身的预定范围内的所有像素，作为新的群组符号g赋予还未作为群组号码g利用的号码中最小的值(S468)。
[0098]如此，多个识别符号P相等的对象部位在预定范围内存在多个时，通过赋予一个群组号码g来进行群组化。此时，当多个对象部位的任一对象部位均未被赋予群组号码g时，赋予新的群组号码g，且当任一对象部位已经被赋予有群组号码g时，赋予与其相同的群组号码g。但是，当多个对象部位存在多个群组号码g时，因为需要视为一个群组，因此将该对象部位所有的群组号码g置换成一个群组号码g。
[0099]此时，不仅仅对包括在预定范围的所有像素的群组号码g进行改变，对被赋予有相同的群组号码g的所有像素的群组号码g也同时进行改变的目的在于，通过群组号码g的改变，使已经统一化的群组不再分离。并且，采用最小的群组号码g或者还未作为群组号码g利用的号码中最小的值之中的任意一个较小值的目的在于，尽可能地防止在群组的取号中出现空号码。据此，可防止群组号码g的最大值不必要地变大的趋势，减轻处理负荷。
[0100]当没有关联着识别号码P时(S460中的“否”)，或者不存在识别号码P相等的其他像素时(S462中的“否”)，处理被转到其次的步骤S470。
[0101]接着，群组化单元166判断水平变量i是否超过了作为水平变量的最大值的600(S470)，且当水平变量未超过最大值时(S470中的“否”)，从步骤S456的水平变量i的增量处理开始重复处理。并且，当水平变量i超过了最大值时(S470中的“是”)，群组化单元166判断垂直变量j是否超过了作为垂直变量的最大值的180 (S472)。并且，若垂直变量j未超过最大值(S472中的“否”)，则从步骤S454的垂直变量j的增量处理开始重复处理。而 且，
若垂直变量j超过了最大值(S472中的“是”)，则结束该群组化处理S302。
[0102](特定物确定处理S304)
参照图14，特定物确定单元168初始化用于确定群组的群组变量k(代入“0”)(S500)。接着，特定物确定单元168使群组变量k加“ I ”(S502)。
[0103]特定物确定单元168判断亮度图像124中是否存在群组号码g为群组变量k的对象物(S504)，当存在时(S504中的“是”)，计算被赋予了该群组号码g的对象物的高度以及大小(S506)。并且，判断计算出来的高度以及大小是否包括在以识别号码P表示的特定物的高度范围208、宽度范围210，且判断是否满足特定物特有的条件(S508)，该识别号码P为关联到群组号码g为群组变量k的对象物的群组号码。
[0104]若高度以及大小被包括在以识别号码P表示的特定物的高度范围208、宽度范围210，且满足特定物特有的条件(S508中的“是”)，则特定物确定单元168将该对象物确定为特定物(S510)。当高度以及大小未包括在以识别号码P表示的特定物的高度范围208、宽度范围210，或者不满足特定物特有的条件时(S508中的“否”)，又或者当不存在群组号码g为群组变量k的对象物时(S504中的“否”)，处理被转到其次的步骤S512。
[0105]接着，特定物确定单元168判断群组变量k是否超过了在群组化处理S302中设定的群组号码的最大值(S512)。并且，若群组变量k未超过最大值(S512中的“否”)，则从步骤S502的群组变量k的增量处理开始重复处理。并且，若群组变量k超过了最大值(S512中的“是”)，则结束该特定物确定处理S304。据此，被群组化的对象物被确定为特定物。
[0106](透射度降低判断处理S308)
参照图15，透射度降低判断单元172将在上述特定物确定处理S304中被确定为特定物的对象物(以下，称作特定物)保存在预定的记忆区域(S550)。并且，透射度降低判断单元172判断在该记忆区域中是否剩于有特定物(S552)。其结果，若剩下有特定物(S552中的“是”)，则提取一个特定物，并从记忆区域删除该特定物(S554)。并且，若未剩下特定物(S552中的“否”)，则结束该透射度降低判断处理S308。
[0107]接着，透射度降低判断单元172判断对应于被提取的特定物的对象部位的亮度是否包括在污溃判断表202中的被关联到特定物的亮度范围206 (S556)。其结果，若包括在亮度范围206 (S556中的“是”)，则针对包括了该特定物的分割区域230，判断为透射体2的透射度降低(S558)，进而从步骤S552开始重复处理。并且，若未包括在亮度的范围(S556中的“是”)，则不进行任何处理，进而从步骤S552开始重复处理。据此，可判断针对特定物的透射体2的透射度的降低。
[0108](补偿量导出处理S310)
参照图16，补偿量导出单元174将在上述透射度降低判断处理S308中判断为透射度降低的特定物保存在预定的记忆区域(S600)。并且，补偿量导出单元174判断该记忆区域中是否剩下有特定物(S602)。其结果，若剩下有特定物(S602中的“是”)，则提取一个特定物，进而从记忆区域中删除该特定物(S604)。并且，若未剩下特定物(S602中的“否”)，则结束该补偿量导出处理S310。
[0109]接着，补偿量导出单元174使对应于被提取的特定物的对象部位的亮度减值(S606)，判断其结果是否达到补偿参考表204中的该特定物的亮度范围206 (S608)。其结果，若达到亮度范围206 (S608中的“是”)，则处理被转到其次的步骤S610，若未达到，则从步骤S606开始重复处理。
[0110]并且，补偿量导出单元174将达到亮度范围206时的、与减值操作之前的值之间的差值设定为包括有该特定物的分割区域230的补偿量(S610)。在此，也可以求出此次导出来的补偿量和在相同检测区域122或者相同分割区域230中之前已导出来的补偿量之间的时间平均值，将该时间平均值重新作为补偿量。并且，当导出补偿量时，补偿量导出单元174获取导出该补偿量时的曝光时间，还导出补偿量除以曝光时间的基本补偿量。
[0111]接着，补偿量导出单元174判断针对所有分割区域230是否设定了补偿量(S612)。其结果，若存在未设定补偿量的分割区域230 (S612中的“否”)，则补偿量导出单元174对补偿量被导出来的一个或者多个分割区域230的补偿量进行平均，并且将该平均值当作未被到处补偿量的分割区域230的补偿量(S614)，进而从步骤S602开始重复处理。并且，若对所有的分割区域230都设定了补偿量(S612中的“是”)，则不进行任何处理，从步骤S602开始重复处理。据此，对各分割区域230设定补偿量。
[0112]如上所说明，通过车外环境识别装置130，能够检测出车载摄像机的光学系统部件或前窗玻璃中存在污溃或者污垢，假使在这种情形下也能够使用颜色信息恰当地进行图像识别。
[0113]而且，还提供使计算机执行车外环境识别装置130的功能的程序或记录该程序的计算机可读软盘、光磁盘、ROM、CD、DVD、BD等记录介质。在此，程序是利用任意的语言或记述方法记述的数据处理手段。
[0114]以上的说明中，参照附图对本发明的优选实施方式进行了说明，但是本发明并不局限于上述实施方式。本发明所属领域的技术人员应知道在权利要求书所记载的范畴之内导出各种变更例或修改例是显而易见的，而且显然这些都属于本发明的技术范围。
[0115]并且，在上述实施方式中，亮度获取单元160、位置信息获取单元162、特定物初步确定单元164、群组化单元166、特定物确定单元168、透射度降低判断单元172、补偿量导出单元174、亮度补偿单元176由中央控制单元154通过软件进行操纵。但是，上述的功能单元也可以由硬件构成。
[0116]并且，在上述实施方式中，透射度降低判断单元172判断出透射体2的透射度降低之后，亮度补偿单元176基于由该判断结果导出的补偿量来补偿对象部位的亮度，但是不限于此，也可通过透射度降低判断单元172仅判断透射体2的透射度的降低。例如，当通过透射度降低判断单元172判断出透射体2的透射度降低时，向车辆I的驾驶员和乘客通知该情况。并且，也可在不进行判断的情形下，由亮度补偿单元176补偿亮度。例如，使用特定物对应表200确定特定物之后，不通过污溃判断表202来判断透射体2的透射度的降低的情形下，仅利用补偿参考表204来进行补偿等。
[0117]并且，在上述实施方式中，为了便于说明，作为特定物对应表200例举信号灯(红)、信号灯(蓝)、道路标识(蓝)、道路标识(绿)来进行了说明，但是不限于上述情形，存在于道路上且RGB的值大致不变的特定物均可成为对象。例如，方向指示灯的RGB可大致确定，并且多少有不规则部分的尾灯等也可大致确定，因此能成为特定物的对象。
[0118]在此，本说明书中的环境识别方法的各个步骤并不一定要按照流程图中记载的顺序而时序地处理，也可以包括并行处理或通过子程序的处理。 产业上的可利用性
[0119]本发明可利用在基于检测区域中的对象物的亮度来识别该对象物的环境识别装置以及环境识别方法。
【权利要求】
1.一种车外环境识别装置，在基于由车载摄像机拍摄的彩色图像来识别本车辆外的环境的车外环境识别装置中，其特征在于，具备: 特定物检测单元，基于所述彩色图像检测特定物； 数据存储单元，关联特定物和表示该特定物的颜色的亮度范围并进行存储； 透射度降低判断单元，比较所述特定物在所述彩色图像中的亮度和关联到所述特定物的亮度范围，以判断位于所述车载摄像机的拍摄方向的透射体的透射度的降低。
2.根据权利要求1所述的车外环境识别装置，其特征在于，所述数据存储单元还关联特定物和该特定物原来的亮度并进行存储， 所述车外环境识别装置还具备: 补偿量导出单元，基于所述特定物在所述彩色图像中的亮度和关联到所述特定物的原来的亮度之间的差值，导出补偿量； 亮度补偿单元，基于被导出来的补偿量，补偿所述彩色图像的对象部位的亮度， 其中，所述特定物检测单元基于经补偿的彩色图像检测特定物。
3.一种车外环境识别装置，在基于由车载摄像机拍摄的彩色图像来识别本车辆外的环境的车外环境识别装置中，其特征在于，具备: 特定物检测单元，基于所述彩色图像检测特定物； 数据存储单元，关联特定物和该特定物原来的亮度并进行存储； 补偿量导出单元，基于所述特定物在所述彩色图像中的亮度和关联到所述特定物的原来的亮度之间的差值，导出补偿量； 亮度补偿单元，基于被导出来的补偿量，补偿所述彩色图像的对象部位的亮度， 其中，所述特定物检测单元基于经补偿的彩色图像检测特定物。
4.根据权利要求3所述的车外环境识别装置，其特征在于，还具备透射度降低检测单元，检测位于所述车载摄像机的拍摄方向的透射体的透射度的降低， 其中，当检测到所述透射体的透射度降低时，所述补偿量导出单元导出所述补偿量。
5.根据权利要求2至4中的任意一项所述的车外环境识别装置，其特征在于，所述补偿量导出单元导出将被导出来的补偿量除以所述彩色图像的曝光时间而得出的基本补偿量， 所述亮度补偿单元基于向所述基本补偿量乘以作为补偿对象的彩色图像的曝光时间而得出的补偿量，补偿所述彩色图像的对象部位的亮度。
6.根据权利要求2至5中的任意一项所述的车外环境识别装置，其特征在于，所述补偿量导出单元以将所述彩色图像分割为多个区域的分割区域为单位，导出所述补偿量。
7.根据权利要求6的所述的车外环境识别装置，其特征在于，所述补偿量导出单元基于导出有所述补偿量的分割区域的补偿量，导出未被导出所述补偿量的分割区域的补偿量。
8.根据权利要求2至7中的任意一项所述的车外环境识别装置，其特征在于，所述补偿量导出单元将时间平均值重新作为补偿量，该时间平均值为基于所述特定物在所述彩色图像中的亮度和关联到所述特定物的原来的亮度之间的差值而导出来的补偿量与在相同检测区域或者相同分割区域中之前已被导出来的补偿量的平均值。
9.根据权利要求1至8中的任意一项所述的车外环境识别装置，其特征在于，所述特定物检测单元基于所述彩色图像中的亮度的随时间的变化来检测特定物。
【文档编号】G06K9/00GK103810469SQ201310548152
【公开日】2014年5月21日 申请日期:2013年11月7日 优先权日:2012年11月9日
【发明者】木户辰之辅 申请人:富士重工业株式会社