图像处理装置、外界识别装置的制作方法

本发明涉及图像处理装置及外界识别装置。

背景技术：

近年来，为了将车辆彼此的碰撞及人与车辆的碰撞等事故避免于未然，用车载相机监视本车辆周边的状况，当感知到危险时向驾驶员输出警报并自动地控制本车辆的行动的技术正在发展。为了这样的本车辆的预防安全及自动驾驶控制，需要以存在于本车辆的周边的车辆为观测对象，总是持续监视其接近。在这样的技术中，在由车载相机拍摄的图像中，除了作为观测对象的车辆以外，还在背景中映现周边构造物等各种物体。因此，难以正确地确定并检测观测对象，成为发生误检测的原因。

作为解决上述那样的由图像中的背景引起的误检测的方法，提出了在图像中识别车辆能够行驶的路面区域、对该路面区域执行车辆检测的方法。关于此，例如在专利文献1中公开了如下方法：根据由立体相机拍摄的视差图像来制作灰阶图，使用该灰阶图确定图像中的道路面，从而判断是否是车辆能够行驶的区域。

现有技术文献

专利文献

专利文献1：日本特开2014－67407号公报

技术实现要素：

发明要解决的课题

在专利文献1所记载的技术中，灰阶图通常能够表现的信息的动态范围窄，并且容易受周围的明亮度的影响。因而，在专利文献1的方法中，有难以正确地确定图像中的道路面的情况，在这样的情况下，难以从摄影图像正确地检测存在于本车辆的周边的其他车辆等对象物。

用于解决课题的手段

本发明的图像处理装置具备：路面检测部，从基于由相机拍摄而得到的摄影图像的输入图像中，检测路面区域；时间序列验证部，进行时间序列验证，该时间序列验证是指将上述输入图像中的上述路面区域的检测结果以时间序列进行验证；检测区域选择部，基于由上述路面检测部得到的上述路面区域的检测结果和由上述时间序列验证部得到的上述时间序列验证的结果，在上述输入图像内设定用于检测对象物的检测区域；以及检测部，在上述检测区域中检测上述对象物。

本发明的外界识别装置具备图像处理装置；基于由上述检测部得到的上述其他车辆的检测结果，输出用于对上述本车辆的驾驶者进行警告的警报信号及用于控制上述本车辆的动作的车辆控制信号中的至少某一个。

发明效果

根据本发明，能够根据摄影图像正确地检测存在于本车辆的周边的其他车辆等对象物。

附图说明

图1是表示有关本发明的第1实施方式的图像处理装置的功能结构的框图。

图2是表示摄影图像的畸变修正处理的图。

图3是表示在生成检测器时使用的学习用图像的例子的图。

图4是表示路面检测结果的一例的图。

图5是表示在设定优先方向时使用的设定表的一例的图。

图6是表示车辆检测区域的一例的图。

图7是表示路面区域的一部分被其他车辆遮挡的情况下的时间序列验证的次序的一例的图。

图8是表示本车辆分别在直线道路、曲线道路、交叉口行驶时的摄影图像的例子的图。

图9是表示道路形状从直线变化为曲线时的对观测块的识别结果的变化的一例的图表。

图10是表示道路形状从直线变化为交叉口时的对观测块的识别结果的变化的一例的图表。

图11是表示有关本发明的第2实施方式的外界识别装置的一例的图。

具体实施方式

－第1实施方式－

以下，参照附图对有关本发明的第1实施方式的图像处理装置进行说明。图1是表示有关本发明的第1实施方式的图像处理装置10的功能结构的框图。图1所示的图像处理装置10被搭载在车辆中使用。另外，在以下的说明中，将搭载有图像处理装置10的车辆称作“本车辆”，将存在于本车辆的周围的其他的车辆称作“其他车辆”。

图像处理装置10与安装在与摄影区域对应的本车辆的规定位置、例如本车辆的车身上的相机20连接。图像处理装置10具备图像修正部101、路面检测部102、检测区域选择部103、检测部104、时间序列验证部105、路面区域插补部106及优先方向选择部107。另外，图1所示的图像处理装置10的各功能可以通过将微型计算机、存储器等硬件及在微型计算机上执行的各种程序等适当组合来实现。

相机20将存在于本车辆周边的其他车辆以运动图像或按照规定时间以静止图像拍摄，将所取得的运动图像的各帧或各静止图像作为每规定时间的摄影图像向图像修正部101输出。另外，为了使得在图像处理装置10中容易进行其他车辆的识别，可以在本车辆的任意的部位设置相机20。例如，在本车辆的前保险杠、后保险杠、左右的侧反射镜等部分处设置相机20。或者，也可以在本车辆的车内设置相机20。进而，既可以以在本车辆的周围仅存在于特定区域中的其他车辆的识别为目的单独地设置相机20，或者也可以设置多个相机20以便针对本车辆的周围的全部区域能够识别其他车辆。

本实施方式中，相机20使用鱼眼相机。鱼眼相机是指使用将透镜聚光特性比在通常的相机中使用的透镜向广角侧较大地偏移的鱼眼透镜的相机，有摄影范围大的优点。像这样能够用1个相机一下子拍摄大范围，在车辆检测中在图像处理方面是优选的。另一方面，由于由相机20得到的摄影图像为所谓的鱼眼图像，所以有如下趋势：越是与距本车辆远的位置对应的接近于摄影图像的上下左右端的区域，则畸变越大、分辨率越下降。因此，有从相机20输入的畸变的摄影图像在原状下不适合于车辆检测的问题。

所以，为了消除上述问题，由相机20得到的摄影图像在图像处理装置10中被输入至图像修正部101。图像修正部101通过对从相机20输入的摄影图像(鱼眼图像)进行畸变修正处理，将摄影图像变换为适合于车辆检测的没有畸变的图像。在由图像修正部101进行的畸变修正处理中，例如可以采用使用已知的鱼眼透镜的畸变特性将摄影图像变换为实际的空间映像的非线性局部几何修正法、或使用简单地表现鱼眼透镜的畸变特性的畸变系数对摄影图像进行修正的线性局部几何修正法等。另外，在畸变修正处理中选择其以外的算法也没有问题。

图2是表示由图像修正部101进行的摄影图像的畸变修正处理的图。图2(a)是由设置在本车辆的右侧反射镜上的相机20拍摄而得到的鱼眼图像的一例。在该鱼眼图像中，左侧部分相当于前方即本车辆的前方向，右侧部分相当于后方即本车辆的后方向。在图2(a)中，在图像中央部映现路面204，在图像上部映现天空等背景205，在图像下部映现本车辆的车身203，还映现了从本车辆后方接近的其他车辆202。

图像修正部101对于图2(a)那样的鱼眼图像，例如将包括其他车辆202的区域设定为修正对象区域201，对该修正对象区域201内的图像部分进行畸变修正处理。图2(b)是对图2(a)的修正对象区域201进行畸变修正处理而得到的修正图像的一例。在该修正图像中被修正为，其他车辆202、路面204、背景205分别看起来与实际的空间映像同等。

另外，在图2的例子中，说明了在其他车辆202的周围设定修正对象区域201而进行畸变修正处理的情况，但图像修正部101也可以将摄影图像内的任意的区域作为修正对象区域而进行畸变修正处理。此外，也可以在摄影图像内设定多个修正对象区域，对各个修正对象区域进行畸变修正处理。进而，在摄影图像内使用畸变小的部分进行车辆检测的情况或相机20为不是鱼眼相机的通常的相机的情况下等，也可以在图像修正部101中不进行畸变修正处理。

路面检测部102在被输入由相机20拍摄并由图像修正部101进行畸变修正处理后的图像，则从该输入图像中检测相当于路面的路面区域。路面检测部102例如将输入图像划分为多个观测块，利用采用机械学习的方法的检测器，实施识别各观测块对应于路面区域及路面区域以外的非路面区域中的哪一种的2类检测。另外，以下将对应于路面区域的观测块称作路面块，将对应于非路面区域的观测块称作非路面块。

图3是表示在生成路面检测部102的检测器时使用的学习用图像的例子的图。图3(a)是路面区域的学习用图像的例子，图3(b)～图3(e)是非路面区域的学习用图像的例子。相对于在图3(a)的学习用图像中映现路面300，在图3(b)～图3(e)的学习用图像中映现路面以外的被摄体。具体而言，在图3(b)的学习用图像中映现车辆301，在图3(c)的学习用图像中映现树木302，在图3(d)的学习用图像中映现建筑物303，在图3(e)的学习用图像中映现人物304。在非路面区域的学习用图像中，并不限于上述例子，只要是路面以外，映现怎样的被摄体都可以。

另外，在非路面区域的学习用图像中，优选的是使用映现有在实际的车辆行驶场景中出现频度高的被摄体的图像。此外，路面区域的学习用图像也同样，优选的是使用映现有出现频度高的路面的图像。但是，在这样的学习用图像的收集困难的情况下，也可以混杂着映现有出现频度低的被摄体的图像。

此外，在路面检测部102中利用的机械学习通常是指以下的处理方法：将作为检测对象的对象物的图像输入多张，从其中提取表现对象物的图像特征，并且自动设定识别器的参数，以对于未知的输入图像能够检测并识别学习到的图像特征。作为这样的处理方法的具体例，例如已知有deeplearning(深层学习)。在deeplearning中，能够将被输入的多个图像共同具有的图像的特征参数细分并自动地提取。此外，作为特征参数的提取方法的一例，已知有使用神经网络构造的特征提取方法。在神经网络构造中，将仅在与输入图像群中共通的图像特征一致时做出反应的被称作神经元单元的输入输出函数(活性化函数)按每个小图像区域而组合多个，进而将其以多层状堆叠而成为金字塔构造。通过该方法，一边改变作为检测对象的对象物的位置或图像尺寸，一边按神经元单元的各层提取识别器参数以便能够阶段性地识别对象物，最终能够得到能够识别整个对象物的识别器参数。

图4是表示由路面检测部102得到的路面检测结果的一例的图。图4(a)表示由相机20拍摄而得到的鱼眼图像的例子。在该鱼眼图像中，与图2(a)同样，在图像中央部映现路面401，在图像上部映现天空等背景403，在图像下部映现本车辆的车身402。图4(b)表示对于图4(a)的图像得到的路面检测结果的一例。在图4(b)中，表示了将图4(a)的图像划分为多个观测块，将其中的与图4(a)的路面401对应的观测块分别识别为路面块405，另一方面将与图4(a)的车身402及背景403对应的观测块分别识别为非路面块406的情形。另外，这里为了使理解变得容易，使用进行畸变修正处理前的摄影图像说明了由路面检测部102得到的路面检测结果，但实际上，对于由图像修正部101进行畸变修正处理后的输入图像进行由路面检测部102实施的路面检测。

时间序列验证部105基于输入图像中的上述路面块及非路面块的在时间序列上的配置的变化，进行将由路面检测部102得到的路面区域的检测结果以时间序列进行验证的时间序列验证。在该时间序列验证中，使用根据由相机20按照规定时间拍摄的多张摄影图像分别生成的、在时间上连续的多个输入图像，验证是否是路面区域的一部分被作为检测对象物的其他车辆遮挡的状态、或与路面区域对应的道路形状变化的状态。另外，关于时间序列验证部105进行的时间序列验证的具体例，在后面叙述。

路面区域插补部106基于由时间序列验证部105得到的时间序列验证的结果，根据需要对由路面检测部102从输入图像中检测出的路面区域进行插补。例如，在时间序列验证部105判断为是路面区域的一部分被作为检测对象物的其他车辆遮挡的状态的情况下，路面区域插补部106通过将该部分从非路面区域替换为路面区域，将该部分作为路面区域而进行插补。由此，在本来是路面区域的部分因被其他车辆遮挡而被误判断为非路面区域的情况下，能够将该部分设为本来的路面区域。

优先方向选择部107基于本车辆的行驶状态，设定应优先地检测作为检测对象物的其他车辆的方向即优先方向。为了判断本车辆的行驶状态，优先方向选择部107中被输入表示本车辆的行驶模式的信号。

图5是表示在优先方向选择部107设定优先方向时使用的设定表的一例的图。在图5的设定表中，本车辆的行驶模式包括前进、后退、驻车辅助。此外，在图5的设定表中，在普通道路和高速公路下分别示出了不同的优先方向。优先方向选择部107通过从例如搭载在本车辆中的车辆控制用的cpu取得表示本车辆的行驶模式的信号，能够判断本车辆的行驶模式是哪一个，并且判断本车辆正在普通道路和高速公路中的哪一个道路上行驶。

优先方向选择部107基于图5的设定表，设定与本车辆的行驶模式及行驶道路对应的优先方向。例如在本车辆的行驶模式是前进的情况下，不论行驶道路是普通道路和高速公路中的哪一个，优先方向选择部107都将本车辆的后方设定为优先方向。即，当本车辆前进时，不论行驶道路的种类如何，都将本车辆的后方设定为优先方向，以使得能够优先地检测从本车辆的后方接近的其他车辆。

另一方面，在本车辆的行驶模式是后退的情况下，优先方向选择部107如果行驶道路是普通道路则将本车辆的后方设定为优先方向，如果行驶道路是高速公路则将本车辆周围的全部方向设定为优先方向。即，当本车辆在普通道路上后退时，与前进时同样，将本车辆的后方设定为优先方向，以使得能够优先地检测从本车辆的后方接近的其他车辆。此外，虽然通常不会设想本车辆在高速公路上(除了停车区以外)后退，但在万一发生了这样的状况时危险度非常高，所以通过将本车辆周围的全部方向设定为优先方向，能够使用摄影图像整体来检测其他车辆。

进而，在本车辆的行驶模式是驻车辅助的情况下，优先方向选择部107如果行驶道路是普通道路则将本车辆的前方及后方设定为优先方向，如果行驶道路是高速公路则将本车辆周围的全部方向设定为优先方向。即，当本车辆在普通道路上进行利用驻车辅助的纵列驻车起步时，将本车辆的前方及后方设定为优先方向，以使得能够优先地检测从本车辆的前方及后方接近的其他车辆。此外，通常不会设想本车辆在高速公路上(除了停车区以外)驻车，但万一发生了这样的状况时危险度非常高，所以与后退时同样，通过将本车辆周围的全部方向设定为优先方向，能够使用摄影图像整体来检测其他车辆。

检测区域选择部103基于由路面检测部102得到的路面区域的检测结果和由时间序列验证部105得到的时间序列验证的结果，在输入图像内设定用于检测作为检测对象物的其他车辆的车辆检测区域。此时，在路面区域插补部106基于由时间序列验证部105得到的时间序列验证的结果进行了路面区域的插补的情况下，检测区域选择部103基于该插补结果，包括被插补的路面区域在内而设定车辆检测区域。此外，在时间序列验证部105的时间序列验证的结果判断为道路形状变化的情况下，考虑该道路形状的变化来设定车辆检测区域。进而，在由优先方向选择部107对本车辆将某个方向设定为优先方向的情况下，考虑该优先方向来设定车辆检测区域。即，检测区域选择部103将路面检测部102的输出和路面区域插补部106的输出综合来决定输入图像中的路面区域，进而，基于时间序列验证部105的输出及优先方向选择部107的指定，在所决定的路面区域上设定车辆检测区域。

图6是表示检测区域选择部103设定的车辆检测区域的一例的图。图6(a)是将本车辆的前方及后方设定为优先方向的情况下的车辆检测区域的例子。在图6(a)中，在由相机20拍摄得到的鱼眼图像内的路面区域601上分别设定的车辆检测区域602、603分别对应于本车辆的前方及后方。图6(b)是将本车辆的后方设定为优先方向的情况下的车辆检测区域的例子。在图6(b)中，在鱼眼图像内的路面区域601上设定的车辆检测区域604对应于本车辆的后方。图6(c)是将本车辆周围的全部方向设定为优先方向的情况下的车辆检测区域的例子。在图6(c)中，在鱼眼图像内的整个路面区域601中设定的车辆检测区域605对应于本车辆周围的全部方向。除此以外，例如在将本车辆的前方设定为优先方向的情况下，也可以与图6(b)的例子相反，在路面区域上设定与图6(a)的车辆检测区域602同样的车辆检测区域。另外，这里为了使理解变得容易，说明了使用进行畸变修正处理之前的摄影图像按每个优先方向设定的车辆检测区域，但实际上对于由图像修正部101进行畸变修正处理后的输入图像，在其路面区域上设定车辆检测区域。

检测部104基于由检测区域选择部103设定的车辆检测区域，从输入图像检测存在于本车辆的周围的其他车辆。检测部104通过对在输入图像内被设定为车辆检测区域的部分执行规定的车辆检测处理，检测映现在车辆检测区域内的其他车辆。具体而言，检测部104使用例如与在路面检测部102中说明的检测器同样的机械学习型检测器，判断在车辆检测区域内是否存在具有作为车辆的特征的部分，由此能够检测其他车辆。如果在车辆检测区域内检测到其他车辆，则检测部104输出表示其他车辆接近的情况的车辆接近信号。此外，例如在路面检测部102中没有检测到路面区域情况等、在输入图像内未能设定有效的车辆检测区域时，输出检测fail信号。

接着，参照图7～图10对由时间序列验证部105进行的时间序列验证的具体例进行说明。

图7是说明路面区域的一部分被其他车辆遮挡的情况下的时间序列验证的次序的一例的图。如果因在输入图像内映现其他车辆而路面的一部分被遮挡，则该部分在路面检测中被误识别为非路面区域，所以在设定车辆检测区域方面发生不良状况。在时间序列验证部105中，为了解决该问题，通过以下这样的时间序列验证，判断路面区域是否被其他车辆遮挡。

图7(a)、图7(b)、图7(c)分别表示由相机20以时间序列拍摄的摄影图像的例子，假设以该顺序取得了各摄影图像。另外，在这些图中，为了说明的方便，仅图示了作为鱼眼图像的各摄影图像的右半部。此外，在这里为了使理解变得容易，使用针对进行畸变修正处理之前的摄影图像的路面检测结果进行说明，但实际上，对于针对由图像修正部101进行畸变修正处理后的输入图像的路面检测结果，进行时间序列验证部105的时间序列验证。

如上述那样，路面检测部102通过将输入图像划分而在输入图像上设定多个观测块，将各观测块识别为路面块及非路面块中的某一种。在时间序列验证部105进行的时间序列验证处理中，基于输入图像中的路面块及非路面块在时间序列上的配置的变化，判断路面区域是否被其他车辆遮挡。另外，如图7(a)～图7(c)所示，路面检测部102优选的是基于表示本车辆中的相机20的设置位置、设置角度及相机20的视场角等已知的相机设置几何信息，在输入图像内确定路面区域的出现频度高的部分、即被地平线与本车辆车身的边界线夹着的部分，在该部分设置观察块。

在图7(a)的图像中，由于在路面上什么都没有映现，所以将图像内的与路面部分对应的全部的观测块正确地识别为路面块。然后，如果如图7(b)的图像那样从本车辆的后方接近来的其他车辆700映现在路面上，则映现其他车辆700的部分路面被遮挡，所以与该部分对应的观测块被误识别为非路面块。接着，如果如图7(c)的图像那样其他车辆700经过，则再次将全部的观测块识别为路面块。

图7(d)是表示输入图像如从图7(a)经由图7(b)到图7(c)那样转变时的对于观测块的识别结果的变化的一例的图表。这里，着眼于在输入图像中设定的多个观测块中的、图7(a)～图7(c)所示的4个观测块a、b、c、d。图7(d)所示的图表从上方起依次分别表示对于时刻t1～t9期间的观测块a、b、c、d的识别结果，“h”表示路面块，“l”表示非路面块。

观测块a、b、c、d都是与输入图像的路面部分对应地设定的，所以本来必须在全部的时刻被识别为路面块。但是，如果如图7(b)所示接近于本车辆的其他车辆700映现在输入图像内，则路面部分的一部分被遮挡。结果，如图7(d)所示，在时刻t2～t7，相互相邻的观测块a、b、c、d中的至少某一个被识别为非路面块，该非路面块的位置随着时间的经过而移动。像这样，在输入图像内相互相邻的多个非路面块的位置以时间序列移动的情况下，可以考虑是在输入图像内映现了某种移动物体，因该移动物体的影响而路面被遮挡。

进而，设输入图像中的背景的移动速度为s1，设多个非路面块的移动速度即其他车辆700的移动速度为s2，通过将这些移动速度s1、s2比较，能够更可靠地进行上述移动物体的判断。即，如果非路面块的移动速度s2与背景的移动速度s1的差分是规定值以上，则能够有确信地判断为在输入图像内映现在路面上的是移动物体、不是例如建筑物的影子等的静止物体。另外，背景的移动速度s1例如可以通过对在输入图像内映现在比地平线靠上部的位置的被摄体通过跟踪处理等进行追踪来求出。此外，也可以通过根据上述相机设置几何信息求出每1个观测块的映像上的实际距离，将背景的移动速度s1及非路面块的移动速度s2作为实际空间上的速度来求出，而不是作为图像上的速度。

时间序列验证部105按照以上说明的次序，进行路面区域的一部分是否被其他车辆遮挡的时间序列验证。由此，在输入图像内相互相邻的多个非路面块的位置以时间序列移动、并且该多个非路面块的移动速度与背景的移动速度的差分是规定值以上的情况下，能够判断为路面区域被作为对象物的其他车辆遮挡。

图8～图10是说明道路形状从直线变化为曲线或交叉口的情况下的时间序列验证的次序的一例的图。如上述那样，相机20是鱼眼相机，具有在摄影图像的接近于上下左右端的区域中分辨率低的特性。因而，如果在道路的延长线上存在曲线，则该路面在摄影图像中映现在分辨率低的左右端的区域，所以在路面区域的检测中容易发生错误。此外，本车辆穿过交叉口时与本车辆的行驶道路正交的道路的路面映现在摄影图像中的期间短，并且在摄影图像中映现在分辨率低的上下端的区域中，所以在路面区域的检测中容易发生错误。在时间序列验证部105中，为了解决这些问题，通过以下这样的时间序列验证来判断道路形状是否从直线变化为了曲线或交叉口。

图8(a)、图8(b)、图8(c)分别表示由相机20拍摄的摄影图像的例子。图8(a)是本车辆在直线道路中行驶时的摄影图像的例子，图8(b)是本车辆在曲线道路中行驶时的摄影图像的例子，图8(c)是本车辆在交叉口行驶时的摄影图像的例子。另外，在这些图中，也与图7(a)～图7(c)同样，为了说明的方便而仅图示了作为鱼眼图像的各摄影图像的右半部。此外，这里为了使理解变得容易，使用针对进行畸变修正处理前的摄影图像的路面检测结果进行说明，但实际上，对于针对由图像修正部101进行畸变修正处理后的输入图像的路面检测结果，进行时间序列验证部105的时间序列验证。

图9是表示道路形状从直线变化为曲线、与此对应地摄影图像从图8(a)转变到图8(b)时的针对观测块的识别结果的变化的一例的图表。这里，着眼于在输入图像中设定的多个观测块中的、图8(a)、图8(b)所示的6个观测块a、b、c、d、e、f。图9所示的图表从上方起依次分别表示针对时刻t1～t9期间的观测块a、b、c、d、e、f的识别结果，“h”表示路面块，“l”表示非路面块。

如果输入图像从图8(a)转变为图8(b)，则在图9的图表中，首先如标号901的部分所示，在时刻t2～t4，针对在输入图像内相互相邻的观测块b、c的识别结果依次从路面块变化为非路面块。接着，如标号902的部分所示，在时刻t5～t7，针对在输入图像内在比上述观测块b、c靠下侧的位置相互相邻的观测块e、f的识别结果与观测块b、c相反，依次从非路面块变化为路面块。这样，在针对输入图像内的在上侧的位置相互相邻的多个观测块的路面检测结果依次从路面块变化为非路面块、并且在与其大致相同的定时针对输入图像内的在下侧的位置相互相邻的多个观测块的路面检测结果依次从非路面块变化为路面块的情况下，能够判断为本车辆的行驶道路从直线道路转变为曲线路面。

另外，根据道路弯曲的方向，也有针对各观测块的识别结果的变化与上述相反的情况。即，在针对输入图像内的在上侧的位置相互相邻的多个观测块的路面检测结果依次从非路面块变化为路面块、并且在与其大致相同的定时针对输入图像内的在下侧的位置相互相邻的多个观测块的路面检测结果依次从路面块变化为非路面块的情况下，也与上述同样，能够判断为本车辆的行驶道路从直线道路转变为曲线路面。

时间序列验证部105按照以上说明的次序，进行道路形状是否从直线变化为曲线的时间序列验证。由此，在规定期间内，针对输入图像内的在第1位置相互相邻的多个观测块的路面检测结果依次从路面块变化为非路面块或依次从非路面块变化为路面块、并且针对在比第1位置靠下侧的第2位置相互相邻的多个观测块的路面检测结果与针对第1位置处的观测块的路面检测结果相反地依次变化的情况下，能够判断为道路形状从直线变化为曲线。因此，能够将通常在输入图像内容易映现在分辨率低的部分的曲线道路的路面适当地检测为路面区域。

图10是表示道路形状从直线变化为交叉口、与此对应而摄影图像从图8(a)转变为图8(c)时的对于观测块的识别结果的变化的一例的图表。这里，着眼于在输入图像中设定的多个观测块中的、图8(a)、图8(c)所示的6个观测块a、b、c、d、e、f。图10所示的图表从上方起依次分别表示针对时刻t1～t9期间的观测块a、b、c、d、e、f的识别结果，“h”表示路面块，“l”表示非路面块。

如果输入图像从图8(a)转变为图8(c)，则在图10的图表中，首先如标号1001的部分所示，在时刻t2～t4，针对在输入图像内相互相邻的观测块a、b的识别结果同时从路面块变化为非路面块，然后再次回到路面块。此外，如标号1002的部分所示，在时刻t5～t8，针对在输入图像内在比上述观测块a、b靠下侧的位置相互相邻的观测块e、f的识别结果与观测块a、b同样，同时从路面块变化为非路面块，然后再次回到路面块。另外，在输入图像内位于上部的观测块a、b相当于在交叉口进深方向上延伸的道路部分，在输入图像内位于下部的观测块e、f相当于向交叉口近前方向延伸的道路部分。这样，在输入图像内的上侧的位置和下侧的位置的各自中，针对相互相邻的多个观测块的路面检测结果依次从路面块经过非路面块变化为路面块的情况下，能够判断为本车辆的行驶道路从直线道路转变为交叉口。

时间序列验证部105按照以上说明的次序，进行道路形状是否从直线变化为交叉口的时间序列验证。由此，在规定期间内针对输入图像内的在第1位置相互相邻的多个观测块的路面检测结果和针对在比第1位置靠下侧的第2位置相互相邻的多个观测块的路面检测结果依次从路面块经过非路面块变化为路面块的情况下，能够判断为道路形状从直线变化为交叉口。因此，能够将通常在输入图像内容易映现到分辨率低的部分中的交叉道路的路面适当地检测为路面区域。

根据以上说明的本发明的第1实施方式，起到以下的作用效果。

(1)图像处理装置10具备路面检测部102、时间序列验证部105、检测区域选择部103和检测部104。路面检测部102从基于由相机20拍摄而得到的摄影图像的输入图像，检测路面区域。时间序列验证部105进行将输入图像中的路面区域的检测结果以时间序列进行验证的时间序列验证。检测区域选择部103基于由路面检测部102得到的路面区域的检测结果和由时间序列验证部105得到的时间序列验证的结果，在输入图像内设定用于检测对象物的检测区域、即用于检测其他车辆的车辆检测区域。检测部104在所设定的车辆检测区域中检测作为对象物的其他车辆。由此，能够从摄影图像中正确地检测存在于本车辆的周边的其他车辆。

(2)路面检测部102将输入图像划分为多个观测块，判定多个观测块分别是与路面区域对应的路面块及不与路面区域对应的非路面块中的哪一种。时间序列验证部105基于输入图像中的路面块及非路面块在时间序列上的配置的变化，进行时间序列验证。具体而言，时间序列验证部105在时间序列验证中，如图7所示，在输入图像内相互相邻的多个非路面块的位置以时间序列移动、并且该多个非路面块的移动速度与背景的移动速度的差否是规定值以上的情况下，判断为路面区域被对象物遮挡。由此，在路面区域被对象物遮挡的情况下能够可靠地判断出该情况。

(3)此外，时间序列验证部105在时间序列验证中，如图8、图9所示，在规定期间内，在路面检测部102对输入图像内的在第1位置相互相邻的多个观测块的判定结果依次从路面块变化为非路面块、或依次从非路面块变化为路面块、并且路面检测部102对在输入图像内在比第1位置靠下侧的第2位置相互相邻的多个观测块的判定结果与针对第1位置处的观测块的判定结果相反地依次变化的情况下，判断为与路面区域对应的道路形状从直线变化为曲线。由此，在道路形状从直线变化为曲线的情况下能够可靠地判断出该情况。

(4)进而，时间序列验证部105在时间序列验证中，如图8、图10所示，在规定期间内，在路面检测部102对输入图像内的在第1位置相互相邻的多个观测块的判定结果和路面检测部102对在输入图像内在比第1位置靠下侧的第2位置相互相邻的多个观测块的判定结果依次从路面块经过非路面块变化为路面块的情况下，判断为与路面区域对应的道路形状从直线变化为交叉口。由此，在道路形状从直线变化为交叉口的情况下，能够可靠地判断出该情况。

(5)图像处理装置10还具备基于由时间序列验证部105得到的时间序列验证的结果将路面区域进行插补的路面区域插补部106。检测区域选择部103基于由路面检测部102得到的路面区域的检测结果和由路面区域插补部106得到的路面区域的插补结果来设定车辆检测区域。由此，即使在将路面区域误判断为非路面区域的情况下，也能够匹配于本来的路面区域而正确地设定车辆检测区域。

(6)图像处理装置10搭载在本车辆中，还具备基于本车辆的行驶状态设定应优先地检测对象物的方向的优先方向选择部107。检测区域选择部103基于由优先方向选择部107设定的方向来设定车辆检测区域。由此，能够根据本车辆的行驶状态适当地设定车辆检测区域。

－第2实施方式－

图11是表示有关本发明的第2实施方式的外界识别装置的一例的图。如图11所示，本实施方式的外界识别装置1100具备在第1实施方式中说明的图像处理装置10、和周边识别部1101、信号处理部1102及驾驶员通知部1103。外界识别装置1100连接到与图像处理装置10同样搭载在本车辆上的相机20，并且还连接到搭载在本车辆上的控制部1111、存储器1112、本车辆控制部1113、led1114、扬声器1115、显示器1116及汽车导航装置1117。另外，图像处理装置10与其他各设备经由本车辆内的信号总线相互连接。

相机20取得本车辆周边的摄影图像，向外界识别装置1100内的图像处理装置10输出。存储器1112暂时保持相机20取得的摄像图像。控制部1111控制相机20与外界识别装置1100之间的摄影图像的输入输出、外界识别装置1100与本车辆控制部1113之间的车辆控制信号的输入输出。

图像处理装置10如在第1实施方式中说明那样，检测存在于本车辆的周围的其他车辆，将基于该检测结果的车辆接近信号向周边识别部1101输出。此外，在难以检测其他车辆的状况时，将检测fail(失败)信号向周边识别部1101输出。

如果从图像处理装置10输出车辆接近信号，则周边识别部1101基于该信号，执行用于识别本车辆的周围环境的周边识别处理。例如，使用相机20的摄影图像对本车辆的附近及远方的周边空间进行解析，识别是否有包括自行车及汽车在内的其他车辆及步行者，或者识别是否有成为本车辆的行驶或驻车的妨碍的障碍物体。此外，在其他车辆或步行者突然接近于本车辆的情况下检测该情况而预测与本车辆的碰撞，或预测本车辆与障碍物的碰撞。进而，周边识别处理中也可以包括当本车辆在行驶中脱离车线的情况下发出警报的车线脱离警报处理、当人或其他车辆进入到本车辆的驾驶员的死角的情况下发出警报的死角警报处理等。周边识别部1101将基于周边识别处理的执行结果的检测结果、警报信息向信号处理部1102输出，并将对于本车辆的驾驶员的通知信息根据需要向驾驶员通知部1103输出。

信号处理部1102基于从周边识别部1101输出的检测结果及警报信息，生成用于控制本车辆的动作的车辆控制信号，向本车辆控制部1113发送。本车辆控制部1113基于从信号处理部1102接收到的车辆控制信号来控制本车辆的动作，由此为了避免与其他车辆或步行者的碰撞而使本车辆停止，或为了避免与障碍物的碰撞而使本车辆的行进方向变化。

驾驶员通知部1103基于从周边识别部1101输出的通知信息，生成用于对本车辆的驾驶员进行警告的警报信号，向led1114、扬声器1115、显示器1116、汽车导航装置1117中的某一个发送。led1114、扬声器1115、显示器1116、汽车导航装置1117的各设备如果接收从驾驶员通知部1103接收到的警报信号，则基于该警报信号进行规定的显示或声音输出，从而对本车辆的驾驶员警告接近于本车辆的其他车辆或步行者、障碍物等的存在。

另外，当从图像处理装置10输出检测fail信号时，判断为在图像处理装置10中难以检测到其他车辆，所以周边识别部1101优选的是使图像处理装置10的动作暂时或连续地停止。周边识别部1101通过对图像处理装置10输出on/off控制信号，能够使图像处理装置10的动作开始或停止。进而也可以是，此时从周边识别部1101向驾驶员通知部1103输出通知信息，基于该通知信息，驾驶员通知部1103生成警报信号并向led1114、扬声器1115、显示器1116、汽车导航装置1117中的某一个发送，由此向本车辆的驾驶员通知图像处理装置10的动作停止的情况。

根据以上说明的本发明的第2实施方式，外界识别装置1100具备图像处理装置10。此外，通过周边识别部1101、信号处理部1102及驾驶员通知部1103，基于由图像处理装置10内的检测部104得到的其他车辆的检测结果，输出用于对本车辆的驾驶者进行警告的警报信号及用于控制本车辆的动作的车辆控制信号中的至少某一个。由此，能够正确地识别本车辆的周围环境。

另外，在以上说明的各实施方式中，将从摄影图像检测的对象物设为存在于本车辆周围的其他车辆，但对象物并不限定于此，也可以将其他物体作为对象物。此外，说明了使用由搭载在车辆上的相机20取得的摄影图像来检测对象物的例子，但取得摄影图像的相机并不限于搭载在车辆上。例如，可以使用由用于街头监视等的相机等车载以外的各种各样的用途的相机取得的摄影图像来检测对象物。

以上说明的实施方式及各种变化例只不过是一例，只要不损害发明的特征，本发明并不限定于这些内容。本发明并不限定于上述实施方式及变形例，在不脱离本发明的主旨的范围内能够进行各种变更。

下面的优先权基础申请的公开内容作为引用文而引用到本申请中。

日本专利申请2016年第151351号(2016年8月1日申请)。

标号说明

10图像处理装置

20相机

101图像修正部

102路面检测部

103检测区域选择部

104检测部

105时间序列验证部

106路面区域插补部

107优先方向选择部

1100外界识别装置

1101周边识别部

1102信号处理部

1103驾驶员通知部